1.索引处理
抓取网页后，由分析索引系统程序对收集回来的网页进行分析，提取相关信息（包括网页所在URL、编码类型、页面内容包含的所有关键词、关键词的位置、生成时间、大小、与其他网页的链接关系等），根据一定的相关度算法进行大量复杂的计算，得到每一个网页针对页面文字及超链中每一个关键词的相关度（或重要性），然后用这些信息建立网页索引数据库。任何搜索引擎在进行内容索引的时候都是以文字为基础的。搜索引擎在抓取页面的时候，并非只访问用户能看到的文字信息，还包含大量的HTML代码、CSS代码、JavaScript代码等对排名没有作用的内容。抓取页面之后，搜索引擎就要处理这些信息，从HTML代码中分离出标签、代码，提取有利于网站排名处理的页面文字内容。
2.爬行抓取
爬行抓取是搜索引擎工作的第一步，主要完成数据收集工。搜索引擎蜘蛛程序通过网页的链接地址来寻找网页，从网站的某一个页面（通常是首页）开始，读取网页的内容，找到网页中的其他链接地址，然后通过这些链接地址寻找下一个网页，一直这样循环下去，直到把这个网站的所有网页都抓取为止。如果网站的内容质量不高或者有大量重复信息，蜘蛛程序就没有“耐心”抓取网站里的所有信息了。如果把整个互联网当成一个网站，那么蜘蛛程序就可以用这个原理把互联网上所有的网页都抓取下来。但是，在实际的工作中，搜索引擎蜘蛛程序是不能抓取所有的互联网信息的，毕竟蜘蛛程序的带宽资源、时间都不是无限的，它不可能“爬”到所有的页面。受到这些因素的制约，搜索引擎只能爬行和收录互联网信息的一小部分。
3.排名
建立网页索引数据库后，当用户输入关键词并进行搜索时，搜索系统程序会从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照相关度数值排序，相关度越高，排名越靠前。
一：优化过度
首先要检查网站是否会有任何的关键词堆积？是否为了加内部链接而导致描文字链接过度集中？是否页脚出现对用户毫无意义，只为增加搜索引擎友好度而准备的链接和文字？是否为SEO工作而短时间内突增或突减外链？过度的优化往往是关键词全面下降的罪魁祸首，搜索引擎一直以来都比较注重“自然”而成，在优化工作的过程中，我们一定要掌握好这个“度”。凡事都有一个过程，所谓：欲速则不达。二：搜索引擎算法的改变 如果没有对网站进行修改，并且一直以来都是正常的进行优化工作，但却遇到网站排名的下降，我们也没必要直接去怀疑自己工作的努力与付出。先观察一段时间再说，因为排名的下降不一定就是网站自身的问题，搜索引擎不断改变算法，有时推出新算法，过了几天又改回去了。一遇到排名的波动网站就进行修改，反倒会引起搜索引擎特点注意，这是一个刻意优化的网站。
三：服务器的不稳定 服务器的不稳定也是致使网站受罚的重要因素之一。搜索引擎爬虫每天都会不定时的到访网站抓取页面信息，如果服务器的不稳定，搜索引擎的到访无法打开网站，经常性都是这样，那么必然会降低搜索引擎对网站的友好度，从而降低网站权重，网站也会因此而受到搜索引擎的惩罚。所以在选择购买服务器的时候，不要以价格去衡量，尽可能选择信誉好的供应商。
四：检查可疑链接 网站受到惩罚有时候会因为一些垃圾外链而牵连，所以在网站受到惩罚时，要尽可能的找出可疑链接进行删除，通常包括：
1：大量的友情链接交换；
2：指向一些垃圾网站的链接；
3：页脚上出现的只为搜索引擎准备的内部链接；
4：自己网站的大量交叉链接；
5：与网站主题内容无关的导出链接等。 这些看似不算严重作弊，但却与其他有作弊嫌疑的手法加起来，就可能使网站作弊分值达到被惩罚门槛。
五：检查是否存在太多重复内容 网站的内容不可以过多的转载或抄袭，网站内容是否具有原创性与可读性，直接影响着读者对网站的评价，以及搜索引擎对网站排名的根据。如果网站从一开始就是以转载、抄袭为主，那么被惩罚也是在所难免的。加强原创内容是一个网站刚开始时必不可少的过程。 网站受搜索引擎惩罚的因素很多，以上只是比较常见的几种。SEO工作者常弄不清网站为什么被惩罚了，哪怕就算是知道什么原因被惩罚了，处理了所有的作弊行为，也未必就能够恢复原来的排名。 ：优化过度 首先要检查网站是否会有任何的关键词堆积？是否为了加内部链接而导致描文字链接过度集中？是否页脚出现对用户毫无意义，只为增加搜索引擎友好度而准备的链接和文字？是否为SEO工作而短时间内突增或突减外链？过度的优化往往是关键词全面下降的罪魁祸首，搜索引擎一直以来都比较注重“自然”而成，在优化工作的过程中，我们一定要掌握好这个“度”。凡事都有一个过程，所谓：欲速则不达。 二：搜索引擎算法的改变 如果没有对网站进行修改，并且一直以来都是正常的进行优化工作，但却遇到网站排名的下降，我们也没必要直接去怀疑自己工作的努力与付出。先观察一段时间再说，因为排名的下降不一定就是网站自身的问题，搜索引擎不断改变算法，有时推出新算法，过了几天又改回去了。一遇到排名的波动网站就进行修改，反倒会引起搜索引擎特点注意，这是一个刻意优化的网站。 三：服务器的不稳定 服务器的不稳定也是致使网站受罚的重要因素之一。搜索引擎爬虫每天都会不定时的到访网站抓取页面信息，如果服务器的不稳定，搜索引擎的到访无法打开网站，经常性都是这样，那么必然会降低搜索引擎对网站的友好度，从而降低网站权重，网站也会因此而受到搜索引擎的惩罚。所以在选择购买服务器的时候，不要以价格去衡量，尽可能选择信誉好的供应商。