百度 蜘蛛 代码详解
应该不是,找了点资料你看看
2xx 成功
200 正常;请求已完成。
201 正常;紧接 POST 命令。
202 正常;已接受用于处理，但处理尚未完成。
203 正常;部分信息 — 返回的信息只是一部分。
204 正常;无响应 — 已接收请求，但不存在要回送的信息。
3xx 重定向
301 已移动 — 请求的数据具有新的位置且更改是永久的。
302 已找到 — 请求的数据临时具有不同 URI。
303 请参阅其它 — 可在另一 URI 下找到对请求的响应，且应使用 GET 方法检索此响应。
304 未修改 — 未按预期修改文档。
305 使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。
306 未使用 — 不再使用;保留此代码以便将来使用。
4xx 客户机中出现的错误
400 错误请求 — 请求中有语法问题，或不能满足请求。
401 未授权 — 未授权客户机访问数据。
402 需要付款 — 表示计费系统已有效。
403 禁止 — 即使有授权也不需要访问。
404 找不到 — 服务器找不到给定的资源;文档不存在。
407 代理认证请求 — 客户机首先必须使用代理认证自身。
410 请求的网页不存在(永久);
415 介质类型不受支持 — 服务器拒绝服务请求，因为不支持请求实体的格式。
5xx 服务器中出现的错误
500 内部错误 — 因为意外情况，服务器不能完成请求。
501 未执行 — 服务器不支持请求的工具。
502 错误网关 — 服务器接收到来自上游服务器的无效响应。
503 无法获得服务 — 由于临时过载或维护，服务器无法处理请求。
比如说：
2008-05-10 00:28:03 W3SVC818374 222.214.218.36 GET /flash/1622.html - 80 - 221.10.254.26 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 21089
上面 (例)这就意味着百度蜘蛛在2008-05-10 00:28:03 爬过flash/1622.html 这一页，200 0 0 21089中的200协议代码代表了请求已完成也就是它发现这页并以入库了。根据这个我们可以多查看iis日志，研究蜘蛛爬行的路径，找出自己网站存在的问题，进而改正。
有可能被K的日志现象(例)
Baiduspider+(+http://www.baidu.com/search/spider.htm) 403 1 64
- AdSense 支持论坛热点问题解答汇总
- 大型网站流量统计系统部署代码心得-要考虑的问题
- 总结的六大条Windows2003Web服务器安全策略
- 信息源牵手垂直搜索 颠覆互联网的小农意识
- 地方分类信息网建站经验
- 2008年中国十大网络营销新秀
- 极速信息港SEO网站优化案例
- 数据分析是网络推广最好的帮手
- 301永久重定向实现方式及302重定向（侧重.htaccess）
- XHTML+CSS兼容性解决方案小集
中文关键字：html 语法 代码 flash 蜘蛛 百度 服务器 正常 错误 客户机 代理 永久 支持 处理 数据 baiduspider 信息 200 临时 必须 位置 因为 认证 文档 计费系统 search spider 问题 过载 资源
你还可能感兴趣的相关文章
水稻 is
Email this author | All posts by 水稻
