wordpress监控搜索引擎蜘蛛代码

林继 WordPress 2,370 共写了726个字 (2010-09-13 19:51:41) 没有评论 打印 扫描二维码 百度已收录
  1. <?php
  2.  
  3. function get_naps_bot()
  4.  
  5. {
  6.  
  7. $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
  8.  
  9.  
  10. if (strpos($useragent, 'googlebot') !== false){
  11.  
  12. return 'Googlebot';
  13.  
  14. }
  15.  
  16. if (strpos($useragent, 'msnbot') !== false){
  17.  
  18. return 'MSNbot';
  19.  
  20. }
  21.  
  22. if (strpos($useragent, 'slurp') !== false){
  23.  
  24. return 'Yahoobot';
  25.  
  26. }
  27.  
  28. if (strpos($useragent, 'baiduspider') !== false){
  29.  
  30. return 'Baiduspider';
  31.  
  32. }
  33.  
  34. if (strpos($useragent, 'sohu-search') !== false){
  35.  
  36. return 'Sohubot';
  37.  
  38. }
  39.  
  40. if (strpos($useragent, 'lycos') !== false){
  41.  
  42. return 'Lycos';
  43.  
  44. }
  45.  
  46. if (strpos($useragent, 'robozilla') !== false){
  47.  
  48. return 'Robozilla';
  49.  
  50. }
  51.  
  52. return false;
  53.  
  54. }
  55.  
  56. function nowtime(){
  57.  
  58. $date=date("Y-m-d.G:i:s");
  59.  
  60. return $date;
  61.  
  62. }
  63.  
  64. $searchbot = get_naps_bot();
  65.  
  66. if ($searchbot) {
  67.  
  68. $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
  69.  
  70. $url=$_SERVER['HTTP_REFERER'];
  71.  
  72. $file="robotslogs.txt";
  73.  
  74. $time=nowtime();
  75.  
  76. $data=fopen($file,"a");
  77.  
  78. $PR="$_SERVER[REQUEST_URI]";
  79.  
  80. fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
  81.  
  82. fclose($data);
  83.  
  84. }
  85.  
  86. ?>


通过在wordpress上面添加一段代码就可以监控各大搜索引擎蜘蛛的爬行痕迹,对于做网站优化的人来说这个是非常实用。

监控搜索引擎蜘蛛具体原理:

通过将一段代码嵌入到wordpress的每个页面中,然蜘蛛来读取从而达到记录每个蜘蛛的爬行记录,同时因为各大搜索引擎的蜘蛛爬行程序都有自己的标识符,例如谷歌的是googlebot,百度的是baiduspider,它们可以通过查询_SERVER变量中的HTTP_USER_AGENT参数来获取,再结合HTTP_REFERER记录下URL的来源,最后用 nowtime()函数取得当前的系统时间,就形成了一条简单的擎蜘蛛爬行记录。

监控搜索引擎蜘蛛具体方法:

上面贴出来的robots.txt文件另存为robots.php,当然你可以任意给它取个名字,例如123.php或者aaa.php 都行,只要保证扩展名是php,让它能够正常执行即可;然后上传到你的网站程序的模板目录中(例如Wordpress的是/wp-content /themes/ThemesName目录);最后在你的模板文件中调用它,例如在Wordpress博客中,你可以在footer.php文件中添加代码。

接下来就是等待搜索引擎蜘蛛到你的网站来爬行了,爬行的结果记录在网站根目录的robotslogs.txt中,你直接打开 http://www.YourDomain.com/robotslogs.txt就能看到了。当然你也可以修改robots.php文件的第50行,把robotslogs.txt换成任意你想要的名字。

通过以上方法就可以查看到蜘蛛的爬行记录,同时也为您做SEO多了一个重要的参考。

如果觉得我的文章对您有用,请随意赞赏。您的支持将鼓励我继续创作!

发表评论

电子邮件地址不会被公开。 必填项已用*标注

< >