下面是完整代码：

1. //记录搜索引擎爬行记录 $searchbot = get_naps_bot();  
2. if ($searchbot)  
3. { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);  
4. $url = $_SERVER['HTTP_REFERER'];  
5. $file = WEB_PATH.'robotslogs.txt';  
6. $date = date('Y-m-d H:i:s');  
7. $data = fopen($file,'a'); //phpfensi.com 
8. fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n");  
9. fclose($data); 
10. } 

WEB_PATH为index.PHP下define的根目录路径，意思就是说robotslogs.txt文件是放在根目录下的。

通过get_naps_bot()获取蜘蛛爬行记录，然后在通过addslashes处理一下，将数据存储于变量$tlc_thispage中。

fopen打开robotslogs.txt文件，将数据通过函数fwrite写入，在通过函数fclose关闭就可以了。

因为我觉得没必要，所以把自己网站上的代码删除了，所以也没有效果示例了。

PS:php获取各搜索蜘蛛爬行记录的代码

支持如下的搜索引擎：Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录,代码:

1. <?php  
2. /** 
3. * 获取搜索引擎爬行记录 
4. * edit by www.phpfensi.com 
5. */ 
6. function get_naps_bot()  
7. {  
8. $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);  
9. if (strpos($useragent, 'googlebot') !== false){  
10. return 'Google';  
11. }  
12. if (strpos($useragent, 'baiduspider') !== false){  
13. return 'Baidu';  
14. }  
15. if (strpos($useragent, 'msnbot') !== false){  
16. return 'Bing';  
17. }  
18. if (strpos($useragent, 'slurp') !== false){  
19. return 'Yahoo';  
20. }  
21. if (strpos($useragent, 'sosospider') !== false){  
22. return 'Soso';  
23. }  
24. if (strpos($useragent, 'sogou spider') !== false){  
25. return 'Sogou';  
26. }  
27. if (strpos($useragent, 'yodaobot') !== false){  
28. return 'Yodao';  
29. }  
30. return false;  
31. }  
32. function nowtime(){  
33. $date=date("Y-m-d.G:i:s");  
34. return $date;  
35. }  
36. $searchbot = get_naps_bot();  
37. if ($searchbot) {  
38. $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);  
39. $url=$_SERVER['HTTP_REFERER'];  
40. $file="www.phpfensi.com.txt";  
41. $time=nowtime();  
42. $data=fopen($file,"a");  
43. fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");  
44. fclose($data);  
45. }  
46. ?>