网站收录有问题时,就会可能需求连续的搜索引擎蜘蛛的抓取环境。网站文章不收录时,第一时间就是要看看网站蜘蛛抓取的日志,但通过访问服务器的方式查看蜘蛛日志有点麻烦,我们可以用代码来实现给WordPress网站添加记录蜘蛛抓取日志的功能!
将下放代码放入主题的functions.php文件中:
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false) {
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false) {
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false) {
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false) {
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false) {
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false) {
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false) {
return 'Robozilla';
}
return false;
}
function nowtime()
{
date_default_timezone_set('Asia/Shanghai');
$date = date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url = $_SERVER['HTTP_REFERER'];
$file = "robotslogs.txt";
$time = nowtime();
$data = fopen($file, "a");
$PR = "$_SERVER[REQUEST_URI]";
fwrite($data, "Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}
一、本站上的部份代码及教程来源于互联网,仅供网友学习交流。如有侵权,无意侵害您的权益,请发送邮件至xutian#ahap.cn或点击右侧 联系我们,我们将尽快处理。
二、请勿将购买的资源教程转载或分享与他人!
二、请勿将购买的资源教程转载或分享与他人!