今天查记录生活的寻小山博客收录的时候,发现原来的动态链接也被收录,于是想通过修改robots.txt 文件来禁止搜索引擎蜘蛛抓取动态链接。但是发现一个问题,上传了robots.txt到网站根目录后,查看URL还是原来的robots文件,修改没起作用。
我通过Google网站管理工具查看了robots文件,也还是没有修改。于是我删去robots文件,在浏览器里发现robots路径存在,说明robots文件还是存在的,但是并不是我修改的那个。
后来研究了wordpress知道,wordpress程序会在安装后自动默认生成一个robots文件,这对有wordpress新手是一个不错的帮助,但是有的时候我们却要修改它,却找不到它的路径,不知从何入手。
下面推荐一个wordpress插件来帮大家解决后台修改wordpress默认robots文件:KB Robots.txt
这款插件可以帮助修改wordpress默认生成的robots.txt文件,是一个不错的SEO插件,设置的界面还有设置robots文件的方法描述。
如果你在wordpress控制后台搜索不到KB Robots.txt,你可以通过点击KB Robots这个链接直接手动下载安装,如果你觉得不错,欢迎分享。
非常好的东东,谢谢分享了,不想多用插件,可不用有什么办法服务器商都太垃圾了,根目录上传的txt文件一个也打不开, 真搞不明白他们是做什么的
我不支持用插件,能手动解决就手动解决。
对,用插件不是最好的方法,会影响网页加载速度,但是我说的是对于新手,对代码不是很熟悉的那种呵呵!
好的西啊