阅读模式:

robots.txt 协议的安全配置

查看:6832  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
centos 7 安装 redis 3.2.9   阅读:6934php打印九九加法表   阅读:11204十张GIF让你弄懂递归等概念   阅读:6454php打印三角形   阅读:10876浅谈javascript的函数节流   阅读:4988centos 7 安装 redis 3.2.9   阅读:6934TCP的三次握手(建立连接)和四次挥手(关闭连接)   阅读:4063centos 7 设置 nginx-1.11.10 开机启动   阅读:8326centos7.3安装mongodb3.6   阅读:7981linux教程,鸟哥私房菜(pdf全集)   阅读:10559mysql5.7主从同步配置   阅读:6531一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:132881最简单的Banner轮播左右切换效果代码及实现思路(附带源码)   阅读:32648知乎百万赞作者告诉你:年薪百万的人都在靠什么赚钱   阅读:6970mysql的四种索引类型   阅读:23268霍金24岁博士毕业论文在线预览   阅读:5945centos 7 安装 php-7.1.3   阅读:20923mysql 为什么添加索引可以提高访问速度   阅读:6360shell脚本统计当前服务器并发连接数   阅读:8102mysql5.7开启sql日志的配置   阅读:9773centos 7 修改系统屏幕分辨率   阅读:46615linux php7编译安装mongodb扩展   阅读:9333nginx安装mysql和json模块   阅读:5621linux教程,鸟哥私房菜(pdf全集)   阅读:10559phpexcel 超简单从excel表格一键导入数据到数据库教程   阅读:12642php+redis实现消息队列   阅读:15517php翻转字符串   阅读:3853最新centos7 搭建LNMP环境(centos7.2+php7+mysql5.7+nginx1.11+redis3.2)   阅读:11411web项目高并发量网站解决方案   阅读:4942javascript点击复制内容   阅读:7289给php7安装redis扩展库   阅读:8636mysql5.7主从同步配置   阅读:6531centos 7 开启网络   阅读:7443一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:132881解决 nginx 413 request entity too large   阅读:4761mysql数据一键导出到csv文件   阅读:6019centos 7 设置 nginx-1.11.10 开机启动   阅读:8326程序员找工作三要素(必看)   阅读:5955nginx安装redis模块   阅读:6318把php session 会话保存到redis   阅读:7663给网站添加一键qq登录的功能   阅读:7904web项目高并发量网站解决方案   阅读:4942centos 7 修改系统屏幕分辨率   阅读:46615给 centos 7 安装桌面环境   阅读:17317mysql5.7主从同步中binlog同步模式详解   阅读:7964centos 7搭建zabbix3.4   阅读:6920php+redis实现消息队列   阅读:15517php 生成图片,给图片加水印   阅读:6723centos 7 修改系统屏幕分辨率   阅读:46615php 生成图片,给图片加水印   阅读:6723