阅读模式:

robots.txt 协议的安全配置

查看:7464  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
分享:淘宝技术这十年   阅读:5531centos 7 开启网络   阅读:8387php删除一个文件夹内的所有文件夹和文件   阅读:5892十张GIF让你弄懂递归等概念   阅读:7163linux命令中执行php脚本   阅读:9513php 获取当前前后年、月、星期、日、时分秒的时间   阅读:7867php显示刚刚、几分钟前、几小时前、几天前的函数   阅读:9879解决 nginx 413 request entity too large   阅读:5431php 统计网页打开耗时和脚本运行内存   阅读:7799javascript对cookie操作详细代码函数   阅读:6200web项目高并发量网站解决方案   阅读:5450php压缩页面的html代码一行显示   阅读:8757php 统计网页打开耗时和脚本运行内存   阅读:7799session与cookie的区别   阅读:4934centos 7 安装 php-7.1.3   阅读:22339给网站添加一键新浪微博登录的功能   阅读:7431linux时间戳有趣的情人节秒1234567890   阅读:6436比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:6190centos 7 安装 samba 服务   阅读:7890浅谈javascript的函数节流   阅读:5614mysql的四种索引类型   阅读:24557php冒泡排序法   阅读:16033centos 7搭建zabbix3.4   阅读:7645比phpexcel还要简单的excel CSV 一键导入数据到数据库   阅读:6190php设置cookie为HttpOnly防止XSS攻击   阅读:14284mysql数据一键导出到csv文件   阅读:6799shell发送邮件脚本   阅读:10293最简单的Banner轮播左右切换效果代码及实现思路(附带源码)   阅读:34592web性能测试工具ab的测试方法   阅读:5546封装php redis缓存操作类   阅读:10507phpexcel 超简单从数据库一键导出数据到excel教程   阅读:8433mysql5.7开启sql日志的配置   阅读:10836shell脚本破解十位数内的所有纯数字rar加密压缩包脚本   阅读:10384javascript点击复制内容   阅读:8229mysql5.7主从同步配置   阅读:7928nginx编译安装后对nginx进行平滑升级   阅读:7816centos 7 安装 samba 服务   阅读:7890centos7中颁发CA证书并开启web https   阅读:9685知乎百万赞作者告诉你:年薪百万的人都在靠什么赚钱   阅读:7864centos7.3安装mongodb3.6   阅读:8826企业让你去面试,可能不是真的招人   阅读:6848web项目高并发量网站解决方案   阅读:5450给网站添加一键qq登录的功能   阅读:8678“米粉节”背后的故事——小米网抢购系统开发实践   阅读:4985PHP 鸟哥:我也曾经是“不适合”编程的人   阅读:16520霍金24岁博士毕业论文在线预览   阅读:6596nginx安装redis模块   阅读:7666centos 7 添加 redis 3.2.9 开机启动脚本   阅读:10650小米手机端商城rem适配原理   阅读:7734shell脚本批量删除几天前的文件   阅读:11914