阅读模式:

robots.txt 协议的安全配置

查看:6124  回复:0  类型:  来源:php自学网  标签 运维 web安全

        robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。比如后台的程序/admin就不要蜘蛛去抓取了。虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径。所以安全的配置robots.txt文件是必要的。

    具体配置:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/

把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
分享到:
0 0

*有问题之处烦请在评论中指出非常感谢!
不是我想要的内容,继续搜索:

扫描二维码手机查看

发布评论:


登录:
  表情:
评论话题
推荐阅读:
Nginx 配置文件详解   阅读:4326小米手机端商城rem适配原理   阅读:6369php 使用 smtp.php 类在线发送邮件功能   阅读:5173linux rarcrack破解rar、zip和7z压缩包简单密码的工具   阅读:15816“米粉节”背后的故事——小米网抢购系统开发实践   阅读:3823php swoole搭建简单的聊天室   阅读:3189centos 7 设置 nginx-1.11.10 开机启动   阅读:7572知乎百万赞作者告诉你:年薪百万的人都在靠什么赚钱   阅读:5865移动端js触摸touch详解(附带案例源码)   阅读:15816centos7中颁发CA证书并开启web https   阅读:6443php删除一个文件夹内的所有文件夹和文件   阅读:4479php删除一个文件夹内的所有文件夹和文件   阅读:4479十张GIF让你弄懂递归等概念   阅读:5685最简单的Banner轮播淡入淡出效果代码及实现思路(附带源码)   阅读:12532HTTP 1.1 协议详解   阅读:9897centos 7 安装 redis 3.2.9   阅读:6232html5 离线缓存的使用   阅读:4073linux top命令详解   阅读:8769centos 7 添加 redis 3.2.9 开机启动脚本   阅读:8891javascript获取两个日期间的所有日期   阅读:6095移动端自适应rem原理   阅读:9265一键分享到QQ空间、QQ好友、新浪微博、微信代码   阅读:124849linux命令中执行php脚本   阅读:7355php 生成图片,给图片加水印   阅读:5291php翻转字符串   阅读:3126centos 7 修改系统屏幕分辨率   阅读:42205Mysql在大型网站的应用架构演变   阅读:4288mysql中文分词全文搜索索引讯搜的安装   阅读:6316shell脚本破解十位数内的所有纯数字rar加密压缩包脚本   阅读:8327给 centos 7 安装桌面环境   阅读:16301csv文件一键导入数据到mysql数据库   阅读:6258linux php7编译安装mongodb扩展   阅读:8208用php从1加到100的值   阅读:7935给php7安装redis扩展库   阅读:7827给php7安装redis扩展库   阅读:7827javascript对cookie操作详细代码函数   阅读:5003php swoole搭建简单的聊天室   阅读:3189csv文件一键导入数据到mysql数据库   阅读:6258Nginx 配置文件详解   阅读:4326一步步带你,如何网站架构   阅读:3798用php从1加到100的值   阅读:7935面试的时候和你谈理想,是理想or入坑?   阅读:9557mysql5.7主从同步中binlog同步模式详解   阅读:6114关于PHP程序员技术职业生涯规划   阅读:2464mysql共享锁和排他锁详解   阅读:6849php打印九九加法表   阅读:9334centos 7 安装 php-7.1.3   阅读:18873关于PHP程序员技术职业生涯规划   阅读:2464php连接redis   阅读:5331shell发送邮件脚本   阅读:6855