Google 开源 robots.txt 解析器
发布时间:2019-07-03 19:10:22 所属栏目:Windows 来源:TGVvbmFyZA
导读:Google 称过去 25 年Robots Exclusion Protocol (REP)协议一直是一种约定的标准,给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准,作为这个努力的一部分,它开源了自己使用的 robots.txt 解
Google 称过去 25 年 Robots Exclusion Protocol (REP)协议一直是一种约定的标准,给网站管理员人员和爬虫工具开发者带来了很多不确定性。Google 现在宣布它将率先致力于让 REP 成为一个行业标准,作为这个努力的一部分,它开源了自己使用的 robots.txt 解析器,源代码托管在 GitHub 上,采用 Apache License 2.0 许可证。robots.txt 解析器是一个 C++ 库,用于解析和匹配 robots.txt 文件中的规则,它已经有约 20 年历史了,包含了 1990 年代写的代码。 【编辑推荐】
点赞 0 (编辑:三明站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
相关内容
- WIN2008下安装Forefront Threat Management Gateway
- windows-server-2003 – 清理Active Directory
- ssh – 如何让Windows上的TortoiseHg(Mercurial)使用由Putt
- 我想安装两次MSI
- GaussDB(openGauss)宣布开源,性能超越 MySQL 与 Postgre
- remote-desktop – 为什么不显示RemoteApp图标
- 如何修复Windows 10上的“JavaScript Void 0”错误
- windows 7中如何让应用程序默认以管理员开机启动
- 窗口 – 比较冷启动到暖启动
- windows server 2008 R2/windows 7管理三十 防火墙TMG2010应
站长推荐