互联网24.1%的流量是刷出来的,爬虫被用来作恶
百度、谷歌这样的搜索引擎,不断地爬取网络上的各种信息,分析这些信息,是为了给用户提供需要的信息,同时还能给网站增加流量。用户、网站都很开心,这样的爬虫我们称之为善意爬虫。 但是,有的爬虫却不是这样的,它恨不得每秒访问你的网站,点击几万次,毫不留情的搬走网络数据,一点点残渣都不留下,这种就是恶意爬虫。 著名调查机构Aberdeen Group曾经在2019年做过一次调查,整个互联网中,恶意爬虫产生的流量,占全网流量的24.1%。些流量除了消耗资源来,对互联网来说,没有产生任何的价值。 恶意爬虫主要寄生在出行、社交、电商等各大行业,无时无刻不在侵扰从业者。 出行是重灾区哪一个行业被爬虫袭扰最多,从验证码识别难度就能看出来。出行行业中恶意爬虫占比最高,验证码识别难度首屈一指。 许多用户都有曾经被12306验证码支配过的恐惧。如此高识别难度的验证码,不是为了故意刁难,而是为了对抗恶意爬虫。开数据显示,12306最高峰时1天内页面浏览量达813.4亿次,1小时最高点击量59.3亿次,平均每秒164.8万次。这还是加了验证码后的数据。 可想而知,恶意爬虫是多么想爬取12306的数据。 除了铁路购票,航空运输,酒店订购等等,爬虫都不挑食,照单全收。 营销的集中营爬虫也很喜欢各大社交平台,尤其是微博。 爬虫会不断地获取某个人微博的列表、状态和索引,不断地疯狂关注、点赞和浏览,将一些运营数据蹭蹭蹭地刷上去,营造一种很热闹的假象。类骚操作还有很多。 比如某一明星的微博发起了一项活动,他们就能指挥爬虫大军去抢,妥妥地将奖品收入囊中。 爬电商平台很多人都用过类似比价、返利的APP,这些APP也有爬虫的功劳。 它们会去各大电商平台,爬取价格数据,聚合到APP上供用户购买,再通过广告、竞价等方式获得收入。 爬虫违不违法?说了这么多,难道我国现行的法律,不能管管吗? 翻一翻《中华人民共和国网络安全法》,我们看不到有任何一条,关于爬取网络公开信息是违法行为的条款。 只要数据是公开的,而且爬取的时候,不会破坏对方的系统,并不会触犯相关的法律。 但是,对于企业来说,这些爬虫的行为,确实是伤害到自己,造成很多的资源浪费,还会使自己在同行竞争中处于不利地位。
所以,一般来说,企业往往会采取很多措施,来提高爬虫的准入门槛,比如图片验证码、滑块验证、封禁IP等等。 (编辑:三明站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |