早上我查询一个关键词,竟然看到有头条的内容被收录。
然后,我分析,应该是百度蜘蛛开始抓取了头条信息。打开了头条的robots.txt。看到有些栏目是禁止蜘蛛抓取的。
不过,大部分内容是允许抓取的。
site一下头条的网址,可以看到已经收录8500万个网页。这其中应该有不少内容页。
头条原来是不允许百度抓取的,一个应用系统有上亿用户,那么它就可以自建内容、自建生态,不需要搜索引擎也能活得很滋润。比如头条、微信公众号这样的内容池。
被别人抓取了。那么它就觉得失去竞争力了。
这样自己花大价钱搞起来的资源,成为了别人数据库填充内容。你有的,别人也有,别人有的,你没有,这才是要命的。
不过,我还是希望互联网公司能够互联互通,这对于我们老百姓获取信息非常的重要。
既然百度已经开始抓取头条信息,那么一些人去头条采集内容,今后这条路可能会断了。
还没有评论,来说两句吧...