字节跳动的网络爬虫Bytespider因其高效的数据抓取能力引发广泛讨论。据Kasada研究显示，Bytespider的抓取速度远超其他AI爬虫工具，达到OpenAI的25倍、Anthropic的3000倍。此举是为了加快AI模型训练数据的积累。然而，Bytespider因无视爬虫协议，频繁访问导致服务器负担过重，遭到如Servebolt等公司的抵制。科技巨头们在获取训练数据上竞相发力，但也面临数据持有方收紧许可协议的挑战。(21财经)