随着谷歌 A I 搜索功能的扩展，许多内容发行方和网站面临被边缘化的风险，这加剧了谷歌的垄断争议。
经常使用搜索引擎的互联网冲浪者们如今都已发现，不少搜索引擎网站现在都会在搜索页面顶部显示基于人工智能的便捷答案，这其中当然也包括搜索巨头谷歌（Google）。不过这同时也意味着，用户可能永远不会点击那些自己数据被搜索引擎使用的网站，要知道，恰恰是他们的这些数据支持着搜索引擎显示的人工智能搜索结果。但是，即便如此，许多网站的所有者都坦言，他们并不会屏蔽谷歌AI抓取和总结其内容的途径，因为他们承受不了这样做可能带来的后果。
根据一些内容发行方的说法，这是因为谷歌生成的AI搜索答案和在搜索结果中追踪网页采用的是同一个工具。如果网站用像屏蔽一些他们的AI竞争对手那样的方式去屏蔽谷歌的话，那么他们在搜索结果甚至是整个互联网的曝光度也可能会减小。
生存危机
谷歌在搜索领域的霸主地位使其在日益激烈的AI战争中获得了无可匹敌的优势，尽管不久前，美国联邦法院刚刚裁定谷歌非法垄断网络市场。8月5日，美国地区法官阿米特·梅塔（Amit Mehta）裁定谷歌非法垄断在线搜索和搜索文本广告市场，此后，美国司法部的讨论愈演愈烈。谷歌表示将对这一决定提出上诉，但梅塔已下令双方开始制定案件第二阶段的计划，该阶段将涉及政府恢复竞争的建议，包括可能提出的拆分请求。尽管谷歌发言人拒绝就可能的补救措施发表评论，但这一重大决定可能会撼动互联网，并使这家世界上最知名的公司之一陷入困境。
不过，到目前为止，关于垄断的指控尚未给谷歌带来实质性的影响。随着行业发展，搜索行业的后来者和内容发行方指出，谷歌在搜索领域以及人工智能领域的这种优势并不公平。内容发行方尤其面临进退两难的选择：要么他们得默许人工智能模型使用其内容，但这可能导致网站被边缘化；要么他们就只能选择从谷歌搜索结果中消失，放弃这一主要的流量入口。
“对这些公司来说，这无异于一场生存危机，”新闻网站Talking Points Memo的出版人乔·拉加佐(JoeRagazzo)说，“两种选择都是死路。不接受，立刻死；合作，可能慢慢死，因为终有一天他们不再需要你。”拉加佐在2000年创立了这家网站，他们从一个小型博客逐渐发展到2005年成立的公司TPM Media LLC，经过发展壮大后拥有了更多的衍生网站。据相关资料显示，TalkingPoints Memo网站服务已有超过35000名订阅者。
谷歌将搜索页面顶部的总结功能称为AIOverviews，并强调此举旨在贯彻其提高信息质量和为内容创作者及其他企业提供更多机会的长期承诺。“谷歌每日为全球网站贡献数十亿次点击，我们致力于延续这种与网站的长期价值交换模式，”一名谷歌的发言人在声明中表示，“借助AI Overviews，用户反馈搜索更有帮助了，这会激发更多的搜索行为，创造更多的内容发现机会。”
谷歌 CEO 桑达尔·皮查伊在2024I/O 开发者大会上演讲
自诞生之初，谷歌就部署了一款名为Googlebot的软件来访问或“爬取”（crawl）数百万个网站，借此为全球互联网构建了一个钜细靡遗的资料库。多年来，这个索引体系俨然成为一道难以逾越的壁垒，阻碍了尝试打造搜索竞品的公司，哪怕是微软(Microsoft Corp.)这样财力雄厚的巨头也包括在内。
生成式人工智能的兴起引发了新一波搜索创业浪潮，新兴产品依托于AI模型，为用户提供精炼的答案。聊天机器人的风靡引发了谷歌内部的恐慌，这促使这家搜索界的长期霸主开始审视其核心业务的未来。但那些初创公司如果要想对谷歌构成实质性的挑战，就必须先爬取网络。这绝非一朝一夕之功。
网站被爬取时，会消耗所有者的金钱、算力和存储资源，因此许多内容发行商会部署一个文件，设定机器人访问网站的规则。谷歌和微软的必应(Bing)往往能获得最大权限，因为这些搜索引擎能为网站引流。
谷歌2024秋季发布的新品
AI初创公司Tako是一家提供新型AI搜索引擎服务的公司，业务正处于快速开发阶段。该公司希望让每个人都能更容易地引用真实的知识。通过简单的自然语言搜索，Tako可以立即生成可共享、引人入胜的世界知识展示。该公司的官网是这样介绍他们的技术和服务的：“我们从权威、经过审查的提供商那里实时获取所有数据。你可以使用Tako来研究和证实一个观点，制作一段引人注目的内容，或者快速解决一个争论。”
然而，Tako公司首席执行官亚历克斯·罗森伯格(AlexRosenberg)表示，新兴的搜索平台在攻城掠地之前无法给出为网站引流的流量保证，因此，这些初创公司开始向内容发行方付费，以获取内容使用权。“现在有许多科技公司在为内容付费，如果没有这些内容，他们无法参与任何实质性的竞争，”罗森伯格说，“相比之下，谷歌不必这样做。”在媒体公司和AI初创公司之间的交易浪潮中，谷歌一直是引人注目的例外。据两位匿名知情人士透露，除了与社交平台Reddit Inc.价值6000万美元的交易外，谷歌私下还向内容发行方释放了无意谈判的信号。
在类似这样的对话中，媒体公司几乎毫无筹码。谷歌于今年早些时候推出了AI Overviews，在搜索页面顶部用AI对用户的一些问题给出简明扼要的回答。这立刻引发了内容发行方的忧虑，他们担心这些答案会侵蚀他们的网站流量，但他们并无明确的应对之策。
谷歌为旗下某些AI产品（如其聊天机器人Gemini）使用了单独的爬虫程序。而其主力爬虫工具Googlebot同时服务于AI Overviews和谷歌搜索。公司发言人称Googlebot之所以兼顾AI Overviews，是因为AI与其搜索引擎已经密不可分。发言人进一步指出，谷歌的搜索结果页面以多种格式显示信息，包括图像和图表。谷歌还表示内容发行方有权阻止特定页面或页面的部分内容出现在搜索结果的AI Overviews中，但这也会导致这些片段在谷歌的其他搜索功能中消失，包括网页链接列表。
许多内容发行方通常有至少一半流量依赖于搜索引擎，他们不愿冒着减少曝光的风险采取一些行动。
谷歌的立场“低估了这对内容创作者，尤其是依靠搜索流量谋生的人造成的重大风险”，代理内容发行方和网红经纪的公司Raptive的创新主管马克·麦考伦(MarcMcCollum)表示，“如果拒绝抓取，创作者可能会不经意间降低整体搜索曝光度，这会损害他们触及受众和创造收入的能力”。
微妙的关系
成立于2003年的iFixit是一个美国电子商务和操作网站，该网站除了销售维修零件的业务之外，还发布免费的维基式在线维修指南，用于消费电子产品和小工具。2022年4月，谷歌还宣布将与iFixit合作，为其Pixel系列智能手机提供替换零件。
iFixit的首席执行官凯尔·维恩斯(Kyle Wiens)表示，其网站与谷歌的关系比与其他AI公司的关系“微妙得多”。“我可以阻止ClaudeBot将我们纳入索引，这不会伤害到我们的业务”，维恩斯在电子邮件中写道—他指的是生成式AI初创公司Anthropic的爬虫机器人，“但如果将Googlebot拒之门外，我们会失去流量和客户。”
海量用户在Reddit上就五花八门的小众话题展开热烈讨论，谷歌与Reddit的协议为其AI模型提供了丰富的信息。此番合作恰逢谷歌调整算法提升Reddit等论坛的搜索排名之际，这也大大增进了这家社交平台的访问量。Reddit发言人表示，产品质量和加载速度的改进也推动了流量增长。
8月13日美国加州谷歌总部秋季新品发布会现场
据知情人士透露，搜索初创公司Perplexity也在与Reddit洽谈内容许可协议，但谷歌的交易设定了一个令初创公司望尘莫及的门槛。谷歌则强调其与Reddit的协议远超单纯的数据训练范畴，涉及更广泛的合作领域。对于商业谈判的细节和更多内容，Reddit发言人和Perplexity目前都是不予置评的态度。
但其他搜索初创公司已认清现实：这些数据对他们来说遥不可及。“我们需要积攒20年的收入才够支付Reddit的费用，”搜索初创公司Kagi的创始人弗拉基米尔·普雷洛瓦茨(Vladimir Prelovac)说，“我根本想都不用想。”
遭遇挑战的不止小型初创企业。OpenAI最近推出了SearchGPT，这是其广受欢迎的聊天机器人的搜索引擎测试版。但据公开文件显示，亚马逊(Amazon)、Goodreads和优衣库(Uniqlo)等热门网站均屏蔽了这款GPT爬虫的访问，这些反应，也许会给OpenAI的搜索雄心蒙上阴影。尽管如此，OpenAI强调即使网站选择将其内容排除在AI训练之外，它们仍可能出现在搜索结果当中。
普雷洛瓦茨透露，Kagi至少有一半成本投入在爬虫和其他搜索数据来源方面。一个详尽的网络索引是搜索引擎帮助用户深入探索互联网内容的基础。而对于希望利用AI直接回答用户问题（由ChatGPT推广开始的模式）的公司，数据的重要性又上了一个台阶。“生成式AI模型本身并不十分聪明，”普雷洛瓦茨说，“要想促成高质量的AI生成内容，同样的搜索索引资源不可或缺。”
搜索初创公司You.com提供的是专注于个性化的搜索引擎和AI助手服务，该公司由Salesforce前首席科学家理查德·索彻（Richard Socher）和Salesforce前NLP首席研究科学家布莱恩·麦肯（Bryan McCann）于2020年创立。2023年，该公司被评为“时代人工智能100强”。
理查德·索彻表示，无处不在的robots.txt文件（该文件设置了爬取规则）迫使初创公司做出复杂的决策。他说这些文件未被认定为具有法律约束力，因此公司可以在不要求登录或会员资格的情况下采集公共数据。“执行爬取任务时，我们会尽量不给任何网站带来过大负担，”他说，“任何网站，如果其robots.txt文件只允许谷歌而不允许其他机构爬取，实际上都是在助长谷歌在搜索领域的垄断地位。”
Neeva是一家由前谷歌员工创立的搜索初创公司，去年被Snowflake Inc.收购，该公司主张“爬取中立原则”，以降低初创公司构建搜索索引的难度。据早前媒体报道，在法院作出历史性判决，认定谷歌非法垄断在线搜索市场后，美国司法部正积极探索补救方案，包括强制这家搜索巨头向竞争对手分享更多数据，甚至考虑拆分该公司。一项备受关注的提议就是要求谷歌分享通过Googlebot采集的数据，或向竞争对手开放其著名的搜索索引。欧盟的《数字市场法案》已经要求谷歌分享部分搜索查询数据。
在前文提到的消费电子产品维修指南网站iFixit的CEO维恩斯看来，谷歌在搜索领域的霸主地位让其在AI赛道更具优势，这是该公司垄断争议的症结所在。“如果把谷歌搜索与其AI业务分开，”他说，“将能化解这一矛盾。”
同样提供有搜索引擎服务的美国软件公司DuckDuckGo表示，搜索领域正在发生的技术变革使“原本就备受垄断争议的谷歌索引问题变得更加突出与棘手”。“在生成式人工智能时代，搜索索引极其重要。”DuckDuckGo公共事务高级副总裁卡米尔·巴兹巴兹(Kamyl Bazbaz)说。DuckDuckGo总部位于宾夕法尼亚州保利，是一家拥有约200名员工的私营公司。
新闻网站Talking Points Memo的拉加佐表示，不论反垄断案件的结果如何，搜索领域正在发生的变化都凸显了内容发行方掌控自己命运的重要性，他们不应过度依赖任何单一科技平台，包括谷歌。“我们的信念是，内容发行方必须与读者建立真正的关系，”拉加佐说，“这才是打造能经受住不同时代考验的内容的方式。”
四面楚歌
从谷歌方面来说，它也面临着一轮新的考验。就在9月初，来自欧洲的消息让谷歌又一次成为焦点。谷歌在针对24.2亿欧元（约合27亿美元）反垄断罚款的上诉中败诉，这项罚款最初由欧盟反垄断机构于2017年实施，是监管机构遏制这家科技巨头主导地位和确保公平竞争的更广泛努力的一部分，特别是在线比价服务领域。
设在卢森堡的欧盟法院此次支持了2017年的裁决，认定这家美国科技巨头非法利用其在搜索引擎领域的主导地位，为其自己的产品提供更高的排名。欧盟委员会认为谷歌利用其在搜索市场的主导地位，以牺牲较小的欧洲竞争对手为代价，推广自己的比价购物服务后，征收了罚款。监管机构认为，谷歌不公平地偏袒自己的服务，阻碍了竞争，违反了欧盟反垄断法。谷歌发言人表示，公司对法院的判决感到“失望”。
谷歌面临的反垄断诉讼已经让公司身处四面楚歌。在美国，2020年，由得克萨斯州牵头，16个州外加波多黎各联袂起诉谷歌，指控其垄断在线广告的基础技术。此案将于明年3月开庭。2021年7月，30余名州检察长联袂起诉谷歌，指控其通过移动设备上的Google Play商店，非法滥用其销售和分发应用的权力。谷歌已初步同意以7亿美元达成和解，但由于担心这未能解决涉嫌的反竞争行为问题，联邦法官尚未批准该协议。2023年1月，司法部针对谷歌的广告科技业务提起单独的反垄断诉讼，此案将于今年9月开庭。此外，联邦陪审团指出谷歌涉嫌利用其在移动设备上的Google Play商店，非法维持应用分发的垄断地位。该案由《堡垒之夜》(Fortnite)的游戏出品商EpicGames提起诉讼，它请求法院下令谷歌允许消费者从任何地方下载应用，并允许开发者自由选择收款方式。谷歌反对这一整改诉求，法官尚未做出裁决。
谷歌 CEO 桑达尔·皮查伊
除了美国之外，其他地方也在审查谷歌的商业行为，比如欧洲。自2010年欧盟委员会首次接到针对谷歌竞争行为的正式申诉以来，谷歌已3次受罚，累积罚金超80亿欧元（86亿美元）。谷歌仍在进行司法抗争，包括里程碑式的针对其安卓移动操作系统运行方式的43.4亿欧元罚款。今年6月，欧盟再度向谷歌发难，指控其偏袒自家的广告科技业务，损害了广告科技竞争对手、广告客户及在线发行商的利益，并要求谷歌剥离该部门。
3月，欧盟的《数字市场法案》生效，适用于谷歌及其他指定的线上经济“守门人”。基于该法案，这些公司不得在平台运营中偏袒自家服务，不得跨服务整合个人数据，亦不得利用所收集的第三方商家数据与他们竞争。欧盟的执行机关欧盟委员会已着手对谷歌的应用商店和搜索引擎是否遵守新规展开调查。
来自美国政府的政策环境大方向对谷歌也不利。当前美国政府将促进商业竞争作为经济政策的核心，此案是该政府针对科技巨头采取的一系列反垄断行动之一。拜登政府加快了唐纳德·特朗普(Donald Trump)执政时期启动的反垄断整治的步伐。在特朗普任期的最后几个月，司法部首度对谷歌提起诉讼，联邦贸易委员会(FTC)也对Facebook提起诉讼，指控其通过收购Instagram和WhatsApp等竞争对手，非法维持个人社交网络市场的垄断地位；FTC力图推动对Facebook母公司MetaPlatforms Inc.的拆分。
拜登政府官员延续了这些行动，它们构成自上世纪90年代美国起诉微软以来针对科技巨头的最大反垄断行动，当年的诉讼最终促使微软在削弱部分业务的基础上与政府达成和解。去年，FTC起诉亚马逊，指控其通过降低购物质量和向卖家收取过高费用垄断电商市场。今年3月，司法部起诉苹果，指控其阻挠竞争对手使用其畅销设备上的软硬件功能。这种腹背受敌的境况对谷歌来说自然是四面楚歌。而成立26载的谷歌是否因此面临拆分风险？科技业界众说纷纭但难有定论。
从垄断到拆分？
谷歌的搜索引擎掌控了近90%的在线搜索市场，司法部和检察官们指控谷歌与科技竞争对手、智能手机厂商和无线网络提供商达成协议，支付数百亿美元以维持对搜索市场的垄断。为换取广告收入分成，苹果和三星电子(Samsung Electronics Co.)等公司同意将谷歌设为浏览器和移动设备上的默认搜索引擎。美国原告方指出，这些交易封锁了关键的市场入口，导致DuckDuckGo或微软的必应等搜索竞品无法获得优化产品和挑战谷歌所需的数据量。
梅塔的裁决指出谷歌非法垄断了一般搜索服务和搜索文本广告（即搜索页面顶部显示的广告）市场。“谷歌的分销协议独占了相当大一部分一般搜索市场，压缩了对手参与竞争的空间。“梅塔说。他发现谷歌依托于其垄断地位，可以不受制约地抬高文本广告的价格。
不过，梅塔的此次裁决仅针对谷歌是否触犯了反垄断法，至于如何纠正谷歌的违法行为，他计划后续单独开庭审理。美国司法部尚未明确将寻求何种整改措施。该机构可以要求将Alphabet的搜索业务与旗下其他产品（如安卓或Chrome）剥离。如果法官下令，这将是自1984年AT&T被拆分以来针对美国公司的最大规模的强制拆分案。
但法官也可以减轻火力，仅要求废止排他性搜索协议。另一种方案是要求谷歌开放其搜索索引的授权，该索引即其构建搜索结果的数据。
AI 搜索引擎 you.com 联合创始人 Richard Socher 和 Bryan McCann
而谷歌对这一裁决的回应是什么呢？据相关报道指出，谷歌方面称计划对梅塔的裁决提起上诉。该公司指出，梅塔在裁决中亦承认谷歌是“美国最好的搜索引擎”，并因其创新投入，具备“卓越的产品质量”。虽然谷歌承认它为在手机和浏览器中预装其搜索引擎付费，但辩称这些协议并无不当，并称这类似于麦片公司与超市就黄金货架空间达成的协议。谷歌代表反复申明，竞争仅“一键之隔”。
虽然反垄断法旨在保护商业竞争，但在美国，一个企业规模大、实力强本身并不违法；通过卓越产品或高效管理获得的市场垄断地位被视为成功的奖励。但一旦垄断者采取不正当手段，意图封堵可能威胁其主导地位的竞争对手，便会触犯法律。任何非法维持垄断的企图都是反垄断执法者的眼中钉，可能招致处罚，甚至被强制分拆。
谷歌在美国司法部的反垄断诉讼中败诉，还给其合作伙伴苹果公司也蒙上了阴影。据报道，这家搜索巨头每年要付给苹果近200亿美元。一个多月前，在法官裁定谷歌为获取默认搜索引擎地位向设备厂商付钱的做法违法当天，苹果股价下跌近5%。
对苹果而言，这一裁决动摇了其近年来依赖的一大收入支柱。但这家iPhone制造商已经在积极转型，减少对传统互联网搜索引擎的依赖。苹果正在重新设计其Siri数字助手，以更智能的方式提供查询服务，并将AI聊天机器人融入其软件生态。该公司相信AI技术的发展最终将接管该市场。这突显了政府与科技行业的博弈：行业行动如此之快，当真正的清算到来时，他们已经在围绕下一代创新进行重组。
观望中前行
苹果正将OpenAI的ChatGPT功能融入其软件，并计划以类似的方式整合谷歌的Gemini聊天机器人。未来，该公司可能会引导消费者从网页浏览器转向AI和Siri。苹果将借此机会与包括谷歌在内的人工智能服务提供商达成新的非独家协议，此类协议不会违反美国政府的监管规定。尽管如此，苹果可能需要多年时间才能通过AI获得显著收益。对谷歌而言，这一裁决有利有弊，因为谷歌此前要向苹果支付巨额费用才能成为默认搜索引擎。
曾在谷歌工作的广告创业者阿里·帕帕罗(AriPaparo)表示：“短期看，这实际上能为他们节省大量资金。”8月5日的裁决未明确谷歌需采取何种措施才能满足政府要求，法官阿米特·梅塔(Amit Mehta)安排于9月举行听证会，讨论有关该问题的单独审判的时间表。不过，有分析者认为，法院不太可能强迫苹果彻底终止与谷歌的搜索引擎合作关系，但可能对现有协议条款进行调整，以促进更加公平的竞争环境。
一种理论情景是，苹果在用户首次启动新设备时将展示不同的搜索引擎选项。此类系统类似于苹果设备在欧盟提供的多种网页浏览器选项。基于这种方法，谷歌仍将是一种选择，但用户也可以选择微软必应或DuckDuckGo等替代方案。目前，iPhone用户必须进入一层层的设置环节，才能更改默认搜索引擎。梅塔在裁决中表示，利润丰厚的谷歌协议削弱了苹果推出搜索引擎的积极性，“尽管苹果实际上已经具备相应的技术实力”。
前谷歌高管约翰·詹南德里亚(John Giannandrea)目前负责苹果AI工作，他手下有一个搜索技术团队。但该团队主要专注于提升苹果的软件内搜索能力，而非谷歌式的全网搜索能力。即便如此，苹果界面仍有望在几个月内发生变化。随着全新AI功能套件Apple Intelligence的推出，人们使用iPhone等设备的方式可能会彻底改变。这些变化包括一种新的“打字问Siri”(Type to Siri)功能，用户不必出声即可调用虚拟助手。用户将能在iPhone、iPad或Mac操作系统的各个角落向AI引擎发出查询指令。
谷歌当然也没闲着，在美国当地时间2024年8月13日，谷歌举行了Made by Google新品发布会，按照惯例，谷歌这场年度活动本应于10月举行，但活动却提前了，比苹果最新产品提前几周发布，AI成为贯穿始终的绝对主角。谷歌此次发布了令人瞩目的新款升级手机、手表和耳机，旨在与苹果和三星电子竞争并提供更多使用人工智能的方式，一些硬件外观上也有变化，比如说，谷歌摒弃了多年来Pixel手机使用的弧形设计。
虽然谷歌在互联网搜索领域占据主导地位，但在科技设备领域长期处于劣势，这就是该公司正在努力将其硬件和软件更紧密地整合的原因所在。在今年早些时候让硬件负责人Rick Osterloh负责谷歌的Android平台后，该公司押注这种更加统一的方法可以将其硬件业务转变为AI增长引擎。
谷歌一直致力于通过植入软件进行弥补，并押注“软硬结合”打造AI业务增长的新引擎。在与苹果、三星和中国品牌竞争多年之后，谷歌已有进步。市场调研机构IDC数据显示，2023年谷歌Pixel手机市场占有率达到4.6%，挤进了美国前五。虽然谷歌手机市场占有率与苹果不在一个量级上，一系列新机也不足以改变全球竞争格局。不过，谷歌作为安卓的管理者和开发者，其AI手机的推出为整个安卓生态的未来发展所带来的潜在影响自然不容小觑，当各大手机厂商都在部署自己研发的大模型之时，如何在面对各方压力的同时，不会沦为用户的备选，这才是谷歌需要用心去解决的问题。
编辑 — 弗尤
© 2025 现代传播 Modern Media Co,Ltd.