Elad Gil是硅谷传奇连续创业家、投资人。作为创始人：MixerLabs（Twitter），Color Health 。作为投资方：Airbnb，Airtable，Anduril，Coinbase，dbt Labs，Deel，Figma，Gitlab，Gusto，Instacart，Notion，Pinterest，Retool，Rippling，Samsara，Square，Stripe，TripActions 等。
MixerLabs是他担任联合创始人及首席执行官的公司，后被Twitter收购。MixerLabs运营GeoAPI，这是早期面向开发者的平台基础设施产品之一。他还在Google工作多年，创立了移动团队，并参与了团队的各个创立阶段。参与了3项收购（包括Android团队），并且是Google Mobile Maps和其他关键移动产品的最初产品经理。在加入Google之前，在硅谷的多家公司担任产品管理和角色。此外还在麦肯锡公司工作过。
他拥有麻省理工学院的博士学位，以及加州大学圣地亚哥分校的数学和生物学学位。他还是知名创业书《高增长手册》（High Growth Handbook）的作者，联系凯瑞（微信：pkcapital2023）索取400页PDF版本。
在大多数市场中，时间越长，事情就会变得越清晰。在生成人工智能（“AI”）中，情况恰恰相反。时间越长，我认为我真正理解的就越少。
LLM Questions LLM问题
从某种意义上说，有两种类型的 LLMs - 前沿模型 - 处于性能的最前沿（想想 GPT-4 与直到最近的其他模型），以及其他所有类型。在 2021 年，我写道，考虑到所需的资本规模，我认为随着时间的推移，前沿模型市场将成为寡头垄断市场。与此同时，非前沿模型将更多地由商品/定价驱动，并会出现更强大的开源模型（请注意，这是 Llama 和 Mistral 之前的发布）。
事情似乎正在朝着上述方向发展：
前沿LLMs很可能是一个寡头垄断市场。当前的竞争者包括 OpenAI、Google、Anthropic 等闭源模型，或许还有 Grok/X.ai，以及开源方面的 Llama (Meta) 和 Mistral。当然，这个列表可能会在未来一两年内发生变化。前沿模型的训练成本越来越高，而商品模型的价格随着性能的提高而逐年下降（例如，现在训练 GPT-3.5 可能比 2 年前便宜约 5 倍）
随着模型规模变得越来越大，资金越来越多地主要来自云提供商/大型科技公司。例如，微软向 OpenAI 投资了 100+亿美元，而 Anthropic 在亚马逊和谷歌之间筹集了 70 亿美元。 NVIDIA 也是多家大模型公司的重要投资者。相比之下，这些公司的风险投资只是沧海一粟。随着前沿模型培训成本的激增，新兴资助者主要集中在大型科技公司（通常有强烈的动机为自己的收入资助该领域 - 即云提供商或 NVIDIA），或希望支持当地冠军的国家（例如阿联酋的猎鹰Falcon）。
值得注意的是，这些云提供商的投资规模与实际云收入相比相形见绌。例如，微软的 Azure 每季度产生 25B 美元的收入。微软对 OpenAI 的约 10B 美元投资相当于 Azure 6 周的收入。人工智能最近对 Azure 收入产生了巨大影响。事实上，Azure 在 2024 年第二季度的 AI 增长了 6 个百分点，这意味着它的年增长为 5-6B 美元（或每年 OpenAI 投资的 50%！）。虽然收入不是净利润，但这仍然令人震惊，并且表明随着时间的推移，云巨头有理由为更大规模的模型提供资金。
与此同时，Meta 在 Llama 模型方面做出了出色的工作，最近宣布了 20B 美元的计算预算，部分用于资助大规模模型训练。
Questions on LLMs: 关于LLMs的问题：
云提供商是否能够在前沿制造出少数玩家，并通过其提供的计算/资本规模锁定寡头垄断市场？云提供商什么时候停止资助新的LLM基础公司而不是继续资助现有的公司？云提供商而非风险投资人，很容易成为基础模型的最大资助者。考虑到他们因联邦贸易委员会的行动而在并购方面受到限制，以及来自云使用的收入，他们这样做是合理的。这可能导致/已经导致市场动态的一些扭曲。这对LLMs的长期经济和市场结构有何影响？这是否意味着由于新进入者缺乏足够的资本和人才，我们很快就会看到新前沿LLM公司的终结？或者他们是否继续资助大型模型，希望其中一些模型能够在他们的云上转化为收入？
开源软件系统（OSS），是否会改变AI中的一些经济模式，从基础模型转向云端？Meta是否会继续资助开源模型？如果是的话，例如Llama-N是否会赶上最前沿？一个完全开源的模型在AI的最前沿表现出色，有潜力将AI基础设施的一部分经济份额从LLMs转向云和推理提供商，并减少其他LLM基础模型公司的收入。再次强调，这很可能是一个寡头市场，没有单一的赢家（除非是AGI），但这对于如何思考云和基础设施公司在这个市场中的相对重要性有着重大影响（当然，两者都可能非常重要！）。
Llama2 使用条款中最精彩的事情之一是，如果您的用户数量少于 7 亿，则可以开放商业使用许可证[1]。这显然阻止了一些大型竞争对手使用他们的模型。但这也意味着，如果你是一家大型云提供商，你需要向 Meta for Llama 支付许可证费用，微软已经这样做了。尽管 Llama 是开源的，但这为 Meta 控制（和货币化）Llama 创造了一种有趣的方案。
- 我们如何考虑模型的速度、价格和性能？可以想象，即使是非常慢但性能卓越的模型，与人类正常速度相比，可能会非常有价值。最新最大的双子座模型（Gemini models ）似乎正在朝着这个方向发展，具有超大的100万以上的标记上下文窗口，就像 Magic （为软件工程师开发AI助手，Elad Gil 投资）这家初创公司，在2023年6月宣布了一个500万标记窗口。大的上下文窗口和深度理解确实可以改变我们对人工智能使用和工程的看法。在另一方面，Mistral 展示了小型、快速和廉价的推理性能模型的价值。
- 基础模型的架构如何演变？具有不同架构的代理模型是否代表LLMs的未来？其他形式的记忆和推理何时发挥作用？
- 政府是否支持（或直接采购）区域人工智能冠军？各国政府是否会像航空航天领域的波音公司和空客公司一样，在本地型号上的支出有所不同？政府是否希望支持反映当地价值观、语言等的模型？除了云提供商和全球大型科技公司（例如阿里巴巴、乐天等）之外，潜在资本的其他主要来源是国家。现在欧洲（例如Mistral）、日本、印度、阿联酋、中国和其他国家都有优秀的模型公司。如果是这样，可能会有一些仅靠政府收入创建的价值数十亿美元的人工智能基础模型区域公司。
- 中国会发生什么？人们可以预见，中国LLMs将得到腾讯、阿里巴巴、小米、字节跳动和其他公司的支持，对本土LLMs公司进行大规模投资。值得注意的是中国 开源模型的趋势。例如，来自阿里巴巴的 Qwen 在 LMSYS 排行榜上排名很高。
- 马斯克的X.ai 将来会怎么样？
- 谷歌到底有多强？谷歌拥有创造令人惊叹的事物的计算能力、规模和人才，而且组织严密、行动迅速。谷歌一直是世界上第一家 AI-first 公司。
Infra companies 基础设施公司
有几种类型的基础设施公司，它们非常不一样。例如，Braintrust提供评估、快速实验场、日志记录和代理，帮助公司从“基于感觉”的AI分析转向数据驱动。Scale.ai和其他公司在数据标注、微调等领域发挥着关键作用。
人工智能基础设施中最大的不确定性和问题与人工智能云堆栈及其发展方式有关。看来初创公司和企业对于AI云服务的需求有很大不同。对于初创公司来说，新的云提供商和工具（例如 Anyscale、Baseten、Modal、Replicate、Together 等）似乎正在采取一条有用的道路，从而实现快速采用和收入增长。
对于有特殊需求的企业来说，存在一些悬而未决的问题。例如：
当前的人工智能云公司是否需要为大型企业构建其产品的本地/BYOC/VPN 版本？看起来企业会优先考虑（a）使用他们已经有预算的现有云市场积分来购买服务（b）会因为延迟和性能问题而不愿意从他们的Web应用/数据托管的地方（即AWS，Azure，GCP）往返传输，以及（c）会关心安全性、合规性（FedRAMP，HIPAA等）。短期内，初创企业的AI云市场可能与长期企业需求有所不同。
AI 云的采用有多少是由于 GPU/GPU 制裁受限所致？在主要云提供商缺乏 GPU 的情况下，各公司都在争先恐后地寻找足够的 GPU 来满足自己的需求，从而加速采用自己的 GPU 云的新初创公司。 NVIDIA 可能采取的一项潜在策略是优先将 GPU 分配给这些新供应商，以降低超大规模厂商的议价能力并分割市场，并通过初创公司加速行业发展。 GPU 瓶颈何时结束？这对新的人工智能云提供商有何影响？似乎主要云上 GPU 短缺的结束对于那些唯一业务是 GPU 云的公司来说是负面的，而如果这种情况发生，那些拥有更多工具和服务的公司应该会更容易过渡。
像 Groq 这样的新型 AI ASICS 如何影响 AI 云？
还有什么可以整合到人工智能云中？他们交叉销售嵌入和 RAG 吗？持续更新？微调？其他服务？这对数据标签商或其他提供重叠产品的人有何影响？与通过云相比，什么可以直接整合到模型提供商中？
AI云中哪些公司会追求哪种商业模式？
值得注意的是，人工智能云世界实际上有两个细分市场（a）初创公司（b）中型市场和企业。似乎GPU云商业模式适用于初创公司（其云需求较少），但对于大型企业而言，采用GPU云平台更可能是因为几大云平台受到限制。提供开发工具、API端点和/或专门硬件等公司，或其他方面是否会演变成另外两个类似的模式 - （a）“用于人工智能的Snowflake/Databricks”模式或（b）“用于人工智能的Cloudflare”？如果是这样，哪些公司采用了哪种模式？
新的人工智能云有多大？像 Heroku、Digital Ocean、Snowflake 还是 AWS 一样大？此类公司的产出规模（outcome）和利用率是多少？
人工智能堆栈如何随着超长上下文窗口模型的发展而发展？我们如何考虑上下文窗口和提示工程、微调、RAG 和推理成本之间的相互作用？
FTC（和其他监管机构）如何防止并购对这个市场产生影响？至少有十几家公司正在开发与人工智能云相关的产品和服务 - 这个赛道目前有点拥挤了，未来如何考虑退出？人工智能云自己是否应该 consolida 在一起，以巩固市场份额和提供的服务？
Apps questions 应用程序问题
ChatGPT 是许多 AI 创始人的发令枪。在 ChatGPT 之前（以及在 Midjourney 和 Stable Diffusion 之前），大多数科技人员并没有密切关注我们现在正在经历的 Transformer/Diffusion 模型革命和混乱。
这意味着最接近该模型和技术的人——即人工智能研究人员和基础设施工程师——是第一批离开并创办基于该技术的新公司的人。远离核心模型世界的人们——许多产品工程师、设计师和产品经理，直到现在才意识到人工智能的重要性。
ChatGPT 大约 15 个月前推出。如果你需要 9 到 12 个月的时间来决定辞去工作，几个月的时间来完成它，并花了几个月的时间与联合创始人集思广益地提出创业想法，那么我们应该会开始看到一波应用程序开发人员现在/很快就会出现。
- B2B 应用程序。在新兴的 B2B 应用浪潮中，哪些重要的公司和市场将是哪些？与初创企业相比，现有企业将在哪些方面获得价值？
- C端消费者。可以说，许多最早的人工智能产品都是消费者或“产消者”——即用于个人和商业用例。 ChatGPT、Midjourney、Perplexity 和 Pika 等应用程序就是这样的例子。也就是说，为什么人工智能生态系统中的消费者构建者如此之少？纯粹是之前提到的时间差吗？ 2007-2012 年的社交产品群体似乎已经过时，打造下一波人工智能消费浪潮需要新鲜血液。
- Agents代理。代理市场可能会出现很多很多机会。但哪些才是值得重点关注的产品领域？
这是我一生中技术领域最激动人心、变化最快的时刻之一。看看每个人都建造了什么将会很有趣。期待对上述问题的思考。