以下文章来自硅星人Pro，作者：王兆洋
500 行代码VS估值 5 亿
1 月 25 日，自从宣布创业后就备受社区瞩目的贾扬清，在推特上展示了一个对话式搜索引擎的 demo。
这个 demo 基于他创办的LeptonAI提供的框架，“只用 500 行 python 代码”就开发完成。在邀请大家体验同时，贾扬清也表示后续计划把代码开源。在介绍 Lepton Search 的一系列推特里，他还艾特了 Perplexity——估值已经达到 5.2 亿的当红对话式搜索公司，并表示受到他们优秀产品的启发。
而这也很快吸引来 Perplexiyt 的注意，但引来的并不是什么好话。
其创始人 Aravind Srinivas 在推特上很快转发贾扬清的推特并表示：“太棒了，看到 Perplexity 成为一些融资动作的参照物，包括前 Meta 和阿里巴巴高管都这样做。这说明 Perplexity 的影响力不局限于产品本身，而是辐射到了整个科技生态和行业发展，令人振奋！”
翻译过来就一句话：Lepton 为了融资而抄了我 Perplexity 尊贵的前端代码。
而这条推特下面不乏煽风点火的评论，有人说 Aravind 你说的真委婉，这不就是抄袭了。但也有人指出，Aravind 是反应过度，Lepton 根本不是个做搜索的公司，人干嘛要盯着你借鉴。
贾扬清也迅速回应，感谢了对方“友好的评论”，然后立刻表示咱们开源见。
之后加速写代码，居然一个周末不到真就把代码开源了。
然后这 500 行代码在周日上线 Github，一天后拿到 Githhub 热榜第一，第二天继续热榜。星星数不断增长，目前三天已经有了4500 颗星星。
而从人们的讨论看，有人已经基于它拿到了一些黑客松冠军，它还被一款聚焦开发者版的Perplexity产品集成，其 CEO 夸赞这给自己带来速度大幅提升。许多体验和对比了 Lepton 和 Perplexity 的用户也夸赞了 Lepton 的体验。而且它还在不停迭代功能，两天不到，贾扬清和团队成员就给它增加了包括中文在内的多语言支持，把对话结果分享到推特和 Facebook 的功能，以及更多的 API 合作。
简单体验它后，我发现它确实用户界面更加简洁，速度也快很多。当然，它的功能整体也更简单，比如在每一次回答后，它就结束，再次输入开启的是新一轮回答，而非持续的对话。包括提问的长度识别，中文的识别等一些小 bug 也依然存在。
但他显然打破了我对 Perplexity 的一部分滤镜。
Perplexity 的护城河被捅破了？
在开源代码后，贾扬清不忘再次艾特 Aravind，表示期待合作，可以让对方体验一下真正“快速，云原生和用户体验友好的平台”。但这一次 Aravind 没再说什么奇怪的话。
事实上这 500 行代码以一种最粗暴的方式把所谓十几年来第一次能挑战谷歌的创新——对话式搜索的真实技术含量展示了出来。
从代码入手看一看，它一共就是几个步骤：1.获取查询，说白了就是得到用户输入的文字、2.抓取用户输入关键字相关的搜索页面、3.解析网页文本、4.基于文本构建提示词、5.把提示词递交给大语言模型、6.把大语言模型生成的结果返回给用户。
当然它还有些具体区别，比如搜索的来源——是使用 Bing 或 Google 的 API，还是使用一个自己的数据库；背后大模型上的选择，是Mistral 还是Llama这些开源的，还是直接使用 OpenAI 的 API，或像 Perplexity 还有自己的几款模型供选择；以及大模型在其中起作用的方式，是直接让它根据需求生成回答，还是经过一定的 Prompt 优化。
不过这样看起来你很快会明白，它本质上是关于更好使用别人 API 的技术。
也就是说，这一切还是建立在传统搜索引擎提供的检索能力之上——想要替代 Google 的 Perplexity 是建立在 Google 的 API 之上的。它们本质上属于 RAG 技术的应用，只不过，R 更多来自对其他人 API 的系统性掌握，而G似乎可以更多归功于自己的能力。贾扬清则表示，他在开发过程里发现在RAG里，R（检索）比G（生成）的重要性更大。这样看来，目前 Lepton Search 的 demo 之所以一开始没有做多轮对话的能力，也似乎因为这个思路。展示R的能力更加重要。
Perplexity 同样沿着相似的技术思路，而在一些技术人士看来，他们的根源可能来自一篇 Google 和 OpenAI 合作的论文——是的，今天看起来可能不再可能一起写论文的两家公司，最后一次合作是对话式搜索的技术原理。
在这篇《FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation》的论文里，他们提出了一种 FreshPrompt 的技术思路，也就是为了解决预训练模型对正在发生的事情的无知，要把它与实时搜索能力结合，而结合的方法是通过提供一种 Prompt，这种 Prompt 本身是在按照发布日期，关键信源等各种要素来为大模型提供上下文信息，并通过一组优化的 Prompt 来引导和改善大模型生成更实时更好的回答。
这种技术思路其实也在指向 R 的重要性可能大过 G。
Perplexity 的网页版事实上诞生于这个论文之前，但据一些研究它产品逻辑的人表示，这个论文提出的方法也被用到后来 Perplexity 迭代后的产品中。
而只要看看这张论文里给出的 prompt 示意图，这种技术方案之下，前端长成什么样最终似乎就是一个大概率的雷同。
说了这么多，其实你会发现，如果换成一个其他的基于“别人”的 API 和大模型能力，以及公开的论文给出的技术路线而开发的应用，可能这“抄袭”的指责只会让人一笑而过。Perplexity 的指责似乎也是一样的事情，贾扬清的 500 行代码成了破解独角兽身份带来的技术幻觉最好的解药。
醉翁之意
但没人否认的是，Perplexity 依然是一款好产品。
然而一款充满新设计的产品的好，在于功能体验的量级上的领先，它来自对一整个系统的好品味与一个个细节积攒起来的优化。对 Perplexity 来说，对大模型和召回技术的理解，以及它们与应用的结合才是它快速成功的关键。而不在于一个单点的而且事实上也并不新鲜的概念。
在把理念通过简洁的前端实现后，Perplexity 真正抓住用户的是对产品的打磨进而将对话能力与强大搜索引擎的准确性相结合。这背后是各种细节，品味，经验积累的最终结果。因此，它的护城河必然和时间成正比，从今天人们对它的好评也能看出——速度快，体验丝滑，都是最朴素的感知，也是最容易替代的感知，因此在面对一个速度甚至更快的 Lepton 开源产品 demo 时，弦自然绷紧了。
而这也带来整件事里真正有意思的地方：Perplexity 暗示 Lepton 是抄袭其实在揣着明白装糊涂。这种做法的一个表面上的作用，自然是“掩盖”上面讲的技术门槛并不高这件事。而除此之外，装糊涂其实还有更重要的理由。
贾扬清在去年离开阿里后，创业初期其实十分低调。但这名开发了 Caffe，核心参与了 Tensorflow 和 Pytorch 的框架大神，身经百战的原阿里副总裁，显然对自己和团队的技术能力并不低调。在 9 月时我在硅谷听他创业后的第一次公开分享，他已经在展示自己的 Lepton 服务是大模型基础框架服务里速度第一的存在。只不过，现在看起来当时 Lepton 仍处早期，对更多模型的适配，对算力的建设等都在解决当中。
而进入 2024 年，贾扬清和 Lepton 开始逐渐高调。这一次 Lepton Search 的发布像是一个转折点。这家创业公司正式开始进入战场。
在这条 Lepton Search 的发布推特引发讨论的同一天，AI 创业公司 Martian 的一份开源大模型 API 推理榜单发布，对多款推理产品在主要的开源模型上的推理成本、速率和吞吐量等指标做了测试，而 Lepton 拿下多项关键指标第一。在另一个由 ArtificialAnalysis.ai 发布的 API 推理榜单中，Lepton 也拿下了 Mixtral 8x7B 这个模型的每秒处理 Token 数的第一，并且是唯一一个支持 Mixtral 32k 上下文窗口的服务。“它的价格也极具竞争力”，这个榜单这样说。
而在贾扬清转发的榜单图中，Lepton 高高的圆圈旁边，被它超过的一个小圆圈正是 Perplexity。
是的，Perplexity 才不只是一个应用公司。
在 Perplexity 的对话搜索产品之外，Perplexity Lab 其实和 Lepton 一样，也是一个 API 推理服务商，比如最近刚发布的 CodeLlama-70B-Instruct，就可以购买 Perplexity Lab 的 API 来直接使用，这也是最近 Perplexity 真正在发力的重点，它的社交媒体等账号在大力推广的是这个服务。
相比 Perplexity 这个搜索应用，Lepton 无疑直接冲击的是后面这部分的付费用户。
这对 Perplexity 有多重要呢？
事实上今天的 Perplexity 有点挂羊头卖狗肉的意味：
用一个极具话题度（VC 可以参与共谋）的 toC 产品吸引融资弹药，然后补贴到 API 烧钱竞赛中去。因为前者面对的是今天商业世界里最成熟的全家桶＋广告的搜索商业模式，而后者则是在新周期里重演一遍被验证多次的规模效益的机会——先烧钱拿到市场份额，再提高收费。
也就是说都是关乎 API，一个是成本，一个是收益。一个是被数据方控制生死的应用，一个是掘金潮里卖铲子的生意。你说哪个真正更重要呢？
而且，如果去看一看 Perplexity 创业初期的故事，它最早做了一款口碑不错的推特内容的搜索，后来正因为马斯克收购推特后大幅提高 API 价格而被迫放弃。这些经验 Perplexity 显然是吸取了，不想再犯一次。
所以装糊涂的第二层目的就是借着先占据的领先和 C 端产品的存在感发起一下进攻，骚扰一下在基础设施端未来肉眼可见必有一战的强敌。
看来所有人都意识到，在 AI 基础设施层面，在所谓的 API 框架层面，一场更持久的战争要来了。
