新创业项目曝光：瞄准大模型成本，推理性能将实现数量级提升

作者|Tina

整理|Tina

袁进辉是AI架构界的资深人才，他于2017年创立了一流科技OneFlow。去年大模型爆火后，光年之外收购了OneFlow，此后美团又收购了光年之外。

实际不久前，袁进辉就已经在朋友圈宣布了OneFlow团队近期重新创业的消息。

袁进辉表示，重新创业的计划目标是瞄准大模型推理成本问题。

“计划第一个推出的产品是大模型推理和部署系统，解决AIGC和LLM行业推理部署成本太高的痛点，我们判断这是大模型时代最好的商业机会之一。”

提高大模型推理和部署的效率已成为大模型时代提供基础设施服务的重要课题。在依赖数据、算法和算力的支持下，大模型的能力才能得以充分展现。数据显示，在过去的4年里，大模型的参数量以年均400%的复合增长，而AI算力需求增长超过15万倍。传统以CPU为中心的计算基础设施已经无法满足大模型和生成式AI的新需求。由此引发的成本不断膨胀，成为大模型企业负担沉重的账单。因此，一些领先的厂商正寻求降低成本的方法。

硅基流动提供的方案，跟云厂商之间“本质一样，取决于谁做的更好。而实际上我们的确做得也更好。现在AI算力很分散，公有云只占其中的一小部分，还有就是跨云和多云。”袁进辉回复AI前线询问时表示。

“海外市场主要比拼的还是产品力，”袁进辉表示道，“目前我们正在做大模型推理方案，并且很快会推出极具竞争力的产品，性能上比市面上现有方案会有数量级的提升。”

袁进辉因读书时成绩优异，保送清华大学直博生，师从人工智能领域张钹院士。期间多篇论文在国际顶级会议上发表，在竞争激烈的国际技术评测（TRECVID）中连续多年名列第一。2013年，加入微软亚洲研究院（MSRA），在MSRA期间，专注于研发大规模机器学习平台，以出色的科研和工程综合能力，发明了世界上最快主题模型算法LightLDA及分布式训练系统：只用几十台服务器就能完成之前需要数千服务器才能完成的训练任务。之后创业并打造了分布式学习框架oneflow。

对于这次创业，不少技术圈人士给予了高度评价：“从LightLDA到siliconflow，袁老师教了我们太多，这次siliconflow，我相信还能教我们不少技术，支持就对了！”“分布式系统软件研发难度大，做好技术创新和工程开发还不够，还要懂应用负载、生态系统、商业模式等等。”

AI前线早于2017年就曾跟他探讨过算力对AI的重要性，如今到了生成式AI时代，算力利用问题愈加凸显。我们正好可以借此机会重温一下他的观点：

InfoQ：为什么计算力会成为深度学习的一个突破方向？

InfoQ：计算力具有什么样的商业价值？

InfoQ：计算力在技术上有哪些瓶颈？

InfoQ：为什么软件会成为计算力突破的关键？

InfoQ：长江后浪推前浪，这样一个先进的技术架构生命力会有多久？

InfoQ：是不是只有大公司才需要这样的基础设施？

原文链接：老师木新创业项目曝光：瞄准大模型成本问题，推理性能将得到数量级的提升_生成式AI_Tina_InfoQ精选文章