贾扬清点赞LightningAI推出通用模型引擎LitServe什么都好除了慢

Lightning AI刚刚发布了一款号称"通吃所有模型"的服务引擎

——LitServe！

这玩意儿到底有多牛呢？

先听听第一批"小白鼠"怎么说。

AI开发者Kuldeep Singh Sidhu第一时间就上手试了试，结果却让人直呼"卧槽"！

在llama.cpp和vLLM之间，有一小部分大模型是无法部署的。这就是LitServe的用武之地！

听起来很厉害？

但是等等，这哥们儿接下来的话可就有点"打脸"了：

但在我的测试中，它的速度远远落后于vLLM。而且，目前还没有兼容OpenAI API的端点。

哎呀我去，这不就是说 又香又糊 吗？

不过Kuldeep还是给出了一些积极的评价：

它非常灵活，开箱即用地支持多模态和各种模型。随着我们向多模态模型和代理转移，这是一个很好的起点。

看来是有潜力，就是还需要再"练练"啊。

那为啥LitServe会这么慢呢？

Lightning AI官方也看不下去了，赶紧出来解释：

LitServe是为那些想要完全控制内部结构的人设计的。速度方面，vLLM等工具自带内核和KV缓存等优化，而LitServe则需要开发者手动添加这些功能（这是设计使然）。

呃，这不就是说 "为了自由，我们牺牲了速度" 吗？

不过官方也表示，他们有专门的LitGPT来对标vLLM这些"速度怪兽"。看来是想两条腿走路，既要"灵活"，又要"快"。

那么问题又来了， 这LitServe到底是个啥玩意儿？

简单来说，它就是一个基于FastAPI构建的 高吞吐量AI模型服务引擎 。FastAPI是它的优势，也是它的短板。

优势在于：

极度灵活

支持多模态

开箱即用支持各种模型

短板嘛，你懂的， 就是慢呗 。

不过话说回来，随着AI界越来越卷，大家对多模态和Agent的需求也越来越高。从这个角度看，LitServe倒是走在了前面。

只是，正如Kuldeep所说：

但是，它必须变得更快……

在这个"快"字当道的时代，慢一步可就要被甩开好几条街了。

最后，附上LitServe的GitHub地址：

https://github.com/Lightning-AI/LitServe