苹果超级加持RAG技术93倍加速推理

苹果又来放大招了！

这次他们搞出了个叫 "超位提示" 的新技术，简直就是给RAG装上了光速引擎。

不知道大家还记不记得前阵子OpenAI那个GPT-4o mini？能力“ 据说” 接近GPT-4，但价格却大幅下降。

这不，苹果看不下去了，直接祭出大杀器： 超位提示（Superposition prompting） 。

这玩意儿有多牛？用在MPT-7B模型上，在NaturalQuestions-Open数据集上的 计算时间直接缩短了93倍 ！

看到这个数字， 我都怀疑是不是写错了，结果仔细一查还真没错。

这简直是AI界的光速引擎啊！再这么搞下去，以后问AI问题是不是连眨眼的时间都不用了？

让我们来看看这个"超位提示"到底是个啥东西。

简单来说，它是一种新的RAG（检索增强生成）方法，专门为那些基于transformer的预训练大语言模型设计的。

跟传统的"链表式"DAG（有向无环图）不同，超位提示采用了一种叫 "ForkJoin拓扑" 的结构，可以并行处理输入文档。

这么做有什么好处呢？

并行处理 ：多个文档可以同时被处理，大大提高了效率。

路径剪枝 ：用贝叶斯显著性评分来剔除无关路径，既提高了准确性又提升了效率。

平衡位置分配 ：优化了token的位置分配，让模型表现更佳。

路径缓存和并行化 ：进一步加速了推理过程。

有细心网友发现：

"等等，这不就是把GPU的并行计算思路搬到了NLP领域吗？苹果这波操作可以啊！"

确实如此。而且更厉害的是，它还能进行 迭代超位 ，这让模型在多跳推理任务上的表现也有了显著提升。

那效果如何呢？

据研究团队透露，在相同的数据集上，准确率提高了 43% 。不仅如此，它还超越了像Naive LLM-RAG、BM-25、TF-IDF和Contriever这样的基线方法。

更令人惊讶的是，这个方法在各种规模和架构的模型上都表现出色，包括OpenELM、BLOOMZ和MPT。

此外，研究团队表示，在MuSiQue数据集上的测试显示，超位提示在多跳推理任务上的表现反而有所提升。

苹果这次的"超位提示"技术不仅大幅提升了处理速度，还在一定程度上提高了准确性，可以说是一石二鸟。

最后，附上论文链接，感兴趣的小伙伴可以深入研究：

https://arxiv.org/pdf/2404.06910

GitHub代码仓库：

https://github.com/apple/ml-superposition-prompting