微软推出可在智能手机上运行的轻量级AI模型Phi-3 Mini

责任编辑:王鹤迦 2024.04.24 15:35 来源:通信世界全媒体

通信世界网消息(CWW)微软最近发布了一款名为Phi-3 Mini的轻量级人工智能模型,该模型被设计为能在智能手机和其他本地设备上运行。这款拥有38亿参数的模型是微软即将发布的三个Phi-3系列语言模型中的首个。其目标是为云驱动的大型语言模型提供一个更经济实惠的替代方案,使得规模较小的组织也能采用人工智能技术。

微软表示,Phi-3 Mini的性能轻松超越了之前的Phi-2小型模型,并且与Llama 2等大型模型不相上下。令人惊讶的是,这款新模型的响应能力接近于那些参数规模是其10倍的模型。

研究团队在论文中指出,这一创新的关键在于他们所使用的训练数据集。该数据集以Phi-2模型为基础,但融入了“经过严格过滤的网络数据和合成数据”。这种独特的数据集构建方式受到了儿童读物的启发,这些读物使用更简单的语言来阐述复杂的主题,从而有效地使较小的语言模型能够发挥更高的效能。

尽管Phi-3 Mini在某些方面可能还无法与云驱动的大型语言模型相媲美,但它在从数学到编程再到学术测试的各项任务中,都展现出了超越Phi-2和其他小型语言模型(如Mistral、Gemma、Llama-3-In)的实力。更重要的是,这款模型可以在像智能手机这样简单的设备上运行,而且无需互联网连接。

然而,Phi-3 Mini的主要限制在于其“事实知识”的广度,这主要是由于其训练数据集相对较小。因此,在“TriviaQA”测试中,它的表现并不出色。尽管如此,对于那些只需要处理较小内部数据集的模型来说,这仍然是一个不小的进步。微软希望,通过推出这样的模型,能够让那些无力承担云连接大型语言模型费用的公司也能接触到人工智能技术。

目前,Phi-3 Mini已经在Azure、Hugging Face和Ollama等平台上提供。微软接下来还计划发布功能更为强大的Phi-3 Small和Phi-3 Medium模型,它们分别拥有70亿和140亿个参数。


通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容