西风 明敏 发自 凹非寺量子位 | 公众号 QbitAI
深夜重磅！阿里发布并开源首个端到端全模态大模子——
通义千问Qwen2.5-Omni-7B，来了。
仅靠一个一时局模子，就能贬责文本、音频、图像、视频全模态，并及时生成文本和当然语音。
号称7B模子的万能冠军。
你的iPhone搭载的很可能即是它！
面前翻开Qwen Chat，就能径直和它及时进行视频或语音交互：
话未几说，先来看一波才调展示。
在大街上同它视频通话，它能正确识别周围环境，按照你的需求为你推选餐馆：
视频贯穿：https://mp.weixin.qq.com/s/VkJP89bpgZaxaKz-1wav9A
走进厨房，它又化身“智能菜谱”，一步步教导你造成大厨：
视频贯穿：https://mp.weixin.qq.com/s/VkJP89bpgZaxaKz-1wav9A
在多模态任务OmniBench评测中，Qwen2.5-Omni领悟刷新记录拿下新SOTA，远超谷歌Gemini-1.5-Pro等同类模子。
在单模态的、翻译、音频相识、图像推理、视频相识、语音生成任务中，Qwen2.5-Omni的全维度领悟也齐优于访佛大小的单模态模子以及闭源模子。
在seed-tts-eval语音生成基准中，Qwen2.5-Omni展现出与东谈主类水平相配的语音合成才调。
这意味着Qwen2.5-Omni-7B能很好地和全国进行及时交互，甚而能等闲识别音视频热枕。
再来敲要点：
模子止境轻量，手机等末端齐可等闲部署开动，且开源用的是宽松的Apache2.0合同，开导者、企业面前齐可免费在魔搭社区或Hugging Face下载商用
Qwen2.5-Omni-7B一开源，网友直呼这才是真的的OpenAI（doge）。
网友纷繁示意不错径直拿来装到智能眼镜上了：
这可能是智能眼镜的齐全模子。
7B模子的新记录！
面前，在Qwen Chat上即可体验该模子支撑的AI语音和视频通话功能。
更多实例，全部来看~
实测结尾惊艳
起首，Qwen2.5-Omni-7B能胜任免费的数学家教。
它能像东谈主类赤诚通常，看到题目、听懂问题，况兼一步一步耐烦教训。
视频贯穿：https://mp.weixin.qq.com/s/VkJP89bpgZaxaKz-1wav9A
更复杂的论文它也看得懂。
只需分享屏幕，然后将论文自上而下滑动，“给它看一遍”。
它就能粗鲁讲明论文内容。
比如PPT、网页贵寓等，也能找它作念教训。
而且它还有一定艺术视力，比如不错陪着你画画，然后给出教导建议。
约略听你演奏的音乐，给出更好的纠正建议。
咱们还进行了一手实测，在Qwen Chat上每天可使用语音和视频聊天10次。
实测中，模子能很好地相识商品界面和优惠战略。
反应速率也很快，况兼会指引东谈主类陆续问下去、很有耐烦。
需要注目的是，刻下视频通话还仅仅Beta测试版，每次通话限时3分钟。
视频贯穿：https://mp.weixin.qq.com/s/VkJP89bpgZaxaKz-1wav9A
Hugging Face的产物持重东谈主Jeff Boudier也第一时期上手试玩。
模子的英文才调通常出众，而且它不仅回话看到了杯子，还精熟刻画了杯子上的笑貌斑纹。
视频贯穿：https://mp.weixin.qq.com/s/VkJP89bpgZaxaKz-1wav9A
始创Thinker-Talker双核架构
面前官方已放出Qwen2.5-Omni期间Blog和论文。
2024年贺岁片票房榜冠军，2024年度票房榜第12名。
Qwen2.5-Omni聘请通义团队始创的全新架构——Thinker-Talker双核架构
其中，Thinker就像“大脑”，持重处理和相识来自文本、音频、视频等多模态的输入信息，生成高层语义表征以及对应的文本内容。
Talker则更像“嘴巴”，以流式的方法汲取由Thinker及时输出的语义表征与文本，并运动地合成碎裂语音tokens。
具体来说，Thinker基于Transformer解码器架构，交融音频/图像编码器进行特征提真金不怕火。
而Talker聘请双轨自归来Transformer解码器盘算，在考验和推理进程中径直汲取来自Thinker的高维表征，并分享Thinker的全部历史险峻文信息。因此，扫数架构四肢一个紧密有计划的单一模子开动，支撑端到端的考验和推理。
与此同期，团队还建议了一种新的位置编码算法TMRoPE（Time-aligned Multimodal RoPE）以及Position Embedding（位置镶嵌）交融音视频期间
TMRoPE编码多模态输入的三维位置信息，即多模态旋转位置镶嵌（M-RoPE），并有计划十足时期位置，通过将原始旋转镶嵌瓦解为时期、高度和宽度三个部分达成。
另外值得一提的是，从期间层面来看，Qwen2.5-Omni和一般的视频/语音相识模子以偏执相应的视频/语音对话的AI功能，迪士尼彩乐园也有本色性分裂。
在传统语音相识大模子的东谈主机交互场景里，一般欺骗 ASR（Automatic Speech Recognition，自动语音识别）期间，把东谈主类语音调整为翰墨文本，随后将其交给废话语模子处理，最终身成的内容借助 TTS（Text-to-Speech，语音合成）期间滚动为语音反馈给用户。
而视频相识模子是基于图片、视频进行大模子相识，并以翰墨时局输出反馈。
这两种模子均属于互相孤独的单链路模子。在一些AI应用中，甚而会串联多个模子来达成访佛功能，如斯一来，链路变得更长，效率大打扣头。
Qwen2.5-Omni-7B的特色在于，它原生支撑视频、图片、语音、翰墨等多模态输入，并能原生生谚语音及翰墨等多模态输出
也即是说，一个模子就能通过“看”、“听”、“阅读”等多种方法来抽象念念考。
是以Qwen2.5-Omni得以在一系列同等限制的单模态模子巨擘基准测试中，拿下最强全模态性能，在语音相识、图片相识、视频相识、语音生成等领域的测评分数，均起首于故意的音频（Audio）或视觉话语（VL）模子。
抢先看到Apple Intelligence？
一个月前，阿里公开证明与苹果相助，晓示通义千问将为国行iPhone用户提供AI功能，此音尘如故走漏，便在科技圈激励热议。
而此次Qwen2.5-Omni开源，即是奔着端侧部署来的，7B尺寸使其具备径直镶嵌手机的可行性，仿佛提前看到了Apple Intelligence，让人人看到多模态大模子上手机齐能有哪些结尾。
不仅仅苹果，据量子位了解，这种端侧部署才调已诱骗超90%国产手机品牌接入通义千问，包括OPPO、vivo、荣耀、传音等，还有繁密汽车品牌、AI硬件产物弃取与之联袂。
为啥齐选通义千问？
梳理通义千问的最新发展动态，谜底便不难相识。
起首，通义千问Qwen面前已稳居全球最大AI大模子族群。
仅在最近一个月的时期里，就接连推出了一系列具有竞争力的模子：推理模子Max旗舰版QwQ-Max-Preview、视频生成模子Wan 2.1、推理模子QwQ-32B、视觉话语模子Qwen2.5-VL-32B-Instruct……
执行上，2023年于今，阿里通义团队已累计开源200多款模子，涵盖从0.5B到110B全尺寸范围，模子类型褪色文本生成、视觉相识与生成、语音相识与生成、文生图及视频模子等全模态领域，应用场景也极为丰富。
在海表里开源社区中，通义千问Qwen养殖模子数目更是一齐飙升，现已逾越10万，杰出Llama系列。
证据Hugging Face 在2月10日发布的最新全球开源大模子榜单，排行前十的开源大模子无一例外，全部是基于通义千问Qwen开源模子二创的变体模子。
其次，阿里巴巴通过开源等一系列积极举措，见效构建起一个丰富且活跃的大模子生态。
阿里不仅将开源进行到底，更向大模子公司提供了全目的的职业支撑，其中包括算力资源以及开导器具等，阿里云已成为中国大模子领域的各人AI算力底座。
舍弃2025年2月中旬，阿里魔搭社区ModelScope的模子总量已超4万个，职业超1000万开导者。
那么通义千问Qwen团队下一步要干啥？
期待听到您的反馈，并看到您使用Qwen2.5-Omni开导的更始应用。在不久的改日，将效能增强模子对语音指示的罢职才调，并进步音视频协同相识才调。还将握续拓展多模态才调范围，发展全面的通用模子。
感敬爱的友友不如全部来上手试试吧~
Qwen Chat：https://chat.qwenlm.ai
Hugging Face：https://huggingface.co/Qwen/Qwen2.5-Omni-7B
ModelScope：https://modelscope.cn/models/Qwen/Qwen2.5-Omni-7B
DashScope：https://help.aliyun.com/zh/model-studio/user-guide/qwen-omni
GitHub：https://github.com/QwenLM/Qwen2.5-Omni
Demo体验：https://modelscope.cn/studios/Qwen/Qwen2.5-Omni-Demo