全双工实时交互革新,模思智能发布MOSS-Live系统
模思智能正式推出了一款全新的实时交互系统MOSS-Live,旨在推动人工智能的对话能力更进一步。回想2013年的电影《她》中,由女主角Samantha扮演的AI,她能够与男主角西奥多进行自然流畅的对话,理解他的情绪变化,并参与他的生活。时至今日,AI技术的进步让我们距离拥有这样的智能助手更近了一步。近年来,人工智能语音技术不断发展,从语音识别到语音合成,AI不仅能够理解人类的语言,还能输出更自然的声音。然而,当我们试图与AI进行贴近真实的交互时,却经常会面临这样的问题:AI无法准确把握何时发言,何时沉默,导致交流的流畅性受到影响。
模思智能的MOSS-Live试图解决这些问题,具备能够同时倾听和发言的能力,理解语义并在对话中判断何时回应或等待。即便在对话中途发生打断或转换话题,MOSS-Live也能记住之前的讨论内容。此外,它还支持实时视频及屏幕共享,结合图像理解能力,让对话更具上下文感。通过工具调用和后台异步执行的机制,MOSS-Live能在交互的同时进行信息检索、行程规划和复杂任务的完成,并能在结果出现后主动反馈。根据官方发布的基准测试数据,MOSS-Live在多项实时语音交互的指标上领先于其他同类系统如GPT Realtime 2.1和Doubao SeedDuplex。
MOSS-Live的实现依赖于一种新的技术架构,首先需要明白全双工的定义,这指的是双方可以同时发送和接收信息。在电话通话时,双方可以并行发言,而传统对讲机则需要轮流发声。许多语音AI仍然采用后者的交互方式,常通过静音时间判断用户何时结束发言。MOSS-Live的目标是克服这一限制,理解对话中声音的实际意义。通过持续的语义检测和对话状态评估,MOSS-Live能灵活应对何时发声、何时保持沉默,以及如何处理干扰与响应。
在与用户的互动中,MOSS-Live采取了前后台协同的架构。前台模块负责实时感知用户语音、画面和环境声音,主导对话的进行;而后台模块则专注于复杂的推理和任务执行。当用户请求处理深入的思考或多步骤的任务时,前台可以将这些请求传递给后台模块进行异步处理,而不会打断正在进行的对话。前后台之间通过上下文和任务状态的管理实现了有效协作,确保了自然流畅的交互。
MOSS-Live的实际表现已显示在诸多全双工指标上处于行业领先水平,为语音AI的应用场景如会议、出行和跨语言交流等提供了出色的解决方案。