声网兄弟公司 Agora与OpenAI 携手 助力多模态 AI 智能体实现实时交互

据声网兄弟公司 Agora 的blog，近日 Agora 宣布对OpenAI Realtime API的支持进一步升级和优化，新增自动问候、混合模态交互、选择性注意力锁定等更先进的功能，这些功能现已全面开放，将为用户与AI 智能体提供更自然的交互体验。

Agora与OpenAI于去年10月达成合作，Realtime API是首个集成到 Agora平台中的多模态大语言模型（MLLM）。该联合解决方案通过降低开发复杂度，同时释放实时互动中的先进功能，助力开发人员打造更自然、响应更迅速且更具人性化的 AI 智能体。

Agora 对话式 AI 引擎现新增以下功能，助力实现人与 AI 智能体的自然交互：

·自动问候：确保实时感知会话状态，并提供自然、友好的初始交互体验。

·混合模态交互：支持在单个交互会话内，实现语音与文本输入的无缝切换。

·灵活的话轮检测选项：为开发者提供对对话流程和话轮转换行为的精细化控制。

·无中断输入：通过选择性注意力锁定技术，可过滤环境噪音与干扰语音，确保交互过程不中断。

这套方案不仅能简化Realtime API的应用流程，还能为多模态 AI 智能体解锁全新功能与应用场景。将 OpenAI的实时语言模型与声网的全球实时网络基础设施（SD-RTN）及定制化开发者工具包相结合后，开发者既能缩短产品上市时间、简化应用开发流程，又能交付更优质的实时对话式 AI 体验。

据悉，机器人技术初创公司Carbon Origins已在通过 Agora的技术以及 OpenAI RealtimeAPI 实现重型设备的无接触操作，提升操作人员的工作效率。

【免责声明】【广告】本文仅代表作者本人观点，与和讯网无关。和讯网站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。邮箱：news_center@staff.hexun.com