企业官网建设流程全解析

妮妮今天我们来聊一聊语音接入大模型的方式也就是我们用语音对大模型进行提问大模型用语音进行回答。小新好的现在常规语音接入大模型的通信方式有两种一是采用websocket长连接方式而另外一种这是通过webrtc的方式。妮妮那么我们应该选择哪种方案来语音接入大模型呢或者说这两者各有什么特点我们需要注意什么小新websocket的接入一般来说通信成本比较低而且websocket是基于面向连接的tcp传输层保证音频数据不会丢包websocket通信成熟稳定协议接入比较简单。传输过程不丢包对于音频后面做ASR也就是音频转文字的过程是非常重要的保证音频转文字的输入正确性。妮妮说了这么多websocket的优点简单可靠稳定。那么websocket有什么缺点吗小新如果要说到缺点就是websocket是基于tcp传输层对抗弱网有先天的不足。面向连接的传输要求一个包都不能丢且tcp有头部阻塞的问题。总结一下它的缺点有两个一是对抗弱网能力不足二是延时相对udp较高。妮妮那么业界有websocket传输语音给大模型的案例吗小新当然有的openai提供的realtime api第一个版本就是给提供websocket的api表现相当的优秀。妮妮那第二种方式语音通过rtc接入大模型有什么优势呢小新rtc的传输层基于udp延时比较低且对抗弱网的能力比较强rtp协议传输音频数据udp层没有头部阻塞问题延时是非常低的。妮妮那rtc接入大模型有什么缺点呢小新那缺点就比较明显了常规的rtc传输音频并没有开启丢包重传也就是NACK一旦丢包只能通过fec或者内部的采样整形补充等手段来弥补。一旦出现批量的丢包几乎是无法逆转的。也就是意味着ASR的输入也就是语音转文字的输入本身不准确会导致给大模型的提问文字就会出问题。妮妮那基于这两种模式各有什么应用场景或者说适用于什么场景小新个人觉得rtc使用的场景更适合于语音会议接入大模型如项目会议所有人的语音都传送到后台进行语音转文字然后送入大模型进行总结在会议结束后通过tools总结出会议纪要。还有就是远程面试通过被面试者的语音送往后台大模型进行总结最后大模型进行总结面试者的特点和通过tools进行评分其的符合程度。原因就是语音会议系统本来就基于rtc进行交互所以直接采用这个方式来承载就好。如声网其承载网就是rtc网络可以直接利用其接入大模型但是同时也存在语音丢包的可能性。妮妮那websocket呢小新websocket接入大模型的应用就多了简单可靠稳定的接入稳定的语音流其完全不丢包ASR服务的输入是准确的。适合非常多的业务一问答系统客户与AI大模型的语音问答系统咨询客服都可以。二翻译系统或者是AI英语教学系统妮妮那我总结一下如果已经有rtc的系统且业务已经在上面运行的可以rtc接入后台大模型其外的其他业务尽可能用稳定可靠的websocket接入方式。小新是的再补充一下如果想解决websocket接入的弱网对抗问题可以考虑用基于quic的webtransport方式其也是稳定可靠的并且能对抗弱网经过测试百分之三十的丢包率其传输完全没有问题完全不影响业务。妮妮好的如果大家觉得有用请一键三连支持点赞推荐和关注一下。谢谢大家。更多内容在公众号《音视频小话》