解析人工智能電視遠(yuǎn)場(chǎng)語(yǔ)音設(shè)計(jì)
2018-11-8 11:22:24??????點(diǎn)擊：
基礎(chǔ)功能硬件實(shí)現(xiàn)架構(gòu)如圖1，采用4麥克風(fēng)條形線性陣列，模擬麥克風(fēng)經(jīng)ADC傳輸音頻信號(hào)給MCU處理。MCU采用ST的STM32F401CDU6作為主控方案，STM32F401CDU6是一顆32位 ARM核芯片，內(nèi)置512 KB Flash/96 KB RAM，低延遲，工作頻率高達(dá)84 MHz,支持寬電壓1.7 V~3.6 V。模塊方案通過(guò)ADC將A-MIC模擬信號(hào)轉(zhuǎn)成I2S傳輸給MCU，MCU通過(guò)USB2.0和TV SOC傳輸音頻數(shù)據(jù)。通過(guò)麥克風(fēng)陣列模塊搭配算法有效實(shí)現(xiàn)聲源定位、波束成形、去混響、降噪、增益調(diào)節(jié)、回聲消除等功能。
1麥克風(fēng)選料
麥克風(fēng)選用靈敏度-25 dB，信噪比74 dB的A-MIC，同時(shí)采用接線外拉的形式，有效避免生產(chǎn)過(guò)程中因高溫焊接導(dǎo)致的麥克風(fēng)靈敏度下降或損壞等問(wèn)題，保證陣列麥克風(fēng)靈敏度的一致性，對(duì)整體算法的精確度有比較好的控制和要求。不過(guò)相應(yīng)的會(huì)對(duì)整機(jī)生產(chǎn)裝配造成難度以及增加人工成本，設(shè)計(jì)之初需要做好防呆設(shè)計(jì)，提高安裝可靠性和效率。
2供電設(shè)計(jì)
模塊采用獨(dú)立的供電，電視待機(jī)時(shí)，可支持通過(guò)模塊待機(jī)喚醒操作。模塊需要區(qū)分電視待機(jī)和開機(jī)狀態(tài)，開機(jī)狀態(tài)下，喚醒詞拉起語(yǔ)音應(yīng)用。待機(jī)狀態(tài)下，喚醒詞本地處理通過(guò)I/O口發(fā)起開機(jī)信號(hào)。因此待機(jī)時(shí)，供電關(guān)閉500ms后重啟，模塊重新讀取USB數(shù)據(jù)信號(hào)是否為空，以此來(lái)判斷主機(jī)狀態(tài)。
3參考信號(hào)設(shè)計(jì)
參考信號(hào)指的是主機(jī)端提供給模塊的音頻參考，作為回聲消除算法的依據(jù)。參考音頻由功放輸出信號(hào)，經(jīng)過(guò)分壓、濾波后傳輸給模塊。根據(jù)芯片取值范圍要求，確保輸入到模塊的參考信號(hào)幅值≤1 Vrms，即圖2中從AMP+/-經(jīng)分壓后到SPK+/-的信號(hào)≤1 Vrms。
這里提到另外一種分壓方式，如圖3，由于R36、R38阻值存在誤差以及喇叭的寄生電容等影響，改變了差分信號(hào)走線的阻抗，使得其對(duì)于共模干擾抑制能力減弱，且容易在參考信號(hào)中引入雜音、破音。實(shí)際測(cè)試對(duì)比兩者播放1kHz測(cè)試音頻時(shí)，該分壓方式產(chǎn)生明顯的失真，如圖4對(duì)比。
軟件設(shè)計(jì)
軟件分本地處理和云端處理兩部分。如圖6，淺灰色部分為本地處理，深灰色部分為云端處理。本地算法包括回聲消除AEC、聲源定位DOA、波束形成BF、去混響DER、降噪NS、自動(dòng)增益調(diào)節(jié)AGC、頻域均衡EQ，最終編碼傳輸。云端主要負(fù)責(zé)對(duì)接收到的音頻進(jìn)行文本識(shí)別、自然語(yǔ)言處理NLP、最終經(jīng)過(guò)業(yè)務(wù)邏輯和技能處理，將結(jié)果經(jīng)TTS服務(wù)器反饋給用戶。其中，在識(shí)別處理的同時(shí)，音頻信號(hào)經(jīng)VPR服務(wù)器進(jìn)行讀取，對(duì)音頻分析特征值，也就是聲紋識(shí)別。聲紋識(shí)別的結(jié)果也提供給業(yè)務(wù)單元處理。
1
回聲消除
自適應(yīng)回聲抵消的基本思想是估計(jì)回聲路徑的特征參數(shù)，產(chǎn)生一個(gè)模擬的回音路徑，得出模擬回聲信號(hào)，從接收信號(hào)中減去該信號(hào)，實(shí)現(xiàn)回聲抵消。圖5給出了單向傳輸?shù)穆晫W(xué)消回聲器AEC的原理圖。圖5中，x(n)代表麥克風(fēng)拾音的信號(hào)，包含了本地聲音和目標(biāo)人聲;y(n)是經(jīng)過(guò)回聲通道而產(chǎn)生的不期望的回聲;r(n)是經(jīng)算法抵消后的目標(biāo)人聲;A口的信號(hào)x(n)疊加有不期望的回聲。
2
聲源定位及波束形成
麥克風(fēng)拾音在實(shí)際應(yīng)用環(huán)境中不僅僅有直接到達(dá)的目標(biāo)語(yǔ)音，還有目標(biāo)語(yǔ)音經(jīng)過(guò)墻面反射、衍射等其他路徑到達(dá)的部分及混響，以及環(huán)境噪音及本地噪音的干擾。聲源定位即依靠分布式麥克風(fēng)陣列，對(duì)接收到的信號(hào)進(jìn)行函數(shù)運(yùn)算，根據(jù)計(jì)算的信號(hào)時(shí)延差獲取目標(biāo)音源的角度方向。波束形成的原理利用麥克風(fēng)陣列的特性，將噪聲進(jìn)行抑制或進(jìn)行非常大的衰減以提高接受目標(biāo)信號(hào)的質(zhì)量。
3
語(yǔ)音識(shí)別
語(yǔ)音識(shí)別的過(guò)程主要由遠(yuǎn)場(chǎng)或近場(chǎng)方式進(jìn)行拾音，由語(yǔ)音識(shí)別服務(wù)器(ASR)和語(yǔ)義理解服務(wù)器(NLP)完成錄音文件識(shí)別和結(jié)果轉(zhuǎn)換。識(shí)別結(jié)果經(jīng)語(yǔ)音合成服務(wù)器(TTS)合成人聲將結(jié)果反饋給用戶。
語(yǔ)音識(shí)別服務(wù)器(ASR)主要將電視端錄入的音頻文件進(jìn)行識(shí)別，將識(shí)別結(jié)果的文本直接發(fā)送給語(yǔ)義理解服務(wù)器進(jìn)行解析，可以分為遠(yuǎn)場(chǎng)/近場(chǎng)以及不同方言進(jìn)行處理。
語(yǔ)義理解服務(wù)器(NLP)，目前使用主服務(wù)器加輔助服務(wù)器的模式進(jìn)行語(yǔ)義理解處理，在語(yǔ)音識(shí)別服務(wù)將文字傳給語(yǔ)義理解服務(wù)器后，使用第三方提供的主服務(wù)器進(jìn)行優(yōu)先解析，識(shí)別結(jié)果進(jìn)行權(quán)重值計(jì)算，權(quán)重值高的識(shí)別結(jié)果直接返回客戶端進(jìn)行處理;權(quán)重值低的識(shí)別結(jié)果返回給康佳語(yǔ)義理解服務(wù)器，由康佳語(yǔ)義理解服務(wù)器進(jìn)行二次處理和轉(zhuǎn)發(fā)，如果主服務(wù)器不能識(shí)別的語(yǔ)句則由康佳語(yǔ)義理解服務(wù)器進(jìn)行識(shí)別，然后根據(jù)識(shí)別結(jié)果的領(lǐng)域分發(fā)給其他對(duì)應(yīng)在該領(lǐng)域處理比較好的其它服務(wù)器進(jìn)行語(yǔ)義理解處理，識(shí)別之后返回康佳服務(wù)器再統(tǒng)一返回客戶端進(jìn)行處理。
語(yǔ)音合成服務(wù)器，主要將識(shí)別結(jié)果和理解處理結(jié)果的文本進(jìn)行語(yǔ)音合成和人聲播報(bào)，可以定義不同的人聲播報(bào)達(dá)到不同的效果，處理結(jié)果為生成一個(gè)音頻文件返回給客戶端。
- 上一篇：充電機(jī)充電鉛酸蓄電池容量大小與溫度是否有關(guān)？ 2018/11/8
- 下一篇：充電機(jī)充電鋰電池是制約智能手機(jī)往前發(fā)展的瓶頸嗎？ 2018/11/8
