音視頻同步解決方案已成功應用在智能家居無線可視門鈴中
Time：2020-06-18 10:25:43 ?? Views：252次
我們知道，音頻的采集是有時間機制的。比如采樣率是8000，采樣位數(shù)是8，我們就可以算出采8K字節(jié)的數(shù)據(jù)所用的時間是1s，這樣音頻就可以按照自己的速度播放;而攝像頭每秒采集的幀數(shù)是相對固定的，如OV9650采集速度為平均每秒30幀，這樣即可以算出1/30秒(約為0.03333，具體精度可以根據(jù)要求決定)刷新一幀圖片，這種方式中只要保證源端音頻視頻的采集是同步的就可以，而門禁對講過程中，這種同步是原生的。
與文件形式的多媒體不同的是，可視對講中音視頻流的源端是永遠同步的。所以一種簡單的解決方案是發(fā)送端啟用獨立的音頻和視頻線程，進行音視頻采集，采集后只管往外發(fā)送數(shù)據(jù)，接收端接到數(shù)據(jù)就分別解碼播放，從表面看，這種采用無同步機制多線程解決方案是可行的，但是忽略了一個問題，即音頻數(shù)據(jù)包和視頻數(shù)據(jù)包的大小。包的大小會影響網絡傳輸?shù)乃俣取＿@種差別在網絡條件好的情況下顯示不出來，一旦遇到網絡擁塞或者其他情況就會變得很明顯。
接收端接收到音頻數(shù)據(jù)，直接交給聲卡播放，當前播放的音頻包的時間戳時間傳送給視頻線程;接收到視頻幀，則將其時間戳時間與當前播放的音頻時間戳進行比較，若未達到參考時間，則解碼播放;若達到參考時間，則說明該視頻幀滯后，丟棄該視頻幀，接收下一個視頻幀，循環(huán)往復，直到線程接收到結束命令停止;以上述音頻采樣率和采樣位數(shù)為例，視頻參考時間的計算方法為(以C語言格式的?號表達式表示)：音頻時間戳時間+1/30>視頻時間戳時間?丟棄：播放;在編程實現(xiàn)時，采集端和播放端的音頻和視頻可采用獨立的線程，并利用Qt的信號槽機制實現(xiàn)音視頻線程時間戳的傳遞。本方案已在一種新型的數(shù)字化智能家居門禁系統(tǒng)中得到了應用，嘉松電子科技有限公司所研發(fā)生產的無線可視門鈴也正是應用此方案，并取得良好的效果。
NEXT：低功耗無線藍牙開鎖的優(yōu)勢
PREV：無線可視門鈴的一些注意事項
CHINESE
