本報訊（記者 雷嘉）根據全國第二次殘疾人抽樣調查數據，中國有超過2700萬名殘疾性聽力障礙人士，他們也期待及時了解北京冬奧會的比賽資訊。2月5日開始，採用我國首個超大規模智能信息模型和虛擬數字人技術，為聽障人士打造的“冬奧手語播報數字人”每天亮相北京衛視的“冬奧賽事集錦”和“一起看冬奧”兩檔節目，幫助聽障人士感受奧運盛會的精彩，用科技為殘疾人平等參與社會生活創造無障礙環境。

　　“冬奧手語播報數字人”是在北京市科委、中關村管委會支持下，由智譜AI、凌雲光和北京廣播電視台聯合打造的，清華大學賈珈教授團隊和中科院計算所陳益強研究員團隊也參與了關鍵技術的研發。這一系統以超大規模預訓練模型為核心技術，自主搭建多模態肢體動作、表情、手指同步採集系統，運用跨模態擬人生成算法、超高精度寫實數字人等行業領先技術，實現冬奧期間賽事新聞的專業手語翻譯播報。

　　“冬奧手語播報數字人”系統完成了《國家通用手語詞典》收錄的8214條通用手語的採集和錄制，並且語法都以聽障群體習慣打法為准，以確保手語播報成果的准確性和專業度。由於當前國內缺少較完善的手語語料數據，研發人員在北京市殘聯及其聾人協會的支持下，邀請超過40余位聾人老師及手語專家進行手語文本轉寫和技術指導，並進行大范圍的聽障群體評測，最終構建了符合國家通用手語規范的國內最大規模多模態手語語料庫，詞匯及語句總規模超10萬。

　　為了構建能夠理解、翻譯語音和手語的智能數字大腦，“冬奧手語播報數字人”系統以超大規模預訓練模型為核心技術，通過語義蒸餾及手語翻譯快編模型，實現新聞播報語音蒸餾成語義高度接近的手語文字，並翻譯成符合手語習慣的語序。最終，手語數字腦可以通過計算機模仿聽障人士的大腦，進行手語播報驅動。

　　為了實現高精度、高自然度的人物形象和手語動作姿態，研發團隊還自主搭建了多模態肢體動作、表情、手指同步採集系統。通過採集多模態動作捕捉數據，運用跨模態擬人生成算法對超寫實數字人進行自然、流暢的驅動和渲染，實現對文本內容的手語播報。其中，通過肌肉綁定技術驅動實現面部採集，結合業內領先的語音識別及高清視頻合成等技術，呈現給聽障人群親切自然的冬奧手語播報服務。“冬奧手語播報數字人的應用展現了我們‘讓機器像人一樣思考’的願景，不僅使聽障人士能快捷獲取冬奧資訊，還將無障礙環境的理念傳遞到數億人群，讓科技更有溫度。”智譜AI的首席技術官張鵬說。

分享讓更多人看到