近日，清華大學(xué)機(jī)械工程系智能與生物機(jī)械團(tuán)隊(duì)和中科院北京納米能源與系統(tǒng)研究所團(tuán)隊(duì)合作，研發(fā)出了一種新穎的唇語解讀系統(tǒng)，相關(guān)研究成果在線發(fā)表在《自然·通訊》期刊上。

該系統(tǒng)包含基于原型學(xué)習(xí)的深度學(xué)習(xí)模型和低成本、自供電的柔性摩擦電傳感器。傳感器能夠把唇部肌肉運(yùn)動產(chǎn)生的電信號傳輸?shù)浇獯a系統(tǒng)中，再將電信號轉(zhuǎn)化為用于溝通交流的語言。這項(xiàng)研究測試分析了傳感器的機(jī)械和電氣性能，采集并提取了選定元音、單詞、短語、無聲語音和發(fā)聲語音的唇動信號特征，并證實(shí)無論是否發(fā)聲，嘴唇的運(yùn)動和電信號都具有一致性。

在探究語速和唇動模式等不同參數(shù)對信號特征的影響規(guī)律中，研究團(tuán)隊(duì)提出了一種基于原型學(xué)習(xí)的空洞循環(huán)神經(jīng)網(wǎng)絡(luò)模型，用于唇動信號的識別，在20個(gè)分類（100樣本/類）情況下測試準(zhǔn)確率達(dá)到94.5%。柔性摩擦點(diǎn)傳感器使用柔性聚合物薄膜和柔性電極，人體佩戴舒適，在多種場景中應(yīng)用時(shí)，如移動模型車的方向控制、解鎖大門的身份識別等，該系統(tǒng)都具備良好的可行性。

聲帶損傷或失聲的人群，在日常交流中，常用到手語和唇語，手語卻不是每個(gè)聽眾都能看明白的。清華大學(xué)團(tuán)隊(duì)的這項(xiàng)發(fā)明，通過解讀唇語來幫助失聲人群的溝通交流，具有廣闊的前景，團(tuán)隊(duì)相關(guān)負(fù)責(zé)人表示，這項(xiàng)技術(shù)還面臨系統(tǒng)穩(wěn)定性、可靠性的問題，將會繼續(xù)深入研究，有望為失聲人群切實(shí)提供無障礙語言交流的科技手段。