【身體與科技的靈肉磨合】優化口罩日常溝通效果的MAScreen

隔著口罩還是要給你大大的微笑~
作者:Lian

在疫情持續肆虐下,口罩成了抵抗疫情的一大功臣,也已成為當今日常生活的一部分。在我們逐漸習慣這個新日常的同時,直接將臉孔遮擋住一半的口罩,除限制了配戴者利用表情傳達情緒的方式,產生距離感,更容易造成溝通上的阻礙。特別是對於聽障人士,閱讀唇語和面部表情是輔助他們理解話語內容的一個重要依據,口罩會讓他們與人的溝通變得更加困難。前陣子引發討論的手語翻譯員在記者會上沒配戴口罩的問題就是因為表情是手語重要的表達方式,光靠手勢可能產生混淆。

用科技拉近人與人的距離

為了解決諸如此類的問題,韓國科學技術院(KAIST)的研究團隊開發了一種可以增強配戴口罩時溝通效果的系統—MAScreen。

這種系統透過安裝在口罩內側的光折射感應器讀取被隱藏的面部表情和嘴唇動作,並將其及時轉換為像素形狀、表情符號顯示在安裝在口罩裡的 LED 顯示幕上。MAScreen也可以透過麥克風將配戴者說出的句子轉換成文字,甚至可以翻譯成不同語言,以跑馬燈字幕的方式顯示在口罩上。

透過麥克風和陣列在口罩內部的光折射感應器偵測嘴唇動態和語音,並將其轉譯為LED嘴部形狀、表情符號和文字

MAScreen種共可以辨識和轉譯12種嘴型(根據常使用的元音嘴型等)和11種面部表情(情緒)。

MAScreen可以辨識的嘴型、情緒和口罩上的像素轉譯對照 (上方為嘴型、下方為表情)

這樣的設計不僅能為需要透過唇語及表情辨識對話內容的人士帶來多一點的依據,還能打破口罩產生的距離感,在大家的生活中增添些溫度及趣味呢。