本地有逾15萬名聽障人士，手語是其中一種協助他們溝通的方式，而為了讓健聽及聽障人士更有效地表達自己又或與不諳手語者溝通，香港專業教育學院（IVE）多名畢業生專誠開發出一套人工智能（AI）實時手語翻譯應用程式「SignChat」，拍攝手語動作後，透過AI及深度學習進行分析及訓練，讓系統學習手語，並將手語實時翻譯成有意思及合邏輯的文字句子，準確度高達七至八成，成為一道溝通橋樑，團隊期望系統於年底前將詞彙新增至100組，適合不同場所應用。
應用程式由三名IVE軟件工程高級文憑畢業生共同研發，成員之一溫子軒曾在小學時參加合唱團表演，要透過手語將歌詞表達給聽障人士，是他初次接觸手語，而在教師的鼓勵下，希望能憑藉資訊科技幫助社會有需要人士，故與兩位同學構思出畢業作品「SignChat」手機App，讓聽障人士透過手機鏡頭做手語，對方就可在螢幕看到相關的翻譯字句。
「SignChat」主要分為兩個應用程式：負責訓練AI學習手語的意思以及翻譯手語；運用時，首先站在手機鏡頭前一至兩米，在充足光線環境下拍攝上半身所展示出手語動作，透過深度學習訓練AI系統辨認不同手語的意思，其後配合立體影像追蹤技術，以框線追蹤雙手動作，讓AI辨識雙手包括手指、手掌和手腕等約20個檢測點的動作，再經過自然語言處理技術，依據手語的文法，分析不同單字組合的真實意思，形成句子表達出聽障人士的心聲。另外應用程式更具備手語資料庫的功能，不斷新增日常生活中應用到的對話如「早晨，你好嗎？」、「我想食漢堡包」、「放學」等。由於手語的文法與口語或會有所不同，故手機App會運用自然語言處理技術將不同單字組合成合理的句子，好像將「早」及「食」的手語組成，自動演算成「早餐」。現時手機App可辨認約50個簡單詞語及句子，團隊期望今年內於手語資料庫擴充添加至100組詞彙。
歷時一年的研發過程中，最困難之處是如何「訓練」AI系統的學習能力，因為每個人的手勢無論速度、方向都會不同及產生誤差，會直接影響AI系統的辨認，要再輸入更多次，讓AI有更充分機會訓練，系統儲存更充足的數據進行深度學習，確保翻譯準確；至於面部表情亦會影響手語的意思，故團隊特別加入表情分析賦予改良，而收集人臉影像之後，可轉化成數據，以保障私隱。
IVE沙田院校資訊科技系署理高級講師郭譽豪指出，相對於市面上已存在的同類型產品，好像中學生開發的智能手套及手語學習相關應用程式等，早前榮獲「第六屆香港大學生創新及創業大賽」創新項目資訊技術組別三等獎的「SignChat」能於一般智能電話上使用，不需要特定的硬件，擁有更高普及度，亦能省略或簡化學習的過程作直接翻譯，達到即時溝通的效果，達七至八成左右準確率。處於初步開發階段的「SignChat」，希望系統成熟後，可應用於醫院、交通等，方便醫護人員與聽障人士溝通，亦期望未來能發展將語音翻譯成手語的第二套翻譯系統。
