臉書透過 AI 辨識塗鴉牆圖片內容,助視障人士參與親友生活每一刻
Facebook 指出,每天有近 2 億張照片在 Facebook、Instagram、Messenger 和 WhatsApp 等平台上流傳,這些展現親友生活點滴的圖片,全球卻有 3900 萬盲胞、2.46 億位視力受損人士無法輕鬆融入。
「有人說『一張圖勝過千言萬語』,我覺得非常正確,只要有人能描述給我聽。」介紹影片中,一位視障少女對鏡頭微微一笑:「光是簡單的三個詞我就能勾勒出整個畫面,也讓我更有參與感。」
Facebook 無障礙小組花了好幾個月的時間,研發出新工具「自動替換文本(Automatic Alternative Text)」,由 AI 軟體透過內部資料庫中比對、辨識塗鴉牆圖片上的物體,轉換成交通、自然、運動、食物或行為領域的詞彙,再搭配行動載具的螢幕閱讀器讀給使用者聽。
當視障使用者以 iOS 螢幕閱讀器「VoiceOver」瀏覽 Facebook 塗鴉牆時,不但能了解是誰、何時、何地、寫了那些文字內容,也能進一步知道寫著「周末小確幸」的圖片到底是指義大利麵還是比薩,而寫著「我們終於辦到了!」的照片原來是兩個人戴著太陽眼鏡,以戶外的天空和海洋為背景在微笑。
Facebook 工程團隊指出,研發過程最大的挑戰,在於基於類神經網路運作的軟體辨認圖片中最重要的元素,不論是人物、背景或是動作。當 AI 系統認為它判讀照片的準確度達八成以上,就會自動產生對應的文字。
目前這套系統會先在美國、英國、加拿大、澳洲和紐西蘭等英語區的 iOS 系統上試行,不過 Facebook 已承諾會繼續推廣到其他語言及平台上。
除了 Facebook 越來越重視社群平台的友善程度,Twitter 也在 3 月底提供「手動圖片描述」功能,鼓勵 iOS 和 Android 使用者為上傳 Twitter 的圖片提供註解或描述,讓眼睛不太方便的親友也能分享他們的生活片刻。
參考資料:
- Facebook’s tool to help the blind “see” images just launched for iOS
- Facebook is now using AI to describe photos to the blind
留言討論