視障新知

Google用電腦視覺技術助視障也能獨自路跑

iThome/ 李建興

撰文時間:2021/5/22
  Google和導盲犬學校Guiding Eyes for the Blind公司合作,發布了一個無障礙研究專案Project Guideline,該專案使用機器學習技術,引導視障者在有標線的馬路上獨自慢跑。Guideline系統需要用戶使用特別訂製的腰帶配掛行動裝置,搭配骨傳導耳機,並且只能跑在有油漆或是貼有膠帶的路徑上。
  
  Guideline的核心技術是裝置上分割模型,該模型會使用行動裝置影格作為輸入,並將影格中的每個畫素分割為標線或是非標線(下圖),官方提到,這個簡單的遮罩會應用到每一個影格中,供Guideline應用程式可以不需位置資料,就能夠預測跑步者相對於路徑上標線的位置。使用模型的預測資料,應用程式會向跑步者發送音訊,指引他們保持在直線上,一旦跑步者遠離標線太多,系統也會透過聲音警告跑步者。
  
  在不可預測的環境中,要引導視障者跑步存在許多挑戰,Google提到,系統必須具備足夠的準確性、系統效能,還要有許多訓練資料。由於視障者的行動能力受到限制,在馬路上跑步存在危險性,機器學習模型要足夠精確且通用,才能確保跑步者在不同位置,和各種環境條件的安全性。
  
  除了用戶的安全問題,系統效能還必須至少每秒處理15影格,才能對跑步者提供即時回饋,當跑步的路徑沒有資料服務就只能離線運作,且裝置執行時間必須至少3小時,不能耗盡手機電池。Google提到,為了訓練分割模型,需要用到大量包含標線的道路行進影片,而且為了使模型更加通用,資料多樣性和豐富度都相當重要,必須要收集一天中不同時間、光照、天氣條件和拍攝位置的影片。
  
  由於要滿足延遲和功耗要求,研究人員選擇在DeepLabv3框架上建構標線分割模型,並且利用MobilenetV3-Small作為主幹。考量到行動裝置的處理速度,研究人員將攝影鏡頭影片畫素下降到513x513,作為DeepLab分割模型的輸入,且為了要進一步加速DeepLab模型在裝置上的執行速度,研究人員決定略過最後的升採樣層,直接輸出65x65畫素的預測遮罩,作為後處理的輸入。藉由在兩階段最佳化輸入解析度,研究人員得以改進分割模型執行,並且加速後處理。
  
  收集訓練資料是Project Guideline專案困難之處,研究人員解釋(下圖),訓練資料之所以無法使用公開資料集的道路訓練影像,是因為這些資料集都是在車頂安裝攝影鏡頭,並且車輛駕駛在標線中間所拍攝的影片,這與Project Guideline專案需求差距甚遠,該專案需要的訓練資料,是要在人的腰間掛上攝影機,並且直線前進的影片。
  
  現有的公開資料集都幫不上忙,因此研究人員只好重頭開始創建資料集,以人工收集資料的方法,在道路上手動鋪設膠帶,拍攝在不同時間和天氣條件下,行走於標線周圍的影片,研究人員也建立自定義渲染工作管線,以合成的方式快速產出各種條件的訓練資料。
  
  端到端系統使用深度學習函式庫Tensorflow Lite和機器學習工具ML Kit,可在Pixel裝置上快速執行,Pixel 4 XL上達到29+ FPS,而在Pixel 5上則達到20+ FPS,分割模型在Pixel 4 XL延遲為6毫秒,Pixel 5則為12毫秒,模型的影格成功率達到99.5%,平均交併比(mIOU)則有93%。
  
  Guiding Eyes for the Blind執行長Thomas Panek作為Project Guideline測試者,只使用了一副骨傳導耳機和執行Guideline技術的行動電話,在無輔助的情況下,成功在紐約中央公園慢跑5公里。Google提到,現在該專案仍處於探索階段,他們仍持續改善該系統,除了要收集更多的使用者回饋資料外,也要改進分割模型使其更加通用強健。
  
摘錄:無障礙研究專案Project Guideline應用電腦視覺技術,讓視障者只要配戴手機和耳機,就能獨自在馬路上慢跑
本文出處:iThome(參考網址)
Top