智慧製造2019.12.24

使用者心有所想,就能事有所成 _ 直覺式HMI人機介面

飛飛

機器人 服務 創新

 

如何既有效又有效率地控制 Robot Arm 工業機器人,一直是產業界的目標之一;有效指的是迅速成功傳達指令,效率則為工業機器人的反應速度與精準性。

 

Human Machine Interface 人機介面,即為使用者與機器溝通平台,將我們心中所想,傳達給(工業)機器(人),並由其完成動作。最早期的 HMI 人機介面,就是透過程式下指令。後來,隨著軟體發展,開始注重親和的使用者介面後,從軟體內的欄位輸入數據參數,成了廣為採用的方式,簡化了人機之間的溝通語言。

 

隨著工業機器人學會愈多花招,動作的精準度也愈發細緻,再加上Cobot 人機協作的需求,顯然數據參數的溝通介面開始顯得笨拙又不實用。畢竟,你告訴工業機器人,「向左 23.5公分」、(然後)「向下2.7公分」等指令,看來是很精準,但使用者必須先測量實際距離多少公分或角度度數等數據,實際上可能使用者比工業機器人還忙。

 

直覺式人機介面 是目前眾所追求。親和很有效,直覺式則更添效率。

 

GUI

 

Graphic User Interface 圖形使用者介面,主要是改變文字溝通方式,採用圖形為溝通語言。對大部分的人來說,圖形比文字更為直覺。GUI 即主要透過 Icon 圖示、旋鈕、尺標、箭頭符號等圖形,使用者經觸控或滑鼠點選即能下指令。此外,經GUI 下指令時,使用者不需要測量數據參數,也不用人工記憶下來,只需拖曳游標於刻度之間,對照畫面中Robot Arm動作定位後停格,最終系統即能自動記憶數據參數;如此,當使用者再度播放(相同指令)時,工業機器人就能重複一樣的動作。

 

再深度一點,GUI 目前還可應用於更簡單的使用者設定。我們可將某些特定動作預先設定好後儲存,並於軟體畫面中以不同形狀或色彩的圖形為所儲存預設動作的圖形代表指令。那麼使用者只需如同拼圖或積木般,拼接或堆疊後,即能基於預設動作的選項,自由設定各種不同的連續動作。如此,既適於新人訓練,也能隨著使用者經驗的累積,愈發降低動作設定所需時間及複雜程度。

 

Voice Command

對人類而言,口頭命令無疑是最直覺的方式。Speech recognition 的技術發展,造就了 Voice Command 在HMI的可應用性。語音指令應用於Robot Arm方面,偏向非量化的動作,像是:挑撿紅色、抓取圓球等;或是,預先設定Mobile Robot抓取特定位置的物件,再搬運往返特定的A點與B點之間的連續動作,然後口頭下令「搬運」,即能抓取特定位置的物件後,從A點搬運到B點後返回。工業機器人的工作領域較具空間限定性,其動作也較具可預期的預設性,因此Voice Command頗適合作為其人機介面的選擇。

 

Voice Command 也不限於Natural Language 自然語言,用拍手次數、口哨聲等也都可以成為口頭命令。此外,AI 在語音辨識上的發展,當然也可能應用於HMI。即使以不同語言口頭命令,都可透過機器翻譯自動轉換時,那麼使用者也就能不限國籍;或者,透過聲紋辨識,鎖定可口頭下令的使用者限制安全措施等,都將是未來可能的應用。

 

Image Recognition

 

影像辨識的突破性發展,也應用於 HMI。我們常常說,說那麼多,不如做一遍給你看。Image Recognition 能夠期以人類示範一次,Robot Arm就能依樣畫葫蘆,照樣做一次,像是:抓取左邊的物品,放到右邊的位置,那麼不但免除數據參數輸入方式所需的事先精準測量,也能反向由電腦紀錄動作的相關數據資訊。此外,色度、形狀等分類性挑撿動作也適用;只需將物件經影像辨識後,就能匯入資料庫,作為工業機器人動作的判定指標。

 

Cobot 人機協作的現場即時操作,也能經由 Image Recognition ,達成手勢溝通效果。譬如:現場人員只要用手往下揮一次,Robot Arm 立即停止動作;往左揮一次則復始動作。這猶如我們於潛水時採用的手勢溝通模式。

 

VR Interface

 

3D 立體影像的應用進入滿地開花階段,VR 虛擬影像也成了新型態的HMI。Remote 遠端溝通即為 VR 作為人機介面的首要關鍵字。只要於總部透過 VR Headset 操作一次,那麼各個據點的 Robot Arms 就能擷取相關數據資訊,並照樣動作。這樣的用途不僅能減少人力負擔、效率化產線預設,也適用於人類體能極限或危害空間,譬如:地下空間、化學原料倉棧、高空施作等;或者是災難現場,如:福島的幅射核心區、倒塌建築物等。

 

人機介面 HMI 是驅動工業機器人的重要一環。輕鬆便利的使用者介面,有助激發使用者更多靈感,實現更多工業機器人可行之事。不同的HMI型態,也左右著工業機器人的動作範圍。例如:UGI就能設定較精確的動作資訊,對精密工業而言更為受益;Image Recognition 則適用忙碌的Cobot產線,能以手勢迅速溝通;至於Voice Command更適用於如倉儲等較安靜空間;VR 對於多據點工廠體系,則可遠端設定。不同形態的HMI也能搭配使用,像是「抓取特定位置的物件後,搬運到B點」,即可採用 Image Recognition 示範後,再加上 Voice Command 口頭命令的溝通方式,不但加快使用者預設時間、簡化設定步驟,也能以使用者最直覺的方式達成人機溝通。

延伸討論

智慧製造

互通性Interoperability為物聯關鍵

飛飛
萬物相聯透過 Embedded SBC連結,看來捷徑現成,一切觸手可及。事實上,Embedded SBC 不只是在既有資料流處理單元上,加上感測器、無線通訊就足以實現物聯,其中的Interoperability 互通性還是 Embedded SBC成為實現物聯網新星的無形魅力。
智慧製造

Database 資料庫祕藏寶庫別有洞天

飛飛
三個字看起來好簡單,但是如何讓金庫變聚寶盆,而不只是當裝飾的珠寶盒、也不致於變成蜘蛛結網的儲藏室,那就成了一門有深度的學問。物聯網的祕藏寶庫,看不到也摸不到,因此如何有效管理及取用Database 內的資料金幣,就是將寶物變現的祕訣。
智慧製造

Visual Cloud/CDN網路界的出版發行人

飛飛
Bill Gates 早於20年前即言「Content is King」,如今Content、Content、Content……這個無處不見的字眼,毫無疑問就是物聯網時代的當紅炸子雞。