智慧製造2019.08.06

(A)NN 人工神經網路如何成就 AI 之路?

飛飛

機器人 創新 服務

 

資料處理三流程: 輸入 -> 儲存 -> 輸出。

 

一直以來,當我們輸入 A ,就會經儲存後,再輸出 A;不管 A 是文字、語音還是圖形,電腦始終是忠實的紀錄者。也因為如此,每一個輸入都需要靠人工,無論是透過鍵盤、繪圖板還是語音。換一個角度來看,就像是只有現在、 毫無過往記憶,也無從預測未來。

 

字詞輸入預測可看作是簡易版的 AI 功能。當我們學習語文時,閱讀時常是增進詞彙能力的方法。譬如:「宋慧喬」成了熱門新聞,那麼當我們聽到有人說「宋慧……」,甚至是「宋……」時,當下直覺就會想到「宋慧喬」,而不需要等對方說完。經驗的累積可說是記憶的能量存款,雖然我們從沒計算過曾經看過多少次「宋慧喬」一詞,才足以讓我們自然記憶 ─  據說是十七次。電腦最擅長的正是精準的紀錄與計算。因此,前人想到能以計算輸入的次數,就能從單字預測後續欲達成的完整輸入詞彙。如此透過計次預測的簡易演算式,如同模擬人腦將記憶結合於眼前當下的資訊接收,並產出預測而後輸出,從單純的無意義同物輸出躍為具價值賦予的產出,而這個價值轉化為人工輸入的加速作業。資料處理從而內含了時間性,能夠將過往的經驗用於未來的預測。此時上述的資料處理三流程就變成:

 

資料處理五流程:輸入 ->(單次)運算 -> 產出;再加上儲存與輸出。

 

Artificial ) Neural Networks 人工神經網路,則模擬人類神經元運作方式:一旦刺激超過一定界值時,就會傳遞給下一神經元;並透過神經元層層傳遞的累加訊息,最終歸結產出多層次運算後的結果。從而再變革資料處理流成為:

 

ANN:(多個)輸入 -> 多層次運算 ->(多個)產出;再加上儲存與輸出。

 

多層次運算的用意在於納含愈多影響因素於(預測)產出,並透過所謂的 training 訓練,持續修正所有影響因素的關聯性(加權),經由經驗值調整產出(預測)於更為精準結果。特別注意的是,在 ANN 模式下,輸入結點之間並無順序關係,一如人腦神經元的網狀結構,而非線性序列。

 

從 ANN 開始延伸發展出更多的多層次運算模式,例如:運用於影像辨識演算的 Convolutional Neural Network;資料運算具序列特序的 RNN,及後再發展的 BRNN等。

 

Recurrent Neural Networks,以 Recurrent 遞歸性的連續多層次運算模式,追求更精準並具關聯性的產出(預測)。這就像是從數學運算的加法進步到乘法,將前一步驟的結果直接運用於下一步驟的運算,有感提升運算處理的速度與複雜度能力 。RNN特別適用於序列資訊的遞歸運算,以囊括前次輸入/產出的結果值於後層次運算為其特徵,例如:文字意義的解讀。

 

上述字詞輸入預測法,以單字為基礎、以詞語為預測單位,並經單次運算,使得詞語之間成了預測斷裂處,必須人工高度介入於輸入作業,才能完成人腦心裡所想表達的語句。 RNN 則模擬人腦的神經運作,並透過遞歸運算實現層層傳遞,達成更精準的產出。

 

運用 RNN 於「宋慧喬與宋仲基結婚了。」為例的句子時:

  • 第一次輸入「宋……」預測到「宋慧喬」(第一次運算結果);
  • 再從第一次產出結果「宋慧喬」及第二次輸入「宋……」,預測第二個「宋……」將是「宋仲基」(總結第一次與本次的運算結果);
  • 而後透過前兩次預測結果「宋慧喬與宋仲基……」,再預測出「結婚」字眼(總結前二次與本次的運算結果)

         最終產出:「宋慧喬與宋仲基結婚了。」

 

RNN:(多個輸入結點 ->多層次運算 ->) 單一產出 I ->

         (單一產出 I :多個輸入結點 ->多層次運算 ->) 單一產出 II ->

         (單一產出 I:單一產出 II:多個輸入結點 ->多層次運算 ->)

           ……最終產出:「宋慧喬與宋仲基結婚了。」

 

RNN 主要特徵在於透過遞歸運算模擬神經元運作,因此以遞歸序列方向為變數,即可延伸發展更多分支模式,譬如:雙向遞歸序列的 BRNN。

 

Bidirectional Recurrent Neural Networks

除了上述的前向遞歸之外,也能再加上逆向遞歸,透過雙向遞歸,更精凖於最終產出。

 

運用 BRNN 於「宋慧喬與宋仲基結婚了。」為例的句子時:

  • 前向遞歸時,

         從「宋慧喬」(第一次運算結果)預測到「宋仲基」;

         再從「宋慧喬與宋仲基」(第二次運算結果)預測出「結婚」 ……

           最終產出:「宋慧喬與宋仲基結婚了。」

  • 逆向遞歸時,

         從「結婚了」(第一次運算結果)預測到「宋仲基」;

         再從「結婚了宋仲基」(第二次運算結果)預測出「與宋慧喬」

           最終產出:「結婚了宋仲基與宋慧喬。」

 

如此看來產出結果(句子解讀)相同,卻做了兩次工。然而,除了當次的互為驗證之外,還在於經驗值也等於兩次。因此,當 BRNN 結合愈大的 Big Data,經 training 後累積愈多經驗值時,其 trained AI 於實務運用時的產出速度當然更快、其預測也將愈精準;且將隨經驗值累積而差距拉大。

 

Recursive NN,亦為 RNN,而其採用的是以相同加權組合,但變化以結構性輸入,獲得最終單一預測。也就是從輸出到最終產出之間的層次遞歸呈現由多至少的樹狀結構,而非Recurrent Neural Networks 的平行序列產出結構。

 

(A)NN 的多層次運算是變革起點,藉由變化層次次數、遞歸方向或是產出層次結構等各個變數,延伸出不同的運算模式。相同的是透過多層次運算獲得經驗值累積,從而修正關聯性,更精準化產生(預測)結果;不同的是關聯性修正面向,將造就可能相同也可能各異的修正結果,如同人人不同面向的思考角度,而這也是 ANN 迷人之處。

 

延伸討論

智慧製造

AIoT比你想像的更觸手可及 _ From Embedded to AIoT

飛飛
Embedded Single Board Computer 嵌入式單板電腦,聽起來總是很神祕,看起來則是一塊綠色電路板,上面佈滿密密麻麻的銅線迴圈、一塊塊像釘子板的方塊體,還有更多樂高組合積木般的各形各狀電子零件……似乎實體倒更讓人眩惑於這塊小小板子,竟足以延伸連結其背後大世界的不可思議。
智慧製造

工業機器人的教練、隊醫兼保姆 三合一首問世_ AI Robot PDM

蘇菲亞 小姐
Robot Arm 工業機器人,愈形普遍應用於產業製造。隨著七軸機器人問世,工業機器人已能活動如人類手臂,其所加入產線活動的勞動職務也更趨多樣化。