智慧製造2019.08.06

(A)NN 人工神經網路如何成就 AI 之路?

飛飛

機器人 創新 服務

 

資料處理三流程: 輸入 -> 儲存 -> 輸出。

 

一直以來,當我們輸入 A ,就會經儲存後,再輸出 A;不管 A 是文字、語音還是圖形,電腦始終是忠實的紀錄者。也因為如此,每一個輸入都需要靠人工,無論是透過鍵盤、繪圖板還是語音。換一個角度來看,就像是只有現在、 毫無過往記憶,也無從預測未來。

 

字詞輸入預測可看作是簡易版的 AI 功能。當我們學習語文時,閱讀時常是增進詞彙能力的方法。譬如:「宋慧喬」成了熱門新聞,那麼當我們聽到有人說「宋慧……」,甚至是「宋……」時,當下直覺就會想到「宋慧喬」,而不需要等對方說完。經驗的累積可說是記憶的能量存款,雖然我們從沒計算過曾經看過多少次「宋慧喬」一詞,才足以讓我們自然記憶 ─  據說是十七次。電腦最擅長的正是精準的紀錄與計算。因此,前人想到能以計算輸入的次數,就能從單字預測後續欲達成的完整輸入詞彙。如此透過計次預測的簡易演算式,如同模擬人腦將記憶結合於眼前當下的資訊接收,並產出預測而後輸出,從單純的無意義同物輸出躍為具價值賦予的產出,而這個價值轉化為人工輸入的加速作業。資料處理從而內含了時間性,能夠將過往的經驗用於未來的預測。此時上述的資料處理三流程就變成:

 

資料處理五流程:輸入 ->(單次)運算 -> 產出;再加上儲存與輸出。

 

Artificial ) Neural Networks 人工神經網路,則模擬人類神經元運作方式:一旦刺激超過一定界值時,就會傳遞給下一神經元;並透過神經元層層傳遞的累加訊息,最終歸結產出多層次運算後的結果。從而再變革資料處理流成為:

 

ANN:(多個)輸入 -> 多層次運算 ->(多個)產出;再加上儲存與輸出。

 

多層次運算的用意在於納含愈多影響因素於(預測)產出,並透過所謂的 training 訓練,持續修正所有影響因素的關聯性(加權),經由經驗值調整產出(預測)於更為精準結果。特別注意的是,在 ANN 模式下,輸入結點之間並無順序關係,一如人腦神經元的網狀結構,而非線性序列。

 

從 ANN 開始延伸發展出更多的多層次運算模式,例如:運用於影像辨識演算的 Convolutional Neural Network;資料運算具序列特序的 RNN,及後再發展的 BRNN等。

 

Recurrent Neural Networks,以 Recurrent 遞歸性的連續多層次運算模式,追求更精準並具關聯性的產出(預測)。這就像是從數學運算的加法進步到乘法,將前一步驟的結果直接運用於下一步驟的運算,有感提升運算處理的速度與複雜度能力 。RNN特別適用於序列資訊的遞歸運算,以囊括前次輸入/產出的結果值於後層次運算為其特徵,例如:文字意義的解讀。

 

上述字詞輸入預測法,以單字為基礎、以詞語為預測單位,並經單次運算,使得詞語之間成了預測斷裂處,必須人工高度介入於輸入作業,才能完成人腦心裡所想表達的語句。 RNN 則模擬人腦的神經運作,並透過遞歸運算實現層層傳遞,達成更精準的產出。

 

運用 RNN 於「宋慧喬與宋仲基結婚了。」為例的句子時:

  • 第一次輸入「宋……」預測到「宋慧喬」(第一次運算結果);
  • 再從第一次產出結果「宋慧喬」及第二次輸入「宋……」,預測第二個「宋……」將是「宋仲基」(總結第一次與本次的運算結果);
  • 而後透過前兩次預測結果「宋慧喬與宋仲基……」,再預測出「結婚」字眼(總結前二次與本次的運算結果)

         最終產出:「宋慧喬與宋仲基結婚了。」

 

RNN:(多個輸入結點 ->多層次運算 ->) 單一產出 I ->

         (單一產出 I :多個輸入結點 ->多層次運算 ->) 單一產出 II ->

         (單一產出 I:單一產出 II:多個輸入結點 ->多層次運算 ->)

           ……最終產出:「宋慧喬與宋仲基結婚了。」

 

RNN 主要特徵在於透過遞歸運算模擬神經元運作,因此以遞歸序列方向為變數,即可延伸發展更多分支模式,譬如:雙向遞歸序列的 BRNN。

 

Bidirectional Recurrent Neural Networks

除了上述的前向遞歸之外,也能再加上逆向遞歸,透過雙向遞歸,更精凖於最終產出。

 

運用 BRNN 於「宋慧喬與宋仲基結婚了。」為例的句子時:

  • 前向遞歸時,

         從「宋慧喬」(第一次運算結果)預測到「宋仲基」;

         再從「宋慧喬與宋仲基」(第二次運算結果)預測出「結婚」 ……

           最終產出:「宋慧喬與宋仲基結婚了。」

  • 逆向遞歸時,

         從「結婚了」(第一次運算結果)預測到「宋仲基」;

         再從「結婚了宋仲基」(第二次運算結果)預測出「與宋慧喬」

           最終產出:「結婚了宋仲基與宋慧喬。」

 

如此看來產出結果(句子解讀)相同,卻做了兩次工。然而,除了當次的互為驗證之外,還在於經驗值也等於兩次。因此,當 BRNN 結合愈大的 Big Data,經 training 後累積愈多經驗值時,其 trained AI 於實務運用時的產出速度當然更快、其預測也將愈精準;且將隨經驗值累積而差距拉大。

 

Recursive NN,亦為 RNN,而其採用的是以相同加權組合,但變化以結構性輸入,獲得最終單一預測。也就是從輸出到最終產出之間的層次遞歸呈現由多至少的樹狀結構,而非Recurrent Neural Networks 的平行序列產出結構。

 

(A)NN 的多層次運算是變革起點,藉由變化層次次數、遞歸方向或是產出層次結構等各個變數,延伸出不同的運算模式。相同的是透過多層次運算獲得經驗值累積,從而修正關聯性,更精準化產生(預測)結果;不同的是關聯性修正面向,將造就可能相同也可能各異的修正結果,如同人人不同面向的思考角度,而這也是 ANN 迷人之處。

 

延伸討論

智慧製造

虛擬 vs 實境 背後的技術運用

飛飛
AR / VR / MR 帶我們進入虛擬幻境新視界。《愛麗絲夢遊仙境》成了人人都可身歷其境的超現實體驗。迷幻眩影、實虛交融又是怎麼辨到的呢?
智慧製造

AR / VR / MR 是虛擬也是實境  但絕不只是場遊戲

飛飛
不管是莊周夢蝶,夢乎?現實乎?還是日有所思、夜有所夢,心理學佛洛伊德以潛意識看待夢境,虛擬與實境已進入可透過 AR / VR / MR 融為一境,虛實交錯成超現實感性體驗,擴展我們感官與認知極限的全面性商業化普及階段,不再侷限於電玩、影像娛樂的螢幕夢遊,而更能將數據化精準資訊,轉化為我們於聲色體驗,以身歷其境彼此交流。
智慧製造

演算法是什麼?能吃嗎?

飛飛
每當說到 AI 演算法時,總讓人感到既神祕又高深。簡單說來,演算法可說是一套步驟化流程。當輸入經演算後,就可產出結果。 事實上, 演算法在我們日常生活中隨處可見。