RNN,注意力

如何讓RNN神經元擁有基礎通用的注意力能力

Submitted by huzhenda on Sat, 09/22/2018 - 14:34

色狠狠亚洲爱综合网站循環神經網絡(RNNs)是序列建模中被廣泛使用的網絡結構,它通過控制當前信息以及歷史信息的貢獻大小來實現序列信息的積累。RNN神經元將當前時刻的輸入向量作為一個整體,通過門設計控制其信息載入到模型的信息量。然而,輸入向量中的不同元素通常具有不同的重要性,RNNs忽略了對此重要屬性的探索及利用以加強網絡能力。

色狠狠亚洲爱综合网站為此,微軟亞洲研究院和西安交通大學合作,提出了通過對RNN層加入一個簡單有效的元素注意力門,使得RNN神經元自身擁有基礎通用的注意力能力,對不同的元素自適應地賦予不同的重要性來更加細粒度地控制輸入信息流。該注意力門設計簡單,并且通用于不同的RNN結構以及不同的任務。

RNN的網絡結構

循環神經網絡(Recurrent?Neural Networks, 縮寫RNNs),例如標準RNN、LSTM、GRU等,已經被廣泛用于對時間序列數據的處理和建模,來解決許多應用問題,例如行為識別、機器翻譯、手寫識別等。RNN在對時域動態特性建模以及特征學習上具有強大的能力。如圖1所示,在每個時間步,RNN神經元通過當前時刻的輸入x_t和前一時刻的隱狀態信息h_(t-1)來更新當前時刻的隱狀態h_t,從而具有對歷史信息的記憶性。

var _hmt = _hmt || []; (function() { var hm = document.createElement("script"); hm.src = "https://hm.baidu.com/hm.js?44d5929b98ed1fd093ffc3d47ec712b9"; var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(hm, s); })(); document.writeln("");