河南夢之網網絡科技有限公司
夢之網科技出品
掃描關注夢之網科技微信公眾賬號

掃小程序碼聯系客服

Bengio等人提出新型循環架構,大幅提升模型泛化性能-鄭州小程序開發

夢之網科技?2019-10-08?文章動態?

近日,來自 Mila、哈佛大學等機構的研究者提出一種新型循環架構——循環獨立機。它具備專門化特性,可以大幅提升模型在大量不同任務上的泛化性能。

模塊化結構可以反映環境動態,學習這類結構可實現更好的泛化效果和對微小變化的穩健性。最近,來自 Mila、哈佛大學等機構的研究者提出循環獨立機(Recurrent Independent Mechanism,RIM),這一新型循環架構包含多組循環單元,它們可以處理幾乎獨立的轉換動態(transition dynamics),僅通過注意力瓶頸進行稀疏通信。此外,這些循環單元僅在最具相關性的時間步處進行更新。該研究證明,RIM 具備專門化(specialization)特性,并反過來大幅提升了模型在大量不同任務上的泛化性能。

模塊化結構

世界的物理進程通常具備模塊化結構,而把各個較簡單的子系統組合起來有一定的復雜度。機器學習嘗試發現并利用物理世界中的規律。盡管這些規律表現為統計學依賴關系(statistical dependency),但它們的底層邏輯是物理世界中的動態進程。這些進程通常是互相獨立的,只存在偶爾交互。例如,我們可以將兩個球的運動建模為兩個獨立的機制,盡管它們都經歷了地球引力和彼此之間的弱引力。但是,它們可能偶爾才通過碰撞產生強交互。

獨立或自主機制的概念在因果推斷領域中有很強的影響力,它不僅應用于動態進程,還可用于時間無關數據集。例如,給出某地的海拔高度,則該地年平均溫度的條件分布是因果機制的抽象(包括多個復雜的物理進程,如氣壓等),它獨立于該地的海拔分。因此,這可套用到相同氣候區中具備不同海拔分布的不同國家。

一個復雜的生成模型,不管它是否為時序模型,都可看作是獨立機制或「因果」模塊的合成體。在因果推斷領域,這通常被認為是對此類模型所確定的變量執行局部干預(localized intervention)的先決條件 (Pearl, 2009)。人們認為,當一個模塊出現變化時(如分布漂移),另一個模塊可能保持穩健性或保持不變。你可以假設,如果大腦能夠解決單個獨立同分布任務以外的多個問題,那么學習可被靈活重用、合成和修改的獨立機制進而學得模塊化結構,無疑是一種經濟實惠的方式。

在動態設置中,我們認為整個系統由多個相對獨立的子系統構成,受力(force)和干預(intervention)的影響,這些子系統隨著時間不斷演化。學習智能體無需每次都對所有子系統付出同等的注意力:在制定決策或規劃時,只有那些存在強交互的子系統才需要被聯合考慮 (Bengio, 2017)。

這樣的稀疏交互能夠降低學習難度,因為無需一次性考慮那么多交互,這也減少了調整子系統時的不必要干預。按這種方式學得的模型更有可能捕捉到世界的合成生成結構(compositional generative structure)或因果結構,從而在多項任務上實現更好的泛化效果(這些任務中只有一小部分機制發生改變,大多數機制保持不變)。推動該研究的核心問題是:如何使機器學習方法學習獨立且稀疏交互的循環機制,進而從模塊化結構中獲益。

具備稀疏交互的循環獨立機

該研究提出的動態系統建模方法將整個模型分割成 k 個小的子系統(或模塊),其中每一個都是能夠捕捉動態的循環結構。研究者將這些子系統稱作循環獨立機(RIM),每個 RIM 具備不同的函數,這些函數基于數據自動學得。RIM k 在時間步 t 的狀態為 h_(t,k),其中 t = 1, . . . , T。每個 RIM 具備參數 θ_k,所有時間步共享這些參數。

Bengio等人提出新型循環架構,大幅提升模型泛化性能-鄭州小程序開發

圖 1:循環獨立機圖示。

該模型的每一步包含四個階段(左圖展示了兩步)。第一階段,RIM 生成一個 query,從當前輸入中讀取數據。第二階段,使用基于注意力的競賽機制(competition mechanism)根據編碼視覺輸入選擇要激活的 RIM(右圖),其中藍色 RIM 為激活狀態,白色 RIM 反之。第三階段,激活 RIM 按照默認轉換動態運行,而非激活 RIM 保持不變。第四階段,RIM 之間使用注意力進行稀疏通信。

總體來看,研究者想讓每個 RIM 默認處理自己獨立的動態,與其他相關 RIM 和編碼輸入選中元素進行偶爾交互。參數總量可以很小,因為 RIM 可以專用于簡單的子問題。這種專門化和模塊化特性不僅具備計算和統計優勢,還可以阻止單個 RIM 主導及建模復雜的合成機制。研究者期望,相比于訓練一個大型同質神經網絡,RIM 能夠帶來更穩健的系統。此外,模塊化還說明,RIM 應該保持其獨立功能,即使其他 RIM 發生改變。

實驗

文章關鍵詞
架構
模塊化
bengio
急速赛车国语 天津11选5开奖走势图表 棋牌娱乐斗地主 踢足球技巧 2019上证指数k线图 七星彩走势图表 梦幻天上抓律法赚钱吗 山西11选5专家推荐号 双色球复式玩法中奖多少钱 老钱庄模拟炒股 吉林十一选五开奖查询 多乐彩票网 吉祥棋牌最新版下载 五分彩走势图 开二次元店赚钱吗 脉动棋牌官方网站 舟山体彩飞鱼玩法技巧