河南夢之網網絡科技有限公司
夢之網科技出品
掃描關注夢之網科技微信公眾賬號

掃小程序碼聯系客服

圖靈獎得主力推:PyTorch 1.3 今天發布-鄭州網站建設

夢之網科技?2019-10-11?文章動態?

參與:一鳴、思

今天凌晨,PyTorch 開發者大會在舊金山開幕,會上發布了最新版本 PyTorch1.3。本次更新最大的亮點在于對移動設備的支持、挑戰傳統張量的「命名張量」,以及更好的性能改進。

今天,PyTorch1.3 發布了。圖靈獎得主,被譽為「深度學習三座山頭」之一的 LeCun 發推稱贊。

圖靈獎得主力推:PyTorch 1.3 今天發布-鄭州網站建設

本次 PyTorch1.3 更新增加了很多的新特性,包括無縫移動設備部署、量化模型以加速推斷、前端改進(如對張量進行命名和創建更干凈的代碼)。PyTorch 官方同時還開源了很多新工具和庫。

在開發者大會上,PyTorch 官方表示甚至微軟都將其列入了支持的深度學習框架中。

圖靈獎得主力推:PyTorch 1.3 今天發布-鄭州網站建設

PyTorch 1.3 項目地址:https://github.com/pytorch/pytorch/releases/tag/v1.3.0

茁壯成長的 PyTorch

由于 PyTorch 一直致力于滿足研究者的需求,因此它在不斷地進行版本迭代,現在已經成為開源社區僅次于 TensorFlow 的深度學習框架。

據 Facebook 博客透露,僅在 2019 年,在 ArXiv 平臺上引用 PyTorch 的論文數量就增長了 194%。2018 年,為整個項目貢獻了代碼的人數也增長了 50%,達到了 1200 人。而使用 PyTorch 進行算法開發的公司也越來越多,其中不乏 Uber 等大公司。

在 Reddit 中,研究者統計到:CVPR 2018-2019,用 PyTorch 的論文從 82 篇增長到 280 篇,TensorFlow 從 116 增長到 125;ACL 2018-2019,用 PyTorch 的論文數從 26 增長到 103,TensorFLow 從 34 到 33 反而降低了。其它機器學習頂會也有相似的趨勢,所以 PyTorch 搞定研究,TensorFlow 搞定業界?

圖靈獎得主力推:PyTorch 1.3 今天發布-鄭州網站建設

當然,隨著 PyTorch 的發展,也有開發者表示他們了解的一些新型初創公司很多都將 PyTorch 作為框架。不過目前看起來,還是 TensorFlow 在模型部署等工程化操作上做得更完善一些。

PyTorch 1.3 是一個新的起點

PyTorch 1.3 的發布帶來了一系列重要的新特性,包括移動設備的模型部署、Eager 模式的 8 比特整型量化和張量命名的能力。雖然它們目前都處于試驗階段,但看起來真的非常 Amazing。例如張量命名的能力,我們可以給每個張量的不同維度分別命名,例如將 BatchSize 維度命名為「B」,那么就可以直接用「B」對這個維度的數值進行各種操作。

通過這一系列新特性,我們可以預想到 PyTorch 將會變得越來越好用。

PyTorch Mobile

近來,在邊緣設備上運行機器學習模型漸漸變得更重要了。此外,如聯邦學習那樣的模型也需要對于隱私保護的措施。為了讓移動設備上的機器學習變得更高效,PyTorch1.3 做了很多改進。現在,它已經支持端到端的工作流,可以從 Python 直接部署到 ios 或安卓系統中。

主要支持的功能如下

支持在移動設備上進行完整的 TorchScript 推斷;

在 JCenter/CocoaPods 上建立了 LibTorch 代碼庫;

對于安卓而言,PyTorch 進行了 Java 封裝,涵蓋了常用的推斷場景;

在移動 CPU 上可以進行所有的前向計算;(反向傳播還不支持)

優化了一些 float32 算子,用于 ARM CPU;(基于 Caffe2Go)

優化了一些 int8 算子,用于 ARM CPU;(基于 QNNPACK)

不專門為移動設備創建新的框架,用戶可使用一樣的 API;

TorchScript 格式的模型不需要任何格式轉換就可以在安卓/ios 上使用。

官方提供了一個教程:https://pytorch.org/mobile/

命名張量

康奈爾大學的 Sasha Rush 認為,盡管深度學習無處不在,但傳統張量的實現顯著是一個缺點,例如它暴露了私有張量的維度、基于絕對位置的 Broadcasting、在文檔中保存類型新型等等。他提出了一種命名張量,作為規避各種張量「陷阱」的方法。

如今在 PyTorch 1.3 中,我們可以通過命名直接訪問張量維度。如下傳統的張量,我們可以通過索引訪問不同的維度:

但是一旦我們為張量命了名,那么就可以直接通過名稱訪問張量的不同維度。

量化

在構建機器學習應用時,合理利用服務端與設備端計算資源都顯得極為重要。為了支持在服務器和邊緣設備上更高效地部署模型,現在 PyTorch 1.3 支持使用 Eager 模式 Python API 進行 8-bit 模型量化。這種 8-bit 的整型量化方法可以在較低精度的條件下實現計算與存儲占用,從而大大降低所需計算資源。

目前實驗階段的量化方法能支持后訓練量化、動態量化和訓練期間的量化。PyTorch 在后端會利用當前最優的量化核,即用于 x86 CPU 的 FBGEMM 和用于 ARM CPU 的 QNNPACK。重要的是,盡管后端會根據硬件選擇不同的量化核,但它們共享相同的 API。

PyTorch 相關新工具

Captum

文章關鍵詞
圖靈獎
急速赛车国语 同花顺手机炒股软件 二分彩走势图 天易棋牌安卓下载 加拿大28 加盟万事通可以赚钱吗 吉林十一选五历史开奖 抖音拍的视频可以赚钱吗 内蒙古11选5万能5码 中彩计划 69游戏大厅下载 上海时时乐走势图控 养纯山野兔赚钱吗 舟山星空棋牌510k dnf70级大转移刷图赚钱 pk10微信机器人免费版 500期双色球基本走势图带坐标