☆☆☆ Web配信セミナー ☆☆☆
☆☆☆ 本セミナーは、Zoom/ウェビナーを使用して、行います。☆☆☆
トリケップスセミナー
開催日時:2022年2月8日(火)11:00~16:30
参 加 費:お1人様受講の場合 51,700円(税込/1名)
1口(1社3名まで受講可能)でお申し込みの場合 62,700円(税込/1口)
★ 本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、お申込み前にZoomのテストミーティング(http://zoom.us/test)にアクセスできることをご確認下さい。
★ インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。
★ 受講中の録音・撮影等は固くお断りいたします。
講 師
山本 康平(やまもとこうへい)氏
沖電気工業㈱ イノベーション推進センター AI技術研究開発部
<略歴、等>
2014年 中央大学大学院 理工学研究科 博士前期課程修了。
2014年 沖電気工業㈱ 入社、機械学習応用の研究開発に従事。
現在に至る
訳書(共訳)「Pythonによる機械学習―予測解析の必須テクニック―」共立出版(2019)
セミナーの概要
ディープラーニングのモデルは、その他の機械学習モデルと比べて推論処理に必要なメモリ使用量・演算量が膨大であり、さらにそれらを多く必要とするモデルほど性能(認識精度など)が良くなる傾向があります。一般に、メモリ使用量や演算量は、処理速度・消費電力・部品コスト等に直接関わるため、なるべく小さく抑えたいところです。そのようなニーズに対し、ディープラーニングモデルの性能をできる限り維持しつつメモリ使用量・演算量を削減する軽量化技術が登場し、研究が進められています。
本講演では、画像認識問題を題材として、まず軽量化の観点からディープラーニングの基礎を説明した後、様々な軽量化技術のテクニックを紹介していきます。各テクニックに関しては、AI系の有力国際会議(CVPR、ICLRなど)やプレプリントサーバ(ArXiv)に掲載されている最新技術を主に扱い、理論的な厳密さよりもイメージやコンセプト重視でわかりやすくご説明します。
講義項目
1.1 データ表現と問題設定
1.2 全結合ネットワークモデル
1.3 畳み込みネットワークモデル
1.4 代表的なモデルとその構成要素
2 モデルプルーニング
2.1 非構造化プルーニング
・Magnitude-based Pruning
・Lottery Ticket Hypothesis
・Weight Rewinding
・Learning-rate Rewinding
2.2 構造化プルーニング
・L1norm-based Pruning
・ThiNet
・PCAS
3 ネットワーク量子化
3.1 二値化
・XNOR-Net
・Bi-Real Net
3.2 一様量子化
・Integer Arithmetic Only Inference
・PACT
・Learned Step-size Quantization
3.3 非一様量子化
・LogNet
・Learnable Companding Quantization
4 軽量アーキテクチャ設計
4.1 分岐・合流接続の工夫
・PeleeNet
・CSPNet
4.2 畳み込みの要素分解
・MobileNet-V1
・MobileNet-V2
4.3 構造の自動探索
・FBNet
5 その他の軽量化技術
5.1 重み共有
・Product Quantization
5.2 知識蒸留
・Few Sample Knowledge Distillation
5.3 低ランク近似
・Compression-aware Training
6 まとめ