AI・データ利活用研究会 第101回

長瀬 准平 先生(電気通信大学)にご講演いただきます．

講演題目
深層ニューラルネットワークモデルの接続の構造と関数表現能力

講演概要
本発表では，深層ニューラルネットワークモデルの接続の構造についての議論を行う．特に，活性化関数をReLU関数に仮定した場合，線型性をもっているような線型の接続構造はいずれも多層パーセプトロンのような直列な接続に帰着可能であることを示す．さらに，ReLU関数を活性化関数とする多層パーセプトロンは，表現力と出力を保ちながら実数パラメータを二値化可能であることを示す．これらの結果は構成的であるため，具体的なパラメータを書き下すことが可能であり，実際のモデルの圧縮可能性を議論するとともに，具体的な変換アルゴリズムとして紹介する．また，これらの結果は活性化関数がReLU関数ではない一般の区分線型関数の場合にも拡張することができる．ただし，これらはいずれも学習中のモデルの性能やダ
イナミクスについては考慮しておらず，あくまで学習前および学習済みのモデルについての結論であることに注意する．

その他
Zoomウェビナーを用いたオンラインでの開催となります.
参加ご希望者は詳細webに記載されているリンク先より事前登録をお願いします．