東大数値解析セミナー (UTNAS) 第141回

東京大学大学院数理科学研究科と情報理工学系研究科では,本年度も数値解析セミナー
を定期的(月に1,2回程度)に開催致します.多くの皆様のご参加をお待ち申し上げます.

講演者
松原 崇(大阪大学大学院基礎工学研究科)

題目
微分方程式の数値解法に学ぶ・使う・代わる深層学習

概要
ニューラルネットワークは，今日の深層学習ブームにおいて画像処理や自然言語処理を高
度化できる技術とみなされている．しかし歴史を振り返ると，力学系のモデル化や制御に
も長年使われていたことが分かる．かつてのそれは単なる表層的な近似でしかなかったが，
近年，他の応用と同様にいくつかのブレークスルーと再発見があった．1つ目は，ニューラ
ルネットワークの挙動そのものがある種の力学系の模倣になっているという新しい視点で
ある．これはニューラルネットワークの情報処理メカニズムの解析に繋がるとともに，微
分方程式の数値解法に学んだ新しいネットワークアーキテクチャの設計を可能にする．
2つ目は，ニューラルネットワークを微分方程式の解関数の基底として使う方法である．
誤差逆伝播法のおかげで，データ同化やシステム同定が容易となった．最後に数値解
法そのものに取って代わろうとする野心的な試みがある．本発表では，これらのアプロ
ーチを俯瞰的に紹介する．