学術会合報告

Differential Equations for Data Science 2022 参加報告

概要

2022年3月21日(月)から23日(水)にかけて開催された国際研究集会「Differential Equations for Data Science 2022」の参加報告を致します．各講演のタイトルや概要など詳細についてはホームページを参照してください．なお，コロナ禍の影響で昨年に引き続きZoomによるオンラインでの開催となりました．

ニューラルネットワーク(NN)やリザバーコンピューティング(RC)などの機械学習アルゴリズムや時系列データ解析について，力学系や偏微分方程式論，関数解析などを用いた数学的観点から取り扱う様々な話題があり，データサイエンスと微分方程式の間にある深い関係について改めて認識できた3日間でした．

具体的な講演内容を書く前に用語の説明をしておきます．

用語説明

NNとは，アフィン変換と活性化関数(シグモイド関数などの非線形関数)を複雑に組み合わせることで作られた写像のことです．そして，NNの出力データ(の一部)を再度入力に用いるような，回帰的な構造を持つNNをリカレントニューラルネットワーク(RNN)と言います．音声のように時刻毎に変化するものや，文章のように言葉の意味が今読んでいる文字だけでなくそれまでに読んだ文字にも依るような対象を扱う音声認識や機械翻訳などに，このRNNは用いられています．

NNは一般に膨大なパラメータを持っているのですが，出力層の重み(出力データを計算する際に最後に行われるアフィン変換の係数)だけを学習して，それ以外のネットワーク内部のパラメータについては最初にランダムに決定したものを変更せずにそのまま使う方法があります．RNNから派生して生まれた計算の枠組みであるRCでもこの方法が用いられています．

ご講演について

11件のご講演があり(1件は2日開催)，どれも勉強になる内容で大変楽しく拝聴させていただきました．ここでは，NNとRCについて取り扱ったご講演をそれぞれ1つずつ紹介させていただきます．

まず，Allen Hart 氏のご講演について．ランダムに決定した重みを持つNN (random NN)を有限要素法の基底関数のように取り扱い，Poisson方程式、Schrödinger方程式、Navier-Stokes方程式といった偏微分方程式の数値計算を行うという内容でした．出力層だけを学習させる方法を取ることで非凸最適化を避けることができ，共役勾配法などで出力層のパラメータを決めることができます．NNには複雑な関数の線型結合が含まれることを式の上では理解していましたが，そのことを利用してNNは偏微分方程式を解く道具として扱えるという発想には目から鱗でした．

次に，RCについて取り扱われていたAndré Röhm 氏のご講演について．モデルとなるODEがわかっている場合には数値計算手法を使うことで厳密解を近似する時系列データを生成できます．しかし，データ生成モデルがわからない場合に，ある時刻までの観測データ(各時刻の座標データ)からその先の近似解を予測できるか，といった問題があります．そこで，機械学習はデータを学習させることで入力と出力がうまく対応するような写像を見つけられることを利用し，RCをプロパゲータとして用いて予測をする，というお話でした．実際に，適切に訓練されたRCが未知のアトラクタ(観測データに陽的に含まれていないもの)を再構成できた数値計算例の紹介や，ノイズのある軌跡のみを用いた予測もあり，RCの持つ可能性や発展性を再認識させられるご講演でした．

最後に

コロナ禍のなかで，国際研究集会として日本だけでなくイギリス・ドイツ・南アフリカにいらっしゃる最前線の研究者の話を，大学院生(当時)の身で気軽に拝聴できる機会に恵まれたことは非常に有難いものでした．

最先端の内容を聞くことはもちろん研究集会の醍醐味ですが，個人的な発表の楽しみに導入があります．導入では，議論をするために必要な情報が簡潔に紹介されます．それを聞くことで新しい知識を得られることがありますし，今まで知っていた情報であっても学んだ時とは異なる切り口で紹介されることによって「あれはそういう性質があったのか，そういった便利なものだったのか」と知ることができます．

自身の知識がまだそんなに無いことなどを理由に，研究集会への参加を尻込みする学生さんがしばしばいます．研究集会に参加してみると，どのようなモチベーションがあり，どんなことが新しくわかったのかわかることもあれば，上述したように授業で学んだ内容が実際にどう使われているか見ることができる良い機会でもあります．是非とも学生さんも学会や研究集会に参加してみてください．

最後に，研究集会の運営にご尽力くださったオーガナイザーの皆様に心より御礼申し上げます．