AI・データ利活用研究会 第104回

市川 佑馬 氏(富士通株式会社人工知能研究所(主任研究員)、理研AIP(特任研究員))

講演題目
超効率化への挑戦: 大規模モデルの量子化のワークフローと研究状況

講演概要
近年, LLM(Large Language Model)の大規模化に伴い, 推論速度の低下, メモリ使用量の増大, および電力コストの上昇といった課題が顕在化している. これらの課題に対処するため, 実数表現を離散化し計算効率を向上させる量子化技術が注目されている. しかし, LLMの量子化において, 極低ビット量子化の実現は困難であることが報告されている. 我々はこの課題に挑戦し, 1bitの極低ビット量子化であっても標準ベンチマーク上で平均90%の性能を維持することに成功した.  本講演では, この成果を実現するためのLLM量子化のワークフローおよび最新研究動向を体系的に概観する.

その他
Zoomウェビナーを用いたオンラインでの開催となります.
参加ご希望者は詳細webに記載されているリンク先より事前登録をお願いします．