先日開催されたInternational Conference on Learning Representations (ICLR 2025)は、2025年4月24日から28日までの5日間、シンガポールのSingapore EXPOで行われ、私は現地で筆頭著者として論文のポスター発表を行いました。
ICLRは機械学習分野でトップクラスの国際会議と評価されており、毎年、特に深層学習に関する多数の研究論文が発表されます。本会議から新たな研究潮流が生まれることも珍しくなく、近年急速に進歩するAI研究の礎となっています。実際に、今年の投稿数は会議史上初めて1万本を超え、AI研究の主要な発表の場としての地位を確固たるものにしました。
研究発表では、近年注目を集めるLLMをはじめとする大規模モデルに関するものが目立ちました。特に、画像生成モデルとして注目される拡散モデルに関する発表が多かった一方、次世代の潮流を先取りするような斬新な研究も多く見られ、いずれも大変興味深いものでした。私が取り組んでいる深層学習のモデル編集技術に関する研究は比較的新しい分野であり、まだ研究が十分に進んでいるとは言えないものの、関連する発表もいくつか見られました。
ポスター発表では、“Mastering Task Arithmetic: τJp as a Key Indicator for Weight Disentanglement”というタイトルで深層学習のモデル編集技術の一つであるTask Arithmeticの改善手法に関する発表を行いました。
事前学習済みモデルは広く利用されていますが、計算コストや拡張性が課題です。解決策として、モデルの重みを操作する「タスク算術」が注目されています。これにより、複数タスク対応モデルなどを効率的に作れますが、タスク間の干渉や性能達成の難しさが実用化を阻んでいます。
本研究は、Task Arithmeticの課題解決に向け、以下の3点で貢献しました。
提案された技術は、複数タスク対応モデルの効率的な構築や、バイアスの除去・公平性の確保といった多様な側面での応用が期待されます。今後は、この技術をさらに大規模なモデルや新たな応用分野へ展開し、より実用的なツールとしての開発を進めていく予定です。
今回の国際会議参加における最大の成果は、モデル編集分野で世界的に著名な研究者の方々と直接意見を交換できたことです。自身の発表研究に対するフィードバックや、互いの研究テーマに関する活発な議論に加え、今後の当分野の展望についても深く話し合う機会を得ました。修士1年と研究経験はまだ浅いものの、対等な立場で議論に参加できたことは、大きな自信へと繋がりました。
また、国内外の多様な研究者や企業の方々と新たに繋がりを築き、自身のネットワークを大きく広げられたことも重要な成果です。
さらに、以前より検討している国外大学院への博士課程進学に関しても、具体的な進展がありました。進学候補先の大学に在籍する博士課程の学生から、研究室の雰囲気や生活環境など、現地のリアルな情報を直接伺うことができ、進学に向けた計画をより具体的に進める上で大変貴重な機会となりました。
