PFP v9のご紹介: MLIP Arenaでのベンチマーク評価とr2SCANによる実験値再現性の向上

Area

Chemoinformatics / Materials Science

Machine Learning / Deep Learning

Tag

# Deep Learning

# Materials Discovery

# Matlantis

Nontawat Charoenphakdee

概要

2021年7月のMatlantis™提供開始以来、その中核技術である機械学習原子間ポテンシャル(Machine Learning Interatomic Potential, MLIP)「Matlantis PFP」[1] は、継続的なアップデートを通じて進化を続けてきました。リリースのたびに適用範囲を広げ、さまざまな原子シミュレーションタスクにおける精度を高めてきています。本記事では、最新版となるPFP v9.0.0の主なアップデート内容をご紹介するとともに、ユニバーサルMLIP向けの公開ベンチマークであるMLIP Arena [2] のスコアをもとに、その性能の立ち位置を簡単にご紹介します。

PFP v9.0.0における主な改善点

近年、ユニバーサルMLIP(universal MLIP, uMLIP)はその高い表現能力を実証し、実問題への適用が急速に進んでいます。その過程で、実応用の観点から新たな課題が次第に明らかになり、これらへの対応がMLIPの重要な性能指標として認識されるようになってきました。現在では、こうした実応用を見据えた視点が、ベンチマーク開発とMLIPの進化を牽引しています。

このたび、我々はPFP v9.0.0をリリースしました。PFPは2021年以降、Matlantisを通じてさまざまな実問題に活用されてきたuMLIPであり、v9.0.0はその最新版にあたります。

前バージョンのPFP v8.0.0では、実験値や高精度な参照値との一致を高めるため、r2SCAN汎関数ベースの計算モードを導入しました [3]。PFP v9.0.0ではこのモードの対応元素をさらに拡大し、ランタノイドおよびアクチノイド系列の元素を新たにサポートしました。これにより対応元素数は70から96へと増え、水素(H)からキュリウム(Cm)までをカバーします。一般的な有機・無機材料はもちろん、ランタノイドやアクチノイドを含む材料まで、幅広い系を高い精度でシミュレーションできるようになりました。

また、PFP v9.0.0の学習データには、結晶や分子に加えて、表面構造、吸着構造、クラスター、金属錯体といった多様な原子構造を取り入れています。実際の材料シミュレーションでは、理想的なバルク結晶とは大きく異なる環境を扱う場面が少なくありません。表面、界面、吸着種、ナノクラスターは、触媒、電池材料、合金、多孔性材料など多くの応用分野で頻繁に登場します。こうした構造を学習データに含めることで、PFP v9.0.0はより幅広い化学的・構造的な状況においても信頼性の高い予測を提供できるよう設計されています。

PFP v8.0.0との比較では、GMTKN55分子ベンチマーク [3]、融点、表面エネルギーにおいて改善が見られる一方、生成エネルギーや状態図については同等の性能を維持しています。

MLIP Arenaベンチマーク結果

上記の改善は主にr2SCANモードに関するものですが、r2SCANベースの公開ベンチマークは未だ発展途上であるため、その改善を外部の文脈の中で位置づけることは容易ではありません。そこで、公開ベンチマーク上でのPFP v9の実力を示すため、Chiangらが提案した主要なベンチマークであるMLIP Arena [2] を用いて、PFP v9のPBEモードを評価しました。MLIP Arenaは、エネルギーや力の予測誤差といった従来の静的な指標にとどまらず、実用的なシミュレーション条件下でモデルが物理的に妥当な挙動を再現できるかを評価するオープンなベンチマークプラットフォームであり、実際のシミュレーションに適用する際の信頼性を測る補完的な指標を提供するものです。

MLIP Arenaのプロトコルに従い、homonuclear diatomics (diatomics), equation of state (eos_bulk), energy-volume scans (wbm_ev), stability, and combustionの5つのタスクで性能を比較しました。各タスクの詳細な定義については、原著論文 [2] をご参照ください。

表１:総合ランキング

PFP v9は、MLIP Arenaの総合ランキングにおいてMACE-MPAと並び同率1位となりました。なお、PFP v9.0.0以外のモデルの値は、2026年3月1日時点の公開リーダーボードに基づいています。この結果は、MLIP Arenaで評価された有力モデルの中でも、PFP v9が最上位に位置することを示すものです。

表２:PFPとMACE-MPAのhead-to-head比較

新しいモデルがMLIP Arenaに追加されるすると総合ランキングが変動する可能性があるため、直接比較(すなわち、任意の2モデル間のペアワイズ比較)も検証しています。特筆すべきは、PFP v9が5つのタスクのうち3つで1位を獲得している点です。これにより、MACE-MPAを含むMLIP Arena内のあらゆるモデルとのペアワイズ比較において過半数以上のタスクで優位であることがわかります。したがって、直接比較の評価においてPFP v9を上回るモデルはMLIP Arena内に存在しません。タスクごとの詳細な結果はこちらの別ブログポストをご覧ください: link

今後の開発の方向性

uMLIPの実用化が進むにつれ、評価すべき観点も広がっています。エネルギーや力の回帰精度に基づく従来のベンチマークは、uMLIPの表現能力を示すうえで欠かせないものでした。しかし実際の材料研究では、長時間シミュレーションにおける安定性、MDシミュレーションのような長時間タスクから得られる物性、マクロな実験値との一致といった、より応用に近い観点からの評価も求められます。こうしたベンチマークの深化は、大規模言語モデル(LLM)をはじめとする他の基盤モデルの発展過程でも見られた流れであり、uMLIPが実用段階へと移りつつあることの表れといえます。

こうした状況において、次世代のuMLIPベンチマークには2つの重要な役割があります。1つは、モデル間の比較を通じてモデル開発に示唆を与えることです。もう1つは、ユーザーにとって特に重要な役割として、現在のuMLIPが得意とする領域と、まだ注意が必要な領域を明らかにすることです。こうした情報があることで、ユーザーはより安心してuMLIPを活用でき、開発者は次に取り組むべき課題を見定めることができます。MLIP Arenaは、シミュレーションの安定性や実用的な挙動を重視した指標を提案する先駆的な取り組みであり、PFPの開発が目指す方向性ともよく合致するものです。一方で、実用タスクを指向したベンチマークは幅広い応用ケースをカバーする必要があり、課題も多く残されています。

こうした観点から、現在、我々は次の方針に基づく社内ベンチマーク環境の整備を進めています。

一点計算だけでなく、長時間シミュレーションを含む実用的なタスクでの挙動を評価する
反応エネルギーや欠陥形成エネルギーなど、実際の現象を左右する物性を評価する
特定のDFT汎関数への過度な最適化を避け、実験値との比較を重視した指標とする
多様な材料にわたる重要なシミュレーションケースをカバーする
シミュレーションの安定性や予期しない異常挙動を評価する
現在のuMLIPでは正確に評価できないケースも積極的に取り入れる

これらのベンチマークは、主に社内評価用として整備を現時点では進めています。先日公開したPFP v8のプレプリント [3] でも、実用的な計算タスクに関する結果をいくつか報告しました。実応用に近い評価はコミュニティ全体にとっても重要と考えており、準備が整ったものから順次公開していく予定です。応用を見据えた評価と改善のサイクルを回し続けることで、Matlantis-PFPを、材料研究者が実際の材料開発において安心して活用できる基盤技術へと発展させていきます。