Blog

Home
Blog
PFP v9のMLIP Arenaベンチマーク評価(詳細版)

2026.08.17

PFP v9のMLIP Arenaベンチマーク評価(詳細版)

Area

Chemoinformatics / Materials Science

Machine Learning / Deep Learning

Tag

# Deep Learning

# Materials Discovery

# Matlantis

Nontawat Charoenphakdee

概要

Matlantis PFP(以下、PFP)バージョン9の性能を公開ベンチマークで実証するため、Chiangら [1] によって提案された主要なベンチマークプラットフォームであるMLIP Arenaを用いて、PBE計算モードで評価を行いました。MLIP Arenaは、エネルギーや力の予測誤差といった従来の静的な誤差指標にとどまらず、機械学習原子間ポテンシャル(MLIP)を評価するために設計されたオープンなベンチマークプラットフォームです。具体的には、実践的なシミュレーション条件下でモデルが物理的に意味のある挙動を再現できるかどうかを評価するものであり、下流の原子スケールシミュレーションにおけるモデルの信頼性を測る補完的な指標を提供します。

MLIP Arenaのプロトコルに従い、homonuclear_diatomics、eos_bulk、wbm_ev、stability、combustionの5つのタスクで性能を比較しました。各タスクの詳細な定義については、原著論文 [1] をご参照ください。なお、本ベンチマークでは、他モデルとの条件を揃えるため、PFP v9のPBE計算モードを使用しています。

表１:総合ランキング

PFP v9は、MLIP Arenaの総合ランキングにおいてMACE-MPAと並び同率1位となりました。なお、PFP v9.0.0以外のモデルの値は、2026年3月1日時点の公開リーダーボードに基づいています。この結果は、MLIP Arenaで評価された有力モデルの中でも、PFP v9が最上位に位置することを示すものです。

表２:PFPとMACE-MPAのhead-to-head比較

新しいモデルがMLIP Arenaに参加すると総合ランキングが変動する可能性があるため、直接比較(すなわち、任意の2モデル間のペアワイズ比較)も検証しています。特筆すべきは、PFP v9が5つのタスクのうち3つで1位を獲得している点です。これにより、MACE-MPAを含むMLIP Arena内のあらゆるモデルとのペアワイズ比較において過半数での優位が保証されます。対戦相手が勝てるのは残りの2タスクが最大であるからです。したがって、直接対決の評価においてPFP v9を上回るモデルはアリーナ内に存在しません。

続いて、MLIP Arenaの各ベンチマークについて、PFP v9と他モデルの結果を比較しながら見ていきます。

Homonuclear diatomics:1位

表３:Homonuclear diatomicsベンチマークの結果

等核二原子分子タスクでは、信頼できるモデルには、滑らかで安定した、物理的に正しい順序のエネルギー・力の曲線を出力することが求められます。96元素に対応するPFP v9は、評価対象のすべての指標で最高の性能を達成しました。conservation deviation (エネルギー保存則からの逸脱)が最も小さく、エネルギーの飛び(energy jump)も最小、tortuosity(曲線の蛇行度)はほぼ理想値で、斥力エネルギーおよび力の減衰傾向に関するSpearman相関も最も高い値を示しています。つまり、PFP v9は総合スコアで1位というだけでなく、二原子分子曲線の滑らかさ・安定性・物理的整合性を診断する各指標において一貫して最上位に位置しています。

Equation of state (eos_bulk):1位

表４:eos_bulkベンチマークの結果

図１:各MLIPモデルによるバルクの状態方程式(EOS)曲線

eos_bulkベンチマークは、圧縮・引張条件下におけるバルクの状態方程式の物理的に妥当な挙動を、各モデルがどれだけ再現できるかを評価するものです。優れたモデルには、滑らかなエネルギー・体積曲線を与えること、エネルギー差の符号反転が過剰に生じないこと、tortuosityを低く保つこと、そしてエネルギーとその微分の傾向に期待される単調な関係を保つことが求められます。

PFP v9は、単一の突出した指標で優位なわけではなく、指標全般にわたって良好な性能を示しています。エネルギー差の符号反転回数は最小(1.032)、tortuosityも最小(1.005)、圧縮側エネルギーのSpearmanスコアはほぼ理想値(-1.000)、圧縮側微分のスコアも非常に高く(0.998)、引張側エネルギーのスコアも高水準(0.987)です。

全体としては、MACE-MPAが指標面で最も近いモデルであり、引張側エネルギーの相関ではPFP v9をわずかに上回りますが、滑らかさおよび圧縮関連の診断指標ではPFP v9がより優れているため、ベンチマーク全体ではPFP v9が1位となっています。この総合1位は、すべての個別指標で圧勝しているわけではなく、EOSタスク全体で最もバランスの取れていることを反映しています。

Energy-volume scans (wbm_ev):5位

表５:MLIP Arenaにおけるwbm_evの性能比較

wbm_evベンチマークでは、PFP v9の順位は5位でした。このタスクは、セルを±20%スケーリングした際のエネルギー・体積曲線の定性的な形状と数値的な規則性を、単調性、tortuosity、順位相関などの指標で評価するものです。順位こそ最上位ではないものの、PFP v9はこのベンチマークでも安定した挙動を示しています。1000構造すべての計算を正常終了し、エネルギー差の符号反転スコアはほぼ1、tortuosityも非常に低い値です。これらの結果は、幅広い無機構造セットに対して、PFP v9が物理的に妥当かつ数値的に安定したエネルギー・体積の傾向を与えることを示しています。

Stability:1位

表６:stabilityベンチマークの結果

stabilityベンチマークは、加熱および圧縮条件下でモデルが数値的・物理的に安定を保てるかを、AUC(Area Under Curve)指標で評価するものです。AUCが高いほど、条件が厳しくなっても計算が破綻せずに維持されることを意味します。PFP v9は両方の条件で高い性能を示しており、加熱AUCが非常に高く、圧縮AUCは全モデル中最高でした。さらに、加熱・圧縮いずれのスケーリング指数も低く抑えられており、シミュレーション条件が厳しくなっても、他の多くのモデルほど急激には安定性が劣化しないことを示しています。

他モデルと比較すると、PFP v9は最もバランスの取れたモデルです。ORB v2は加熱条件下でのAUCでわずかに上回りますが(0.985対0.981)、圧縮条件下でのAUCは大きく劣ります(0.772)。これに対しPFP v9は、両方の条件下で高い性能を維持しています。MatterSimやMACE-MPAも良好な性能を示しますが、scaling exponentが高いことから、条件が厳しくなるにつれて劣化が大きくなることが示唆されます。PFP v9の1位は、単一指標での結果ではなく、一貫して頑健な挙動を反映したものです。

Combustion:4位

表７:MLIP Arenaにおけるcombustionの性能比較。PFPは総合4位。PFP v9の値は5回の試行の平均に基づく。

図2:タイムステップの進行に伴う最終的な重心ドリフト。茶色の破線はPFPv9の5回の独立試行にわたる平均値を示し、茶色の帯は試行間の±1標準偏差を表す。

図3:シミュレーションの進行に伴う水分子数の変化。青色の帯は、設定温度が水素燃焼温度の実験値の範囲(2380–3000 K)内にあるタイムステップ区間を示す。茶色の破線はPFPv9の5回の独立試行にわたる平均値を示し、茶色の帯は試行間の±1標準偏差を表す。

combustionベンチマークでは、試行間で性能に若干のばらつきが見られました。これは分子動力学シミュレーションの非決定的な性質を反映したものと考えられます。このばらつきを考慮するため、PFPについてはcombustionベンチマークを5回実行し、その平均性能を報告しています。この高温反応性分子動力学テストにおいて、PFP v9は総合4位となりました。

PFP v9は数値的安定性において特に優れており、報告されているモデルの中で最終的な重心ドリフトが最小でした。したがって、所定の高温反応性MDプロトコルの下でも、トラジェクトリは良好に制御されています。青色の帯は、設定温度が水素燃焼温度の実験値の範囲内にあるタイムステップ区間を示しています。PFPv9はこの区間の終盤付近で水の生成を開始し、その後も生成物を形成し続けており、反応が持続的に進行していることがわかります。ただし、最終的な収量は最も収量の高いモデルには及びませんでした。

全体として、PFP v9は本ベンチマークにおいて高い数値的安定性を示した一方、反応エネルギーの推定については今後の改善の余地が残されています。

水素燃焼の追加ベンチマーク

MLIP Arenaのcombustionベンチマークは高温条件下での反応分子動力学を評価するものですが、分子動力学の軌道は小さな数値差に敏感であるため、結果は試行ごとに変動し得ます。したがって、このベンチマークは反応系における安定性のストレステストとしては有用ですが、完全に決定論的な条件で熱化学的精度を切り分けて評価するものではありません。実際、PFP v9の5回の試行のうち最も良好な結果では、combustionタスクの順位はさらに上位となり、総合順位にも影響し得るものでした。

combustionベンチマークの確率的な性質を補完するため、MACE-MPAの原著論文(Batatiaら [2] のSupplementary A.8)に基づく第2の水素燃焼ベンチマークでもPFPを評価しました。このベンチマークは、19の水素燃焼素反応について反応熱を評価するものです。分子動力学ベンチマークと異なり、モンテカルロサンプリング、ランダムな初期化、確率的な軌道生成を含まないため、ソフトウェアと最適化設定を固定すれば完全に決定論的なプロトコルとなります。実行間に残る差異は、わずかな浮動小数点演算の数値誤差程度に限られると考えられます。

比較対象は、PBE計算モードのPFP v9(PFPv9 PBE)、r2SCAN計算モードのPFP v9(PFPv9 r2SCAN)、およびMACE-MPAです。各手法について、予測した反応エネルギーと、MACE-MPA論文からデジタイズした実験反応熱との間のRMSE(二乗平均平方根誤差)を算出しました。これにより、熱化学的な予測精度をkcal/mol単位で直接比較できます。

図４:主要な水素燃焼反応に対するPFP v9とMACE-MPAの反応熱予測値の比較

結果は明確な序列を示しました。PFPv9 r2SCANが3.10 kcal/molのRMSEで最も高い精度を達成し、PFPv9 PBEが7.88 kcal/mol、MACE-MPA-0が11.15 kcal/molと続きます。注目すべきは、PBEモードのPFPv9であってMACE-MPAを約29%上回っている点です。また、密度汎関数の選択の影響は大きく、r2SCANはPBEに対して誤差を56%低減しています。

反応MDベンチマークが有限温度の軌道に沿った安定性や反応挙動を評価するのに対し、このベンチマークは反応エネルギーの精度を直接測定するものです。このプロトコルの下で、PFP v9は、特にr2SCAN計算モードにおいて高い性能を示しました。

補足:速度指標を除いた性能

検証実行が異なるハードウェア上で行われているため、速度の比較は必ずしも公平ではないという見方もあり得ます。この懸念に対応するため、stabilityおよびcombustionベンチマークから速度指標を除外した場合の総合順位も算出しました。この代替評価においても上位の手法に変動はなく、主要な順位が計算速度の差によって決まっているわけではないことが確認できました。

表８：速度指標を除いた総合ランキング