本記事は、PFNの2025年度夏インターンシップに参加し、パートタイムで勤務していただいたBoming Yangさんの寄稿によるもので、英語版記事の日本語翻訳版です。

Original English version: https://tech.preferred.jp/en/blog/building-a-strong-japanese-reward-model-on-plamo/

PLaMoベースの強い日本語報酬モデルの構築

報酬モデルとは、生成された応答候補が人間の好みにどの程度合致しているかを評価する仕組みであり、LLMのアライメントにおいて中核的な要素の一つです。現在公開されているほぼすべての報酬モデル、およびそれらを評価するためのベンチマークデータセットは、主に英語向けに構築されています。日本語を最優先とする環境においては、このギャップを埋めることが重要な課題となります。優れた日本語報酬モデルを構築するには、日本語の特性を適切に評価できる能力が不可欠ですが、そのようなモデルの構築・評価に必要なデータセットやベンチマークはほとんど整備されていないのが現状です。

本記事では、英語の好みデータをほぼ完全に活用しつつ、PLaMoアーキテクチャ上で堅牢な日本語報酬モデルを構築する上での可能性について論じます。課題の核心は学習プロセスではなく、評価段階にありました。英語のベンチマークを日本語に翻訳して評価を行う必要があり、この翻訳作業には二つの重大な問題が伴いました。第一に、翻訳されたベンチマークは本来評価すべき重要な特徴を失ってしまう可能性があることです。第二に、報酬モデルは訓練時に使用した翻訳ツールに対して過度に高いスコアを付ける傾向があります。そこで、3つの独立した翻訳ツールで平均化することでこの第二のバイアスを排除し、日本語報酬モデルの品質を評価すると、31Bパラメータのモデルが、72Bパラメータの参照モデルと同等の日本語精度を半分以下のサイズで達成しました。さらに重要なことに、このモデルは英語環境においても他の公開済み報酬モデルを凌駕する性能を示しています。

背景と研究目的

本研究の目的は、英語性能を犠牲にすることなく構築可能な日本語報酬モデルを開発することであり、かつ商用利用が許可されたデータで訓練可能なモデルを実現することでした。ライセンス制約が重要な要因となりました。最も信頼性の高い公開型選好データセットのいくつかは研究用途限定であるため、これらを利用することは不可能でした。また、高品質な日本語選好データも不足していました。このため、主要な原材料として英語の選好データを活用せざるを得なくなり、本プロジェクトは本質的に翻訳問題へと転換しました。すなわち、豊富な英語選好データから、母語である日本語データで訓練したモデルと同等の日本語評価能力を持つ報酬モデルを構築することが可能かどうかという課題に取り組むことになったのです。

訓練データに関しては、商用利用制限が主要な選択基準となりました。具体的には、NVIDIA社が提供するNemotron-Cascade RLHF選好データセット[15]を使用しました。このデータセットはCC BY 4.0ライセンスの下で商用利用が許可されており、著名な英語選好データセット群（HelpSteer2[4]、HelpSteer3[5]、WildGuard[6]など）の厳選されたサブセットを含んでいます。評価には、標準的な報酬ベンチマーク（RewardBench[1]、M-RewardBench[3]、RewardBench-2[2]）を採用しました。訓練プロセスでは、PLaMo-3[13]の因果関係言語モデルをベースとし、出力ヘッドを単一のスカラーヘッドに置き換えた上で、Bradley-Terry[10]好み目的関数を用いて最適化を行いました。英語側のデータリソースは既存のものでほぼ網羅されていましたが、日本語側のデータは不足しており、これがその後の研究展開の方向性を決定づける要因となりました。

日本語評価セットの構築

日本語向け報酬ベンチマークは依然として不足しています。M-RewardBenchには2つの応答からより良い方を選択するペアワイズ形式のデータが含まれていますが、RewardBench-2ではより難易度が高く識別力の高いフォーマットが採用されており、日本語バージョンは存在しませんでした。このデータセットがなければ、特に重要度の高い困難なケースにおける日本語報酬の品質評価は不可能でした。

そこで私たちは、RewardBench-2を日本語に翻訳することで独自の日本語RewardBench-2を構築しました。この作業は通常のローカライゼーションよりも困難でした。なぜなら、選好データセットは単なるテキストではなく、各アイテムが「一方の応答（選択された応答）が他方の応答（拒否された応答）よりも優れている」という明確な比較関係を示しているからです。単に美しく翻訳されただけでは、この比較の核心部分である「選択」と「拒否」の差異が縮小または逆転してしまう可能性があります。したがって、翻訳作業では原文の忠実性を維持し、選択応答と拒否応答の間の差異を正確に保持するとともに、コードやLaTeX形式などの特殊な表記、各フィールドの完全性、そして項目全体での用語の一貫性を厳密に守る必要がありました。

選好データの翻訳

最初の翻訳試行では、プロンプト、選択応答、拒否応答の各要素をそれぞれ独立した3つの翻訳依頼として処理しました。各要素は流暢な日本語に翻訳されましたが、この翻訳方法はデータに静かにダメージを与えていました。翻訳者が拒否応答のみを単独で確認した場合、本来その応答を劣った選択肢としている具体的な問題点を修正してしまう傾向があり、これにより項目が意図する比較の差異が狭まってしまうのです。この問題は、翻訳が流暢であっても意味内容が誤って解釈される可能性があることも意味します。実際に、あるケースでは「bastard princess」という表現が「わがまま」と「バスター」という全く異なる意味に翻訳されてしまい、流暢でありながら誤りであり、自動化チェックでは検出が困難な状態となっていました。

図1：各フィールドを個別に翻訳するのではなく、項目全体を一括して翻訳することが重要です。プロンプト、選択応答、拒否応答を別々の翻訳依頼として処理すると、翻訳者は共通の文脈を欠くため、同じ原文単語「bastard」が各フィールドで異なる誤った訳語（バスター / わがまま）として返される可能性があり（制御不能で一貫性に欠ける）、単一の一括翻訳では項目全体を一元的に処理し、用語を3つのフィールド全体で一貫して適切に表現できます（私生児）。

項目全体を一括翻訳することでこの問題は解決します。プロンプトと両方の応答が提示することで、翻訳モデルは本来劣った選択肢である応答をそのまま保持し、3つのフィールド全体で同一の用語を使用します。この違いは測定可能な形で現れます。私たちは同一のRewardBench-2項目をこの方法で2通り翻訳し、いずれの翻訳も訓練に使用していない報酬モデルで評価しました。その結果、全ての項目で一括翻訳版の方が平均約3ポイント高いスコアを獲得しました（図2）。フィールド別翻訳では選択応答と拒否応答の差異が希薄化されてしまいましたが、一括翻訳ではこの差異が保持されていました。

図2：項目全体を一括翻訳することで選好シグナルが保持されます。同じRewardBench-2項目を、フィールドごとに分割して翻訳した場合と、一括ブロックとして翻訳した場合を比較し、いずれの翻訳も訓練に使用していない報酬モデルで評価したところ、5つのモデルすべてで一括ブロック版の方が高い評価を得ました。

これ以降、私たちはすべての翻訳を一括処理で行うようにし、RewardBench-2の日本語版を3種類作成しました。それぞれ異なる翻訳モデルを使用しています：Gemma 4 31B [12]、Qwen3-235B [11]、および当社独自の日本語翻訳モデルplamo-translate[14]です。（4番目のgpt-ossモデルは、思考過程が出力に漏れたことが判明したため使用を中止しました）。次の明白なステップとして、3つのモデルの中で最も信頼性の高いものを選択する必要がありました。しかし結果的には、どのモデルも単独では信頼に足るものではないことが判明しました。

自己翻訳バイアス

同じベンチマークに対して3種類の翻訳が存在することで、第二の問題が明らかになりました。日本語報酬モデルを評価したところ、日本語スコアは非常に良好に見えましたが、評価セットを作成した翻訳モデルによってスコアが変化することに気付きました。この影響は体系的なもので、各モデルは自身が訓練された翻訳モデルによって作成されたベンチマークで最も高い評価を示しました。Gemmaで訓練された混合モデルはGemma翻訳版で85.5点を獲得しましたが、plamo翻訳版では72.1点に低下しました。Qwenで訓練されたモデルとplamoで訓練されたモデルも、それぞれ自身の翻訳者によるベンチマークで最も高い評価を示しました（図3参照）。

図3：各報酬モデルは、自身が訓練された翻訳者によるベンチマークで最も高い評価を示す。3種類のPLaMo-3 31B混合モデル（gemma-mix、qwen-mix、plamo-mix）の、3種類の日本語翻訳RewardBench-2の評価結果結果。いずれも、訓練に用いた翻訳モデルによるベンチマークで最も高い評価を獲得している。

これは、LLMを評価者とする評価手法[7]で既に知られているバイアスの翻訳版です。モデルは自身のスタイルに沿ったテキストを優先的に評価する傾向があります。翻訳者は自身の出力に特徴的なスタイルを残すため、このスタイルで訓練された報酬モデルはテスト時にも再びそのスタイルを高く評価します。つまり、単一の翻訳済みベンチマークは、日本語報酬モデルの品質を測ると同時に、翻訳モデルの適合度を評価する指標にもなります。このため、異なる翻訳文で訓練されたモデルを公平に比較することはできません。

この問題の原因は、解決策にも示唆を与えています。単一の翻訳文は公平な評価基準とはなり得ませんが、3種類のバイアスが異なる方向に働くため、それらを平均化することで翻訳バイアスを軽減できます。私たちはGemma、Qwen、plamoの各翻訳結果についてRewardBench-2の平均精度を算出し、これをrb2-jp-avgと定義します。この指標では、どのモデルも訓練時の翻訳モデルによる有利性を持たず、これらの翻訳文を一切用いずに訓練された公開参照モデルも私たちのモデルと同等の条件で評価されます。以下に示す日本語数値はすべてrb2-jp-avgに基づくものです。

英語と日本語の混合訓練

正直な評価基準を用いることで、訓練方法の最適解が明確になり、同時に意外な結果も得られました。同じNemotron-Cascadeペアから構築した3種類の訓練データセットを比較しました：英語のみのデータセット、元の英語データ；日本語のみのデータセット、そのplamo翻訳版；そしてこれらを連結し、各ペアが両言語で表示される混合データセットです。日本語翻訳文のみを用いて訓練する方法は最適な手法とは言えません。この方法では英語の性能が失われ、英語のみで訓練したモデルの81.0%という精度が、73.4%まで低下してしまいます。また、翻訳モデルバイアスを考慮しない測定では、実際に日本語において英語専用モデルを上回る性能を示していません。見かけ上の日本語性能向上は、前節で述べた自己翻訳バイアスによるものでした。このバイアスは対応する翻訳者のベンチマークでのみ現れ、翻訳者を平均化すると消失する現象でした。

日本語性能を向上させたのは、英語優先データとその日本語翻訳を混合し、両方のデータセットで訓練する方法でした。この混合手法は、英語専用モデルの英語精度をほぼ完全に維持しつつ、翻訳モデル中立な日本語性能を英語専用ベースラインを上回る水準まで向上させました。これは両言語で同時に優れた性能を発揮する唯一の設定でした（図4）。

図4：混合訓練は両言語で優れた性能を達成。PLaMo-3 31Bを英語のみ、日本語のみ、または両方で訓練した場合。英語専用はバランスは取れているものの日本語では最高性能ではなく、日本語専用は英語性能を犠牲にし、混合手法は日本語性能で最高水準を維持しつつ英語性能も保持しています。

データ量の増加は必ずしも性能向上につながらず、7つの優先データソースを統合した場合でも、最終的には精度が低下する結果となりました。ベンチマークの性能向上を決定づけたのは、ソース数ではなく混合データセット内の各ドメインの比率でした。報酬モデルの品質は、データ量の問題というよりもデータ構成の問題として捉える方が適切でした。

結果

最終モデルでは、plamo-translate[14]を用いてNemotron-Cascadeデータセットを結合ブロックモードで日本語に翻訳し、英語ソースと混合した後、31BパラメータのPLaMoをこの混合データで訓練しました。rb2-jp-avgベンチマークにおいて、独自開発の参照モデル、NVIDIAの72BパラメータNemotron-Cascade報酬モデル[15]、および公開済みのSkywork-Rewardファミリー[8, 9]（V2 Qwen3-8Bモデル、Llama-3.1-8Bモデル）、さらに先行モデルであるGemma-2-27BおよびLlama-3.1-8Bモデルと比較しました。図5に各ベンチマークごとの詳細な性能比較を示します。

図5：実験結果。RewardBenchファミリーのベンチマーク6種類における6つの報酬モデル：RewardBenchおよびM-RewardBench（v1）、RewardBench-2およびRewardBench-2 JP-avg（v2）。v1ベンチマークはほぼ飽和状態にあり、モデル間の差が明確に現れるのは日本語v2ベンチマークにおいてで、当社の31Bモデルがリードしています。

翻訳モデル中立な日本語評価において、当社の31Bモデルは82.9というスコアを達成しました。これは72BパラメータのNemotron-Cascade報酬モデル（82.6）とほぼ同等であり、パラメータ数が半分以下である点を考慮すると測定誤差範囲内の差です。最も性能の高い公開モデルであるSkywork-Reward-V2[8, 9]を約5ポイント上回っています（77.9）。モデルサイズに対するこれらの数値をプロットすると、その効率性が明らかになります：31Bモデルは72Bモデルと同等の日本語性能を、パラメータ数の約40%で達成しています（図6）。同様の効率性は訓練データにも表れており、我々のモデルは約81,000組の優先データペアで訓練されました。これに対し、Skywork-Reward-V2は約4000万組[9]のデータから厳選されたもので、パラメータ数は約3桁多い規模です。英語データにおいても、当社モデルは72Bモデル（80.9）と同等の性能を維持しており、v1ベンチマークでは全てのモデルがほぼ飽和状態となり、モデル間の差は認められなくなりました。私たちが信頼する結果は日本語ベンチマークにおけるものです。特定の翻訳者に有利にならないよう設計されたベンチマークにおいて、サイズが半分以下のモデルが72Bモデルと肩を並べ、テストした全ての公開モデルを凌駕しているという事実です。

図6：翻訳モデル中立な日本語評価（rb2-jp-avg）とモデルサイズの関係。PLaMo-3 31Bミックスモデルは、（約81,000組の訓練データにより）約40%のパラメータ数で72Bリファレンスモデルと同等の日本語性能を達成し（点線）、全ての公開報酬モデルを上回っています。

結論

能力の高いPLaMoモデルをベースとしながらも、強力な日本語報酬モデルを構築するには、慎重なデータ処理と誠実な評価が不可欠でした。このプロジェクトから得られた3つの重要な教訓があります。

第一に、選好データの翻訳においては、単なる文言の翻訳ではなく、本質的な信号を保持することが重要です。選択された回答と拒否された回答をセットで翻訳するか、あるいはフィールド単位で翻訳すると、意図して符号化しようとした差異が静かに消失してしまう可能性があります。

第二に、機械翻訳されたベンチマークには自己翻訳バイアスが存在します。つまり、報酬モデルは自らの翻訳者に対して過度に高いスコアを付与してしまう傾向があります。日本語の報酬品質は単一の翻訳ベンチマークから読み取ることは不可能であり、独立した複数の翻訳モデルによる結果を平均化する必要があります。

第三に、翻訳された日本語データのみで訓練を行うと、英語の学習機会を失う一方で、英語の原文と組み合わせることで日本語性能が向上します。重要なのはデータの構成であり、データ量そのものではありません。

最終的に構築したモデルは、翻訳者に依存しない日本語において72Bリファレンスモデルと同等の性能を、パラメータ数を半分以下に抑えたPLaMo-3 31B報酬モデルです。このモデルは我々がテストした全ての公開報酬モデルを上回り、英語においても競争力を維持しています。本評価は利用可能なデータとベンチマークに制約されているため、普遍的な最適解であると主張するものではありません。しかし、公正かつバイアスを制御した測定条件下において、これは強力な日本語報酬モデルであり、その構築手法（一括ブロック翻訳、翻訳モデル中立指標、英語-日本語混合データ）は他の英語データから日本語報酬モデルを構築する試みにも応用可能であると考えられます。

参考文献

• [1] Lambert et al. RewardBench: Evaluating Reward Models for Language Modeling. arXiv:2403.13787, 2024.
• [2] Malik et al. RewardBench 2: Advancing Reward Model Evaluation. arXiv:2506.01937, 2025.
• [3] Gureja et al. M-RewardBench: Evaluating Reward Models in Multilingual Settings. ACL 2025. arXiv:2410.15522, 2024.
• [4] Wang et al. HelpSteer2: Open-source Dataset for Training Top-performing Reward Models. arXiv:2406.08673, 2024.
• [5] Wang et al. HelpSteer3-Preference: Open Human-Annotated Preference Data across Diverse Tasks and Languages. arXiv:2505.11475, 2025.
• [6] Han et al. WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs. NeurIPS 2024. arXiv:2406.18495, 2024.
• [7] Panickssery, Bowman, Feng. LLM Evaluators Recognize and Favor Their Own Generations. NeurIPS 2024. arXiv:2404.13076, 2024.
• [8] Liu et al. Skywork-Reward: Bag of Tricks for Reward Modeling in LLMs. arXiv:2410.18451, 2024. Models: Skywork-Reward-Gemma-2-27B-v0.2, Skywork-Reward-Llama-3.1-8B-v0.2.
• [9] Liu et al. Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy. arXiv:2507.01352, 2025. Models: Skywork-Reward-V2-Qwen3-8B, Skywork-Reward-V2-Llama-3.1-8B.
• [10] Bradley, Terry. Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons. Biometrika 39(3/4):324–345, 1952. JSTOR 2334029.
• [11] Qwen Team. Qwen3 Technical Report. arXiv:2505.09388, 2025.
• [12] Gemma Team, Google DeepMind. Gemma 4. Model card, 2026. ai.google.dev/gemma · HF: google/gemma-4-31B-it.
• [13] Preferred Networks & NICT. PLaMo 3. Our reward models are built on an internal PLaMo-3 checkpoint, post-trained in-house from the publicly released base models plamo-3-nict-8b-base and plamo-3-nict-31b-base. 2026. HF: 8B base · HF: 31B base.
• [14] Preferred Networks. *PLaMo Translation Model (plamo-2-translate).* A dedicated English–Japanese translation model (10B, built on PLaMo-2-8b). 2025. HF: pfnet/plamo-2-translate.
• [15] Wang et al. Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models. arXiv:2512.13607, 2025. Reward model: nvidia/Qwen2.5-CascadeRL-RM-72B. Preference data (NVIDIA, CC BY 4.0, commercial-use; a curated subset of HelpSteer2/3 and WildGuard): nvidia/Nemotron-Cascade-RL-RLHF.