Blog
本日、PLaMo 2.0 Primeをリリースしました。PLaMoはPreferred Networksグループが開発している大規模言語モデル（LLM）です。今回、チャットは登録すれば自由に使うことができる他、APIについて登録していただいた方は1000万トークン分の無料クレジット（入出力比4:1の場合）を提供しています。今回は機能面で大きく改善し、同価格帯のモデルを超える日本語性能や指示追従性能を達成を達成しています。ぜひ試しにご利用していただければとおもいます。
今回のPLaMoは経済産業省と国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が日本の生成AI基盤モデルの開発力向上を目指して実施しているGENIAC 第2期の成果を元に作られています。
この開発において中心的な役割を果たしたのは高品質な学習データセットです。LLMを用いて構築し1B, 8B, 31Bといったモデル群を一から作りました。こうしたデータセットを使うことでモデルサイズを抑えたとしても高い性能を達成しています。
例えば、PLaMo 2.1 (8B)はGENIAC 第1期で開発した成果であるPLaMo (100B) と比べ1/12のサイズでありながら、日本語性能やコーディング性能において、同じ性能もしくは超える性能を達成しています。
（下図の赤が今回開発したPLaMo 2.0 8B, 青がPLaMo 1.0 Prime, pfgenはtemperature=1.0で評価）
また、PLaMo 2.0 31Bは、同じサイズの他モデル（Qwen 2.5 32B, Mistal Small 24B, Gemma 27Bなど）と比べ、より高い性能を達成しています。特にPLaMo 1.0 Primeで課題であった指示追従性能などは大きく改善しています。
（下図の赤が今回開発したPLaMo 2.0 31B, 青がPLaMo 1.0 Prime）
特に、日本語の生成能力を評価するpfgenにおいて、PLaMo 2.0 31BはGPT-4oに続く性能を達成しており、DeepSeek-R1やQwen-Maxよりも高い性能を達成することができています。
（temperature=0.0で比較）
こうした高い性能を達成しながら、モデルサイズを抑え、後述する技術の導入によってPLaMo 2.0 Primeは提供価格を抑えることができ、従来のPLaMo Primeの約1/4以下となる1Mトークンあたり60円（入力）、250円（出力）と設定しました。
例えば、1回の会話が1kトークン程度の場合、0.1円、毎日10回1年間話したとしても500円未満で利用することができます。
（ちなみにこのブログ全体で、例の部分を除いて1kトークンぐらいの分量です）
今回のPLaMo 2.0には次のような技術が使われています。
（この他の詳細についてはこちらのブログ記事群を参考にしてください
- 高品質な学習用データセットの構築と利用 (またそれを実現するクラスタに関する記事 1 2 ）
- LLMを利用して日本語を含む世界最大規模のデータセット（1000億トークン）を構築しています。こうした高品質な学習データを利用することでモデルサイズを抑えながら高性能の達成を実現します。
- 新トークナイザの採用
- PLaMo 100Bの時に利用したトークナイザと比べ日本語のトークン効率が45%、英語のトークン効率が25%改善しました。これは日本語の場合、1トークンあたり生成できる文字数が45%増えることを意味します。
- KVキャッシュの削減
- 推論時のコストの多くはデータ転送であり、それはモデルパラメータ読み込みと、過去に処理したデータの記憶であるKVキャッシュ（TransformerのKey Value）の読み込みからなります。特に長い文章を処理し、バッチサイズが大きくなるにつれて、KVキャッシュの読み込みが支配的となり律速になります。PLaMo2.0のアーキテクチャは一部の層にSelf-attentionでなくKVキャッシュを使わないMambaを採用することで性能を維持しながらKVキャッシュを大きく減らせています。
- 事後学習の改良
- 事後学習においても最近の研究成果や公開データセットなどを利用しながら自社でも検証・導入を進め大きく性能改善ができています。
また、検証が不十分ではありますが、今回のモデルは日本語以外についても扱うことができるようになっています。いろいろと試していただければと思います。
今回のリリースと平行して次のモデル開発や周辺アプリの開発も進めています。
皆様のフィードバックを元に今後の開発につなげていきたいと思っています。ぜひいろいろとフィードバックをいただければ幸いです。
最後に、PLaMo 1.0 PrimeとPLaMo 2.0 Primeを比較した例をみてみましょう。
例えば今話題になっている米の値段が高騰している問題について、なにか解決策があるかを聞いてみましょう。
=======
User: 日本のコメの値段を下げるにはどうすればよい？
PLaMo 1.0 Prime
日本の米の価格を下げるためには、いくつかの方法が考えられます。
まず、米の生産効率を向上させることが挙げられます。農業技術の進歩や機械化の推進により、生産コストを削減することができます。また、農家の方々が新しい栽培方法や品種改良に取り組むことで、より多くの米を生産することが可能になります。
次に、流通の効率化が重要です。米の流通においては、中間業者が多く介在することで価格が上昇する傾向があります。そのため、流通経路を簡素化し、直接販売やオンライン販売などを活用することで、中間コストを削減することができます。
さらに、政府の支援策も米の価格を下げるために有効です。例えば、米の生産に対する補助金や、米の輸入に対する関税の引き下げなどが考えられます。これらの支援策により、米の供給量が増加し、価格が下がることが期待されます。
最後に、消費者の意識改革も必要です。日本では、米は主食として欠かせないものとされていますが、他の穀物や食品を取り入れることで、米の消費量を減らすことができます。また、米の価格が下がることで、消費者がより多くの米を購入することができるようになります。
以上のような方法を組み合わせることで、日本の米の価格を下げることができると考えられます。
PLaMo 2.0 Prime
日本のコメの値段を下げるためには、いくつかのアプローチが考えられますが、それぞれにメリットとデメリットが存在します。以下に主な方法をいくつか挙げます。
1. 生産効率の向上: 農業技術の進歩や機械化、品種改良などを通じて、コメの生産効率を向上させることで、生産コストを下げることができます。ただし、これには初期投資や技術習得のコストがかかる場合があります。
2. 流通の効率化: 流通経路の簡素化や中間業者の削減により、消費者に届くまでのコストを削減できます。ただし、流通業者の役割も重要であるため、バランスを取る必要があります。
3. 政府の補助金の見直し: コメの生産に対する補助金の削減や見直しにより、市場の自然な価格形成を促すことができます。ただし、これにより小規模農家の経営が圧迫される可能性もあります。
4. 消費者の意識改革: 消費者が価格だけでなく、品質や安全性を重視する意識を持つことで、価格競争が促進され、結果としてコメの価格が下がる可能性があります。
5. 輸入米の活用: 海外から安価なコメを輸入することで、国内のコメ価格を下げることができます。ただし、国内の農業保護の観点から、輸入量の制限や関税などの問題があります。
これらの方法は、それぞれの状況や政策によって効果や影響が異なるため、総合的なアプローチが必要です。また、これらの方法を実施する際には、農家や消費者、流通業者など、関係者全体の利益を考慮することが重要です。
======
内容については同じような項目がならんでいますが、PLaMo 2.0のほうが各内容についてメリット・デメリットの両面について述べて深く分析するようになってる他、スタイルが改善されています。
また、生成速度はPLaMo 1.0 Primeが35文字/秒だったのに対しPLaMo 2.0 Primeでは76文字/秒となり約2倍となっています。
次に、対称性があるような連続な系には保存量があるというネーターの定理について説明させてみましょう。
=======
User: 対称性があるような系には保存量があるというネーターの定理についてできるだけ詳しくわかりやすく説明してください
PLaMo 1.0 Prime
ネーターの定理は、物理学や数学において、対称性を持つシステムにはそれに対応する保存量が存在するという原理です。この定理は、ドイツの数学者エミル・ネーターによって提唱されました。以下に、この定理を分かりやすく説明します。
1．対称性とは：
対称性とは、ある物体や現象が、特定の変換（例えば、回転や平行移動）を施しても、その本質的な特性が変化しないことを指します。例えば、球体はどの角度から見ても同じ形をしていますし、円筒形の物体は、どの位置から見ても同じ形をしています。このような特性を「対称性がある」と言います。
2．ネーターの定理：
ネーターの定理は、対称性を持つシステムには、それに対応する保存量が存在するというものです。ここで、保存量とは、時間経過に伴って変化しない物理量のことを指します。例えば、運動エネルギーや位置エネルギーは、保存量の一例です。
ネーターの定理によると、もし、ある物理系に対して、連続的な対称性変換（例えば、空間の平行移動や回転）がある場合、その系にはそれに対応する保存量が存在します。逆に、そのような対称性がない場合、保存量は存在しないか、少なくとも、その対称性に対応する保存量は存在しません。
3．定理の数学的表現：
ネーターの定理を数学的に表現すると、次のようになります。ある物理系の運動方程式が、ある連続的な対称性変換に対して不変である（つまり、その変換を施しても、運動方程式が変化しない）場合、その変換に対応する関数（＝保存量）が存在し、その系の運動方程式において、保存量の時間微分がゼロになることが示されます。
4．定理の意義：
ネーターの定理は、物理学において非常に重要な意味を持ちます。対称性から保存量を導くことができるため、物理系の解析や予測を行う際に、保存量を考慮することで、より効率的に問題を解決することができます。また、この定理は、量子力学や一般相対性理論など、様々な物理理論においても、重要な役割を果たしています。
以上が、ネーターの定理についての説明です。この定理は、物理学の根幹をなす原理の一つであり、対称性と保存量の関係を理解する上で、非常に重要な概念となっています。
PLaMo 2.0 Prime
（数式がブログ上でうまく表示されないため画像で貼ります）
・・・このあとも続く
というようにPLaMo 2.0 Primeは数式なども使いながら説明するようになっています。
