Blog
本記事は、2024年夏季インターンシッププログラムで勤務された高木洋羽さんによる寄稿です。
はじめに
2024年度夏季インターンシップに参加した、東京大学大学院情報理工学系研究科修士1年の高木洋羽です。インターンシップでは、「LLMによる対話システムの開発」に関するHuman-computer interaction（HCI）の研究に取り組みました。この成果をまとめた論文は、HCI×AIを扱う国際会議であるACM IUI 2025に採択され、イタリアのカリャリに出張して発表を行いました。
背景
大規模言語モデル（LLM）は、その高い言語能力により、自然な会話を実現するだけでなく、適切なプロンプトを設定することによって、特定の人物像、状況に従った振る舞いをしながら長い対話を自律的に行うロールプレイエージェントの構築を可能とします。ロールプレイ対話の適用先としては、カウンセリングやゲームのキャラクター、あるいは接客訓練の客役など多岐に渡ります。本研究では、所望のシナリオに従うロールプレイエージェントを構築するためのプロンプトを低コストで迅速に得る手法を開発しました。その紹介を行います。
またPFNではロールプレイ対話を利用した人材採用支援サービス Talent Scouter（タレントスカウター）を提供しています。以下のようなAIアバターとの対話におけるアバターの発話内容を、相手の発話や状況および望ましい進行を鑑みながら制御する部分がロールプレイエージェントに相当します。本研究で得られた知見を通じてサービスの発展に寄与することも同時に目指しました。
https://youtu.be/HzqCfPIFjis?si=GJQMFoz4YbmMP2tX
従来手法における課題
ロールプレイエージェントの構築に際して通常開発者はプロンプトエンジニアリングを行いますが、この時の開発者のユーザビリティには課題があります。まず、長い対話シナリオは複雑で、要件に従って話題の継続や切り替えをLLMに強制させるため、詳細なプロンプトを考えて書く必要があります。さらに、そのプロンプトでエージェントが正しく動くかを検証することも欠かせません。プロンプトを書いては対話を動かす、負荷がかかるプロセスでした。
提案手法
本研究では、完成形を先に見据えることで、プロンプトを得るための思考負荷やタイピング量を格段に減らし、かつ短時間で動作検証までを完了させるフレームワークを研究しました。
- 対話の要件を入力することで、LLMに実際の対話例を出力させる
望ましい条件をLLMに指示し、LLMが対話例の草案を生成する。草案に修正指示を与えて改善し、最終的に想定される対話例を得る。 - 想定される対話例を要約し、ロールプレイエージェントのプロンプトを得る
対話例をもとに、ロールプレイすべきプロフィール・シナリオの概要・各ステップとその遷移条件を要約によって得る。これらを組み合わせて詳細なプロンプトとする。 - 対話相手についても簡潔に要約し、目的のロールプレイエージェントと対話相手エージェントとのマルチエージェント対話によって自動的に動作確認を行う
また必要であれば想定される対話例やそこに至るまでの入力情報をもとに、要件のチェックリストを要約し、LLM as a judgeによる対話の自動評価まで包括する。
ユーザテストの結果、社内の高い水準でプロンプトエンジニアリングが可能な人に対しても、このフレームワークを実装したUIを用いるとエージェント品質を下げることなく、エージェント構築の作業負荷を大幅に削減できることを確認しました。
ただし、本手法では動作確認の結果プロンプトが要件を満たさない場合、そのプロンプトをどう修正すべきかについては何も解決策を提供していません。そのような修正作業までもLLMを活用して自動化することで、さらなるデバッグ作業の効率化を図ることは、やり残したことの1つです。
本研究の詳細についてはこちらの論文[1]をご参照ください。
出張報告
上記の研究成果は、IUI 2025に採択され、イタリアのカリャリにて発表しました。IUIはAIとHCIの交差点の議論を扱う国際会議で、今年の採択率は25%（97/387）でした。
会議全体の傾向としては、LLMを利用したUIやアプリケーションが非常に広い対象分野に対して実装され、それに対して実際の人間のユーザがいかに受容するかを調査した研究が多くを占めました。ML/NLP系の学会と比較すると、アルゴリズムやモデルの内側の改善というよりも、ユーザテストによってAIの得意領域とまだ人間に頼るべき部分を炙り出すようなことにも力が入れられており、社会とAIの関わりを考える上で多くの証拠や示唆が多面的に議論されていました。その中で我々の研究発表は対話システムの活用やプロンプトエンジニアリング手法のあり方に関心がある方々に興味を持っていただけたようでした。
おわりに
本インターンシップでは、従来の根気のいるプロンプトエンジニアリング作業に対して、そこで人間が何をしていたかを整理し、反復的なデザインプロセスによって徐々に改善していき、最終的に上記のようなフレームワークとしてまとめてその効率性を検証しました。
夏の限られたインターン期間内で我々が研究を行い国際会議への投稿に至るまで、同じチームのインターンメンバーであった守屋さん佐藤さんとともにした手法開発の検討や密な議論が不可欠でした。メンターの樋口さん（2024年10月当時PFN所属）には我々インターンメンバーが普段の研究分野ではなくはじめて取り組んだHCI研究について多くの面で助けていただき研究成果をまとめるまで導いていただきました。永尾さんを含めタレントスカウター開発チームの方々にはロールプレイ対話制御の知見や、我々のアイデアがどう実用に結びつけられるか議論していただき、研究を進める上で大きな支えになりました。本ユーザテストへの協力を含め、関わってくださった全ての方々に深く感謝を申し上げます。
Tag
