Blog
ふだん使っているマグカップやトースターに、ふと話しかけてみたくなる。そう思ったことはありませんか。人は無生物に人間のような特徴を見出し、時に愛着を抱くものです。雲の形に顔を見たり、長年使っている道具に特別な個性を感じたり、植物に語りかけたりするのも、そうした心の働きの一端でしょう。この「擬人化」という人が自然に持つ感性に着目し、もし身の回りのモノが顔と個性を持ち、人間や他のモノたちと自由に会話を交わすようになったら、日々の暮らしはどう変わるのでしょうか。近年のAIと拡張現実（AR）技術の目覚ましい進歩は、かつて空想でしかなかったそんな世界を、少しずつ現実のものとして手繰り寄せようとしています。
もちろん、スマートスピーカーやAIアシスタントの登場により、「モノと話す」という体験は、既に私たちの生活に浸透しつつあります。しかし、それらの多くは特定の機能に関する応答が中心で、AIの存在は声だけであったり、画面の中のキャラクターであったりと、現実の物理的な世界とはどこか隔たりを感じさせることが多いのではないでしょうか。
今回ご紹介するのは、CHI 2025で発表した研究です。この試みでは、ARとAIの力を融合させ、日常空間に存在する様々な「モノ」たちに、見て触れ合える個性豊かなキャラクターとしての生命を吹き込むことを目指しています。例えば、愛用のスニーカーが生き生きとした表情で朝の挨拶を投げかけてきたり、食卓に並んだ食べ物たちが夕食の献立について賑やかに議論を交わしたりする。そんな、3DCGアニメのワンシーンのような、少し不思議で心温まる光景が、ARを通じて現実の目の前に立ち現れるのです。
「命」を吹き込む仕組み
では、具体的にどのような仕組みで、モノたちは話し出すのでしょうか。ユーザーがARデバイス（ヘッドセットやスマートフォン）を通して対話したいモノを選ぶと、まずそのモノの画像が撮影され、視覚言語モデル（VLM）によって分析されます。このVLMは、単に「これはカップです」と認識するだけではなく、そのモノの外観や用途といった情報から、ふさわしい名前、性格、話し方といった固有のキャラクター性を創造的に生成するのです。例えば、ビスケットの箱であれば優しく甘いおっとりとした性格、サボテンであれば少し気難しいけれどどこか憎めない皮肉屋な性格、といった具合です。そしてVLMは、その個性に適した顔のアニメーションパーツと声のトーンを選び出します。
さらに、3Dアセット生成モデルという別のAIを活用し、それぞれのキャラクターに合わせたオリジナルの頭飾りを動的にデザインすることも可能です。例えば、カップラーメンのキャラクターには麺でできたユニークな髪型を、ラズベリータルトのキャラクターにはラズベリーを模した可愛らしい帽子を、といった具合に、そのモノならではの遊び心あふれる視覚的な工夫が凝らされます。
こうして生まれたキャラクターに、今度は大規模言語モデル（LLM）が対話の息吹を与えます。LLMは、キャラクターの個性、ユーザーの言葉、そして周囲の状況といった情報をリアルタイムで処理し、その場に応じた魅力的なセリフを紡ぎ出します。そして、そのセリフを音声合成エンジンがキャラクターの声として届けます。
この仕組みの大きな特徴は、特定のスマートデバイスや事前に情報を登録した物品に限定されず、原理的にはほぼ全てのモノをキャラクター化できる高い汎用性にあります。手元のクッション、愛用のヘッドフォン、食卓のワインボトル。ARデバイスをかざしさえすれば、そのモノ固有の個性をまとったキャラクターが目の前に立ち現れ、すぐにでも対話を始めることができるのです。
そして、このようにして複数のキャラクターが同じ空間に存在すると、彼らはユーザーと話すだけでなく、キャラクター同士で自発的に会話を始めることもあります。例えば、消毒スプレーとティッシュ箱がどんな世間話に花を咲かせるのか、少し耳を澄ませてみるのも一興かもしれません。それぞれのキャラクターは自分が何のモノであるかを理解しているため、その物体ならではの、思わずクスリとしてしまうようなユーモラスな会話が展開されることが期待できるでしょう。
言葉だけではない、生き生きとした存在感
物に声と顔を与えるだけでなく、キャラクターたちが本当に「生きている」ように感じられ、現実世界にしっかり存在していると思えるような工夫も凝らしています。
- 表情豊かな感情表現： コミカルで親しみやすい演出も取り入れ、感情の動きがより豊かに伝わるよう、キャラクターの顔は生き生きとアニメーションします。例えば、歯磨き粉のキャラクターに「このミント味は強すぎるね！」といった感想を伝えると、ムッとした表情を浮かべ、怒ったような湯気を頭から出す、といった具合です。
- 周囲の状況を察知する能力： VLMが定期的に周囲の環境を分析し、変化があればその情報をLLMに伝えることで、キャラクターは周囲で起きている出来事にも気づくことができます。例えば、散らかったデスクの上のカップが、オフィスの整理整頓についてチクリと意見したり、新しいモノ（仲間）が現れれば挨拶し、逆に誰かが視界からいなくなればその不在に言及したりもします。
- ユーザーの行動への細やかな反応： 会話だけでなく、ユーザーの様々な行動や物理的な操作にも、キャラクターは敏感に反応します。
- トラッキング技術により、ユーザーがモノを持ち上げると、キャラクターがそれに応じたセリフを発したり、表情を変えたりします。スマートフォンであれば、画面上のキャラクターをタップして「つっつく」といったインタラクションも可能です。
- 視線追跡機能付きのARヘッドセットを使う場合、ユーザーの視線に気づき、じっと見つめられると少し照れたような仕草を見せるかもしれません。また、ユーザーがモノに近づいたり離れたりする動きも認識し、対話に反映します。
- ちょっとおしゃべりが過ぎるカップラーメンのキャラクターがいたら？ その容器を倒してしまえば、キャラクターは「気絶」したかのように静かになります（周りのキャラクターたちは心配の声を上げるかもしれませんが）。そして、再び容器を立ててあげれば、キャラクターは元気に復活します。
- 特にユニークなインタラクションとして合体機能があります。二つの物を近づけると、それぞれのキャラクターが融合し、個性や外見が混ざり合った新しいキャラクターが誕生するのです（ドラゴンボールのフュージョンを思い起こさせるかもしれませんが、ここでは奇妙なダンスは不要です！）。例えば、スパイシーな「カレーカップ」と甘い「タルティ」が合体して、甘辛い「カレータルト」になる、といった具合です。この合体キャラクターとの会話を一通り楽しんだ後、物を離せば、元の二体のキャラクターに戻ります。
この技術が拓く、大きな可能性
さて、食卓のトースターが朝の挨拶をしてくれることに、一体どんな価値があるのでしょうか。単なる目新しさや瞬間的な面白さを超えて、この技術は私たちの生活や社会に様々な可能性をもたらすと考えています。
- エンターテイメントと物語体験の革新： 家庭空間そのものがインタラクティブな物語の舞台となり、身の回りのモノたちが織りなす即興のコメディが日常を彩る。まるで自分だけの「トイ・ストーリー」のような、夢あふれる体験が、すぐ手の届くところで展開されるかもしれません。食卓の塩とコショウ入れが夫婦漫才を始めたら、もうテレビのバラエティ番組は必要なくなる、なんてことも？
- 知的好奇心を育む、新しい学びの形： 「勉強」と聞くと、少し退屈なイメージがありませんか。この技術は、そんな学びの時間を、まるで冒険のようなワクワクする対話の体験へと変える力を持っています。例えば、博物館のガラスケースの向こうにある歴史的な遺物が、もう解説文を読むだけの対象ではなくなります。豊かな表情を持つキャラクターとして、自らがたどってきた壮大な物語や、生きてきた時代の空気を、すぐ隣で語りかけてくれるのです。声だけの案内とは違い、キャラクターの喜びや驚きといった感情が表情から伝わることで、子どもたちの心に強い印象と共感を刻み込みます。抽象的で難しい概念も、親しみやすい「先生」との対話を通じて、自然と頭に入ってくることでしょう。
- 日々の彩り、そして心の繋がりを深める存在へ： 現代社会において、時に孤独を感じやすい人々にとって、親しみのある物が話し相手や相談役になってくれることは、大きな慰めや安心感をもたらす可能性があります。例えば、コーヒーメーカーが、あなたがいつもより多くコーヒーを飲んでいることに気づき、思いやりのある表情を浮かべて「最近、少しお疲れ気味ではありませんか？」と優しく気遣いの言葉をかけてくれる。そんな何気ないやり取りが、日常のモノやそれらが存在する空間との間に、これまでにない温かい愛着や心の繋がりを育む、大切なきっかけになるかもしれません。
- より人間味あふれるスマートホーム体験の実現： IoTデバイスやスマート家電とのコミュニケーションが、もっと直感的で、心温まる体験へと進化することも期待できます。無機質な音声アシスタントに一方的に命令を下すのではなく、スマートランプのキャラクターと照明の雰囲気について相談したり、エアコンのキャラクターが「少し肌寒くありませんか？」と体調を気遣ってくれたりするのです。表情豊かな顔を持つキャラクターを介することで、機械との対話は、より人間同士のコミュニケーションに近い、温かみのあるものになるのではないでしょうか。
これからの展望
本研究は、ARとAIが織りなす新たなインタラクションの、広大な可能性のほんの入り口を示したに過ぎません。AI技術の目覚ましい発展に伴い、キャラクターの対話能力は今後さらに深まり、より広範な知識や長期的な記憶を備えるようになるでしょう。また、ユーザーがキャラクターの個性や外見をより自由にカスタマイズできる機能の開発や、日常生活における長期的な影響を詳細に検証するためのユーザー実験も、今後の課題です。
この研究を通じて目指すのは、身の回りにあるモノたちと、より深く、より感情豊かな関係を築き上げることです。モノを単なる受動的な「道具」としてではなく、私たちの生活空間における能動的で魅力的な「存在」として捉え直す。AIとARの融合が、デジタルと物理世界との関わり方を、よりシームレスで直感的、そして何よりも社会的・感情的に知的なものへと変えていく。そんな未来の実現に向けて、この研究が一つの布石となれば幸いです。
