お気に入りの3Dキャラクターに着替えさせて、カメラの前で話しかける。
カメラ映像も、画面の様子も、今いる場所も踏まえて、好みの口調で答えてくれ、頼めば同時通訳もこなすAIキャラクターです。
インストール不要、開くだけで会えます。
アプリ下部のツールバーがそのまま機能の入り口。見た目の着せ替えに加えて、カメラ・画面・位置情報を踏まえた会話や、その場での通訳までこなします。好きな組み合わせを見つけて、自分だけの推しに育てていけます。
好きな VRM モデルをリストから選択。VRoid Hub からもダウンロードできます。
VRMAモーションをランダム or 選択再生。表情豊かに動き続けます。
お気に入りの曲をリスト登録し、シーンに合わせてランダム再生。
3D空間ごと着せ替え。キャラクターの回転に合わせて背景も一緒に回ります。
Gemini Live とマイクでリアルタイム会話。インカメラ・アウトカメラ・スクリーン映像を個別に見せながら話せます。
端末を机に置いてインカメラをオン。自分の顔の位置を元に、キャラクターが端末内に存在するかの様に表示。
ジャイロセンサーをONにして、背景をオフにして、アウトカメラをオンにして推しと写真が撮れます。
2つの言語を選ぶだけで、会話の指示に相互通訳を自動追加。70以上の言語プリセットから選べます。
現在地をコンテキストとして会話に反映。近くのお店や地域の話題にも答えられます。
配信中のライブチャットを取得し、視聴者のコメントを踏まえてキャラクターが反応・応答します。
index.html をブラウザで開くだけ。インストールは不要です。
キャラクター・モーション・BGM・背景を好きな組み合わせに。
「会話」ボタンから接続。カメラ・画面・位置情報・通訳・YouTubeコメントなど、必要なものだけONにして話しかけてみましょう。
基本の3ステップに慣れてきたら、少し凝った使い方にも挑戦してみてください。それぞれの手順をまとめました。
標準搭載のキャラクターだけでなく、VRoid Hubで公開されている無料のVRMモデルを追加して着せ替えられます。
アウトカメラとジャイロセンサーを組み合わせると、まるで目の前にキャラクターが立っているかのような写真が撮れます。
会話・通訳機能は、利用者ご自身のGemini APIキーを使って動作します（BYOK方式）。Google AI Studioで無料で発行でき、この設定は最初の1回だけで済みます。
APIキーを設定したら、あとはマイクとカメラを使って、選んだキャラクターの口調で自然に会話ができます。
70以上の言語プリセットから2つ選ぶだけで、会話に自動で相互通訳を追加できます。
YouTubeで配信しながら使うと、視聴者のコメントを踏まえてキャラクターが応答してくれます。
気になる人向けに、見た目の裏側で何をしているかを簡単にまとめました。
VRMは、3Dアバター（人型モデル）を扱うためのオープンなファイル形式です。異なるツールで作られたモデルでも共通の仕様で読み込めるため、 VRoid Studioなどで作られたキャラクターも含め、さまざまな制作者のアバターをそのままアプリ内で着せ替えて使えます。 VRMAはVRMモデルに対応したアニメーション（モーション）専用のファイル形式で、同じモーションデータを異なるモデルへ使い回すこともできます。
インカメラで検出した顔の位置に応じて、キャラクターを映す3D空間のカメラ視点を左右・前後にわずかに動かしています。 顔を動かすと見える角度も変わるため、まるで画面の奥にキャラクターが実在しているかのような奥行き感が生まれる仕組みです。 この視差の付け方をより厳密な計算に切り替えたものが「本格off-axisモード」で、画面を覗き窓のように扱い、より正確な立体感を再現します。
顔の位置検出には、Googleが提供するオンデバイス機械学習ライブラリ「MediaPipe」の顔ランドマーク検出モデルを使っています。 この処理はすべて端末上のブラウザ内で完結しており、カメラ映像を外部サーバーに送って解析しているわけではありません （会話機能で映像をGemini Liveに送る場合は別です）。
会話機能は、利用者ご自身のGemini APIキーを使う「BYOK（Bring Your Own Key）」方式です。専用のサーバーは経由せず、 ブラウザから直接Googleに短時間だけ有効な一時トークンを発行し、それを使ってGemini LiveとWebSocketで直接つながります （トークン発行がうまくいかない場合のみ、APIキーで直接接続するフォールバック動作をします）。 音声のやり取りは生のPCMデータで行われ、受け取った音声の音量からキャラクターの口の動きをリアルタイムに算出しています。
基本の口パクは、受信した音声の音量（RMS）をもとに動かすシンプルな仕組みです。「音声分離リップシンク」をONにすると、 音声の周波数成分（フォルマント）を解析して「あ・い・う・え・お」に近い口の形を推定し、より自然な口の動きに近づけます。 この解析はBGM再生時にも使われており、人の声の帯域だけを取り出すことで、BGMに合わせて「歌っているような」口の動きも再現しています。
技術デモではなく、個人の制作動機としての話です。
Gateboxのように専用ハードウェアの中にキャラクターが「実在」しているかのような体験や、Portalgraphのように画面を覗き窓に見立てて奥にキャラクターが佇んでいるかのような体験には、以前から強く惹かれていました。 ただ、それらは専用の筐体やアプリを前提としたもので、気軽に試せるものではありません。 今、手元にあるスマートフォンやタブレット、あるいはMetaQuest2のブラウザだけで、あの感覚にどこまで近づけるのかを、自分の手で確かめてみたくなったのが出発点です。
特別なセンサーも専用ディスプレイも使わず、一般的なスマホ・タブレットのインカメラと、ブラウザだけで動くMediaPipeの顔トラッキングを使って視差表示（off-axis）を再現できないか。 MetaQuest2のブラウザでも同じコードがそのまま動くのか。 そうした「制約の中でどこまで近づけるか」を試すこと自体が、このアプリを作る一番の動機でした。 VRM/VRMAという開かれた形式を使うことで、既存の様々なキャラクターやモーションをそのまま活かせる点も、この実験を後押ししてくれました。
視差表示だけでも「そこに居る」感覚は生まれますが、せっかくなら話しかけられる相手であってほしいと思い、Gemini Liveによるリアルタイム会話や通訳の機能を後から加えました。 カメラ映像や位置情報を踏まえて反応してくれることで、単に眺めるだけの存在から、同じ場にいる相手としてのキャラクターに近づけたかった、という思いがあります。
カメラや位置情報の扱い、対応環境、料金まわりなど、よく聞かれる質問をまとめました。
保存されません。顔の位置検出はブラウザ内の処理だけで完結しており、映像そのものを記録することはありません。会話・通訳機能を使っているあいだだけ、カメラ映像・画面表示・（許可した場合の）位置情報をGoogleのGemini Liveに送信して応答生成に利用しますが、当サイト側で保存・記録することはありません。詳しくはプライバシーポリシーをご覧ください。
不要です。index.html をブラウザで開くだけで使えます。アプリのダウンロードやアカウント登録は一切必要ありません。
WebGLとカメラ利用（getUserMedia）に対応した最新のChromeやSafariなどのモダンブラウザで動作します。PC・タブレットでも表示できますが、インカメラを使った視差表示（off-axis）やジャイロセンサーを使ったAR撮影モードは、その両方を搭載したスマートフォンでの利用を想定しています。
使えます。VRoid Hubからダウンロードしたモデルだけでなく、自作したVRM形式のファイルも読み込んで利用できます。
いいえ、インターネット接続が必要です。VRMモデルを表示する3Dエンジンの仕様上、着せ替えやモーション再生といった基本機能も含めてオフラインでは動作しません。会話・通訳・YouTube連携などGemini Liveを使う機能はもちろん、アプリの起動そのものに通信環境が必要です。
アプリ自体の利用は無料です。ただし、会話・通訳機能はGoogleのGemini Live（Gemini API）を利用するため通信が発生します。加えて、モーションやBGMを自動再生（ランダム再生）に設定している場合は、それらのデータ読み込みでも通信量がそれなりに発生します。長時間の利用にはWi-Fi環境をおすすめします。
着せ替えやモーション再生、BGM再生などの基本機能はカメラ・位置情報を許可しなくても利用できます。周囲の状況を踏まえた会話や、通訳・AR撮影などを使いたいときにだけ、それぞれの許可が必要になります。
VRMちゃんと！は、多くの制作者の方々が無償で公開してくださっているVRMモデル・背景・モーション・BGMを使わせていただいて成り立っています。 素敵な素材を無償で公開してくださっている皆さまに、この場を借りて改めて感謝申し上げます。
使用している素材については、アプリ内のログ表示にそれぞれの作者名と配布元へのリンクを表示しています。 気に入ったキャラクターやモーション、BGMがあれば、そこから制作者様のページをぜひ訪れてみてください。