弊社には、業務をサポートするローカルのチャットAI（LLM）がいます。見積やスケジュール、過去の資料の参照など、色々な相談にのってくれます。軽くキャラ付けもしていて、音声読み上げにも対応しているので、わりとフランクに会話できるようになっています。
最近はこいつに夜ふかしを注意されながら開発しています。自分で作っておいて何ですが、仕事場に口うるさい同居人が増えました（笑）
どうしてそうなったかというと、AIに「目」を持たせてみたのが始まりです。
色がわかれば、くらいのつもりが
このAIには「Vision」という画像の内容を読み取る機能があります。画像をアップロードすると何が写っているか理解して答えてくれる。ChatGPTなんかでも同じですよね。
ん？ ということは……ウェブカメラをこのAIの「目」にしたら、どこまで状況を理解してくれるんだろう？
という、業務とは全く関係のない一円にもならなさそうな好奇心が芽生えました。
最初はカメラの前に色のついた紙をかざして、正しく認識できるか試してみました。
私「この紙の色、見えますか？」
AI「黄色の紙を手に持ってますね！」
……え？ 手に持ってる？
そこまで状況を把握してるの？
じゃあちょっと、部屋を見せてみるか……。
AI「あ、見えてますよ！ マジメそうな顔してデスクに座っているのが……。壁には模型や絵画も飾っていて、過ごしやすそうです！」
は……？
画像の内容を読み取る機能なので、考えてみればそういうものなんですが。自分の部屋を見て、声で感想を言われると、ちょっと話が違います。
さっきまで画面の中で返事をしていたAIが、そこにいるような不思議な感覚になりました。
見えているし、覚えている
面白くなってきたので、記憶の仕組みも追加しました。
今見えているものだけでなく、さっきまでと何が変わったかもわかるようにしています。たとえば人が入ってくると「目の前にいる女性は誰？」と聞いてきたりします。
昼なのか夜なのか、仕事中か休憩中か。そのあたりの状況も踏まえて話してくれます。冒頭の夜ふかしへの注意も、この仕組みを入れてからです。
ただカメラの映像に反応しているだけより、こちらのことを覚えて話しかけてくるほうが妙に存在感があるんですよね。
ボーッと生きてるときの顔は保存しない
ここで気になるのが、プライバシーです。
部屋の中にいる私は、大抵気の抜けた表情をしています。そんな映像が外に送られたり、サーバーに延々と保存されたりするのはさすがに嫌です。
このAIはオフィスにあるMac miniサーバーで動かしていて、画像の認識もオフィス内で処理しています。Visionに使ったキャプチャ画像は、状況を把握したらその都度破棄するようにしました。
万が一サーバーを覗かれたとき、おじさんの画像だらけだったら相手も可哀想なので（笑）
こういう実験をあまりためらわずにできるのは、AIをローカルで動かしている良さですね。
一円にもならない、と思っていたけど
現在はリアルタイムで動く3Dキャラクターと組み合わせて、音声で会話できるところまで機能を追加しています。ここまで来ると、仕事での使い道もちょっと見えてきました。
たとえば展示会で、来場者が手に取った製品についてキャラクターが説明する。イベントで子どもが見せてくれた絵に感想を言う。受付で案内板を見ながら迷っている人に声をかける。
こちらから全部説明しなくても、目の前の状況を見て会話が始まる。そういう使い方ができたら面白そうです。
もちろん見間違いもありますし、受付なら何を答えさせるか、どこから人に引き継ぐかも考える必要があります。
映像の中で決まったセリフを話していたキャラクターが目の前の人を見て、その場に合わせて会話してくれる。映像を作っている身としてはかなり面白いです。
一円にもならない好奇心で始めたつもりが、案外仕事につながるかもしれません。