takanakahiko’s blog

多分三日坊主で辞めます。

ヴァーチャル美少女としてのZoom参加を支える技術

仕事で私との Zoom ミーティングをされる方は、私がヴァーチャルキャラクターの姿で通話に参加しているところを知っているはずです。 そこで私が初心者として、モデリングなどを通して各種ツールを用いた Zoom 通話への参加まで至った過程を簡単に説明していこうと思います。 この記事が、みなさんが自分の望む様々な姿で通話に参加できるようなきっかけになれば嬉しいです。

この記事は、 Akatsuki Advent Calendar 2021 の10日目の記事です。

adventar.org

昨日は neocat さんの「GCPのサービスアカウントキーなしでgcloudやbqコマンドをAWSから利用してみた」でした。

hackerslab.aktsk.jp

補足ですが、私は普段は課金決済基盤を開発しているエンジニアであり、いわゆる 3DCG キャラクターモデルやそれらを動かす技術については専門ではありませんので、正しくない表現等あるかもしれません。 表現等に間違いを見つけたらご指摘していただけると嬉しいです。

Zoomに 3DCG キャラクターとして参加する

オンラインミーティング、大変ですよね。 そんなときに魅力的なキャラクターが参加者一覧に居たら心が晴れやかになります(個人差あり)。 そもそも、好きな見た目でお互いにコミュニケーションを取ったほうが幸せなはずです。 そういった意味で、Zoom に 3DCG キャラクターとして参加することには様々なメリットがあります。

本来、見た目自体はミーティングの内容とは切り離して考えるべきであり、そういった意味では (こういったものを作っておいて説得感はゼロですが ) 特定の見た目を強要されるような文化があるとしたらあまり気持ち良いものではないと感じます。

f:id:takanakahiko:20211209214156p:plain
Web カメラに表示された人間にスーツをかぶせるソフトを作った人間が言うなよ

また、最近話題のメタバースといったものによって、3D キャラクターをアイデンティティーとする世界も遠くないはずです。 そういった意味でも、3D キャラクターとしての見た目の自分を持っておくことも悪くないはずです。

モデリング大変

3DCG モデリングソフトウェアとして Blender とか Maya が挙げられます。 しかし、これらを初心者が一人でやるのはとても難しく、敷居が高いものです。

また、キャラクターモデルを買うという選択肢もあります。 VRM 等に関しては BOOTH 等でモデルを買うことができます。

しかし 3D モデルがアイデンティティになっていく時代において、どのようにオリジナリティを作っていけばいいのでしょうか? 買ったモデルを改造というのも、Blender や Maya の操作技能を要求されます。

せっかくなら、1からキャラクターを作っていきたいと思いますよね。

そんなあなたに...

VRoid Studio

VRoid Studio というソフトウェアがあります。

Pixiv 社が開発している 3D モデリングツールです。 人形の 3D モデルに特化していて VRM という共通規格で出力可能です。 専門知識を要することなく敷居が低いのに加えて、VRoid Hub 等の連携もしやすいのが特徴です。

vroid.com

そもそも VRoid とは Pixiv 社が提供する 3D キャラクターのプラットフォームです。 モデルの作成、公開、シェア、販売( BOOTH )、 SDK の提供まで包括し、エコシステムが形成されています。

f:id:takanakahiko:20211209201216p:plain
ちょうどこのタイミングで v1 がリリース

ここで操作説明をしたいところですが、 VRoid Studio はかなり多機能であるため、それの解説をしている記事や動画を探したほうがいいでしょう。 多機能とはいえ、直感的でわかりやすい UI、さらに必要な前提知識も少ないために、ハードルは低いと思います。

f:id:takanakahiko:20211209201340p:plain
詳細については他のサイトや動画を見るといい

VRoid Studio でのモデリングが終わったら VRM ファイルとして書き出しておいてください。

f:id:takanakahiko:20211209220958p:plain
VRMファイルを書き出しておく

ちなみにこれは余談ですが、 VRoid Studio ではポーズを試して撮影することも可能です。

f:id:takanakahiko:20211209202812p:plain
かわいい

f:id:takanakahiko:20211209212440p:plain
お絵かきの下絵にするなども出来る

ちなみに私が作ったキャラクターはこちらです。 ぜひ「♥」をポチッと...。

hub.vroid.com

Unity を使うという選択肢

VRM は Unity で扱いやすいようにパッケージが提供されています。

やっぱゲームエンジンは何でもできて最高です。 例えば、キャラクターにアイテムを持たせたり、服を光らせたり、自由自在です。

しかしエンジニアじゃない人でも気軽に触りたい...。

そこで...

Kalidoface 3D

Kalidoface 3D というツールがあります。 これを使うと、Web サイト上で VRM を表示できる上にカメラでモーションをキャラクターに反映することが出来ます。

また PWA として動作するため、デスクトップアプリのように利用することも可能です。

f:id:takanakahiko:20211209212927p:plain
Kalidoface 3D

3d.kalidoface.com

今回は、こちらを使ってバーチャルキャラクターになりきる方法を紹介します。 (記事内のスクリーンショットの画面表示が一部乱れていますが一時的な不具合だったようで、実際とは若干見た目が異なります)

まずは、作成した VRM を取り込む必要があります。 以下のように作業してみましょう。

f:id:takanakahiko:20211209210137p:plain
①Charactersを開く/②VRMをアップロードする

次に、自分のモーションを検出するためのカメラを指定します。

f:id:takanakahiko:20211209210157p:plain
①設定を開く/②カメラを選ぶ

Kridface 3D 自体の画面を出すと、諸々の UI が表示されたままになります。 そこで、操作画面とは別のプレビュー用の画面を Picture-in-Picture として表示するといいでしょう。

f:id:takanakahiko:20211209210221p:plain
①Picture-in-Pictureを選択/②新しいウィンドウが出来る

f:id:takanakahiko:20211209210250p:plain
これを押すとモーションが反映され始める

これで準備完了です。

あとはこれを Zoom に取り込めば...、と思うかもしれません。 キャラクターが動いている画面を共有することで皆に見てもらえます。

でも自分が発表しないときは...?

つまり、自分のキャラクターが映るカメラを用意する必要があります。

そんなあなたに...

CamTwist

CamTwist というツールがあります。 これは、特定のウィンドウなどを指定して、それをもとに擬似的なカメラを作ることが出来るツールです。

他にも OBS 等のツールがありますが、今回は操作が簡単かつ動作が軽快なこちらのツールの使い方を紹介します。

f:id:takanakahiko:20211209210341p:plain
PIPの内容で擬似カメラを作成する

CamTwist 側での設定はこれで完了です。

では、さっそく Zoom でミーティングに入りましょう。 Zoom のカメラを CamTwist のバーチャルカメラに設定します。

f:id:takanakahiko:20211209210459p:plain
Zoom のカメラを CamTwist のバーチャルカメラに設定

オ!!!!!! 突然素敵なキャラクターが参加したことにより、ミーティングに出ているみなさんが笑顔になるはずです。

f:id:takanakahiko:20211209210628p:plain
オ!!!!!!

以上です、お疲れさまでした。

まとめ

バーチャルキャラクターになるための様々なツールがあり、リテラシーは求められど、かなりコモディティ化してきていると感じています。 今回紹介できなかったけど他にもツールはたくさんあります。

現在は VRC などを起点として VRoid などのエコシステムや規格が生まれつつあり、このエコシステムにどう乗っていくか考えていく必要があります。

簡単になってきているのは事実であり、バーチャルキャラクターとしてミーティングに参加するメリットもたくさんあります。 やるっきゃねえですね。

みんな!バーチャルキャラクターで Zoom に参加しようや!!!

...

Akatsuki Advent Calendar 2021 の11日目の記事は cllightz くんが C# について書くようです。 お楽しみにどうぞ。

adventar.org

あと、目黒ワンニャンパーク Advent Calendar 2021 もよろしくお願い致します。

adventar.org