VRoidの3Dモデルにリップシンクを覚えさせる
前回の目の瞬きに引き続き、今回はリップシンクを覚えさせます。
リップシンクとは
舞台、生放送などであらかじめ収録された音声入りの楽曲に対して歌っているように見せること。 『Wikipedia』より
要は口パクです。
これを覚えるとHMDやマイクから入力された音声と同期して3Dモデルが口パクをしてくれるようになります。
シェイプキーはこだわりがないなら作る必要はない
前回の目の瞬きを覚えさせたときに、VRoidはある程度シェイプキーを用意してくれることがわかったので今回もそれを使おうと思います。
ただ、用意されているものだけだと後述する必要なシェイプキーに一部合わない(足りない)ものがあり、完全なリップシンクとはちょっと違う感じになってしまったのでその点だけご注意ください。
VRChatにアップロードできるところまで準備する
具体的にはFBX形式にエクスポートしてVRC_Avatar Descriptorを追加するところまでです。詳細は以前ブログに書いたので参考までにどうぞ。
このコンポーネントを使います。
シェイプキーを割り当てる
VRC_Avatar Descriptorでリップシンクの設定ができます。
まずはLip Syncを[Viseme Blend Shape]に変更します。
次にFace Meshは[UMARenderer]を選択します。
あとは口の形に合わせてシェイプキーを割り当てるだけです。Viseme: 〇〇の項目がそれです。
各項目の説明についてはVRChat 日本語wikiを参照してください。
vrchatjp.playing.wiki
全ての項目を埋めるにはシェイプキーが足りないので、ある程度同じシェイプキーで埋めることになります。
自分の設定はこちらです
これで終わりです。こいつ..しゃべるぞ..!!
それでは～
リップシンクが実装されました pic.twitter.com/q7yyy3dypQ
— わさびのりたろう (@ku00_) August 19, 2018
