Contents
無料版で母音設定のパラメータ設定とモーションシンクで遊べるのかを試したの巻
フリー版Live2Dで明るいリップシンクの話題を出している記事をそんなに見かけない。ほとんどが、『できない』や『無理がある』という答えの記事じゃないだろうか。だから、自分は『できない』んだなくらいのつもりでいたんだ。ブレンドシェイプで母音を設定する場合、ブレンドシェイプのサイレントパラメータと、５つの母音設定のパラメータが最低限必要になる。それに加えてXY軸で形状が崩れたものを直す為にいくらかパラメータが必要になってくるということで、無料版のパラメータ30個ではとても足りない。フェネック君はかなりパラメータ数が少ないけれど、それでもちょっと足りない位だ。そのあたりの事情が無料版では『母音設定ができない』という話につながっていると言ったところなのだろう。
諦めていたところ、Live2Dの公式サイトで『モーションシンク』なるものを偶然見つけた。見るとＦＲＥＥ版も対応しているとの事。紹介動画ではパラメータが凄くシンプルでモデリングが設定しやすそうだ！気にならないわけが…ない！
という事で、さっそく配布されている公式の素材の中身を確認してフェネック君でも試してみたんだ。パラメータ設定しやすくていいね～！！！という話を今回するよ。
通常、口の形状を母音設定のためにモデリングする時は、ＸＹで口と顔周りの形状を調整してデフォーマを加えたりして見た目を整えるんだけど…、今回はその辺すっとばして、とりあえず無料版のLive2Dでもモーションシンクを楽しめそうなのか？という事だけサラリと記事にしているよ！母音についての口の形状や、顔を整えるお話は、また今度に改めてするつもりだ＾＾
開閉と変形のみでの表現について
変形と開閉の二つのパラメータを繋げずに設定している状態の口パクはこんな感じ。変形は主にマズルで表現していて、開閉を下の口を閉じるか開けるかという変形ぐらいでシンプルな設定だ。
個人的には、無料版で楽しむ場合はデフォーマとパラメータに設定上限があるので他でパラメータを増やしたりするつもりがあるなら口の設定はこのままでもいいのでは？と思うところがある。無料版の場合は『割り切っていこう』という考え方は大事よね。それでも、マズルが良い感じに変化してくれるから、人の口よりもそれなりに表現がある様に見えて悪くないんじゃないかな～～っと思うところもある。
通常は変形が3点パラメータで開閉が2点パラメータなところ、公式素材の『Kei』さんに採用されている両方を3点パラメータで設定する方法をそのままフェネック君に設定してみることにしたよ。
結果としては良さそう！！！という感想だ。これまでPro版で試してきた母音設定のパラメータよりもシンプルで凄く設定しやすかった。今後はもうこれ一本で行こうかな…
公式の『ケイ』を真似して設定したフェネック君
公式で無料配布されているケイは、モーションシンクを学べる配布キャラクターだ。動画を見た所、日本語だけじゃなく英語も良く動いてるように見える。楽しそう！！という事で、さっそくダウンロードをして内容を確認してフェネック君にパラメータを当ててみたよ。
どうかな、これがモーションシンクで動かしている状態のフェネック君だ。これはGIFなので音声が無いのだけど、アプリのアニメーション作成機能に音声とモーションシンクを設定したフェネック君を取り込み、音声に対してフェネック君のモーションシンク設定をベイクさせた状態で動かした時の口元なんだ。『お』の形が入るのでかな喋ってるっぽくなるぞ…！楽しすぎる…。もちろん、この作業は全てFREE版Live2Dの入ったノートパソコンで行っているんだよ。上下の口のパラメータ繋げて動作確認しただけでちょっと重くなったから、リップシンクでブレンドシェイプとかパラメータ増やすとモデリングですら低スペックパソコンではやっぱり辛そうだなぁ。
モーションシンクは予め形状と母音を紐づけた設定済みキャラと音声を合わせる。ソフト側が母音を判断して口を音声に合わせて動かすアニメーション化してくれる機能らしく、用意した音声を合わせるだけで口の動きのパラメータを自動で打ってくれる大変便利な機能だ。アニメーションど素人の自分でもなんとか形になった…すごい！
手順について
まずはパラメータの変形はそのままに、開閉パラメータは3点じゃないといけないんだ。2点ですでに作り上げてしまっていたので一度削除して3点パラメータにするよ。
通常の3点パラメータの数値は『０・０．５・１』とか『ー１・０・１』の様なパラメータ数値になると思うんだ。口の変形は通常で『ー１・０・１』となっている。そして開閉は『０・１』だよね。今回はこの開閉パラメータの数値が『０・0.4・１』になるように、パラメータの［キーを手動で編集します］からキーを『０・０．４・１』のところに打ってパラメータを作成するよ。
それから、上下『口 変形』と『口 開閉』を鎖クリックしてパラメータを繋ぐんだ。
パラメータは『口内・唇・歯・舌』口周りのパーツを全て紐づけておくとよい予感。クリッピング用のパーツと唇がバインドしているかぎり、唇だけがパラメータに紐づいた状態でも問題なさそうだったけど、『い』で歯の位置を変えたいとか、『あ』で口内をほんの少し広げたいとか、口内の状態をパラメータの位置に合わせて修正が出来るから。（あんまり動かすと変に見えるので、ほんの少ししか調整はできないけど…）がっつり歯を動かしたりするなら、犬歯や奥の方の歯は別パーツとしてオブジェクトを分ける方が変形もしやすくて綺麗に仕上がると思う。でも無料版Live2Dで母音設定する！という今回の流れなので「ほんの少し調整するなら…」という話をしている状態だ。リップシンクさせるなら『歯』は『あ』の状態を想定して作っておいた方が良かったね。今回のフェネック君の歯はちょっと幅が狭すぎちゃったかな…と思った。
口の形をそれぞれパラメータに設定できたら、モーションシンクの設定に入るよ。『三』をクリックして、モーションシンク設定をクリックする。
設定について名前を…とりあえず今回『ご挨拶』と名付けてみた。サンプルレートやブレンド率、スムージングは音声に対しての滑らかさや音を反映する感度のような設定だ。とりあえずデフォルトのままで問題なし。あとでスムージングをいじったりして変化を見比べると判りやすいと思うよ。音声解析については『リップシンク』を選択（特に何かプラグイン的な物も入れてないので、これしか選択肢がない）次に［プリセット］から『基本』を選択する。基本は開閉と変形のパラメータで作られたモデリングからマッピングするもので、ブレンドシェイプで母音を作成している場合は『ブレンドシェイプ』の方を選択する。今回はパラメータでの設定なので『基本』を選択するよ。
マッピング設定でプルダウンから任意の項目を選択し、画像を見ながら『サイレント』なら『サイレントの口』にパラメータを持っていき、ビューエリアのキャラクターが『サイレントの口の状態』なのを確認して［適用］をクリックする。ほかの母音も項目の母音に合わせて、口の形状をパラメータで動かし、キャラクターがその母音の口の形状になってる状態で［適用］をクリックする。それだけで基本的な設定は完了だ。サンプルとして、『.WAV』式の音声を取り込んで［再生ボタン］を押し、ビューエリアのキャラクターを見ると再生の音声に合わせて口パクをしてくれている所を確認することができる。
『.WAV』について、スマホアプリ、ガレージバンド、パソコンと自分の声を録音してWAVで取り込もうとしたけれど、すべて取り込むことが出来なかった。公式のモーションシンクについてのマニュアルでは、
音声ファイルは、［WAV形式］のみ読み込みが可能です。
Live2D Cubism
［WAV形式］であっても、一部サポートされていない形式のものがあり、警告が表示されて読み込むことができない場合があります。その場合には対応する［WAV形式(16bit、44100Hz)］にエンコードを行うことで、読み込める可能性があります。
というTipsがあったので、エンコードすればよかったのかもしれないのだが…できそうなソフトも今持ってないしエンコード無知すぎるので今回は諦めた（笑）配布されている『ケイ』のフォルダ内にあるSoundsで試すことにしたよ。もちろん、すんなり再生することができた。その時の動作が上のGIF動画だったんだ。録って出しのWAV使えたら便利なんだけどな～と思いつつ、動きの結果には大満足だった。
せっかくなのでアニメーションで動かしてみた
先述で試したのはサンプル再生とビューエリアでの画面キャプチャだ。顔や目が動いていないので口だけやたら動いていてちょっと怖い（笑）せっかくなのでアニメーションも立ち上げて動かしてみる事にした。
まずは［モデリング］＞［物理演算設定］で『ポージング』を再生してキャラが動いている素材を適当に準備する。そして、それを動画用としてアニメーションの編集モードで音声と合わせる流れだ。
身体を動かしているキャラに音声を当てたかったので、物理演算設定で動かしている動画を撮って『素材』にしたけれど、モデリングからアニメーション編集に切り替えて、自分でアニメーションを作るの方法も可能だ。
物理演算やビューエリアで録画をし終えると、アニメーション編集に映る際に『SDＫ』か『ＡＥ』か『MOVIE』かって問われると思うんだ。GIFとかMP4が欲しい時は『MOVIE』なので、今回はMOVIEを選択したよ。VTSなどに使うためのモーションづくりならSDKになるだろう。事前録画していなくて素材なしでプルダウンからアニメーションを選択した場合、画面下のタイムライン上にはまだキャラクターも音声もない状態だと思うので、
そんな時は、矢印の位置にキャラクターファイルをドラッグ＆ドロップして取り込む。音声ファイルも同様の位置にエクスプローラのフォルダなど外部から引っ張ってドラッグ＆ドロップで読み込むことができるよ。
動画と音声が揃ったら、タブ［アニメーション］＞［トラック］＞［モーションシンクのアニメーションベイク］をクリックして、再生すれば音に合わせて口パクをしてくれるようになる。
もしもキャンバスサイズが大きければ、シーンを選択して［インスペクタ］でサイズ変更をしてキャラクターの位置をキャンバスに合わせる。Shiftを押しながら選択したキャラクターのサイズをマウスで変える事が出来るよ。動画やGIFとして描きだす時には［ファイル］から［画像／動画の書き出し］で任意のサイズと設定で描きだすことが可能だ。
メトロノームの音…何で入るのかわからんんんんん゛…！
遊びに来てくれてありがとうございますって言いながら、明後日の方を向く根性のあるフェネック君ｗ
読み上げは『音読さん』の『あおいちゃん』インストールなしでオンライン上で使えるの便利！！
WAVの取り込みしかできないので、Convertioさんにお世話になったよ。
この後にVTSでも試したんだけど、モーションシンクはあくまでもモーションシンク用パラメータ！音声と動画のアニメーションで本領発揮する機能。VTSでトラッキングリアルタイムで母音をなるべく綺麗に動かすならマイクロリップシンク（ブレンドシェイプとキャリブレーション、そしてパラメータ設定が出来ている状態）じゃないと難しいようだね。でも単純な開閉よりは表現のある動きはしていたから、3点×3点のパラメータは設定も他の母音設定よりも難しくないし、これは良いんじゃないかな！っていうのが今回判ったことだった♪
プロ版で動かす時は、マイクロリップシンクとモーションリップシンク両方動かせたらいいな～
さてさて、今回はこの辺で…！
いつも読んでくれてThanks！
コメント