リップシンク作成と「味つけ」について

MMD制作

今回はMikuMikuVoiceを利用してリップシンクをつけてみた。
作業的にはややめんどうだが確かにこれは使える。


元音源をボーカルリデューサーの「逆モード」にかけ、伴奏を減衰*1。音を聞いてタイミングを合わせて歌詞を入力。
で、できたvsqをMMDに落とし込むとなぜか190フレーム後ろにずれるのでリップフレーム時間シフトで対応。

長所

  • タイミングの同期が完璧

特に速いフレーズをこれなしでやるのは不可能ではないだろうか。しゃべりとか。これはちょっと感動する。

気になった点

  • 母音部分だけの反映であり、子音の動きは出ない
  • 口の開閉タイミング、またその量が一定で強弱が反映されない

MikuMikuVoiceの機能とMMDでのvsq読み込みリップシンクの設定がどうなっているのかわからないのでなんとも言えないが、強弱については伴奏つき音源を使ったためにvsqの波形が適切でなかったということも考えられる。

調整

「あいうえお」の動きがわかるので、音源と表情キーの対応関係が簡単に把握できる。ただし、動き方が単調でさらに「口の開きぐあい」が一定なのでそこから調整を加えるのがいい。

  • 声が途切れても、口は微妙に開いた状態のままになっているなどを確認
  • 口を閉じる動作が急激なのを修正
  • 口の開きが常に全開になるので見た目を整える
  • 繋ぎ部分で口が完全に閉じるのが不自然な部分を修正
  • 逆に「ま行」「ば行」「ぱ行」を発声する時はかならず一瞬口が閉じるのを反映
  • 「わ」発声時は直前に少し「う」の形にするとよし

子音の発声や細かい表情づけのノウハウをもっと蓄積できれば効果的かな。うろおぼえの音声学の知識を使ったけど、少し調べれば口の動きと発声の対応関係とかどこかに情報がありそう。

*1:あんまり意味ないと思うけど…