リアルタイム・リップシンクができるMimic Live

Category : その他
LightWaveやCarraraのプラグインとして、スタンドアロンアプリとして、そしてDAZ Studio(以下DS)ではLip SyncタブとしておなじみのMimicシリーズに、リアルタイムでリップシンクする『Mimic Live』が登場しました。リップシンクとは、喋っている音声に合わせてフィギュアの口の動きをつけ、まるでそのフィギュアが喋っているように見せる技術です。Mimicシリーズは高度な音声解析とPoserフィギュアに合わせた設定によって、ユーザーが簡単にそれを行えるように作られました。つまり口パクのアニメーションを付けてくれるソフトです。
『Mimic Live』はそれをリアルタイムでやってしまうということで、PCのマイクで喋るとそれに合わせてフィギュアが口パクしてくれるものになっています。数日間ですが『Mimic Live』を試用する機会があり、とても興味深く感じたので、今回はそれを記事にしました。

この『Mimic Live』はWindows版のDS3またはDS4用プラグインとなっています。
下のビデオはYoutubeのDAZ3Dチャンネルで公開されている『Mimic Live』のチュートリアルビデオです。動画で見ていただくとすぐに、どんなことをするプラグインなのか分かっていただけると思います。



■使い方

『Mimic Live』の使い方はとても簡単です。

 (1)喋らせたいフィギュアを読み込む。
 (2)ビューポートまたはSceneタブでフィギュアを選択する。
 (3)Mimic Live!タブの「Start Capturing」ボタンをクリックする。
 (4)マイクから喋る。

喋り終わったらもう一度ボタンをクリックして下さい。
Mimic Live!タブが画面内に無い場合はメインメニューWindow > Panes (Tabs) > Mimic Live! で呼び出すのをお忘れなく。また、PCにつないだマイクのレベル設定が適正でないとプラグインが正常に音声を認識してくれなかったり、小さな音に反応してしまったりしますので、OSのコントロールパネルなどからそれを行っておいて下さい。

MimicLive 音声キャプチャ中
<キャプチャ中の画面>


■タブの設定

Mimic Live!タブにはリアルタイム・リップシンクを補助してくれるオプションがいろいろとあります。

MimicLive タブ日本語訳

・Start Capturing音声のキャプチャを開始/終了します
・Strength Adjustment口の開く大きさを調節し、語気の強さを表現します。キャプチャ中に調整することが可能です。
・Do Gesturesフィギュアのジェスチャーを制御します。Blink(まばたき)、Eyebrows(眉の動き)、Move Eyes(目の動き)、Move Head(頭の動き)の4種類があり、チェックを入れておくと口パクとともに人間らしい動きが加わります。キャプチャ中に調整することが可能です。
・Record Resultsキャプチャした音声とフィギュアのアニメーションをTimelineに記録していきます。
・Clear Old Results前回記録したものを削除します。
・Play Back Audioキャプチャした音声を口パクのタイミングに合わせて出力します。
・Recorded Audio File記録する音声ファイルの保存先を指定します。ここが空白の場合はキャプチャ終了後に保存ダイアログが出るようになっています。
・Delay音声入力から何ミリ秒遅れて口パクをするかの設定です。値が小さいほど反応はいいですが、値が大きいほど正確に口パクします。
・Animation Intervalアニメーションの間隔の設定です。値が100の時、1秒間に10回フィギュアのアニメーションが更新されます。
・Configuration Fileフィギュアの動きと音声への対応の設定ファイルを指定することができます。ただ、指定しなくてもDAZフィギュアについては自動認識してくれるようです。



■使用上の注意点など

私が試した中で分かった注意点などをここにまとめます。

 ・ジェスチャーはフィギュアの元のパラメータを上書きするので、特にHeadなどはRot(0,0,0)が基準になる
 ・記録したものを再生するにはTimelineタブで。再生時には音声も出力される。
 ・日本語には口の開け方が今一つ合わない。dmcファイルを編集すれば何とかなるのかも…?
 ・両目をカメラの方へ向けておく(Point At)と対話感が出る。

リアルタイム・リップシンクというのは一見して分かりやすい凄さがありますね。これにちょっとした手振りのアニメーションとカメラの切り替えができれば、バーチャル受付嬢なんていうのもすぐできそうです。やはりリアルタイムということでパフォーマンスに使うことが主になりますから、他の何かと組み合わせてという使い方になるのでしょうね。そのうちリアルタイム・モーションキャプチャプラグインも出てくるかもしれませんよ!



今回のツールはこちら

Mimic Live!



Comment

非公開コメント

著書
カレンダー
10 | 2017/11 | 12
- - - 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 - -
検索フォーム
プロフィール

Kotozone

Author:Kotozone
製品の取扱説明書を読むのが大好きです

FC2ブックマーク
最新記事
カテゴリ
タグリスト

DSプラグイン V4 ライト マテリアル DSシェーダ DS基本 セール Genesis IBL アニメーション タブ解説 iray LuxRender ダイナミッククロス スクリプト Genesis2 セットアップ ShaderMixer バージョンアップ レタッチ Download カスタマイズ トゥーン SSS Photoshop ウェイトマップ ファー NGM ERC D-Form Miki2 物理シミュレーション IDL 大気 M4 カラーコレクション ボリューム Terrain Genesis3 パーティクル モーフセット V5 Genesis8 カメラ インスタンス アナグリフ ロボット 3Dプリント GIMP RAMDisk SLG V8 ダイナミックヘア K4 Python Linux 日本語訳 モーションキャプチャ Hexagon 

最新コメント
リンク
月別アーカイブ
ご意見ご感想はこちらに

名前:
メール: 
件名:
本文: 

ブロとも申請フォーム

この人とブロともになる

最新トラックバック
FC2カウンター