ヒカキンを強制的にバーチャルYouTuberにする方法を妄想する

バーチャルYouTuber(Vtuber)の勢いが相変わらず凄まじい。

あの滝のように流れるスーパーチャットを眺めていると、普通にアニメ声優目指してる人のメンタルが心配になってくる。

いま、部屋でひとりビールをあおるずかちゃん(SHIROBAKO22話より)が浮かんだ。

 

ここまでの流行になってくると、誰しもが一度はこう考えるだろう。

 

ヒカキンを無理やりVtuberにしたい。

 

やっぱり王道って良いよね。

ということで、これから具体的な手順を書いていく。

 

 

1.キャラクターの準備

3Dモデルが必要になる。

配布されてるものでもいいんだけど、折角だからイチから作ろう美少女キャラクターを。

費用を集めるためにクラウドファンディングなんてやるのも良いかもしれない。「ヒカキンを無理やりVtuberに!」って。支援者0人達成しそうだけど。

 

それと、キャラクターの「声」も用意する。

ここは素直に声優さんを雇おう。ずかちゃん出番ですよ。

 

2.映像の準備

既存の動画、つまり2Dの映像を元にして新しい動画を合成することになる。こういった分野では、言うまでもなく機械学習を使う。

 

まずは過去の動画やSNSから、あらゆる角度・ポーズの「ヒカキンの画像」を集める。あれだけ大量のコンテンツがあれば素材は豊富なほうだろう。背景や洋服が毎回違うのは単純な画像加工でなんとかなる。いまならPhotoshopを使ってワンクリックで切り抜きなんかもできるし、この作業自体も機械学習で自動化できるかもしれない。

 

次に、ヒカキンの画像と同じ構図の「キャラクターの画像」を量産する。

これで学習素材となるデータセットの完成。

 

これらを人工知能に学習させて、フレーム単位でヒカキン→キャラクターに変換する。

そんなことが可能なのかというと、もう既にそういう技術がある。「フェイクポルノ」なんかで使われているディープラーニングを用いた動画合成だ。

これで映像の準備が整った。

 

3.音声の準備

単純に声優さんがアテレコするとか、のらきゃっとみたいに「一度テキストに変換してから読み上げソフトで声にする」っていう手法もあるけど、もっと無理やり感を出したい所存。

そこで、機械学習を使った統計的声質変換を試みる。

 

まずは、ヒカキンがBGM無しで喋ってるシーンから「ヒカキンの声」を抽出する。

そして、その声に合わせた「声優の声」を用意する。つまり同じ台詞を同じイントネーションで喋ってもらうということ。これでデータセットの完成。

これらをDPマッチングやらで調整して、パラレルデータというのを作成する。そこから機械学習で声質の差分を計算して専用のフィルター(ボイスチェンジャーみたいなもの)を生成。それを使ってヒカキンの声→キャラクターの声に変換、という流れ。

 

ここで問題になるのはヒカキンの声の高さ。これは声質とは違うものだから自動的には変換できない。そこで、あらかじめヒカキンの方のピッチを声優さんと同じ高さまで上げてから機械学習と加工を行うようにする。

別に元に戻す必要はないから、ガンガン弄っていい。新しいヒカキンをガンガン「開発」するんだ。

 

4.適当に動画編集して完成!

 

……なんだけど、ごめん、多分これは上手くいかない。

映像合成も声質変換もまだまだ発展途上の技術で、俺みたいな素人の考えは、ちょっと夢見てるところがある。つまり、ただの机上の空論。

これをそのまま実行すると、おそらく「うっすらヒカキン成分が残った雑音ボイスのモンスター」が爆誕する。ほら、無理やりやるからそんなことになる。

 

ある程度のクオリティまでは個人でも作れそうだけど、あと数年くらいしたらAdobeあたりが何か革新的な製品を出してくれるかもしれない。

それまでは、FaceRig + ボイロで満足しよう。

 

いや、やらないけどね。

 

さて、上記の手法(製品)が完璧な精度で実現すれば、あらゆる人物をVtuberに変換できるようになる。

そして、その中には現役のVtuberも含まれる。つまり、仮想の中の仮想、「VVtuber(バーチャルバーチャルYouTuber)」の完成だ。ここまでくるとホントにわけわからんね。

 

最終的には、ブラウザのフォントを変換するような感覚で、全ての動画を好きなキャラクターに変換できる、なんてことも現実味を帯びてくる。

そんな状況でYouTuberに問われるのは、その人間性、本当の意味での「中身」かもしれない。

 

外見も声も関係ない。面白いやつが面白い。

そんな未来が近づいている。かもね。

 

 

※作ってみたい人がいたら勝手にどうぞ
※機械学習やってみたい人はこういうやつからどうぞ(スポンサードリンク)
みんなのAI講座 ゼロからPythonで学ぶ人工知能と機械学習

この記事をシェア↓