バーチャルYouTuber用オリジナルモデルをLive2Dを使って作りたい(3)「ゆかりねっと」+「YAMAHA NETDUETTO」+αで音声変換と自動字幕作成してYoutubeにアップロード

<目次>
1.バーチャルYouTuber用オリジナルモデルをLive2Dを使って作りたい(1)
2.STEAMでFaceRigとLive2DModuleを購入(Windows)
3.「ゆかりねっと」+「YAMAHA NETDUETTO」+αで音声変換と自動字幕作成

前回は、Steamというところで、バーチャルYouTuber動画のアバターを使用するためのFaceRig(フェイスリグ)と、Live2Dモジュールを約2000円で購入した。

今回は、その続きで、以下のサイトを写経して、

●自動ボイスチェンジ

●音声認識して自動で字幕

をやってみたい。

https://xn--w8jxbvbn6g2byc.com/yukarinet/
image

このサイトは、バーチャルYouTuberになりたい人にとっても参考になるページがいっぱいです。ぜひ一読をお勧めします。今回は、このページを写経しているだけです。

(環境)
Panasonic CF-RZ4
Windows 8.1 Pro
FaceRig + Live2D module (計約2000円)
OBS 21.1.12 (64bit, windows)
Chrome

(今回構築した環境)
Panasonic CF-RZ4
Windows 8.1 Pro
FaceRig + Live2D module (計約2000円)
OBS 21.1.12 (64bit, windows)
ゆかりねっと 0.4.2
Chrome
YAMAHA NETDUETTO
softalk

(1)「ゆかりねっと」のダウンロード

下記サイトから、ゆかりねっとVer 0.4.2 をダウンロード

http://www.okayulu.moe/
image

image

ZIPファイルがダウンロードされるので、解凍(ダブルクリック)した中身を適当な場所に移動してから、setup.exe をダブルクリックしてインストール。

image

image

image

image

Windowsのスタートボタンから、すべてのプログラム>ゆかりねっと で起動します。

私のPCでは、起動に10秒くらいかかりました。

(2)softalk(ゆっくりボイス)のインストール

以下のサイトからダウンロード

https://www.vector.co.jp/soft/dl/winnt/art/se412443.html
image

ダウンロードして解凍した中身を、適当な場所に保存。

image

特にインストールは必要なく、exeファイルであるSofTalk.exe をダブルクリックすることで、SofTlakが起動します。

image

image

(3)YAMAHA NETDUETTO のダウンロード

以下のサイトからダウンロード。

https://www.netduetto.net/download/
image

ZIPファイルがダウンロードされるので、解凍(ダブルクリック)した中身を適当な場所に移動してから、NETDUETTO-JP-win-x64-2.1.0.msi をダブルクリックしてインストール。

image

image

image

image

(4)FaceRigを起動

画面上の一番右のUI+をクリックしてアドバンストモードにしたのち、

右側の縦の緑のバーの上から2番目の「環境」アイコンをクリック

image

緑の背景をクリック

image

×ボタンをクリックしてギャラリーを閉じた後、画面左上の「インターフェースを隠す」をクリック

image

以下のような画面になる

image

(5)ゆかりねっとの起動

Windowsのスタートボタンから、すべてのプログラム>ゆかりねっと で起動します。

私のPCでは、起動に10秒くらいかかりました。

一番左の音声認識のところを、SofTalk 読み上げ を選択

image

字幕 > 簡易字幕設定 > 表示モードを「簡易字幕」に設定

image

以下のようになる

image

下の方へ行き、SofTalk 読み上げ をクリックして、以下のように設定

image

画面真ん中上の方の、「開始」ボタンを押して、音声認識を開始する。

image

こんにちは! と言ってみました。

いきなり、なんかいろいろな画面が出てきますが、とりあえず、OKとしておきます。

image

image

字幕は表示された!

が、残念ながら、SofTalkには何も表示されていない。。。

image

ゆかりねっとの画面の、右上の方にある、「プラグイン」をクリック

image

SofTalk読み上げ のところを、「有効」「表示」にしておき、さらに、「設定」をクリック

image

数秒待つと、以下のような画面になるので、SofTalk.exeのある場所を指定。

image

image

また、開始ボタンをクリックしてから、「こんにちは」としゃべってみる

今度は、SofTlakにも、「こんにちは!」と表示され、ゆっくりボイスで、「こんにちは」としゃべる声も聞こえた。

image

ちょっとしゃべってみたのですが、かなりの認識精度です。

しかも自動的に字幕になってくれる!

もう字幕を作らなくていいんだ!と感動。

「ゆかりねっと」+「Chrome(Google)」+「YAMAHA」+「SofTalk」の神コラボにより、無料でこんなに簡単に音声認識+音声変換を行うことができて、すごい時代になったもんだなと思いました。

(6)OBSの起動

まだインストールされていない方は、http://twosquirrel.mints.ne.jp/?p=25401 をごらんください。

画面左下の方のソースの、「+」をクリック

image

ウィンドウ をクリック

image

image

今回はChromeでScratchのサイトを開いておいて、それを背景にすることとしました。

図の赤で囲んだ部分がプルダウンメニューになっていて、背景にしたいウィンドウを選ぶことができます。

image

さらに、先ほどと同様に、ソース の下の + > ウィンドウキャプチャ の後、OK をクリックして、

image

今度は、プルダウンメニューから、FaceRigの画面を選んで、OK をクリック

image

image

モデルの部分を右クリック > フィルタ をクリック

image

画面左下の + をクリック > クロマキー をクリック

image

OK をクリックした後、このままでは胸のあたりが消えてしまうので、

「類似性」の部分を、400 から、276くらいに変更しておきます。(このあたりは好みの問題です)

image

image

以下のようになる。

image

位置をドラッグして調整。マイクの音量は「0」にしておきます。

image

FaceRigと同様に、ソースから、ゆかりねっとの字幕を追加し、クロマキーを設定する。

image

image

(7)OBSで動画を録画してYoutubeにアップロード

●ゆかりねっと で、開始 をクリック > 立ち上がるので、許可 をクリック

●OBSで、録画開始 をクリック

●動きながらゆっくりしゃべる(文章ごとに、3秒遅れくらいで、ゆっくりボイスがしゃべってくれると同時に、字幕が自動的につきます)

●録画終了 をクリック

そしてできたのが、以下の動画です。

これ、FaceRig+Live2DModule(約2000円)以外はすべて無料です。

あとは、Live2D Cubism 3 を用いて、公式モデルをちょこっと改変して、オリジナルモデルを作れば、オリジナルモデルでバーチャルYouTUberになれます!

とりあえずオリジナルモデルrは置いておいて、動画を作ってみたいと思います。

(リンク)

OBS Studio
https://obsproject.com/ja/download

ゆかりねっと 0.4.2
http://www.okayulu.moe/

Chrome
https://www.google.co.jp/chrome/index.html

softalk
https://www.vector.co.jp/soft/dl/winnt/art/se412443.html

YAMAHA NETDUETTO
https://www.netduetto.net/download/

FaceRig
https://store.steampowered.com/app/274920/

FaceRig Live2D Module
https://store.steampowered.com/app/420680/

関連記事
Count per Day
    Popular Posts
    スポンサーリンク

    シェアする

    • このエントリーをはてなブックマークに追加

    フォローする