NEUTRINOへようこそ

投稿者: SHACHI
に NEUTRINO
投稿日: 2020年2月21日

NEUTRINOをダウンロードいただきありがとうございます。
この記事ではインストール方法や使い方などを説明します。

About

NEUTRINOはニューラルネットワークを用いた歌声シンセサイザーです。
本ソフトウェアはフリーウェアです。
楽譜から発声タイミング・音の高さ・声質・声のかすれ具合などをニューラルネットワークで推定します。上記の推定されたパラメータを元にvocoderで音声を合成します。
本ソフトの名称はまだ聞いたことのないような楽曲・ジャンルを開拓してほしいという思いを込めて名付けました。あなたの創作・発見の一助になれれば幸いです。

インストール

任意のフォルダにダウンロードしたファイルを解凍してください。
Run.bat(またはRun.sh)をダブルクリックで実行後、サンプルの音声ファイル（sample1_syn.wav）がoutputフォルダ以下に出力されていれば正常に動作しています。

アンインストール

フォルダ毎削除してください。

各モジュールについて

musicXML_to_label.exe

Input  : score/musicxml/*.musicxml
Output : label/full/*.lab
       : label/mono/*.lab

MusicXMLをニューラルネットワークの入力に用いるlabel形式に変換します。
楽譜作成にはMuseScoreを推奨しています。 [ファイル]->[エクスポート]でファイルの種類を非圧縮MusicXMLファイルにすることでMusicXML形式のファイルを出力できます。
他のソフトでは出力が”*.xml”になるので、Run.batのSUFFIXをxmlに変更してください。

NEUTRINO.exe

# predict timing 
Input  : label/full/*.lab
       : model/KIRITAN/*.bin
Output : label/timing/*.lab

# predict acoustic feature 
Input  : label/full/*.lab
       : label/timing/*.lab
       : model/KIRITAN/*.bin
Output : output/*.f0, *.mgc, *.bap

labelから発声タイミングと音の高さ・声質・声のかすれ具合を推定します。
ModelDirで音源を変更することができます。
NumThreadsで使用するプロセッサ数を変更できます。

# 変更前
set ModelDir=KIRITAN
set NumThreads=3
↓
# 変更後
set ModelDir=YOKO
set NumThreads=4

WORLD.exe

Input  : output/*.f0, *.mgc, *.bap
Output : output/*.wav

音の高さ・声質・声のかすれ具合から音声波形を合成します。
NumThreadsで使用するプロセッサ数を変更できます。
PitchShiftで音高を変えられます。
FormantShiftで声質を変えられます。上げると子供っぽく、下げると大人っぽくなります。（0.85-1.15辺りがお勧めです。）

# 変更前
set PitchShift=1.0
set FormantShift=1.0
set NumThreads=3
↓
# 変更後
set PitchShift=0.944
set FormantShift=1.05
set NumThreads=4

Pitch Shift早見表

Key	-６	-５	-４	-３	-２	-１	±０	+１	+２	+３	+４	+５	+６
Pitch shift	0.707	0.749	0.794	0.841	0.891	0.944	1.000	1.059	1.122	1.189	1.260	1.335	1.414

使い方

楽譜（MusicXML）の作成
MuseScoreなどの楽譜作成ソフトでxxx.musicxmlを作成
score/musicxml以下に配置
設定の編集
Run.batをメモ帳で開く
BASENAMEを作成したmusicxmlの名前に変更
コマンドプロンプトを現在のフォルダで起動
コマンドプロンプトを現在のフォルダで起動する方法はこちら
Run.batを実行
コマンドプロンプト上で”Run.bat”と入力
output以下に音声ファイルが出力されます。
logを出力する場合は、”Run.bat > log.txt”などと入力してください。