NEUTRINO

投稿者: SHACHI
に NEUTRINO, Tutorial
投稿日: 2022年12月23日

Electron v1.x系概要

正式リリース版となります。
v.0.100~0.320は基本機能を順次実装していくαテスト版、v.0.400~v.0431は歌声ライブラリの数を増やしていくβテスト版、v.0.5系は正式リリースに向けて改良・変更を行って参りました。アップデートを重ね仕様・動作も安定してきたためv1.0としてリリースいたしました。

備考

・動作環境（Electron v1.0.0~）

エンジンのアップデート・高速化に伴い、一部のCPU / GPUが動作対象外となりました。

CPU: Intel第11世代以前のPentium・Celeronシリーズ及び、Intel第三世代以前のCoreシリーズ
GPU: 一部のGTX700シリーズ及び、GTX600シリーズ以前のGeForceシリーズ

対象のCPU / GPUをご利用の方はオンライン版のご利用をご検討いただければ幸いです。

（追記：Electron v1.2.1）
NEUTRINO Electron v1.2.1以降のWindows版では旧世代CPU向けのNEUTRINOレガシー版が同梱されております。動作速度は遅くなるものの上記のCPUでも動作いたします。
NEUTRINOレガシー版に変更する際は、Run.batを下記のように変更してください。
bin\NEUTRINO.exe score\label\full\%BASENAME%.lab score\label\timing\%BASENAME%.lab output\%BASENAME%.f0 output\%BASENAME%.mgc output\%BASENAME%.bap model\%ModelDir%\ -n %NumThreads% -k %StyleShift% -m -t
↓
bin\NEUTRINO-legacy.exe score\label\full\%BASENAME%.lab score\label\timing\%BASENAME%.lab output\%BASENAME%.f0 output\%BASENAME%.mgc output\%BASENAME%.bap model\%ModelDir%\ -n %NumThreads% -k %StyleShift% -m -t

・NSFについて（Electron v1.0.0~）

Version.0.540でNSFが新バージョンとなりすべての環境でご利用いただけるようになりました。また表現力が向上しどの歌声ライブラリでも安定した音声を出力することができるようになりました。

一方で最適化が十分に進んでおらず大変重い処理となっております。必要に応じてNSFの合成処理をオフにすることもご検討ください。

Windows版：Run.batのNSFの行をコメントアウト（”:”を先頭に付ける）してください。
macOS版：Run.shのNSFの行をコメントアウト（”#”を先頭に付ける）してください。
オンライン版：Run.shのNSFの行をコメントアウト（”#”を先頭に付ける）してください。

メモリ使用量は、楽譜中のフレーズの長さに依存します。休符またはブレス記号で囲まれた区間が1フレーズとなります。メモリ / GPUメモリが少ない場合、動作しない可能性がありますのでご注意ください。

・オンライン版について

オンライン版ではNEUTRINOの全機能をご利用いただけます。ウェブブラウザ上で動作が完結しCloud GPUによる高速レンダリングをご利用いただけます。スマートフォンでも動作いたしますのでよろしければお試しください。
オンライン版のセットアップ手順はこちらの記事をご覧ください。

・NEUTRINO調整支援ツール

sig様製作のNEUTRINO調声支援ツールはGUI上でタイミング・ピッチなどの詳細な編集が可能なツールです。
NEUTRINO調整支援ツール最新バージョンでは、全12話者（めろう・ナクモ・No.7・琴葉茜・琴葉葵・東北イタコ・東北ずん子・東北きりたん・ずんだもん・四国めたん・謡子・JSUT）に対応しており、より深く踏み込んだチューニングが可能となっております。もしよろしければお試しください。

・入力可能な歌詞（v.0.510~）

「未定義の歌詞、もしくは歌詞が入力されていない音符があります。該当の音符の歌詞をひらがな・カタカナに修正してください。」というエラーメッセージが表示された場合、音声の生成自体が停止されます。
musicXMLtoLabel.exeの実行ログに該当の音符の小節番号・歌詞が表示されておりますので、ひらがな、もしくはカタカナの歌詞に修正してください。
「」のように何も表示されていない場合は空白の歌詞（歌詞が入力されていない）の音符がありますので、そちらも適宜歌詞を入力してください。
使用可能な文字については、ひらがな・カタカナ・音素一覧表をご覧ください。

・WORLDの新オプション（β版：v.0.510~）

ピッチ平滑化（SmoothPitch）、フォルマント平滑化（SmoothFormant）、息成分を強く（EnhanceBreathiness）するオプションです。ピッチやフォルマントを滑らかにしたり息成分を強めにしたりすることができ、それぞれ0~100[%]でエフェクトの強さを設定できます。
声に色々な変化を加えられる一方で、アタックが弱くなったりノイズが大きくなる場合がございます。歌声ライブラリによって掛かり方も異なりますので、適宜調整してください。

・スタイルシフトオプション

「キー変更＋ピッチ変更ガチャ」と呼ばれるテクニックを行う上級者向けのオプションになります。楽譜全体をNキー上げて打ち込み、ピッチ変更機能でNキー分下げるような処理を行います。
AIシンガー調声アイデア　NEUTRINOで使えるテクニック

Run.batのStyleShiftを-5～5ぐらいの値（整数）に設定してお試しください。例えば、”2″に設定すると2個上のキーの歌い方、”-2″にすると2個下のキーの歌い方になります。
得意な音域の歌い方にしたり、低いキーの落ち着いた歌い方を出すことができます。
“StyleShift=-1”, “StyleShift=0”, “StyleShift=1″のように三パターンを出力し、それぞれの良い部分をピックアップすることで複数Takeを録ったような流れにすることもできます。

・GPUについて

Windows版の一部機能（GPUによる高速レンダリング）をご利用いただくには【NVIDIA製のGPU（6GB以上のGPUメモリを推奨）】が必要です。ご利用の前にNVIDIAのドライバーを最新のものへアップデートをしてください。
※参考：アップデート方法はこちら

複数枚のGPUでのレンダリングにも対応しており、基本設定はマルチGPU設定になっております。NEUTRINOのオプション（-m）をシングルGPU（-g {GPU番号}）に変更することで指定したGPUが自動選択されます。もし複数枚GPUでの処理が上手くいかない場合はこちらをお試しください。

NVIDIA製のGPUが見つからない場合、「CPUモードで実行します」というメッセージと共にCPUでの処理に自動で移行します。オプション(-m)を外すことでもCPUモードで動作させることができます。

・限定配布ライブラリ（琴葉茜・葵など）の動作確認について

2022/11現在、全ての歌声ライブラリにおいて必要な動作環境は同じとなっております。
限定配布ライブラリ（琴葉茜・葵など）の導入をご検討の際は、他の歌声ライブラリで一度動作確認をしていただくと確実です。

macOS版のGPUサポートについて

macOS版のGPUサポートは現在保留中です。
Apple Siliconなど新世代のCPU・GPUへの過渡期であることもあり、しばらく様子をみております。

Electron v1.3.0 アップデート内容(2022/11/15)

共通
NEUTRINO（GPU版）の処理速度が向上しました。
NEUTRINO（GPU版）でシングルGPU実行時（-gオプション）にGPUデバイスの番号を指定するように変更、任意のGPUでの実行が可能になりました。
NSFが特定のGPUを認識せずCPU動作となる不具合を修正しました。
NSFがマルチGPUに対応しました。
NSF(GPU版)の起動速度が向上しました。
NSF(GPU版)の処理速度が向上しました。
NSFで使用されなくなったフラグを削除しました。

Electron v1.2.1 アップデート内容(2022/10/14)

Windows
旧世代のCPUでも動作するNEUTRINOレガシー版を同梱いたしました。

Electron v1.2.0 アップデート内容(2022/08/01)

共通
指定した1フレーズを出力する機能を追加しました。
GPUを検知した際にGPUの名前を表示するように変更しました。
音素長が極端に短く推定された際にNEUTRINOが停止する不具合を修正いたしました。

その他
frame数と同等のsample数のwavファイルが出力されるように変更しました。
タイミングラベル及びタイミング推定時の最小単位を変更しました。
現在使用されていないフラグを削除しました。

Electron v1.1.0 アップデート内容(2022/06/08)

Windows
NSFが正常に動作しない場合がある不具合を修正いたしました。（2022/6/10）

共通
NSFの合成品質が向上しました。
NSF(CPU版)の処理速度が向上しました。
NSF(CPU版)の処理負荷を軽減しました。
※NSFのフレームワーク変更に伴いv1.0.0以前の歌声ライブラリとの互換性は無くなりました。v1.1.0以降の歌声ライブラリをご利用ください。

Electron v1.0.0 アップデート内容(2022/04/22)

Windows
CPU版のエンジンの処理速度が向上しました。
GPU版のエンジンの処理速度が向上しました。
CPU版の進捗表示を修正しました。
Run.batのデフォルトのスレッド数を4に変更（NumThreads=4）

macOS
Intel macOSのCPU版のエンジンの処理速度が向上しました。

Online
CPU版のエンジンの処理速度が向上しました。
GPU版のエンジンの処理速度が向上しました。
Run.shのデフォルトのスレッド数を全てのコアを使用するように変更（NumThreads=0）

共通
CPU版のエンジンのアップデートに伴い、一部のCPUは動作対象外となります。
（Intel第11世代以前のPentium・Celeronシリーズ及び、Intel第三世代以前のCoreシリーズ）

GPU版のエンジンのアップデートに伴い、一部のGPUは動作対象外となります。
（一部のGTX700シリーズ及び、GTX600シリーズ以前のGeForceシリーズ）

ご支援について

・ニコニ・コモンズ

ニコニ・コモンズに「NEUTRINO – Neural Singing Synthesizer -」を登録しております。
ニコニコに作品を投稿する際は親作品に登録していただければ幸いです。

・PIXIV FANBOX

PIXIV FANBOXにて日頃の製作の進捗などを投稿しております。
いただいた支援金は、活動費・機器購入費・収録関連費に充てさせていただきます。
もしよろしければこちらからご支援よろしくお願いいたします。

追伸

不具合・バグをご報告いただきました方々に感謝いたします。
引き続きご支援、ご助力頂けますよう心よりお願い申し上げます。

NEUTRINO – Electron v1.x系アップデート