« 2013年05月 | 2013年06月のアーカイブ | 2013年07月 »
2013/06/30
RenoidPlayer歌唱合成サンプル
ピッチの動きが自然に聞こえるようにいろいろ細工をしているのだが、むやみにやると単なる下手くそになる。結局人間の歌唱データを突っ込んで学習させるというのが近道なんだろうな、とも思う。
埋め込みはできないのでリンクだけ。
http://www.youtube.com/watch?v=fewf6E5JVZg
posted by g200kg : 9:18 PM : PermaLink
2013/06/28
歌唱合成考
歌唱合成という奴はなかなか奥が深くて面白いですねー。
今までも試してみる程度にはやっていたのですが、RenoidPlayerで試行錯誤してみて再認識しました。
その土壌を作ったのは言うまでもなくVocaloidなわけですが、最近登場したCeVIOの生々しい感じもなかなか衝撃的でした。CeVIOの特徴は隠れマルコフモデル(HMM)方式という事ですが、その人間臭い感じを作っているのはHMMによる人間の発声の特徴の学習と周波数領域のパラメータからのリシンセサイズによる滑らかな音の繋がりなんだろうと思います。同じサンプル曲をRenoidPlayerとCeVIOで再生したのがこれ。
CeVIOの最後の音を伸ばしている所なんて凄く面白いです。伸ばしている音の途中で倍音構成が変わっていて周波数領域のパラメータの変化が癖として学習されてるみたいですね。
CeVIOはベタ打ちのシンプルなデータを突っ込んでも人間臭い発声をするのが面白いですが、一方で細かくいじれるパラメータが少ないという不満もあるようです。有償版を出す時にはパラメータを増やすという話のようですがどんな感じになるんでしょうね。
ただ、細かい編集ができるようになるのはCeVIOの良い所を殺す事に繋がるんじゃないかという疑問もちょっとあります。つまりCeVIOはHMMによって人間臭い音量の変化やピッチの変化を作り出しているわけで、これをユーザーがコントロールするという話とは単純には整合が取れないんじゃないかという気がします。一方Vocaloidユーザーはそれぞれ自分なりの音量やピッチの変化のつけ方を研究していてそれで勝負しているという面もあるわけなので、これを両立させる落し所ってどうなるんでしょうね。
つまり、
Vocaloid → 普通のシンセ
CeVIO → 物理モデリング音源
みたいなイメージでパラメータの構成が全然違っている感じ。
部分的にユーザーが上書きできるとかそんな感じになるんですかね? わかんないけど。
posted by g200kg : 10:23 AM : PermaLink
2013/06/27
RenoidPlayerデータ変換デモ
RenoidPlayerでVocaloid(vsq)からCeVIO(MusicXML)へのデータ変換デモ
posted by g200kg : 3:02 PM : PermaLink
2013/06/21
RenoidPlayerでvsq/ust/ccs/xmlをサポート
ファイルをドロップすると歌詞付のシーケンスとして読み込みます。ただし読み込むのはノート情報とひらがな表記の歌詞だけですので、ピッチベンドや発音の分割など凝ったデータほどひどい事になります。
読み込めるのは
* Vocaloid の .vsq
* UTAU の .ust
* CeVIO の .ccs
* CeVIO等のエクスポート用 MusicXML (.xml)
です。これ、もしかして付加情報とかをもう少しサポートして書き出しもできるようにしたら変換ツールとして便利かな、とか全然方向性の定まらない事を考えたり。
posted by g200kg : 4:20 PM : PermaLink
2013/06/19
Renoid Player でWavExport
RenoidPlayerで作った曲をWAVファイルとしてエクスポートできるようになりました。[WavExport]ボタンを押すと[.wavへのリンク]が表示されますので右クリックメニューなどで保存してください。
※ただし、MacのSafariだと通常の編集や再生はできるのですがWavExport機能が動きません。MacでWavファイル化したい場合はChromeやFirefoxを使用してください。
保存形式は44.1kHzモノラルのWAVファイルです。
これでRenoidPlayerは一応完結したツールとしてボーカルトラック制作に使えない事もなくなったのですが、需要はありますか?
posted by g200kg : 5:14 PM : PermaLink
2013/06/16
RenoidPlayer GUI更新
RenoidPlayerのGUIを一新して、ピアノロールの編集関係の機能をいろいろ追加しました。とりあえずそれほど不自由なく使える状態になったと思います。後、本当なら英語版とかを準備したい所だけど、この手のやつは簡単には言語展開できないのがこまったもんです。
RenoidPlayerがやってるのは単なる音韻の切り貼りなのでレベルは違いますが、このところCeVIOが話題になったりと歌唱合成関係も賑やかな感じになってきましたけど、その分ちょっとコモディティ感もでてきた気がします。差別化のためにリアルな人間を目指すという方向性はわかりやすくてまだまだやるべき事はあるのだと思いますが、その内人間と判別がつかない所まで来た時にどんな使い方ができるかというのは意外と難しかったりするんじゃないかと思ったり。
てか、歌唱合成って「不気味の谷」的にはどういうフェーズなんだろうね。これから谷に差し掛かるのか既に谷の中でその違和感が個性として受け入れられているのかすら良くわからん。
posted by g200kg : 8:30 AM : PermaLink
2013/06/13
RenoidPlayerアップデート
見てのとおりですが、RenoidPlayerをピアノロールで編集できるようにしました。
MMLとピアノロールを切り替えてどちらでも使えます。
なんか結構使いやすいのではないかという気がします。オーディオで書き出せたりすると本格的に使えるかも知れませんが需要はあるのでしょうか? ブラウザ上で動いて何がうれしいのかという問題はあるかも知れませんが、今のところはこういうものがブラウザ上で動く、という事自体が面白いですよね。
※ こちらの環境だけの問題かも知れませんが、Chromeでブラウザのハードウェアアクセラレーションを有効していると稀にピアノロールが表示されないという現象が起こる事がありました。アクセラレーションを切ると起こらなくなりますので、ビデオドライバー周りなどかも知れませんが、回避策を模索中です。おかしくなった時はとりあえずページをリロードすると回復します。
posted by g200kg : 6:22 PM : PermaLink
2013/06/10
WebSequencerがボーカルを手に入れた!
さて、ここんところいじりまわしているRenoid Playerですが、WebSequencer上で使えるようになりました。
本当はピアノロールエディタを使えるようにしようかと思ったのだけど、いろいろ面倒な事になりそうなのでその前段階として、WebSequencerからWebMidiLink経由でRenoidプレーヤにMIDIシンクを送って同期させています。WebSequencerにRenoidをロードしてメロディを歌詞付きMMLで入力すると、WebSequencerの演奏に同期してRenoidが歌います。
Renoidの方はボイスファイルとしてRenoise-gateのサトーさん制作の4種類に加えてUTAU音源にもボイスデータを提供されている「朝音ボウ」がメニューから選択できるようになっています。(追記：許諾をいただきましたので更に「ほのか鳴(めい)」ボイスも追加しました)。
(実はMIDIのStart/Continue/StopとSongPositionPointerだけ見ててMIDIクロックは送るだけは送っているのだけど見てません。その内実装するかも知れませんが両方とも1台のPC内で動作しているので、サンプルを数えていればずれていく事も無いしそれほど意味がないかも、と思ったりしています)
※Chrome/Firefox/Safariで動作します。IEだと動作しません。
posted by g200kg : 2:22 PM : PermaLink
2013/06/07
Renoid Player on Browser
今年の年明けに一度書いたのですが、Renoise-gateのサトーさんが、バーチャルシンガー「Renoid」という仕組みを提案されています。
簡単に言えばひらがなの各音を収録してドラムマップのようにMIDIの各ノートに割り当て、発音した音は別トラックのMIDIからピッチコレクターを使ってメロディーを付けるという方法で、特別なソフトがなくてもバーチャルシンガーに歌を歌わせる事ができる、というものです。
現在、Renoidのページではサトーさん自身制作の4種類のボイスのほかにUTAU向けの音源を提供されている方による音源も公開されています。
RenoidのフォーマットはRenoise専用のフォーマットであるXRNIだけでなく、SoundFont (SF2) 形式のものも準備されていますので、Renoiseに限らずサウンドフォントプレーヤーとピッチコレクターさえあれば歌わせる事ができます。
とここまでが前回も書いた事なのですが、今回このRenoidファイルを使ってブラウザ上で音を出すテストページを作りました。
まだ実験的なものですがとりあえず触って音が出るようにはなっています。残念ながらフォルマント修正の処理ができていないためピッチの変化によってかなり妙な音になりますが、今後の課題という事にしておきます (対応しました)。
この「Renoid Player」は「歌詞付きMML」でメロディを指定します。例えば「O3T120ABCDE」のようなMMLにひらがなを埋め込んで「O3T120あAいBうCえDおE」という風に指定します。ひらがなはMMLの音色切り替えコマンドだと考えれば良いです。(追記：また、ひらがなはまとめて「O3T120あいうえおABCDE」という風にあらかじめ指定する事もできます)
Renoid Playerが使用しているのは サトーさん制作の SoundFont形式のRenoidファイルです。また、UTAU音源の「ほのか鳴」「朝音ボウ」をRenoid化したものもRenoise-gateで配布されていますのでダウンロードすればローカルファイルを指定して読み込ませる事ができます。
SoundFontのパーサーはRenoid専用で最小限の項目しか読んでいません。ちゃんとSoundFontを扱いたい場合は先日@y_imaya氏が発表されたサウンドフォントプレーヤーの方が良いかと思います。
Renoid Player サンプル曲
posted by g200kg : 8:59 AM : PermaLink
2013/06/03
JavaScriptによるSFプレーヤー・ソース公開
@y_imaya氏のJavaScriptによるサウンドフォントプレーヤーのソースが公開されました。
先日アナウンスされた時にはまだ一部デバッグの途中という事でminifyされた状態だったのですが、今回は完全な形での公開です。WebMidiLinkにも対応しています。これでブラウザでサウンドフォントを扱う道が開けた感じですねー。
@y_imaya氏の該当ブログ記事
Web Audio API で Sound Font を使った標準 MIDI ファイルの再生
GitHub
プレーヤー部分：https://github.com/gree/smfplayer.js
シンセ部分：https://github.com/gree/sf2synth.js
posted by g200kg : 7:24 PM : PermaLink
« 2013年05月 | 2013年06月のアーカイブ | 2013年07月 »
-->
g200kg