VOCALOID
VocaListener(ボーカリスナー)は産業技術総合研究所が発表した、歌声を入力に用いてVOCALOIDのパラメーターを設定し合成歌唱を作り出すことのできるシステム。略称は「ぼかりす」。2008年5月28日に第75回音楽情報科学研究会で発表された。なお、発表に先立って同年4月28日に、動画投稿サイトニコニコ動画にてVocaListenerを用いて作成された歌声が公開され、その人間が歌っているかのような自然な歌声で話題を呼んでいる。VocaListenerは、入力された歌唱からパラメーターを推定し、更に合成歌唱と元の歌唱とを比較しながらパラメータの再調整を繰り返すことで歌手ライブラリごとの特性などによらず元の歌唱の歌い回しを真似た合成歌唱を得ることができる。元となる歌唱の音高や歌唱スタイルを調整する機能も備えており、ユーザーの歌唱力が低い場合やユーザが歌唱できない表現にも対応する。
ヤマハはVocaListenerの発表を受けて、2008年11月より産業技術総合研究所との共同研究を開始、2012年10月に「VOCALOID3 Editor」で使用できるプラグイン、「VOCALOID3 Job Plugin VocaListener」発売された。
レコーディングは、同じ歌詞を音域を変えて収録し、通常6時間程度かかる。
演者の得意な音域や体力を考え、得意な音域を先に収録したり、日を分けることもある。収録機材はスタジオに設置された機器をもちい、加工なしのままPro ToolsなどのDAWに録音する。ヤマハの開発スタッフは、スタジオはエピキュラススタジオを多用していたが閉鎖されたため、STUDIO HIPPO、スタジオソニックガーデンを利用し、マイクはノイマンU87Ai、ソニー C-800Gなど、プリアンプはNEVE、AMEK system、Focusrite、Grace Designなどを適宜検討して使用するという。
レコーディングする内容は、台本にある歌詞を、同じ音程・同じテンポで歌う声である。音域は通常低中高の3音域を収録する。台本には「あいまい」、「いくつか」など断片的な4文字の単語の指定があり、演者はメトロノームと音程のガイド音を聞きながら歌う。台本には、たとえば「あいまい」なら、「無音→a」、「i→m」...という音素として採収するとの説明があり、収録者はその部分を注意深くモニターしている。VOCALOID2初期までの台本は「アダアダイダ」など無意味な歌詞が指示されており、演者・収録者にとって苦痛となり、演奏時の接続も不自然になりがちであったため改善が求められていた。
2011年6月に発表され、同年10月より提供が開始された。
従来苦手とされていた早口の表現や、音色の変化の滑らかさなどの改良が行われているという。VOCALOID3では、1から2の時のような信号処理の根幹に及ぶような大きな変更ではなく、不自然な箇所を直して良くするという方向性で開発されており、ライブラリの作りは基本的にVOCALOID2と変わらないため、2用のライブラリをコンバートして使うことも可能となっている。言語は従来の「日本語」「英語」に加え、新たに「中国語」「韓国語」「スペイン語」の計5言語に対応した。2013年8月以降は、Windows/Mac OS X両対応のライブラリの発売も行われており、ライブラリによってはMac OS Xで使用することも可能となった。
2までは、販売形態はエディタとライブラリのセットでの販売のみであったが、3ではライブラリとエディタの別売りが行われている。エディタは、「VOCALOID3 Editor」、ライブラリに付属する機能限定版の「Tiny VOCALOID3 Editor」、DAW「Cubase」上で動作する「VOCALOID Editor for Cubase」、クリプトン・フューチャー・メディア製の「Piapro Studio」が提供されている。
ヤマハからライセンス供与を受けた各社の担当部分で、人間の声からサンプリングした音声素片(歌声の断片)を含むデータベース。
音声素片は、VOCALOID2では、2つの音(音素)が変化する際の移り変わりの部分(二音素連鎖、diphone)と、母音や鼻音の伸ばし音が収録されている。例えば「さーいーたー」([sa i ta])という歌詞を合成する場合は二音素連鎖「#-s,s-a,a-i,i-t,t-a,a-#」(#は無音を示す)と母音の伸ばし音「a,i」を用い、これらを接続して歌声が作られる。これら音声素片は合成する際に入力されたメロディに合うピッチ(音高)に変換されるがより自然な合成を得られるよう歌手ライブラリには異なるピッチのものを複数用意している。1ピッチあたりの二音素連鎖は日本語用ライブラリでは約500個、英語では約2500個収録している。この違いは言語の特性の違いによるもので日本語の二音素連鎖が少ないのは日本語の音素の数が少ないことと、音節がほとんどの場合開音節(母音で終わる音節)であるためである。日本語の子音を含む二音素連鎖では基本的に「無音-子音」「母音-子音」「子音-母音」という組み合わせのパターンとなるが英語の場合は閉音節(子音で終わる音節)も多く存在し、「子音-子音」や「子音-無音」といったように組み合わせのパターンも多くなるため日本語用ライブラリに比べ収録しなければならない二音素連鎖の数も多くなる。またこのような違いがあるため、日本語用ライブラリで英語の歌詞を発音させるといったような使用は適さない。なお、VOCALOID3では、2までと同様の2音素連鎖だけでなく3音素連鎖(triphone)も扱えるようになっている。
2011年に過去の人の歌声を再現するデモンストレーションとして発表された、植木等(2007年没)の声を再現したライブラリ。2012年6月に、植木ロイドの歌声を使ったCDが同年夏に発売される予定と発表されていたが、2015年現在、いまだに発売されていない。
2000年 3月 - ヤマハら、DAISYプロジェクトとして、後にVOCALOIDとなる歌声合成技術の開発を開始。 7月 - 合成エンジン、初めて「朝」と歌う。
2002年7月 - 試作品完成。ヤマハ、着メロ事業で関係のあったクリプトン・フューチャー・メディアに最初のプレゼンテーション。同社がZERO-Gに紹介。
2003年 2月26日 - ヤマハ、VOCALOIDを発表。 3月 - ドイツ・フランクフルト「ムジークメッセ」で展示(5−9日)。オランダ・アムステルダム「AES コンベンション」で展示(22−25日)で展示。
2004年 1月 - ZERO-G、ロサンゼルスで開催されたNAMM ショー(15-18日)にて初めてのVOCALOID製品である「LEON」、「LOLA」を発売(日本国内での発売は3月3日)。 7月1日 - ZERO-G、「MIRIAM」を発売(日本国内での発売は7月26日)。 11月5日 - クリプトン・フューチャー・メディア、初の日本語用VOCALOID「MEIKO」を発売。
2005年 6月 - ヤマハ、VOCALOIDのエンジンをVer1.1 へバージョンアップ。
2006年 2月17日 - クリプトン・フューチャー・メディア、「KAITO」を発売。
2007年 1月 - ヤマハ、アナハイムで開催されたNAMMショー(18-21日)にてVOCALOID2を発表。 6月29日 - PowerFX、VOCALOID2を使用した初めての製品「SWEET ANN」を発売(日本国内での発売は9月21日)。 8月31日 - クリプトン・フューチャー・メディア、初めての日本語用のVOCALOID2製品「初音ミク」を発売。