UTAU
音声ライブラリは、ユーザーが自分で必要な音声データを採集して制作し、使用することができる。人間の声である必要もなく、楽器の音や猫の鳴き声で音を奏でる・歌わせるなどの使い方も登場している。これらの作られたライブラリは、有志によっていくつかの無償音声データが提供されているものもあれば(諸海外では配布サイトをボイスバンク (VoiceBank) と呼ぶところがある)、商業関係の企画や、サークル活動の一環として制作されて販売されるものもある。キャラクター・ボーカル・シリーズに倣って、(主にUTAU用の)キャラクター設定を付加している所もある。
音声ライブラリは、多重音声やささやき声、子音のみ等といった音声ファイルを用意することで表現力を高めることも可能となっている。日本語にない発音を含む言語に対応したライブラリを作る場合、入力にX-SAMPAなどの音声記号を用いることにより、多言語に対応したライブラリも存在する。
ツール自体は、2008年1月11日にニコニコ動画で発表されている。その時点では、コマンドラインツールとバッチファイルを使用した「Wavtool」によるので、音声ファイルの中で切り出すエンベロープにも近い、音の時間指定の調節を可能としたものであった。音階は事前に音声を加工したファイルを作りまとめておく必要があった。
2008年2月05日に単音の伸縮機能と音高変更、さらにGUIを追加した動画が公開されている。音源は、JPNTAKE が出力した音節を加工して使用された。2008年2月20日には、原音設定に該当する単音伸縮における伸縮境界点の設定(タイムストレッチ)と、単音単位でのピッチベンドの調節を可能にした動画が公開され、基本的な仕様はほぼ完成された。この時点では、作者が「人力Vocaloid」のツールとして使用していたMELODYNEに劣らないように改良が加えられている。2008年3月6日に仕様説明の動画がニコニコ動画で公開され、同年3月15日にツールの名前をUTAUと命名し現在に至る。
作者はもともと業務系プログラマで音声合成専門ではなかったが、UTAUの制作を通じて知識を取り入れて制作がすすめられた。公開後も改良が重ねられており、他の音声合成関係開発者たちと情報を重ねて開発が進められている。
ただし、飴屋/菖蒲は、2008年6月に「人力Vocaloidは人の手作業で膨大な手間をかけて作られたものであり、機械で生成するのは方向性が違うため、『人力ボーカロイド支援ツール』という名称を辞退する」とした。これによってUTAUは歌声合成ソフトウェアという名称になっている。