(57)【要約】【課題】取得された音のデータの再生タイミングを調整することによって音のデータの活用をしやすくすること。【解決手段】本発明の一実施形態に係るデータ処理装置は、時刻情報を含む第１の音データを取得する音データ取得部と、時刻情報に対応付けられた第１の特徴量データを生成する特徴量算出部と、第２の特徴量データおよび第１の特徴量データに基づいて、当該第２の特徴量データの第２のデータ位置に対応する第１の特徴量データの第１のデータ位置を特定する特定部と、第１のデータ位置と第２のデータ位置との時間的な位置関係に基づいて、再生タイミングを平行移動するように時刻情報を変更する移動部と、変更後の時刻情報に対応付けられた第１の特徴量データと第２の特徴量データとを比較してデータ各部の対応関係を検出し、当該対応関係に基づいて再生タイミングの間隔を伸縮するように時刻情報を変更する伸縮部と、を備える。【選択図】図４
2017111274.tif 000002
【特許請求の範囲】
【請求項１】
データ各部の再生タイミングを規定する時刻情報を含む第１の音データを取得する音データ取得部と、
前記第１の音データの特徴量を時系列に算出し、当該特徴量が前記時刻情報に対応付けられた第１の特徴量データを生成する特徴量算出部と、
第２の音データの特徴量を示す第２の特徴量データおよび前記第１の特徴量データに基づいて、当該第２の特徴量データの第２のデータ位置に対応する前記第１の特徴量データの第１のデータ位置を特定する特定部と、
前記第１のデータ位置と前記第２のデータ位置との時間的な位置関係に基づいて、前記再生タイミングを平行移動するように前記時刻情報を変更する移動部と、
変更された前記時刻情報に対応付けられた前記第１の特徴量データと前記第２の特徴量データとを比較してデータ各部の対応関係を検出し、当該対応関係に基づいて前記再生タイミングの間隔を伸縮するように前記時刻情報を変更する伸縮部と、
を備えることを特徴とするデータ処理装置。
【請求項２】
前記伸縮部は、前記対応関係に基づいて前記第１の音データの所定の再生タイミングを移動させることによって、当該再生タイミングより前の第１区間および後の第２区間の一方において前記再生タイミングの間隔を伸長し、他方において当該再生タイミングの間隔を縮小する伸縮処理を含み、当該伸縮処理に基づいて前記時刻情報を変更することを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記伸縮部は、前記音データの範囲を複数の分割区間に分割し、前記分割区間において前記伸縮処理を行う分割伸縮処理を行って前記時刻情報を変更することを特徴とする請求項２に記載のデータ処理装置。
【請求項４】
前記伸縮部は、前記分割伸縮処理を複数回実行し、前記分割伸縮処理が実行される度に、前記分割区間が短くなることを特徴とする請求項３に記載のデータ処理装置。
【請求項５】
前記第２の音データは、複数の音データを含み、
前記第２の特徴量データは、前記複数の音データの特徴量および当該特徴量の分布を示し、
前記伸縮部は、前記第２の特徴量データにおける前記特徴量の分布に基づいて、前記対応関係を検出することを特徴とする請求項１乃至請求項４のいずれかに記載のデータ処理装置。
【請求項６】
前記伸縮部によって変更された前記時刻情報を含む前記第１音データを、前記第２音データに合成する合成部をさらに備えることを特徴とする請求項５に記載のデータ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のデータを調整する技術に関する。
【背景技術】
【０００２】
近年のカラオケ装置では、単に歌唱するだけでなく、様々な機能が付加されている。歌唱音声を解析して評価する機能、曲のテンポを自動的に調整する機能などが例示される。歌唱に応じて曲のテンポを自動的に調整する技術は、例えば、特許文献１に開示されている。また、特許文献２には、複数パートの同期演奏の技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３９４４９３０号公報
【特許文献２】特開２００３−２６３１６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、取得された音のデータの再生タイミングを調整することによって音のデータの活用をしやすくすることにある。
【課題を解決するための手段】
【０００５】
本発明の一実施形態によると、データ各部の再生タイミングを規定する時刻情報を含む第１の音データを取得する音データ取得部と、前記第１の音データの特徴量を時系列に算出し、当該特徴量が前記時刻情報に対応付けられた第１の特徴量データを生成する特徴量算出部と、第２の音データの特徴量を示す第２の特徴量データおよび前記第１の特徴量データに基づいて、当該第２の特徴量データの第２のデータ位置に対応する前記第１の特徴量データの第１のデータ位置を特定する特定部と、前記第１のデータ位置と前記第２のデータ位置との時間的な位置関係に基づいて、前記再生タイミングを平行移動するように前記時刻情報を変更する移動部と、変更された前記時刻情報に対応付けられた前記第１の特徴量データと前記第２の特徴量データとを比較してデータ各部の対応関係を検出し、当該対応関係に基づいて前記再生タイミングの間隔を伸縮するように前記時刻情報を変更する伸縮部と、を備えることを特徴とするデータ処理装置が提供される。
【０００６】
前記伸縮部は、前記対応関係に基づいて前記第１の音データの所定の再生タイミングを移動させることによって、当該再生タイミングより前の第１区間および後の第２区間の一方において前記再生タイミングの間隔を伸長し、他方において当該再生タイミングの間隔を縮小する伸縮処理を含み、当該伸縮処理に基づいて前記時刻情報を変更してもよい。
【０００７】
前記伸縮部は、前記音データの範囲を複数の分割区間に分割し、前記分割区間において前記伸縮処理を行う分割伸縮処理を行って前記時刻情報を変更してもよい。
【０００８】
前記伸縮部は、前記分割伸縮処理を複数回実行し、前記分割伸縮処理が実行される度に、前記分割区間が短くてもよい。
【０００９】
前記伸縮部は、前記伸縮処理前に、前記対応関係に基づいて前記第１の音データの全体に対して伸縮するように前記時刻情報を変更してもよい。
【００１０】
前記第２の音データは、複数の音データを含み、前記第２の特徴量データは、前記複数の音データの特徴量および当該特徴量の分布を示し、前記伸縮部は、前記第２の特徴量データにおける前記特徴量の分布に基づいて、前記対応関係を検出してもよい。
【００１１】
前記伸縮部によって変更された前記時刻情報を含む前記第１音データを、前記第２音データに合成する合成部をさらに備えてもよい。
【００１２】
また、本発明の一実施形態によると、コンピュータに、データ各部の再生タイミングを規定する時刻情報を含む第１の音データを取得し、前記第１の音データの特徴量を時系列に算出し、当該特徴量が前記時刻情報に対応付けられた第１の特徴量データを生成し、第２の音データの特徴量を示す第２の特徴量データおよび前記第１の特徴量データに基づいて、当該第２の特徴量データの第２のデータ位置に対応する前記第１の特徴量データの第１のデータ位置を特定し、前記第１のデータ位置と前記第２のデータ位置との時間的な位置関係に基づいて、前記再生タイミングを平行移動するように前記時刻情報を変更し、変更された前記時刻情報に対応付けられた前記第１の特徴量データと前記第２の特徴量データとを比較してデータ各部の対応関係を検出し、当該対応関係に基づいて前記再生タイミングの間隔を伸縮するように前記時刻情報を変更することを実行させるためのプログラムが提供される。
【発明の効果】
【００１３】
本発明の一実施形態によれば、取得された音のデータの再生タイミングを調整することによって音のデータの活用をしやすくすることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態におけるデータ処理システムの構成を示すブロック図である。
【図２】本発明の第１実施形態における評価装置の構成を示すブロック図である。
【図３】本発明の第１実施形態における評価機能の構成を示すブロック図である。
【図４】本発明の第１実施形態における伸縮機能の構成を示すブロック図である。
【図５】本発明の第１実施形態における伸縮処理を示すフローチャートである。
【図６】本発明の第１実施形態における特定処理および移動処理の具体例を示す図である。
【図７】本発明の第１実施形態における全体伸縮処理の具体例を示す図である。
【図８】本発明の第１実施形態における第１分割伸縮処理の具体例を示す図である。
【図９】本発明の第１実施形態における第２分割伸縮処理の具体例を示す図である。
【図１０】本発明の第１実施形態における特定処理および移動処理の具体例（曲の一部のみ歌唱した場合の例）を示す図である。
【図１１】本発明の第２実施形態における特定処理および移動処理の具体例（歌唱の比較対象がガイドメロディの場合の例）を示す図である。
【図１２】本発明の第３実施形態における伸縮処理を示すフローチャートである。
【図１３】本発明の第３実施形態における評価対象ウインドウの例を示す図である。
【図１４】本発明の第３実施形態におけるＯＦＦＳＥＴ算出処理によって算出されるＯＦＦＳＥＴを説明する図である。
【図１５】本発明の第３実施形態におけるＳＨＩＦＴ算出処理によって算出されるＳＨＩＦＴを説明する図である。
【図１６】本発明の第３実施形態における模範特徴量データＳｄと歌唱特徴量データＳｓとのデータ各部の対応関係を説明する図である。
【図１７】本発明の第３実施形態における歌唱特徴量データの伸縮を説明する図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態におけるデータ処理システムについて、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂ等を付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。
【００１６】
＜第１実施形態＞
［概要］
本発明の第１実施形態におけるデータ処理システムについて、図面を参照しながら詳細に説明する。第１実施形態におけるデータ処理システムは、歌唱するユーザ（以下、歌唱者という場合がある）の歌唱音声のデータ（歌唱音声データ）をデータベースに登録する。データベースに登録された歌唱音声は、統計的に処理されることにより、例えば、カラオケの歌唱評価の基準として用いられる。この評価基準によれば、歌唱者の平均的な歌唱に対する歌唱評価を行うことができる。また、データベースに登録された歌唱音声の一部（例えば、２つ）を用いて再生することによって、デュエット歌唱を再現することもできる。
【００１７】
歌唱の内容によっては、すでにデータベースに登録されている歌唱と、これから登録しようとする歌唱とは、時間的なずれ（早い歌唱または遅い歌唱）が生じる場合がある。このように時間的なずれが存在する場合には、同じ曲であっても、同じ再生タイミングにおいて歌唱される部分が異なってしまう。このような状態で歌唱音声データを収集しても、有用なデータと集合とはいえない。
【００１８】
そこで、第１実施形態におけるデータ処理システムは、データベースに登録される歌唱音声データにおけるデータ各部の再生タイミングを規定する情報を変更することによって、歌唱を時間軸上で伸縮する。以下、「伸縮」とは、時間軸上での伸縮をいうが、伸縮処理によっては歌唱のピッチは維持されて変更されないように処理される。この処理によって、同じ曲の歌唱のデータについて、既に登録されているデータとこれから登録されるデータとが、同じ再生タイミングにおいて、できるだけ同じ部分が歌唱されるように調整される。以下、第１実施形態におけるデータ処理システムについて説明する。
【００１９】
［データ処理システムの構成］
図１は、本発明の第１実施形態におけるデータ処理システムの構成を示すブロック図である。データ処理システム１０００は、評価装置１、データ処理装置３、およびデータベース５を備える。これらの各構成は、インターネット等のネットワークＮＷを介して接続されている。この例では、複数の評価装置１がネットワークＮＷに接続されている。評価装置１は、例えば、カラオケ装置であり、この例では歌唱評価が可能なカラオケ装置である。なお、スマートフォン等の携帯装置であってもよい。
【００２０】
この例では、これらの評価装置１において歌唱音声が入力され、データ処理装置３において歌唱音声が伸縮され、伸縮された歌唱音声のデータがデータベース５に登録される。データベース５には、このように各評価装置１において生成された歌唱音声データが、歌唱音声が伸縮されるように変換されて、楽曲毎に関連付けられて登録されている。
【００２１】
ここで、データベース５には、歌唱音声データだけでなく、歌唱音声データから所定の特徴量を算出して得られた特徴量データについても登録されていてもよい。この例では、特徴量は、歌唱音声のピッチに対応する。それぞれの歌唱音声のデータに対応付けて特徴量データとして登録される。なお、この特徴量は、評価装置１において算出されたものであってもよいし、データ処理装置３またはデータベース５において算出されたものであってもよい。この例では、各楽曲に対応付けられた複数の歌唱音声データは、評価装置１において歌唱音声を評価する際の評価基準として用いられる。この評価基準は、複数の歌唱音声をまとめた模範音声としてのデータ（模範音声データ）、および複数の歌唱音声を統計的に処理して得られたデータ（例えば、各タイミングにおけるピッチの分布等の分布データ）を含む。この例では、さらに、模範音声の特徴量（この例では模範音声のピッチ）の時間的な変化を表す特徴量データ（模範特徴量データ）も含まれている。ここで、模範特徴量データは、複数の歌唱音声についての特徴量を平均値または中央値のデータである。このデータに分布データが含まれていてもよい。
【００２２】
模範音声データおよび歌唱音声データは、タイムコードによってデータ各部（データ位置）の再生タイミングを規定するための時刻情報を含んでいる。タイムコードは、例えば、時、分、秒、フレームで再生タイミングを規定するＳＭＰＴＥコードを用いればよい。なお、時刻情報は、データ各部における再生タイミングを規定するものであれば、どのような情報であってもよい。なお、分布データ、模範特徴量データについても、模範音声データに対応した時刻情報を含んでいる。なお、分布データ、特徴量データは再生されるものではないが、時刻情報は、模範音声データと関連して時系列でデータ位置を特定するための情報として機能する。
【００２３】
［データ処理装置の構成］
図１に示すように、データ処理装置３は、制御部３１、記憶部３３、および通信部３９を含む。制御部３１は、ＣＰＵなどの演算処理回路を含む。制御部３１は、記憶部３３に記憶された制御プログラムをＣＰＵにより実行して、各種機能をデータ処理装置３において実現する。実現される機能には、歌唱音声を時間的に伸縮させる機能（伸縮機能いう場合がある）が含まれる。伸縮機能については後述する。
【００２４】
記憶部３３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部３３は、伸縮機能を実現するための制御プログラムを記憶する。制御プログラムは、コンピュータにより実行可能であればよく、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、データ処理装置３は、記録媒体を読み取る装置を備えていればよい。また、制御プログラムは、ネットワークＮＷ経由でダウンロードされてもよい。通信部３９は、制御部３１の制御に基づいて、ネットワークＮＷに接続して、ネットワークＮＷに接続された外部装置と情報の送受信を行う。
【００２５】
［評価装置の構成］
図２は、本発明の第１実施形態における評価装置の構成を示すブロック図である。評価装置１は、制御部１１、記憶部１３、操作部１５、表示部１７、通信部１９、および信号処理部２１を含む。これらの各構成は、バスを介して接続されている。また、信号処理部２１には、マイクロフォン２３およびスピーカ２５が接続されている。
【００２６】
制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラムをＣＰＵにより実行して、各種機能を評価装置１において実現させる。実現される機能には、歌唱音声を評価する機能（以下、評価機能という場合がある）が含まれる。記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、評価機能を実現するための制御プログラムを記憶する。制御プログラムは、コンピュータにより実行可能であればよく、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、評価装置１は、記録媒体を読み取る装置を備えていればよい。また、制御プログラムは、ネットワークＮＷ経由でダウンロードされてもよい。
【００２７】
また、記憶部１３は、歌唱に関するデータとして、楽曲データ、歌唱音声データ、および評価基準情報を記憶する。楽曲データは、カラオケの歌唱曲に関連するデータ、例えば、ガイドメロディデータ、伴奏データ、歌詞データなどが含まれている。ガイドメロディデータは、歌唱曲のメロディを示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。歌詞データは、歌唱曲の歌詞を表示させるためのデータ、および表示させた歌詞テロップを色替えするタイミングを示すデータである。これらのデータは、外部サーバから取得してもよい。
【００２８】
歌唱音声データは、歌唱者がマイクロフォン２３から入力した歌唱音声を示すデータであり、記憶部１３にバッファされる。歌唱音声データは、上述した時刻情報を含んでいる。評価基準情報は、評価機能が歌唱音声の評価の基準として用いる情報であり、例えば、評価値を算出するための演算式の情報等が含まれる。なお、評価対象の歌唱音声と比較されるときの基準となる歌唱、すなわち、模範的な歌唱（模範音声）が、評価基準情報に含まれていてもよい。評価基準情報は、データベース５に登録された評価基準を取得して生成されたものであってもよい。
【００２９】
操作部１５は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部１１に出力する。この操作部１５によって、例えば、楽曲の選択等、カラオケ装置において一般的に行われる入力操作が可能である。表示部１７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１１による制御に基づいた画面が表示される。なお、操作部１５と表示部１７とは一体としてタッチパネルを構成してもよい。通信部１９は、制御部１１の制御に基づいて、インターネットなどの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部１３の機能は、通信部１９において通信可能な外部装置で実現されてもよい。
【００３０】
信号処理部２１は、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ等を含む。歌唱音声は、マイクロフォン２３において電気信号に変換されて信号処理部２１に入力され、信号処理部２１においてＡ／Ｄ変換されて制御部１１に出力される。上述したように、歌唱音声は、歌唱音声データとして記憶部１３にバッファされる。また、伴奏データは、制御部１１によって読み出され、信号処理部２１においてＤ／Ａ変換され、スピーカ２５から歌唱曲の伴奏として出力される。このとき、ガイドメロディもスピーカ２５から出力されるようにしてもよい。
【００３１】
［評価機能］
評価装置１の制御部１１が制御プログラムを実行することによって実現される評価機能について説明する。なお、以下に説明する評価機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。
【００３２】
図３は、本発明の第１実施形態における評価機能の構成を示すブロック図である。評価機能１００は、入力音取得部１０１、特徴量算出部１０３、比較部１０５、および評価値算出部１０７を含む。入力音取得部１０３は、マイクロフォン２３から入力された歌唱音声を示す歌唱音声データを取得する。
【００３３】
特徴量算出部１０３は、入力音取得部１０１によって取得された歌唱音声データを解析し、歌唱の特徴量、この例では歌唱音声のピッチ（周波数）の時間的な変化、すなわち歌唱ピッチ波形を算出する。具体的には、歌唱音声の波形のゼロクロスを用いた方法、ＦＦＴ（Fast Fourier Transform）を用いた方法等、公知の方法で歌唱ピッチ波形が算出される。なお、特徴量としては、ピッチ以外にも、音量レベル、倍音比率等であってもよい。また、特徴量は特性値そのものとして得られる値だけでなく、微分を用いた演算等によって特性値の変化量として得られる値であってもよい。このように変化量で表すと、絶対値の成分を除去できるため、例えば、キーシフトした歌唱などにおいても、適切に評価することができる。
【００３４】
比較部１０５は、特徴量算出部１０３によって得られた歌唱音声の特徴量（歌唱ピッチ波形）と模範音声の特徴量（模範ピッチ波形）とを比較する。比較部１０５は、歌唱された楽曲に対応付けられてデータベース５に登録されている模範特徴量データを取得し、この模範特徴量データに基づいて模範音声の特徴量を得る。比較結果として、この例では、歌唱ピッチ波形と模範ピッチ波形との一致度を、例えば、波形間の距離に基づいて算出する。ここでは、波形間の距離が近いほど、一致度が高い。このとき、データベース５から分布データも取得することによって、模範音声のピッチの分布を考慮して、一致度の算出に重み付けをしてもよい。例えば、比較の対象部分における歌唱音と模範音声とのピッチが離れていても、模範音声のピッチの分布が広がっている場合には、分布が狭い場合に比べて一致度が低くなりにくくすればよい。
【００３５】
評価値算出部１０７は、比較部１０５における比較結果に基づいて、歌唱音声の評価の指標となる評価値を算出する。この例では、比較部１０５で算出された一致度が高いほど評価値が高く算出され、歌唱音声の評価が高くなる。なお、評価値算出部１０７は、この一致度のみに基づいて評価値を算出するのではなく、さらに他の要素に基づいて評価値を算出してもよい。この評価結果は、表示部１７において提示されてもよい。以上が評価機能１００についての説明である。
【００３６】
［伸縮機能］
データ処理装置３の制御部３１が制御プログラムを実行することによって実現される伸縮機能について説明する。なお、以下に説明する伸縮機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。
【００３７】
図４は、本発明の第１実施形態における伸縮機能の構成を示すブロック図である。伸縮機能３００は、音データ取得部３０１、特徴量算出部３０３、特定部３０５、移動部３０７、および伸縮部３０９を含む。
【００３８】
音データ取得部３０１は、評価装置１において生成された歌唱音声データを、ネットワークＮＷを介して取得する。この歌唱音声データには、上述したようにデータ各部の再生タイミングを規定するための時刻情報が含まれている。
【００３９】
特徴量算出部３０３は、音データ取得部３０１によって取得された歌唱音声データを解析し、歌唱の特徴量を時系列に算出し、この特徴量を示す特徴量データを生成する。特徴量の算出方法は、上述した特徴量算出部１０３における方法と同様である。すなわち、特徴量は、歌唱音声のピッチであり、特徴量データは、このピッチの時間的な変化を表す。生成される特徴量データは、上記の時刻情報を含んでいる。すなわち、歌唱音声データのうち特定の再生タイミングにおける歌唱音声の特徴量が、特徴量データのうち特定の再生タイミングに対応するデータ位置の特徴量に対応することになる。
【００４０】
特定部３０５は、特徴量算出部３０３において生成された特徴量データ（歌唱特徴量データという）と、歌唱された楽曲に対応付けられてデータベース５に登録されている模範特徴量データとに基づいて、それぞれのデータのうち、所定データ位置についての関係を特定する。所定データ位置は、この例では、歌唱区間の冒頭のデータ位置を示す。そのため、特定部３０５は、歌唱特徴量データにおける歌唱区間の冒頭のデータ位置（第１のデータ位置という）に対応する、模範特徴量データにおけるデータ位置（第２のデータ位置という）を特定する。なお、特定部３０５、移動部３０７および伸縮部３０９の処理（伸縮処理）について、具体例については後述する。
【００４１】
移動部３０７は、特定部３０５において特定されたデータ位置の関係に基づいて、歌唱音声データの再生タイミングを平行移動するように時刻情報を変更する。このように変更される時刻情報は、歌唱音声データおよび歌唱特徴量データに含まれる時刻情報である。ここでは、時刻情報のタイムコードを全体的にシフトさせる、すなわちデータ位置を平行移動することによって、歌唱特徴量データの第１のデータ位置が、模範特徴量データの第２のデータ位置に一致するように時刻情報を変更する。
【００４２】
伸縮部３０９は、移動部３０７によって時刻情報が変更された歌唱特徴量データと、模範特徴量データとを比較して、データ各部の対応関係を検出する。この対応関係は、歌唱特徴量データと模範特徴量データとの類似度が高くなるデータ部分の関係を示す。対応関係の具体的な検出方法は、後述する具体例において説明する。伸縮部３０９は、この対応関係に基づいて、データ間隔（再生タイミングの間隔）を伸縮するように時刻情報を変更する。ここで変更される時刻情報も、歌唱音声データおよび歌唱特徴量データに含まれる時刻情報である。伸縮部３０９は、時刻情報を変更した歌唱音声データおよび歌唱特徴量データを、歌唱された楽曲に対応付けてデータベース５に登録する。以上が伸縮機能３００についての説明である。
【００４３】
［伸縮処理］
続いて、伸縮機能３００において実行される伸縮処理について、具体的に説明する。伸縮処理は、上記の伸縮機能３００のうち、特定部３０５、移動部３０７、および伸縮部３０９において実行される処理をまとめたものである。そのため、伸縮処理は、特徴量算出部３０３において歌唱特徴量データが算出されると開始される。
【００４４】
図５は、本発明の第１実施形態における伸縮処理を示すフローチャートである。図６は、本発明の第１実施形態における特定処理および移動処理の具体例を示す図である。図７は、本発明の第１実施形態における全体伸縮処理の具体例を示す図である。図８は、本発明の第１実施形態における第１分割伸縮処理の具体例を示す図である。図９は、本発明の第１実施形態における第２分割伸縮処理の具体例を示す図である。以下に説明するステップＳ１０１、Ｓ１０３の処理は特定部３０５により実行され、ステップＳ１０５の処理は移動部３０７により実行される。これらの処理は、図６を用いて説明する。また、ステップ１０７〜Ｓ１１１の処理は、伸縮部３０９によって実行される。これらの処理は、図７から図９を用いて説明する。
【００４５】
図６には、模範音声データの存在する区間Ｄｄ、模範特徴量データＳｄ、歌唱音声データの存在する区間Ｄｓ、および歌唱特徴量データＳｓを模した図が示されている。横軸方向は、時間軸ｔである。まず、歌唱特徴量データＳｓに基づいて、歌唱区間Ｄｓ１を抽出する（図５；ステップＳ１０１）。歌唱区間Ｄｓ１は、この例では、いわゆるＳＡＤ（song activity direction）といわれる方法を用い、特徴量（ピッチ）が算出できた領域に対応する区間として定められている。なお、いわゆるＶＡＤ（voice activity direction）といわれる方法を用い、音量レベルによって歌唱区間Ｄｓ１が定められていてもよい。
【００４６】
続いて、模範特徴量データＳｄのうち、歌唱特徴量データＳｓの所定データ位置と対応する関係にあるデータ位置を特定する（図５；ステップＳ１０３）。上述したように所定データ位置は、ここでは、歌唱区間の冒頭のデータ位置を示す。歌唱特徴量データＳｓのうち、歌唱区間Ｄｓ１の冒頭の区間Ｄｓ２におけるデータ部分を、模範特徴量データＳｄと比較する。比較結果に基づき、模範特徴量データＳｄのうち、区間Ｄｓ２のデータ部分に類似した区間Ｄｄ２を検出する。
【００４７】
この例では、区間Ｄｓ２の歌唱特徴量データＳｓの波形を、模範特徴量データＳｄの様々な領域の波形と比較し、最も類似度が高くなる領域を区間Ｄｄ２として特定する。これによって、歌唱特徴量データＳｓのうち区間Ｄｓ２のデータ位置（例えば、区間Ｄｓ２の中央のデータ位置の再生タイミングｔｓ１）と、模範特徴量データＳｄのうち区間Ｄｄ２のデータ位置（例えば、区間Ｄｄ２の中央のデータ位置の再生タイミングｔｄ１）とが対応する関係にあると特定する。
【００４８】
類似度は、上述した比較部１０５において算出される一致度と同様に算出される。すなわち、波形間の距離が近いほど、高い類似度として算出される。なお、模範特徴量データに対応する分布データをデータベース５から取得しておき、特徴量の分布を類似度の算出に用いてもよい。例えば、特徴量の分布が広がりの少ない区間、すなわち特徴量のばらつきの少ない区間の模範特徴量データの波形のみ類似度の算出の対象としてもよい。また、分布に応じて類似度の算出に重み付けをしてもよい。なお、評価装置１における評価値の算出アルゴリズムと同様の方法により、類似度を評価値として算出するようにしてもよい。
【００４９】
続いて、対応関係にあるデータ位置に基づいて、歌唱特徴量データＳｓを時間軸上で平行移動させる（図５；ステップＳ１０５）。平行移動するときには、再生タイミングｔｓ１が再生タイミングｔｄ１になるように歌唱特徴量データＳｓの時刻情報を変更する。すなわち、各データ位置の再生タイミングに（ｔｄ１−ｔｓ１）を加算するように変更すればよい。このように時刻情報が変更されたデータが、図６に示す歌唱特徴量データＳｓ２である。
【００５０】
続いて、歌唱特徴量データＳｓ２と模範特徴量データＳｄとを比較して、歌唱特徴量データＳｓ２のデータ全体を伸縮させる（図５；ステップＳ１０７）。この処理を全体伸縮処理という。ここでは、歌唱特徴量データＳｓ２のデータ全体を比例的に伸縮させ、模範特徴量データＳｄとの類似度ができるだけ高くなるように、時刻情報を変更する。このとき、上記の再生タイミングｔｓ１のデータ位置または区間Ｄｓ２の最初のデータ位置については、その位置を変更しないようにする。例えば、全体的に９０％に縮める場合には、位置を変更しないデータ以降のデータについて、それぞれ、データ位置の再生タイミングに０．９を乗じて時刻情報とすればよい。このように、伸縮させるときには、伸縮させる区間においては均等に伸縮するように時刻情報を変更する。以下に説明する分割伸縮処理も、同一区間内での伸縮は均等に伸縮するように時刻情報を変更する点で同様である。
【００５１】
時刻情報が変更されたデータが、図７に示す歌唱特徴量データＳｓ３である。ここでの類似度の算出についても、上述した方法と同じようにすればよい。例えば、歌唱特徴量データＳｓ３と模範特徴量データＳｄとの波形間の距離ができるだけ小さくなるように、歌唱特徴量データＳｓ２を伸縮する。類似度の算出には、分布データを上述のように類似度のは算出に含めてもよい。なお、図７においては、歌唱区間の最後のデータ位置の再生タイミングが一致するように示されているが、最後のデータ位置の再生タイミングは、上記の通り類似度に依存するため、必ずしも図示の通りになるとは限らない。
【００５２】
続いて、歌唱特徴量データＳｓ３を複数の区間に分割し、それぞれの区間に対して模範特徴量データＳｄを比較して、歌唱特徴量データＳｓ３を区間毎に伸縮させる（図５；ステップＳ１０９）。この処理を分割伸縮処理という。分割伸縮処理は複数回行われることが望ましい。まず、１回目の分割伸縮処理について、図８を用いて説明する。最初のデータ位置ＳＴと最後のデータ位置ＥＮとの中点のデータ位置Ｍ１を決定する。これによって、歌唱特徴量データＳｓ３をＳＴとＭ１との区間ＳＰ１と、Ｍ１とＥＮとの区間ＳＬ１とに分割する。
【００５３】
ここでのデータの伸縮は、中点のデータ位置Ｍ１の再生タイミングを時間的に前後に移動させることによって実行される。Ｍ１を時間的に前に移動させると、区間ＳＰ１が縮小され、区間ＳＬ１が伸長される。逆にＭ１を時間的に後に移動させると、区間ＳＰ１が伸長され、区間ＳＬ１が縮小される。このとき、各区間の一方の端部にあたるＳＴおよびＥＮのデータ位置は変更しない。そのため、ＳＴおよびＥＮは固定区切位置という場合がある。また、Ｍ１は移動区切位置という場合がある。
【００５４】
図８に示すように、データ位置Ｍ１を、より前の時間のＭ１ｓに移動させると、区間ＳＰ１はＳＰ１ｓに縮小され、区間ＳＬ１はＳＬ１ｓに伸長される。このようにして歌唱特徴量データＳｓ３を伸縮させるように時刻情報を変更したものが歌唱特徴量データＳｓ４である。Ｍ１の移動先であるＭ１ｓの再生タイミングは、歌唱特徴量データＳｓ４と模範特徴量データＳｄとの類似度ができるだけ高くなるように決められる。この類似度の算出に関しても上述した方法で行えばよい。
【００５５】
図８に示す分割伸縮処理が終了すると、分割単位が最小値に到達したか判定する（図５；ステップＳ１１１）。分割単位とは、図８の例では分割された区間の１つのことをいう。この区間長が、予め決められた最小値以下になった場合（ステップＳ１１１；Ｙｅｓ）には、伸縮処理を終了する。一方、最小値に到達していない場合（ステップＳ１１１；Ｎｏ）には、再び分割伸縮処理を実行する（ステップＳ１０９）。
【００５６】
ステップＳ１０９における分割伸縮処理が２回目以降に実行される場合には、実行する度に、直前に行われた分割伸縮処理のときの分割単位をより細かくする。この例では、図９に示すように、区間ＳＰ１、ＳＬ１、ＳＰ２、ＳＬ２の４分割として、１回目よりも分割単位を細かくする。まず、歌唱特徴量データＳｓ４を大きく２つに分ける。ここでは、ＳＴ１からＥＮ１の区間と、ＳＴ２からＥＮ２の区間との２つの区間に分ける。ＥＮ１（ＳＴ２）は、ＳＴ１とＥＮ２との中点である。ＳＴ１、ＥＮ１（ＳＴ２）、ＥＮ２については、分割伸縮処理においてデータ位置が固定される区切位置（固定区切位置）である。一方、２つの区間のそれぞれの中点において、データ位置を移動するための区切位置（移動区切位置）としてＭ１、Ｍ２を設定する。これによって、上記の４つの区間に分割される。
【００５７】
このときの分割伸縮処理は、最初の分割伸縮処理の時と同様に、Ｍ１を時間的に前後に移動させることで区間ＳＰ１、ＳＬ１を伸縮し、Ｍ２を時間的に前後に移動させることで区間ＳＰ２、ＳＬ２を伸縮する。図９の例のように、Ｍ１をＭ１ｓに移動させ、Ｍ２をＭ２ｓに移動させると、区間ＳＰ１、ＳＰ２は、それぞれＳＰ１ｓ、ＳＰ２ｓに伸長され、区間ＳＬ１、ＳＬ２は、それぞれＳＬ１ｓ、ＳＬ２ｓに縮小される。このようにして歌唱特徴量データＳｓ３を伸縮させるように時刻情報を変更したものが歌唱特徴量データＳｓ５である。Ｍ１、Ｍ２の移動先であるＭ１ｓ、Ｍ２ｓのデータ位置は、歌唱特徴量データＳｓ５と模範特徴量データＳｄとの類似度ができるだけ高くなるように決められる。
【００５８】
３回目の分割伸縮処理は、さらに分割数を増やして分割単位を細かくする。このとき、固定区切位置として、ＳＴ１〜ＳＴ４、ＥＮ１〜ＥＮ４を定める。また、隣接する固定区切位置の間において、移動区切位置として、Ｍ１、Ｍ２、Ｍ３、Ｍ４を定める。固定区切位置および移動区切位置によって分割単位（区間ＳＰ１、ＳＬ１、・・・、ＳＰ４、ＳＬ４）が決められる。そして、上記と同様にして、移動区切位置Ｍ１、Ｍ２、・・・を移動させて、各区間を伸縮させる。
【００５９】
このようにして、分割単位が予め決められた最小値に到達するまで、分割単位を細かくしながら分割伸縮処理を繰り返していく。分割伸縮処理を繰り返すことによって、時刻情報を変更していく。これによって、歌唱特徴量データは、模範特徴量データに類似するように伸縮される。これに伴い、変更された時刻情報が歌唱音声データについても適用されて、歌唱音声データが模範音声データに類似するように伸縮されることになる。
【００６０】
なお、分割伸縮処理は、様々に変更可能である。例えば、分割伸縮処理の回数が増えると、分割数を増やして、分割単位を細かく、すなわち１つの区間長を短くなるようにしていたが、予め決められたルールにしたがって、処理の回数に応じて分割数を増減させてもよい。また、歌唱特徴量データは、分割後のそれぞれの区間長が同じになるように均等に分割されていたが、予め決められたルールにしたがって、それぞれの区間長が異なるように分割されてもよい。また、ステップＳ１１１において、分割単位が最小値に到達したことを判定するのではなく、分割伸縮処理後の歌唱特徴量データと模範特徴量データとの類似度が所定値以上になったことを判定するようにしてもよい。
【００６１】
上記の例では、楽曲全体が歌唱されている場合を想定して説明した。一方、楽曲の一部のみが歌唱されている場合等、歌唱の期間が短い歌唱音声データを伸縮させる場合であっても、上記の伸縮処理によれば、図１０に示すように処理が可能である。
【００６２】
図１０は、本発明の第１実施形態における特定処理および移動処理の具体例（曲の一部のみ歌唱した場合の例）を示す図である。図１０に示すように歌唱音声データの存在する区間Ｄｓは、模範音声データが存在する区間Ｄｄに比べて大幅に短い。このような場合には、楽曲の一部のみを歌唱している場合がある。この場合であっても、図５に示す伸縮処理と同様に処理をすればよい。その結果、図６に示す例と同様にして図１０に示す例のように処理される。すなわち、歌唱区間Ｄｓ１を抽出し、冒頭の区間Ｄｓ２の歌唱特徴量データＳｓの波形を、模範特徴量データＳｄの様々な領域の波形と比較して、最も類似度が高くなる領域を区間Ｄｄ２として特定する。
【００６３】
楽曲が２コーラスある場合、歌唱した区間が、いずれかの１コーラスである場合がある。この際、１コーラス目が類似しているのか、２コーラス目が類似しているのかがわかりにくい場合がある。このような場合（類似度の差が所定値以内の差となる区間がある場合）、別の種類の特徴量をさらに用いてもよい。例えば、歌詞の違いによる音素の違いを判断するため、倍音比率を用いるとよい場合がある。
【００６４】
これによって、歌唱特徴量データＳｓのうち区間Ｄｓ２の所定のデータ位置の再生タイミングｔｓ２と、模範特徴量データＳｄのうち区間Ｄｄ２の所定のデータ位置の再生タイミングｔｄ２とが対応する関係にあると特定する。そして、対応関係にあるデータ位置に基づいて、再生タイミングｔｓ２が再生タイミングｔｄ２になるように時刻情報を変更し、歌唱特徴量データＳｓを時間軸上で平行移動させる。図１０に示す例では、区間ＳＡに移動するように時刻情報が変更される。その後の伸縮処理については、区間ＳＡの範囲内で実施される。分割伸縮処理においては、区間ＳＡを複数の区間に分割して伸縮させればよい。
【００６５】
なお、楽曲全体が歌唱されているものの、１コーラス目と２コーラス目との間が長く、歌唱区間が複数に分かれて検出される場合もある。このような場合には、それぞれの歌唱区間について、図１０に示す処理を行って、伸縮処理をすればよい。
【００６６】
以上の通り、第１実施形態に係るデータ処理システム１０００においては、評価装置１において入力された歌唱者の歌唱音声のデータをデータベース５に登録する。このとき、すでに同じ楽曲としてデータベース５において、模範音声データの一部として登録されている歌唱音声データとは、時間的なずれ（早い歌唱または遅い歌唱）が生じていても、このずれを少なくすることができる。その結果、新たな歌唱音声データを模範音データの一部に含むようにして、歌唱の特徴量を統計処理する際に、有用なデータとすることができる。また、データベース５に登録された同一楽曲の複数の歌唱音声データのうち、２つの歌唱音声データを用いて再生すると、デュエット歌唱を再現することもできる。これらの歌唱音声データは、ネットワークＮＷを介して評価装置１または様々な端末（スマートフォン、パーソナルコンピュータ等）にダウンロードして聴取することもできる。
【００６７】
＜第２実施形態＞
第２実施形態においては、歌唱音声データを伸縮させる際に比較の対象となる模範特徴量データが、ガイドメロディを示すデータである場合について説明する。このように模範特徴量データは、歌唱音声のピッチ等の特徴量の波形を示すデータに限らず、離散的なピッチ（例えば、１００ｃｅｎｔ単位で定めたピッチ）によってメロディを表したデータであってもよい。この場合の具体的な例について図１１を用いて説明する。
【００６８】
図１１は、本発明の第２実施形態における特定処理および移動処理の具体例を示す図である。図１１に示すように、模範特徴量データＳｄは、離散的なピッチとその期間によってメロディを表したデータである。このような模範特徴量データＳｄを基準として、上記の実施形態と同様な歌唱特徴量データＳｓを伸縮させる例を示している。図５に示す伸縮処理と同様に、歌唱区間Ｄｓ１を抽出し、冒頭の区間Ｄｓ２の歌唱特徴量データＳｓの波形を、模範特徴量データＳｄの様々な領域のメロディと比較して、最も類似度が高くなる領域を区間Ｄｄ２として特定する。類似度の算出については、例えば、離散的なピッチのメロディを波形とみなした上で、上記実施形態と同様に、区間Ｄｓ２における歌唱特徴量データＳｓの波形との距離を用いればよい。
【００６９】
これによって、歌唱特徴量データＳｓのうち区間Ｄｓ２の所定のデータ位置の再生タイミングｔｓ３と、模範特徴量データＳｄのうち区間Ｄｄ２の所定のデータ位置の再生タイミングｔｄ３とが対応する関係にあると特定する。そして、対応関係にあるデータ位置に基づいて、再生タイミングｔｓ３が再生タイミングｔｄ３になるように時刻情報を変更し、歌唱特徴量データＳｓを時間軸上で平行移動させる。その後の伸縮処理については、第１実施形態と同様に実行される。第１実施形態と異なる点は、模範となる比較の対象が離散的なピッチのメロディである点である。類似度の算出は上記と同様に、離散的なピッチのメロディを波形とみなした上で、上記実施形態と同様に、歌唱特徴量データの波形との距離を用いればよい。
【００７０】
＜第３実施形態＞
第３実施形態においては、第１実施形態とは異なる方法で伸縮処理を行う。ただし、特定部３０５および移動部３０７については、第１実施形態とほぼ同様の処理を実行する。一方、伸縮部３０９は、歌唱特徴量データと模範特徴量データとの波形間の距離に応じて時刻情報を変更することは変わりが無いが、その過程となる処理が第１実施形態とは異なる。すなわち、第１実施形態では分割伸縮処理を用いていたが、第３実施形態では逐次伸縮処理を採用する。以下に逐次伸縮処理について説明する。
【００７１】
図１２は、本発明の第３実施形態における伸縮処理を示すフローチャートである。歌唱特徴量データＳｓに基づいて、歌唱区間Ｄｓを抽出する（図１２；ステップＳ２０１）。なお、この例では、模範特徴量データＳｄについては、予め歌唱区間Ｄｄが抽出されたデータになっている。続いて、ＯＦＦＳＥＴの算出を行う（ステップＳ２０３）。この処理は、特定部３０５によって実行される。ＯＦＦＳＥＴの算出方法を図１３、図１４を用いて説明する。
【００７２】
図１３は、本発明の第３実施形態における評価対象ウインドウの例を示す図である。図１４は、本発明の第３実施形態におけるＯＦＦＳＥＴ算出処理によって算出されるＯＦＦＳＥＴを説明する図である。まず、図１３に示すように、模範特徴量データＳｄの冒頭部分に区間Ｂｄを設定し、歌唱特徴量データＳｓの冒頭部分に区間Ｂｓを設定する。ここで、区間Ｂｄと区間Ｂｓとは同じ長さであり、例えば３０秒程度の幅である。
【００７３】
続いて、図１４に示すように、歌唱特徴量データＳｓ（歌唱区間Ｄｓ）を時間的に全体的に平行移動しつつ、模範特徴量データＳｄの区間Ｂｄのデータ部分と、歌唱特徴量データＳｓの区間Ｂｓのデータ部分とを比較して、類似度が最も高くなる関係となる区間Ｂｓの位置を算出する。類似度は、模範特徴量データＳｄの区間Ｂｄのデータ部分と歌唱特徴量データＳｓの区間Ｂｓのデータ部分との波形間の距離に対応する。そして、類似度が最も高くなる点については最小自乗法を用いて算出する。
【００７４】
具体的には、以下の通り算出する。模範特徴量データＳｄの波形を時間ｔの関数で表した場合を、ＤＳｄ（ｔ）とする。また、歌唱特徴量データＳｓの波形を時間ｔの関数で表した場合を、ＤＳｓ（ｔ）とする。そして、歌唱特徴量データＳｓの並行移動量をｔｓとする。Ｃ＝（ＤＳｄ（ｔ）−ＤＳｓ（ｔ＋ｔｓ））2を、区間Ｂｄのｔの範囲（例えば、ｔ＝０〜ｔｂ）で加算したΣＣを算出する。そして、ΣＣが最も小さくなるｔｓを検出する。検出されたｔｓが算出すべきＯＦＦＳＥＴの値となる。このようにしてＯＦＦＳＥＴが算出される。なお、第１実施形態でも述べたように、区間Ｄｓが短い場合には、区間Ｄｄの一部分のみ歌唱されている場合もある。この場合にはＯＦＦＳＥＴが大きい値になる場合もある。この場合であっても、以降の処理は同様に行うことができる。
【００７５】
続いて、歌唱特徴量データＳｓを時間軸上で平行移動させる（図１２；ステップＳ２０５）。平行移動するときには、算出したＯＦＦＳＥＴが適用されるように、歌唱特徴量データＳｓの時刻情報を変更する。すなわち、ＯＦＦＳＥＴだけ歌唱特徴量データＳｓの各データ位置の再生タイミングをずらすように時刻情報を変更すればよい。以下の説明において、歌唱特徴量データＳｓ１（歌唱区間Ｄｓ１）は、ＯＦＦＳＥＴを反映して時刻情報を変更したデータを示している。
【００７６】
続いて、模範特徴量データＳｄと歌唱特徴量データＳｓ１とのずれに対応するＳＨＩＦＴを算出する（図１２；ステップＳ２０７）。ＳＨＩＦＴの算出方法を図１５を用いて説明する。
【００７７】
図１５は、本発明の第３実施形態におけるＳＨＩＦＴ算出処理によって算出されるＳＨＩＦＴを説明する図である。まず、模範特徴量データＳｄの冒頭部分に設定した区間Ｂｄの位置を変更する。変更する量は、予め決められた時間（単位時間という）である。なお、単位時間は、区間Ｂｄの長さに対して短くてもよいし、長くてもよい。
【００７８】
そして、区間Ｂｄに対応する位置となる区間Ｂｓを検出する。ここでは、変更後の区間Ｂｄのデータ部分と、変更後の区間Ｂｓのデータ部分との類似度が最も高くなるように、歌唱特徴量データＳｓ１における区間Ｂｓの位置が検出される。区間Ｂｄに対応する区間Ｂｓの位置を算出する具体的な方法は、ＯＦＦＳＥＴを算出する方法と同様である。検出された区間Ｂｓと区間Ｂｄとの位置の差をＳＨＩＦＴの値として算出する。
【００７９】
図１５に示すように、区間Ｂｄを単位時間ずつ進めて、上記の処理を繰り返して、それぞれの区間Ｂｄに対応したＳＨＩＦＴを算出する（ステップＳ２０９；Ｎｏ、ステップＳ２０７）。区間Ｂｄが模範特徴量データＳｄの最後のデータに到達すると（ステップＳ２０９；Ｙｅｓ）、ＳＨＩＦＴの算出が終了する。なお、区間Ｂｄに対して区間Ｂｓが時間的に進んでいる場合に、ＳＨＩＦＴ＞０とする。
【００８０】
図１６は、本発明の第３実施形態における模範特徴量データＳｄと歌唱特徴量データＳｓとのデータ各部の対応関係を説明する図である。横軸が模範特徴量データＳｄに対応し、縦軸が歌唱特徴量データＳｓに対応する。
【００８１】
上記のＳＨＩＦＴの値は、ＳＨＩＦＴ＝０からのずれ量に対応する。すなわち、模範特徴量データＳｄと歌唱特徴量データＳｓとの時間的なずれがＯＦＦＳＥＴ以外に存在しない場合、ＳＨＩＦＴ＝０の破線部分に一致する。データ位置ｔｍより前の区間においては、歌唱音声は模範音声に対して歌唱すべき位置が遅れ、ＳＨＩＦＴ＜０になっている。また、データ位置ｔｍより後の区間においては、歌唱音声は模範音声に対して歌唱すべき位置が早く、ＳＨＩＦＴ＞０になっている。ＳＦは、最後のデータにおけるＳＨＩＦＴの値である。時間的なずれがあったとしても、歌唱音声と模範音声との歌唱の進行速度が同じであれば、ＳＨＩＦＴ＝０の傾きと並行になる。一方歌唱音声が模範音声よりも歌唱の進行速度が遅い場合にはＳＨＩＦＴ＝０より小さい傾きとなり、歌唱の進行速度が速い場合には、ＳＨＩＦＴ＝０より大きい傾きとなる。
【００８２】
続いて、算出したＳＨＩＦＴに基づいて、歌唱特徴量データＳｓ１を伸縮する逐次伸縮処理を実行する（ステップＳ２１１）。この例では、歌唱特徴量データＳｓ１の時刻情報が各データ位置におけるＳＨＩＦＴに応じて変更される。例えば、各データ位置ｔのＳＨＩＦＴの値をＳ（ｔ）とすれば、歌唱特徴量データＳｓ１の時刻情報において、各データ位置「ｔ」を「ｔ−Ｓ（ｔ）」に変更すればよい。なお、ＳＨＩＦＴの値が算出されていないデータ位置がある場合には、ＳＨＩＦＴの値を補完して用いればよい。なお、データ各部の対応関係を示す線の複雑度が所定値以上である場合には、ＳＨＩＦＴ算出処理を改めて実行してもよい。このときには、２番目に類似度が高いものを用いてもよいし、類似度の算出方法を変更してもよい。
【００８３】
上記の複雑度については、データ各部の対抗関係を示す線の滑らかさの程度を示す指標とし、滑らかなほど複雑度が低い値として定義されればよい。例えば、対応関係を示す線に不連続点または急激に変化する領域（波形状である領域等）が存在する場合には、複雑度が高い。
【００８４】
図１７は、本発明の第３実施形態における歌唱特徴量データの伸縮を説明する図である。図１７では、歌唱特徴量データＳｓ（歌唱区間Ｄｓ）、ＯＦＦＳＥＴが調整された歌唱特徴量データＳｓ１（歌唱区間Ｄｓ１）、さらに逐次伸縮処理がなされた歌唱特徴量データＳｓｓ（歌唱区間Ｄｓｓ）を、模範特徴量データＳｄ（歌唱区間Ｄｄ）と比較して示している。
【００８５】
歌唱特徴量データＳｓ、Ｓｓ１、Ｓｓｓについては、時刻情報の変更に伴うデータ位置の変化を模式的に示している。ＯＦＦＳＥＴ、ｔｍ、ＳＦについては、上述の例で示したものと同じである。ｔｍより前の区間においては再生タイミングを進め、後の区間においては再生タイミングを戻すように時刻情報を変更することになる。このようにして変更された時刻情報を歌唱音声データに適用することにより、歌唱音声データを伸縮させて、模範音声データに類似したデータに変更することができる。
【００８６】
＜第４実施形態＞
第４実施形態においては、上述した実施形態の伸縮機能３００において、時刻情報を変更した歌唱音声データおよび歌唱特徴量データを、データベース５に登録する際に、既に登録されているデータと合成する処理を行う場合について説明する。
【００８７】
第４実施形態における伸縮機能は、上記実施形態における伸縮機能３００に対して合成部をさらに備える。合成部以外については、伸縮機能３００と同様であり、既に説明しているとおりである。伸縮機能３００における伸縮部３０９の出力がデータベース５に入力される代わりに、第４実施形態では合成部に入力される。すなわち、合成部は、伸縮部３０９において、時刻情報が変更された歌唱音声データおよび歌唱特徴量データを取得する。そして、合成部は、これらに対応する楽曲の模範音声データおよび模範特徴量データをデータベース５から取得して、伸縮部３０９から取得したデータと合成し、データベース５の登録内容を更新する
【００８８】
合成とは、データベース５から取得した模範音声データを構成する複数の歌唱音声データの一つとして、伸縮部３０９から取得した歌唱音声データを含めることを含む。同様に、データベース５から取得した模範特徴量データに、伸縮部３０９から取得した歌唱特徴量データを含めることを含む。合成部３１１は、合成によって得られた新たな模範音声データおよび模範特徴量データの統計処理を、さらに行ってデータベース５の登録内容を更新してもよい。
【００８９】
＜その他の実施形態＞
上記の実施形態において、特徴量の例は、音のピッチである場合について説明した。特徴量としては、ピッチ以外にも、音量レベル、倍音比率等であってもよい。また、特徴量は特性値そのものとして得られる値だけでなく、微分を用いた演算等によって特性値の変化量として得られる値であってもよい。このように変化量で表すと、絶対値の成分を除去できるため、例えば、音量レベル等、絶対値としては重要な要素を持たず、相対的な変化を重視するパラメータである場合に有効である。また、キーシフトした歌唱などにおいても、適切に評価することができる。
【００９０】
歌唱音声データおよび模範音声データが示す音は、歌唱者による音声に限られず、歌唱合成による音声であってもよいし、楽器音であってもよい。楽器音である場合には、単音演奏であることが望ましい。
【符号の説明】
【００９１】
１…評価装置、１１…制御部、１３…記憶部、１５…操作部、１７…表示部、１９…通信部、２１…信号処理部、２３…マイクロフォン、２５…スピーカ、３…データ処理装置、３１…制御部、３３…記憶部、３９…通信部、５…データベース、１００…評価機能、１０１…入力音取得部、１０２…模範音取得部、１０３…特徴量算出部、１０５…比較部、１０７…評価値算出部、３００…伸縮機能、３０１…音データ取得部、３０３…特徴量算出部、３０５…特定部、３０７…移動部、３０９…伸縮部
【図１】
2017111274.tif 000003
【図２】
2017111274.tif 000004
【図３】
2017111274.tif 000005
【図４】
2017111274.tif 000006
【図５】
2017111274.tif 000007
【図６】
2017111274.tif 000008
【図７】
2017111274.tif 000009
【図８】
2017111274.tif 000010
【図９】
2017111274.tif 000011
【図１０】
2017111274.tif 000012
【図１１】
2017111274.tif 000013
【図１２】
2017111274.tif 000014
【図１３】
2017111274.tif 000015
【図１４】
2017111274.tif 000016
【図１５】
2017111274.tif 000017
【図１６】
2017111274.tif 000018
【図１７】
2017111274.tif 000019