(57)【要約】【課題】演奏された楽曲の拍を音楽的な観点で検出する。【解決手段】楽音信号のサンプルを時系列で取得する取得手段と、前記取得した楽音信号のサンプルを参照信号とし、当該楽音信号のサンプルより所定時間前に取得した楽音信号のサンプルを入力信号とする適応フィルタを有する評価手段と、前記適応フィルタに、前記楽音信号のサンプルを順次入力し、前記適応フィルタのフィルタ係数の値が収束した際の前記フィルタ係数に基づいて、楽音に対応するテンポを決定するテンポ決定手段と、を有する。【選択図】図１
2020106753.tif 000002
【特許請求の範囲】
【請求項１】
楽音信号のサンプルを時系列で取得する取得手段と、
前記取得した楽音信号のサンプルを参照信号とし、当該楽音信号のサンプルより所定時間前に取得した楽音信号のサンプルを入力信号とする適応フィルタを有する評価手段と、
前記適応フィルタに、前記楽音信号のサンプルを順次入力し、前記適応フィルタのフィルタ係数の値が収束した際の前記フィルタ係数に基づいて、楽音に対応するテンポを決定するテンポ決定手段と、
を有することを特徴とする、情報処理装置。
【請求項２】
前記テンポ決定手段は、収束した前記フィルタ係数に基づいて、前記所定時間が前記楽音のテンポに対応する値であるか否かを決定する
ことを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記フィルタ係数は、複数の係数からなり、
前記テンポ決定手段は、所定の期間内に取得された複数の前記楽音信号のサンプル群を前記入力信号として前記適応フィルタに入力する、
請求項１または２に記載の情報処理装置。
【請求項４】
前記フィルタ係数は、複数の係数からなり、
前記テンポ決定手段は、第一の期間内に取得された複数の前記楽音信号のサンプル群と、前記第一の期間のｎ倍（ｎは２以上の整数）の長さを持ち、前記第一の期間と連続した第二の期間内に取得された複数の前記楽音信号のサンプル群と、を前記入力信号として前記適応フィルタに入力する、
請求項１または２に記載の情報処理装置。
【請求項５】
前記テンポ決定手段は、収束した前記複数の係数のうち、最大値を示している係数を乗ずる入力信号のサンプルと、参照信号とした前記楽音信号のサンプルとの時間差に対応する値を、前記楽音に対応するテンポであると決定する、
請求項３または４に記載の情報処理装置。
【請求項６】
請求項１から５のいずれかに記載の情報処理装置と、
前記情報処理装置が決定したテンポに従ったタイミングで、複数のカメラにそれぞれ対応する複数の映像ソースを切り替える制御装置と、
を含む、映像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽器の演奏テンポを検出する技術に関する。
【背景技術】
【０００２】
アーティストやミュージシャンの歌唱や演奏を複数のアングルで撮影し、得られた映像を繋ぎ合わせることで一本のミュージックビデオを作成する手法が知られている。かかる手法においては、作成しようとする映像コンテンツのストーリーに沿って、楽曲の進行とともに適切なカメラを選択することが求められる。
【０００３】
これに関する技術として、例えば、特許文献１には、予め記憶されたシナリオに基づいて、ステージに配置された複数のカメラを切り替える制御が行えるシステムが開示されている。また、特許文献２には、複数のマイクによって取得した音声に基づいて話者の位置を認識し、当該話者を捉えるように複数のカメラを切り替える技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０２６７３９号公報
【特許文献２】特開２００５−２９５４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載のシステムによると、予め設定した意図に沿ってカメラの切り替えを自動化することができる。かかる発明では、カメラの切り替えタイミングを楽曲中の任意の位置と対応付ける必要がある。しかし、楽曲が生演奏されるものである場合、対応付けを予め行うことができない。カメラを自律的に切り替えるという方法もあるが、楽曲（例えば拍や小節）と無関係なタイミングでカメラを切り替えると、視聴者に違和感を与えるおそれがある。
【０００６】
本発明は上記の課題を考慮してなされたものであり、演奏された楽曲の拍を音楽的な観点で検出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は、楽音信号のサンプルを時系列で取得する取得手段と、前記取得した楽音信号のサンプルを参照信号とし、当該楽音信号のサンプルより所定時間前に取得した楽音信号のサンプルを入力信号とする適応フィルタを有する評価手段と、前記適応フィルタに、前記楽音信号のサンプルを順次入力し、前記適応フィルタのフィルタ係数の値が収束した際の前記フィルタ係数に基づいて、楽音に対応するテンポを決定するテンポ決定手段と、を有することを特徴とする。
【０００８】
適応フィルタは、入力信号（評価対象の信号）と参照信号（真の信号）との誤差が最小となるように、フィルタ係数を動的に更新するデジタルフィルタである。楽曲は、拍を有して構成されるため、楽音信号に一定の周期性が観測される。よって、ある間隔をもった楽音信号のサンプルを参照信号および入力信号として適応フィルタに入力すると、その周期性に応じた値にフィルタ係数が収束する。よって、収束したフィルタ係数に基づいて、楽音に対応するテンポを評価することができる。
【０００９】
また、前記テンポ決定手段は、収束した前記フィルタ係数に基づいて、前記所定時間が
前記楽音のテンポに対応する値であるか否かを決定することを特徴としてもよい。
【００１０】
適応フィルタが有するフィルタ係数が単一の係数である場合、収束したフィルタ係数は、「設定した所定時間が真のテンポとどの程度一致しているか」を示す値となる。
【００１１】
また、前記フィルタ係数は、複数の係数からなり、前記テンポ決定手段は、所定の期間内に取得された複数の前記楽音信号のサンプル群を前記入力信号として前記適応フィルタに入力することを特徴としてもよい。
【００１２】
適応フィルタが有するフィルタ係数が複数の係数からなる場合、所定の期間内に取得された複数の楽音信号のサンプルを適応フィルタの入力とすることができる。この場合、収束した各係数の値によって、真のテンポに対応するタイミングを知ることができる。
【００１３】
また、前記テンポ決定手段は、収束した前記複数の係数のうち、最大値を示している係数を乗ずる入力信号のサンプルと、参照信号とした前記楽音信号のサンプルとの時間差に対応する値を、前記楽曲に対応するテンポであると決定することを特徴としてもよい。
【００１４】
複数の係数のうち、最大の値を持つ係数がある場合、当該係数が評価対象とするサンプルが、参照信号であるサンプルと最も類似していることを意味する。よって、これらのサンプルの時間差が、楽音に対応するテンポであると判定することができる。
【００１５】
また、前記フィルタ係数は、複数の係数からなり、前記テンポ決定手段は、第一の期間内に取得された複数の前記楽音信号のサンプル群と、前記第一の期間のｎ倍（ｎは２以上の整数）の長さを持ち、前記第一の期間と連続した第二の期間内に取得された複数の前記楽音信号のサンプル群と、を前記入力信号として前記適応フィルタに入力することを特徴としてもよい。
【００１６】
このように、適応フィルタが評価するサンプル群は、単一の期間に含まれるものでなくてもよい。第一の期間と第二の期間に含まれるサンプル群を評価対象とすることで、第一の期間のｎ倍の周期を評価することができる。すなわち、音楽的な観点で評価を行うことができる。
【００１７】
また、本発明に係る映像処理システムは、前記情報処理装置と、前記情報処理装置が決定したテンポに従ったタイミングで、複数のカメラにそれぞれ対応する複数の映像ソースを切り替える制御装置と、を含むことを特徴とする。
【００１８】
検出した楽曲のテンポに従ったタイミングで映像ソース（例えば、複数のカメラによって奏者を撮影して得られた映像）を切り替えることで、違和感の少ない映像を得ることができる。
【００１９】
なお、本発明は、上記手段の少なくとも一部を含む情報処理装置、映像処理システムとして特定することができる。また、前記情報処理装置または映像処理システムが実行する方法として特定することもできる。また、前記方法を実行させるためのプログラムや、当該プログラムが記録された非一時的記憶媒体として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【図面の簡単な説明】
【００２０】
【図１】映像処理システムの全体構成図である。
【図２】映像ソース（カメラ）の切り替えを説明する図である。
【図３】テンポ検出装置および映像処理装置のモジュール構成図である。
【図４】適応フィルタの概略を説明する図である。
【図５】第一の実施形態で処理対象となる楽音信号を例示する図である。
【図６】第一の実施形態における適応フィルタを説明する図である。
【図７】第一の実施形態におけるテンポ検出部１０２を詳細に説明する図である。
【図８】第一の実施形態におけるテンポの評価結果を説明する図である。
【図９】第一の実施形態で映像処理装置が行う処理のフローチャートである。
【図１０】第二の実施形態におけるテンポ検出部１０２を詳細に説明する図である。
【図１１】第二の実施形態で処理対象となる楽音信号を例示する図である。
【図１２】第二の実施形態における適応フィルタを説明する図である。
【図１３】第三の実施形態におけるテンポ検出部１０２を詳細に説明する図である。
【図１４】第三の実施形態で処理対象となる楽音信号を例示する図である。
【発明を実施するための形態】
【００２１】
（第一の実施形態）
本実施形態に係る映像処理システムは、奏者による楽器の演奏を複数台のカメラで撮影し、取得した映像を再編成して出力するシステムである。本実施形態に係る映像処理システムは、テンポ検出装置１００、映像処理装置２００、複数のカメラ３００、マイク４００を含んで構成される。
【００２２】
図１に、本実施形態に係る映像処理システムの構成図を示す。
カメラ３００は、楽器を演奏する奏者の周囲に配置された複数台のカメラである。カメラ３００は、それぞれ異なるアングルから奏者を捉えることができる。カメラ３００は後述する映像処理装置２００と接続され、映像信号を映像処理装置２００に送信する。
奏者による演奏は、マイク４００によって集音され、電気信号（以下、楽音信号）に変換されたのち、後述するテンポ検出装置１００および映像処理装置２００へ送信される。
なお、本例ではマイク４００によって集音する例を挙げるが、電子楽器等から直接楽音信号を取得できる場合、マイク４００を、楽音信号を取得する手段に置き換えてもよい。
【００２３】
テンポ検出装置１００は、入力された楽音信号に基づいて、楽曲のテンポを検出する装置である。本実施形態では、テンポとは１分間あたりの拍の数であり、ＢＰＭ（Beats per minute）によって表される。例えば、ＢＰＭが１２０である場合、１分間あたり１２０拍となる。検出したテンポに関する情報は、テンポ情報として映像処理装置２００に送信される。
【００２４】
映像処理装置２００は、接続された複数のカメラ３００から映像信号を取得して記録し、記録した映像を所定のルールに従って再編成し、出力する装置である。具体的には、記録された複数の映像ソースを、図２に示したように、時系列に沿って順次選択し、選択した映像ソースを結合して出力する。複数の映像ソースを順次選択することで、複数のカメラ３００を切り替えたのと同様の効果を得ることができる。以降の説明において、「映像ソースの切り替え」と「カメラの切り替え」は同義である。
また、映像処理装置２００は、テンポ検出装置１００から取得したテンポ情報に基づいて、演奏中の楽曲のテンポと一致したタイミング（図２中における矢印）でカメラの切り替えを行う。
かかる構成によると、楽曲と同期した自然なタイミングでカメラの切り替えを行うことが可能になる。
【００２５】
次に、テンポ検出装置１００について詳細に説明する。
テンポ検出装置１００は、ＣＰＵ（中央処理装置）、補助記憶装置、主記憶装置を有して構成される、汎用のコンピュータである。補助記憶装置に、ＣＰＵにおいて実行される
プログラムや、当該制御プログラムが利用するデータが記憶される。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで、以降に説明する処理が行われる。
【００２６】
図３は、テンポ検出装置１００および映像処理装置２００が有する機能ブロックを説明する図である。
テンポ検出装置１００は、楽音信号取得部１０１およびテンポ検出部１０２の２つのモジュールを有して構成される。これらのモジュールは、ＣＰＵによって実行されるプログラムモジュールとして実装されてもよい。
【００２７】
楽音信号取得部１０１は、マイク４００からアナログ信号である楽音信号を取得する。なお、本明細書の説明において、楽音信号とは、アナログ信号と、当該アナログ信号をサンプリングして得られるデジタル信号の双方を含む概念である。
テンポ検出部１０２は、アナログ信号に対して所定のレートでサンプリングを行い、得られたデジタル信号に基づいて、テンポの検出を行う。具体的な処理内容については後述する。テンポ検出部１０２は、楽曲のテンポを表す情報（テンポ情報）を生成し、映像処理装置２００に送信する。本実施形態では、テンポ情報とは、検出したテンポの値（例：１２０ＢＰＭ）を含んだ情報である。
【００２８】
次に、映像処理装置２００について説明する。
映像処理装置２００は、ＣＰＵ（中央処理装置）、補助記憶装置、主記憶装置を有して構成される、汎用のコンピュータである。補助記憶装置に、ＣＰＵにおいて実行されるプログラムや、当該制御プログラムが利用するデータが記憶される。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることで、以降に説明する処理が行われる。
【００２９】
映像記録部２０１は、複数のカメラ３００とマイク４００から映像信号および音声信号を取得し記録する。例えば、カメラが４台ある場合、映像記録部２０１は、カメラ３００Ａ，３００Ｂ，３００Ｃ，３００Ｄとそれぞれ接続し、複数の映像信号（映像ストリーム）を取得して記録する。記録された映像信号を以下、映像ソースとも称する。なお、映像記録部２０１とカメラ３００との間は、有線接続されてもよいし、無線接続されてもよい。
【００３０】
映像ソース選択部２０２は、映像記録部２０１が記録した複数の映像信号を、テンポ検出部１０２から取得したテンポ情報を用いて繋ぎ合わせ（編集し）、出力信号を生成する。映像ソースの選択は、予め設定された所定のルールに沿って行うようにしてもよい。例えば、映像ソース選択部２０２は、楽曲の演奏開始からの拍数と、カメラ３００との対応が記述されたデータ（以下、映像ソース選択情報）を保持しており、テンポ検出装置１００から取得したテンポ情報に基づいたタイミングで、図２に示したように映像ソースを切り替え、出力信号を生成していく。なお、音声信号は、映像ソースにかかわらず共通のものを利用する。
【００３１】
テンポ検出部１０２がテンポの検出を行う原理について説明する前に、適応アルゴリズムについて説明する。なお、適応アルゴリズムは既知のものであるため、詳細な説明は省略し、以下に概略のみを述べる。
図４は、有限インパルス応答（ＦＩＲ）フィルタによって構成した適応フィルタの例を示した図である。適応フィルタとは、参照信号と入力信号の誤差が最小となるようにフィルタ係数を動的に更新するフィルタであり、フィルタ係数を更新する手順を適応アルゴリズムと呼ぶ。かかる例によると、出力信号であるｙ（ｎ）が、参照信号であるｄ（ｎ）に近づくように、複数のフィルタ係数ｈが自動的に更新される。
【００３２】
なお、ｎはタイムステップを表す。ｎ＝０である場合、最新のタイムステップを表し、ｎ＝−３２である場合、３２ステップ前を表す。
【００３３】
本実施形態に係るテンポ検出装置１００は、このような適応フィルタの特性を利用し、処理対象のサンプルと、過去のサンプルとの間の類似度を算出する。
図５は、時系列の楽音信号を示した図である。横軸は時間（右側が過去）、縦軸は音圧である。時間は、サンプリングレートに対応したタイムステップで表される。
【００３４】
本実施形態では、サンプリング部１０２１が、４４，１００Ｈｚで楽音信号をサンプリングしたのちに、得られた信号を５１２サンプルごとに間引く処理を行う。すなわち、１サンプルの持続時間は約１１．６ミリ秒である。本例では、３２ステップで約３７１ミリ秒、６４ステップで約７４３ミリ秒となる。これは、それぞれ１６０ＢＰＭおよび８０ＢＰＭの場合の拍の間隔と同等である。
【００３５】
テンポ検出部１０２は、適応フィルタを用いてテンポの検出を行う。具体的には、最新のサンプルであるｘ（０）を参照信号、３２ステップより前に発生したサンプルであるｘ（−３２）〜ｘ（−６３）を入力信号として、適応アルゴリズムを実行する。
【００３６】
図６（Ａ）は、テンポ検出部１０２が有する適応フィルタを示した図である。図示したように、テンポ検出部１０２が有する適応フィルタは、３２〜６３ステップだけ遅れた楽音信号を入力信号として、適応アルゴリズムを実行する。
なお、図中のＤは、１ステップ分の遅延を表す。本実施形態では、適応フィルタは、３２段で構成される。すなわち、３２ステップ前から６３ステップ前までの楽音信号が評価対象となる。なお、本明細書においては、遅延させた楽音信号を含む複数組（図６（Ａ）の例では３２組）の楽音信号を入力信号と称する。
【００３７】
図７は、前述した動作を実現するための、テンポ検出部１０２のモジュール構成図である。
サンプリング部１０２１は、所定のサンプリングレートで楽音信号をサンプリングする手段である。
楽音信号キュー１０２２は、サンプルごとに楽音信号をキューイングし、所定のタイムステップ数（本例では３２ステップ）だけ遅延させる手段（例えばＦＩＦＯメモリ）である。
適応フィルタユニット１０２３は、適応フィルタを有して構成され、適応アルゴリズムを実行する手段である。このような構成により、適応フィルタに、最新の楽音信号と、３２ステップ前の楽音信号を与えることができる。
【００３８】
ここで、３２ステップ前から６３ステップ前までの区間において、楽曲の拍が存在する場合、いずれかのステップにおいて、ｘ（０）との類似度が最高値を示すサンプルが存在するはずである。換言すると、３２ステップ前から６３ステップ前までの区間において、ｘ（０）と最も類似した音圧が観測されたステップが、楽曲の拍に対応するステップであることが推定できる。
【００３９】
図６（Ａ）の例において、出力される信号ｙは、式（１）のように表現できる。また、この出力と参照信号の誤差は、式（２）のようになる。
y(0)=h32(0)x(-32)+ h33(0)x(-33)+…+ h47(0)x(-47)+…+ h63(0)x(-63)  ・・・式（
１）
e(0)=x(0)-y(0)  ・・・式（２）
【００４０】
算出された誤差はフィードバックされ、次のタイムステップにおけるフィルタ係数の更新に用いられる。以下は、次のタイムステップにおけるフィルタ係数を決定する式である。なお、μは、経験的に求めた反応感度値である。
h32(1)=h32(0)+μe(0)x(-32)
h33(1)=h33(0)+μe(0)x(-33)
…
h63(1)=h63(0)+μe(0)x(-63)
【００４１】
テンポ検出部１０２に、楽音信号をタイムステップごとに順次入力すると、フィルタ係数ｈ32（０）〜ｈ63（０）が随時更新され、ある状態で収束する。
適応アルゴリズムは、入力信号と参照信号との誤差が最小になるようにフィルタ係数ｈを更新するものであるため、ｘ（０）におけるサンプルと最も類似した音圧が観測されたステップに対応するフィルタ係数ｈが最も大きくなる。例えば、楽曲の拍に対応するステップが常に４７ステップ前にある場合、ｈ32（０）からｈ63（０）までのフィルタ係数のうち、ｈ47（０）が、他のフィルタ係数に比べて最も大きくなる。すなわち、収束した状態におけるフィルタ係数を参照すれば、拍が存在する位置が推定できる。
フィルタ係数ｈは、タイムステップごとの音圧の類似度を表すものとなる。
【００４２】
図８は、タイムステップと、収束したフィルタ係数との関係を示した図である。本例では、４７ステップ前に対応するフィルタ係数ｈ47（０）が、他のステップに対応するフィルタ係数のいずれよりも大きいことがわかる。これは、４７ステップ前において、ｘ（０）と類似する音圧が観測されたことを意味するため、図示した周期ｔ１が、楽曲の拍に対応することが推定できる。例えば、ｔ１が５００ミリ秒である場合、楽曲のテンポは１２０ＢＰＭであると推定できる。
【００４３】
なお、本例では、３２ステップ前から６３ステップ前までを評価対象とした。すなわち、図８におけるＴ１が、評価を行うための区間となる。このＴ１は、想定されるテンポを含む長さである必要がある。前述したように、０〜３２ステップの時間長は、１６０ＢＰＭに対応し、０〜６３ステップの時間長は、８０ＢＰＭに対応する。本実施形態に係るテンポ検出装置は、この区間内（すなわち、ＢＰＭ＝８０〜１６０の範囲）においてテンポの検出を行うことができる。区間Ｔ１は、想定される楽曲のテンポに応じて適宜設定すればよい。Ｔ１の長さは、楽音信号のサンプリングレート、楽音信号キュー１０２２の長さ、適応フィルタの段数等によって調整することができる。
【００４４】
テンポ検出部１０２が決定した値（ｔ１）は、映像処理装置２００（映像ソース選択部２０２）へ送信され、出力信号の生成が行われる。図９は、映像ソース選択部２０２が行う処理のフローチャートである。当該処理は、映像信号および楽音信号の記録が終了し、テンポ検出装置１００によるテンポ検出処理が終了したタイミングで実行される。
【００４５】
まず、ステップＳ１１で、テンポ検出部１０２からテンポ情報を取得する。テンポ情報には、楽曲のテンポを表す値のほか、タイムスタンプ等に関する情報が含まれていてもよい。例えば、楽曲の演奏開始タイミングを表す情報を含ませてもよい。
次に、ステップＳ１２で、映像ソース選択情報を取得する。映像ソース選択情報は、予め記憶されたものを取得してもよいし、ユーザを介して取得してもよい。
次に、ステップＳ１３で、楽曲の拍の位置を算出する。拍の位置は、例えば、テンポ情報に含まれるタイムスタンプを参照して算出することができる。
次に、ステップＳ１４で、映像ソース選択情報と、ステップＳ１３で算出した拍の位置に基づいて、記録された複数の映像ソースを結合し、新たな映像信号を生成する。
生成された映像信号は、ステップＳ１５で出力される。映像信号は、外部の装置に送信してもよいし、記憶媒体に記録してもよい。
【００４６】
以上説明したように、第一の実施形態に係る映像処理システムによると、楽音信号の波形の周期性に基づいて楽曲のテンポを算出することができる。また、拍の位置に同期して映像の結合が行えるため、違和感の少ないカメラワークが実現できる。
【００４７】
（第二の実施形態）
第一の実施形態では、テンポ検出装置１００が、期間Ｔ１に含まれる楽音信号の周期性を評価した。これに対し、第二の実施形態は、複数の異なる期間（Ｔ１およびＴ２）に含まれる楽音信号の周期性を評価し、これらを統合して楽曲のテンポを決定する実施形態である。
【００４８】
第二の実施形態に係るテンポ検出装置１００は、テンポ検出部１０２の構成のみが第一の実施形態と相違する。以下、相違点について説明する。
図１０は、第二の実施形態におけるテンポ検出部１０２のモジュール構成図である。第二の実施形態では、楽音信号キュー１０２２が６４ステップ分の長さとなっており、３２ステップ遅延したサンプルを、適応フィルタユニット１０２３Ａへ供給し、６４ステップ遅延したサンプルを、適応フィルタユニット１０２３Ｂへ供給する。図中のＤＳは、１／２のダウンサンプリングを行う（サンプルを１／２に間引く）ことを意味する。
適応フィルタユニット１０２３Ａは、第一の実施形態における期間Ｔ１を評価するユニットであり、適応フィルタユニット１０２３Ｂは、期間Ｔ１の二倍の長さを持つ期間Ｔ２を評価するユニットである。
【００４９】
図１１は、本実施形態における時系列の楽音信号を示した図である。
前述した構成によると、最新のサンプルがｘ（０）である場合、適応フィルタユニット１０２３Ａでは、符号１１０１で示した、長さＴ１の区間内におけるサンプルが処理される。また、適応フィルタユニット１０２３Ｂでは、符号１１０２で示した、長さＴ２の区間内におけるサンプルが処理される。
【００５０】
Ｔ１で示した期間が第一の期間であり、Ｔ２で示した期間が第二の期間である。本実施形態では、Ｔ２の長さが、Ｔ１の長さの２倍となる。このようにすることで、一拍前のタイミングと、二拍以上前のタイミングをそれぞれ検出することができる。
【００５１】
図１２は、本実施形態における適応フィルタを示した図である。図１１に示したように、適応フィルタユニット１０２３Ａでは、３２ステップ前から６３ステップ前までの楽音信号（合計３２ステップ）が評価対象となる。また、適応フィルタユニット１０２３Ｂでは、６４ステップ前から１２６ステップ前までの楽音信号（合計３２ステップ）が評価対象となる。適応フィルタユニット１０２３Ｂに入力される楽音信号は１／２にダウンサンプリングされているため、評価対象の期間が２倍になり、サンプル間隔は１／２になる。
【００５２】
図１２の例において、適応フィルタユニット１０２３Ａにおける出力信号をｙ１とすると、出力信号は、式（３）のように表現できる。また、この出力信号と参照信号の誤差は、式（４）のようになる。
y1(0)=h32(0)x(-32)+ h33(0)x(-33)+…+ h63(0)x(-63) ・・・式（３）
e1(0)=x(0)-y1(0)   ・・・式（４）
【００５３】
また、適応フィルタユニット１０２３Ｂにおける出力信号をｙ２とすると、出力信号は、式（５）のように表現できる。また、この出力信号と参照信号の誤差は、式（６）のようになる。
y2(0)=h64(0)x(-64)+ h66(0)x(-66)+…+ h126(0)x(-126) ・・・式（５）
e2(0)=x(0)-y2(0) ・・・式（６）
【００５４】
ここで、式（５）におけるフィルタ係数を、適応フィルタユニット１０２３Ａにおけるフィルタ係数と置き換える。その結果、出力信号は、式（７）のようになる。
y2(0)=h32(0)x(-64)+ h33(0)x(-66)+…+ h64(0)x(-126) ・・・式（７）
【００５５】
第二の実施形態において、適応フィルタユニット１０２３Ａがフィルタ係数ｈ32〜ｈ63を更新する式を記述すると、以下のようになる。カギカッコ内は、本実施形態に独自な項である。
h32(1)=h32(0)+μ1e1(0)x(-32) + [μ2e2(0)x(-64)]
h33(1)=h33(0)+μ1e1(0)x(-33) + [μ2e2(0)x(-66)]
…
h63(1)=h63(0)+ μ1e1 (0)x(-63) + [μ2e2(0)x(-126)]
【００５６】
すなわち、第二の実施形態では、適応フィルタユニット１０２３Ａがフィルタ係数を更新する際に、適応フィルタユニット１０２３Ｂによるフィルタ係数の補正結果を加味する。換言すると、適応フィルタユニット１０２３Ａが期間Ｔ１に対して行った類似度の判定結果に対して、適応フィルタユニット１０２３Ｂが期間Ｔ２に対して行った類似度の判定結果を加味する。
【００５７】
第一の実施形態では、数学的な視点でテンポの値を算出したが、数学的に算出したテンポの値と、音楽的なテンポ（楽曲本来のテンポ）の値は必ずしも一致しないことがある。
例えば、楽曲の構成によっては、テンポが１２０ＢＰＭに聞こえる区間と、６０ＢＰＭに聞こえる区間が混在することがある。例えば、間奏の前後でパーカッションの鳴り方が変化すると、楽曲のテンポは不変であるにもかかわらず、テンポの推定結果が変化してしまうことがある。第一の実施形態では、数学的に１２０ＢＰＭと判定されていた楽曲が、６０ＢＰＭと判定できる区間に進入すると、収束したフィルタ係数が再度変化してしまい、正しいテンポ判定が行えなくなることがある。これは、図８における符号８０１で示した山の形状が変化してしまうためである。
【００５８】
一方、第二の実施形態では、期間Ｔ１における楽音信号の周期性を、（長さがＴ１の２倍である）期間Ｔ２における楽音信号の周期性を加味して評価する。かかる構成によると、一時的にテンポが半分になったように聞こえたとしても、累積的に評価されたフィルタ係数が大きく変動しない。すなわち、数学的な観点だけでなく、音楽的な観点を加味して、楽曲のテンポを判定することができる。
【００５９】
（第三の実施形態）
第二の実施形態では、二つの適応フィルタユニットを用いて、期間Ｔ１およびＴ２における楽音信号の周期性を評価した。これに対し、第三の実施形態では、四つの適応フィルタユニットを用いて、四つの期間を評価する実施形態である。
【００６０】
第三の実施形態に係るテンポ検出装置１００は、テンポ検出部１０２の構成のみが第二の実施形態と相違する。以下、相違点について説明する。
図１３は、第三の実施形態におけるテンポ検出部１０２のモジュール構成図である。第三の実施形態では、入力された楽音信号が二系統に分離され、それぞれハイパスフィルタ（ＨＰＦ）とローパスフィルタ（ＬＰＦ）を通過する。サンプリング部１０２１Ａには、高音域の楽音信号が入力され、サンプリング部１０２１Ｂには、低音域の楽音信号が入力される。
【００６１】
サンプリング部１０２１Ａは、サンプリング部１０２１と同様に、４４，１００Ｈｚで楽音信号をサンプリングしたのちに、得られた信号を５１２サンプルごとに間引く処理を
行う。また、サンプリング部１０２１Ｂは、４４，１００Ｈｚで楽音信号をサンプリングしたのちに、得られた信号を２０４８サンプルごとに間引く処理を行う。
楽音信号キュー１０２２Ａおよび１０２２Ｂは、第二の実施形態と同様に、６４ステップ分の長さを持っている。また、符号ＤＳは、第二の実施形態と同様の、ダウンサンプリングを行う手段である。
第三の実施形態では、このように処理された楽音信号が、適応フィルタユニット１０２３Ａ〜Ｄの４つにそれぞれ入力される。
【００６２】
図１４は、適応フィルタユニット１０２３Ａ〜Ｄがそれぞれ処理を行う楽音信号の範囲を説明した図である。
適応フィルタユニット１０２３Ａは、３２ステップ前から６３ステップ前まで（符号１４０１の範囲）を評価するユニットとなり、適応フィルタユニット１０２３Ｂは、６４ステップ前から１２６ステップ前まで（符号１４０２の範囲）を評価するユニットとなる。これらは第二の実施形態と同様である。
【００６３】
また、適応フィルタユニット１０２３Ｃは、低音域における３２ステップ前から６４ステップ前まで（符号１４０３の範囲。ただし、低音域のサンプリングレートは高音域の１／４であるため、低音域の１ステップは高音域の４ステップに相当する）を評価するユニットとなる。
同様に、適応フィルタユニット１０２３Ｄは、低音域における６４ステップ前から１２６ステップ前まで（符号１４０４の範囲）を評価するユニットとなる。
【００６４】
以降の説明では、低音域の楽音信号をｘL（ｎ）と表記し、高音域の楽音信号ｘ（ｎ）
と区別する。
【００６５】
ここで、適応フィルタユニット１０２３Ｃにおける出力信号をｙ3とすると、出力信号
は、式（８）のように表現できる。また、この出力信号と参照信号の誤差は、式（９）のようになる。
y3(0)=hL32(0)xL(-32)+ hL33(0)xL (-33)+…+ hL63(0)xL(-63) ・・・式（８）
e3(0)=xL(0)-y3(0)   ・・・式（９）
【００６６】
また、適応フィルタユニット１０２３Ｄにおける出力信号をｙ4とすると、出力信号は
、式（１０）のように表現できる。また、この出力信号と参照信号の誤差は、式（１１）のようになる。
y4(0)=hL64(0)xL(-64)+ hL66(0)xL(-66)+…+ hL126(0)xL(-126) ・・・式（１０）
e4(0)=xL(0)-y4(0) ・・・式（１１）
【００６７】
ここで、式（８）におけるフィルタ係数を、適応フィルタユニット１０２３Ａにおけるフィルタ係数と置き換える。その結果、出力信号は、式（１２）のようになる。
y3(0)=h32(0)xL(-32)+ h33(0)xL (-33)+…+ h63(0)xL(-63) ・・・式（１２）
また、式（１０）におけるフィルタ係数を、適応フィルタユニット１０２３Ａにおけるフィルタ係数と置き換える。その結果、出力信号は、式（１３）のようになる。
y4(0)=h32(0)xL(-64)+ h33(0)xL(-66)+…+ h63(0)xL(-126) ・・・式（１３）
【００６８】
第三の実施形態において、適応フィルタユニット１０２３Ａがフィルタ係数ｈ32〜ｈ63を更新する式を記述すると、以下のようになる。カギカッコ内は、本実施形態に独自な項である。
h32(1)=h32(0)+μ1e1(0)x(-32)+[μ2e2(0)x(-64) + μ3e3(0)xL(-32) + μ4e4(0)xL(-64)]
h33(1)=h33(0)+μ1e1(0)x(-33)+[μ2e2(0)x(-66) + μ3e3(0)xL(-33) + μ4e4(0)xL(-6
6)]
…
h63(1)=h63(0)+μ1e1(0)x(-63)+[μ2e2(0)x(-126) + μ3e3(0)xL(-63) + μ4e4(0)xL(-126)]
【００６９】
すなわち、第三の実施形態では、適応フィルタユニット１０２３Ａがフィルタ係数を更新する際に、適応フィルタユニット１０２３Ｂ，Ｃ，Ｄによるフィルタ係数の補正結果を加味する。換言すると、適応フィルタユニット１０２３Ａが期間Ｔ１に対して行った類似度の判定結果に対して、適応フィルタユニット１０２３Ｂ，Ｃ，Ｄが期間Ｔ２，Ｔ３，Ｔ４に対して行った類似度の判定結果を加味する。
第三の実施形態では、期間Ｔ２，Ｔ３，Ｔ４が第二の期間に相当する。期間Ｔ２，Ｔ３，Ｔ４の長さは、期間Ｔ１の長さのｎ倍（ｎは２以上の整数）であればよい。
【００７０】
以上説明したように、第三の実施形態では、期間Ｔ１における楽音信号の周期性を、（長さがＴ１の２，４，８倍である）期間Ｔ２，Ｔ３，Ｔ４における楽音信号の周期性を加味して評価する。さらに、高音域と低音域を分離し、高音域の楽音信号を用いて期間Ｔ１およびＴ２を、低音域の楽音信号を用いて期間Ｔ３およびＴ４をそれぞれ評価する。一般的に、高音域の楽器（例えばハイハット等）は早いテンポで発音され、低音域の楽器（例えばバスドラム等）は遅いテンポで発音される傾向があるため、これにより、第二の実施形態よりも精度の高いテンポ判定が可能になる。
【００７１】
（効果）
以上に例示した実施形態の具体的な効果を示す。表１は、評価対象である楽曲の進行を示した表である。当該楽曲のテンポは１２０ＢＰＭであるものとする。
【表１】
2020106753.tif 000003
【００７２】
イントロ区間では、テンポが１２０ＢＰＭであると推定される。その後、ＡメロやＢメロ区間に進行すると、ランダムに打鍵されるピアノが加わるうえ、パーカッションのテンポが変化するため、数学的な方法では、正しくテンポを推定することが困難になる。
一方、実施形態に係る方法では、ＡメロやＢメロ区間のテンポを推定するにあたって、イントロ区間におけるテンポの推定結果を加味して累積的な評価を行う。これにより、楽曲がＡメロ以降に進行しても、推定される楽曲のテンポは、１２０ＢＰＭから大きく外れない結果となる。
Ｃメロ区間では、パーカッションが６０ＢＰＭ相当で演奏される。しかし、Ｃメロ区間における評価でも、今までに累積された推定結果が加味されるため、全体としては、やはり１２０ＢＰＭという評価結果が維持される。
【００７３】
このように、実施形態に係るテンポ検出部は、複数の区間を評価した結果を累積して総合的な評価を行うため、単なる数学的な手法を用いた場合よりも高い精度で楽曲のテンポを検出することができる。換言すると、楽曲のテンポを、楽曲の進行を考慮して音楽的に評価することができる。
【００７４】
（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適
宜変更して実施しうる。例えば、例示した各実施形態は組み合わせて実施してもよい。
【００７５】
例えば、第二の実施形態においても、ハイパスフィルタおよびローパスフィルタを用いて楽音信号を分離してもよい。この場合、より早いテンポに対応する適応フィルタユニットに入力される楽音信号が、より遅いテンポに対応する適応フィルタユニットに入力される楽音信号よりも高い周波数成分を含むようにすればよい。
【００７６】
また、実施形態の説明では、所定の期間内（例えば、３２ステップ前から６３ステップ前まで）に含まれる複数のサンプル群を入力信号として適応フィルタに入力したが、適応フィルタが評価する対象は単一のサンプルであってもよい。この場合、フィルタ係数は、図６（Ｂ）に示したように単一の値となる。本変形例では、収束したフィルタ係数は、「遅延幅（例えば３２ステップ）が、楽曲のテンポとどの程度乖離しているか」を示す値となる。この収束したフィルタ係数に基づいて、遅延幅が楽曲のテンポに対応するものであるか否かを判定するようにしてもよい。例えば、遅延幅を変えながら複数のフィルタ係数を取得し、フィルタ係数が最も大きくなった遅延幅を、楽曲のテンポに対応するものであると判定してもよい。
【００７７】
また、第二および第三の実施形態では、複数の適応フィルタユニットを用いたが、単一の適応フィルタユニットを時分割で使用してもよい。
【００７８】
また、実施形態の説明では、映像記録部２０１が映像信号を記録し、映像ソース選択部２０２が、記録された複数の映像を結合することで出力信号を生成した。一方、テンポ検出装置１００は、リアルタイムで拍の検出を行うこともできる。この場合、テンポ検出装置１００は、拍を検出するごとにテンポ情報を生成し、映像処理装置２００にリアルタイムで送信してもよい。この場合、テンポ情報は、拍の出現タイミングを表す情報となる。
また、映像処理装置２００は、映像の記録は行わず、リアルタイムで通知された拍の出現タイミングに基づいて複数の映像ソースを選択し、選択した映像ソースを出力するようにしてもよい。
【００７９】
また、実施形態の説明では、楽音信号（サンプル間）の類似度を求める手段として適応フィルタを用いたが、楽音信号の波形の周期性を示すデータを取得することができれば、例示したもの以外の手段を用いてサンプル間の類似度を求めてもよい。
【００８０】
また、実施形態の説明では、テンポ検出装置１００と映像処理装置２００を異なる装置としたが、両者を統合したハードウェアを用いてもよい。
また、実施形態の説明では、映像処理装置２００によって複数のカメラを切り替えるシステムを例示したが、映像処理装置２００を省き、テンポ検出装置１００単体で実施してもよい。
【符号の説明】
【００８１】
１００：テンポ検出装置 
１０１：楽音信号取得部
１０２：テンポ検出部
２００：映像処理装置 
２０１：映像記録部
２０２：映像ソース選択部
３００：カメラ
４００：マイク
【図１】
2020106753.tif 000004
【図２】
2020106753.tif 000005
【図３】
2020106753.tif 000006
【図４】
2020106753.tif 000007
【図５】
2020106753.tif 000008
【図６】
2020106753.tif 000009
【図７】
2020106753.tif 000010
【図８】
2020106753.tif 000011
【図９】
2020106753.tif 000012
【図１０】
2020106753.tif 000013
【図１１】
2020106753.tif 000014
【図１２】
2020106753.tif 000015
【図１３】
2020106753.tif 000016
【図１４】
2020106753.tif 000017