(57)【要約】【課題】  本発明は、楽曲の内容に合わせたユーザの感性に合致する映像を表示できるようにする。【解決手段】  本発明は、楽曲の種別を判別し、楽曲を複数の帯域に分割することにより周波数分析し所定周波数超の高音部を周期的に測定することにより当該楽曲のテンポを解析し、所定周波数以下の低音部を周期的に測定した後、当該測定結果とテンポ解析結果とを比較することにより楽曲の拍子を解析し、ハードディスク９に複数種類格納された映像コンテンツの中から楽曲の種別毎に対応付けられた特定の映像コンテンツを選択し、テンポ及び拍子に応じて当該特定の映像コンテンツの表示パターンを選択した後、当該特定の映像コンテンツを当該表示パターンに合わせて表示部８に表示させる。【選択図】        図２
2005234494.tif 000002
【特許請求の範囲】
【請求項１】
楽曲の種別を判別する楽曲種別判別手段と、
上記楽曲を複数の帯域に分割することにより周波数解析し、所定周波数超の高音部を周期的に測定することにより当該楽曲のテンポを解析するテンポ解析手段と、
上記所定周波数以下の低音部を周期的に測定した後、当該測定結果と上記テンポ解析手段による解析結果とを比較することにより上記楽曲の拍子を解析する拍子解析手段と、
所定の記憶手段に複数種類格納された映像コンテンツの中から上記楽曲の種別毎に対応付けられた特定の映像コンテンツを選択し、上記テンポ及び上記拍子に応じて当該特定の映像コンテンツの表示パターンを選択した後、当該特定の映像コンテンツを当該表示パターンに合わせて表示部に表示させる制御手段と
を具えることを特徴とする楽曲対応表示装置。
【請求項２】
上記楽曲対応表示装置は、
上記楽曲の曲長を示す楽曲時間情報を判別する楽曲時間情報判別手段と
を具え、
上記制御手段は、上記楽曲時間情報に合わせたストーリー展開を有する上記表示パターンで上記特定の映像コンテンツを上記表示部に表示させる
ことを特徴とする請求項１に記載の楽曲対応表示装置。
【請求項３】
楽曲の種別を判別する楽曲種別判別ステップと、
上記楽曲を複数の帯域に分割することにより周波数解析し、所定周波数超の高音部を周期的に測定することにより当該楽曲のテンポを解析するテンポ解析ステップと、
上記所定周波数以下の低音部を周期的に測定した後、当該測定結果と上記テンポ解析手段による解析結果とを比較することにより上記楽曲の拍子を解析する拍子解析ステップと、
所定の記憶手段に複数種類格納された映像コンテンツの中から上記楽曲の種別毎に対応付けられた特定の映像コンテンツを選択し、上記テンポ及び上記拍子に応じて当該特定の映像コンテンツの表示パターンを選択した後、当該特定の映像コンテンツを当該表示パターンに合わせて表示部に表示させる表示ステップと
を具えることを特徴とする映像表示方法。
【請求項４】
情報処理装置に対して、
楽曲の種別を判別する楽曲種別判別ステップと、
上記楽曲を複数の帯域に分割することにより周波数解析し、所定周波数超の高音部を周期的に測定し、当該測定結果と上記テンポ解析手段による解析結果とを比較することにより当該楽曲のテンポを解析するテンポ解析ステップと、
上記所定周波数以下の低音部を周期的に測定した後、当該測定結果と上記テンポ解析手段による解析結果とを比較することにより上記楽曲の拍子を解析する拍子解析ステップと、
所定の記憶手段に複数種類格納された映像コンテンツの中から上記楽曲の種別毎に対応付けられた特定の映像コンテンツを選択し、上記テンポ及び上記拍子に応じて当該特定の映像コンテンツの表示パターンを選択した後、当該特定の映像コンテンツを当該表示パターンに合わせて表示部に表示させる表示ステップと
を実行させるための映像表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲対応表示装置に関し、例えばオーディオ装置の表示部に対してスピーカから出力する楽曲に相応しい映像を表示する場合に適用して好適なものである。
【背景技術】
【０００２】
従来、オーディオ装置においては、液晶ディスプレイでなる表示部に表示する内容としては楽曲の再生時間（分及び秒）、トラックナンバ（Ｎｏ）、スペクトラムアナライザの解析結果等の単調なものが殆どであり、現在ではハードディスクや半導体メモリが大容量化されて多数の映像コンテンツが格納されてはいるものの当該映像コンテンツをデフォルトの設定通りに表示するか、ユーザの設定通りに表示するだけであってエンタテインメント性に乏しい状態であった。
【０００３】
ところが近年のオーディオ装置においては、楽曲のテンポ（楽曲進行の速度）に合わせた映像を表示することが行われている（例えば、特許文献１及び特許文献２参照）。
【特許文献１】特開2001-67053公報
【特許文献２】特開平11-213640号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところでかかる構成のオーディオ装置においては、楽曲のテンポに合わせた映像を表示するだけであって、テンポ以外の楽曲のジャンルや、拍子と映像が合致している訳ではなくユーザに違和感を生じさせる場合もあった。
【０００５】
本発明は以上の点を考慮してなされたもので、楽曲の内容に合わせたユーザの感性に合致する映像を表示し得る楽曲対応表示装置を提案しようとするものである。
【課題を解決するための手段】
【０００６】
かかる課題を解決するため本発明においては、楽曲の種別を判別し、楽曲を複数の帯域に分割することにより周波数解析し所定周波数超の高音部を周期的に測定することにより当該楽曲のテンポを解析し、所定周波数以下の低音部を周期的に測定した後、当該測定結果とテンポ解析結果とを比較することにより楽曲の拍子を解析し、所定の記憶手段に複数種類格納された映像コンテンツの中から楽曲の種別毎に対応付けられた特定の映像コンテンツを選択し、テンポ及び拍子に応じて当該特定の映像コンテンツの表示パターンを選択した後、当該特定の映像コンテンツを当該表示パターンに合わせて表示部に表示させるようにする。
【０００７】
これにより、楽曲の種別毎に対応付けられた特定の映像コンテンツを当該楽曲のテンポ及び拍子に合わせた表示パターンで表示部に表示することができるので、楽曲とユーザの感性とを合致させた違和感のない映像を当該楽曲に合わせて出力することができる。
【発明の効果】
【０００８】
本発明によれば、楽曲の種別毎に対応付けられた特定の映像コンテンツを当該楽曲のテンポ及び拍子に合わせた表示パターンで表示部に表示することができるので、楽曲とユーザの感性とを合致させた違和感のない映像を当該楽曲に合わせて出力し得る楽曲対応表示装置、映像表示方法、映像表示制御プログラムを実現することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面について、本発明の一実施の形態を詳述する。
【００１０】
（１）オーディオ装置の回路構成
図１において、１は全体として本発明の楽曲対応表示装置としてのオーディオ装置を示し、ＣＰＵ(Central Processing Unit)７が全体を統括制御すると共に、ＲＯＭ(Read Only Memory)１０に格納された基本プログラムや映像表示制御プログラム等のアプリケーションプログラムをＲＡＭ(Random Access Memory)１１上で起動することにより、後述するように音楽に合わせた映像を表示するようになされている。
【００１１】
このオーディオ装置１は、ＣＤ(Compact Disc)、ＭＤ(Mini Disc)又はチューナ等の音源から入力端子２を介して供給される楽曲のオーディオ信号Ｓ１を電子ボリューム回路３及びパワーアンプ４により所定音量レベルに増幅した後スピーカ５から出力するようになされている。なお、楽曲の供給源としてはＣＤ、ＭＤ等に限らず、ハードディスクドライブ、メモリ等もある。
【００１２】
またオーディオ装置１のＣＰＵ７は、周波数解析回路６によってオーディオ信号Ｓ１のスペクトラム解析を行い、予めハードディスク９に格納しておいた楽曲ジャンル毎のサンプリングデータと当該スペクトラム解析の結果とを比較近似することにより楽曲ジャンルが「クラッシック」、「ロック」又は「ジャズ」のいずれであるかを予測するようになされている。
【００１３】
次にオーディオ装置１のＣＰＵ７は、周波数解析回路６によってオーディオ信号Ｓ１を周波数的に分解し、例えば所定周波数超の高音を周期的に測定することにより当該オーディオ信号Ｓ１のテンポ（楽曲進行の速度）を予測するようになされている。因みにオーディオ装置１のＣＰＵ７は、スペクトラム解析の結果を基に所定の楽器に着目して当該楽器の音が出現する周期を測定することによりテンポを予測するようにしても良い。
【００１４】
これによりオーディオ装置１のＣＰＵ７は、オーディオ信号Ｓ１のテンポがある一定の基準の速度と比較して早いか遅いかを判断し得るようになされている。
【００１５】
さらにオーディオ装置１のＣＰＵ７は、オーディオ信号Ｓ１のうち所定周波数以下の周波数帯に現れるいくつかの低音をさらに時間的に捕らえる、もしくはスペクトラム解析によって所定の楽器に着目して現れる音を時間的に捕らえ、先程予測したテンポと比較することにより２倍、３倍、４倍、６倍のいずれに当てはまるかを解析し、この解析結果を当該楽曲の拍子（２拍子、３拍子、４拍子又は６拍子等）として予測するようになされている。
【００１６】
これによりオーディオ装置１のＣＰＵ７は、オーディオ信号Ｓ１の楽曲ジャンル（クラシック、ロック又はジャズ）、テンポ及び拍子を認識することができるので、当該楽曲ジャンル毎に予め対応付けられた特定の映像コンテンツを選択してハードディスク９から読み出し、テンポ及び拍子に応じて当該特定の映像コンテンツをどのように表示するかを複数の表示パターンから選択した後、当該表示パターンに合わせて映像コンテンツを表示部８に表示させるようになされており、以下その楽曲合致映像表示処理手順について説明する。
【００１７】
（２）楽曲合致映像表示処理手順
実際上オーディオ装置１のＣＰＵ７は、ＲＯＭ１０に予め格納された映像表示制御プログラムに従って楽曲合致映像表示処理手順を行うようになされており、次の図２のフローチャートを用いて具体的に説明する。
【００１８】
オーディオ装置１のＣＰＵ７は、ルーチンＲＴ１の開始ステップから入ってステップＳＰ１へ移り、周波数解析回路６によるオーディオ信号Ｓ１のスペクトラム解析結果に基づいて当該オーディオ信号Ｓ１の楽曲ジャンルが「クラシック」、「ロック」又は「ジャズ」のいずれであるかを判断し、次のステップＳＰ２へ移る。
【００１９】
ステップＳＰ２においてＣＰＵ７は、ステップＳＰ１で判断した楽曲ジャンルが「クラシック」であるか否かを判定し、肯定結果が得られると次のステップＳＰ３へ移り、否定結果が得られるとステップＳＰ４へ移る。
【００２０】
ステップＳＰ３においてＣＰＵ７は、オーディオ信号Ｓ１の楽曲ジャンルが「クラシック」であると判断したので、当該クラシックの音楽を出力する際に同時に表示すべき映像として相応しい映像コンテンツを選択してハードディスク９から読み出し、次のステップＳＰ８へ移る。
【００２１】
実際上オーディオ装置１は、図３（Ａ）に示すようにオーディオ信号Ｓ１の楽曲ジャンルが「クラシック」のときは当該クラシックに相応しい例えば自然の風景等の和む映像コンテンツを選択する。
【００２２】
一方、ステップＳＰ４においてＣＰＵ７は、オーディオ信号Ｓ１の楽曲ジャンルが「ロック」であるか否かを判定し、肯定結果が得られると次のステップＳＰ５へ移り、否定結果が得られるとステップＳＰ６へ移る。
【００２３】
ステップＳＰ５においてＣＰＵ７は、オーディオ信号Ｓ１の楽曲ジャンルが「ロック」であると判断したので、当該ロックの音楽を出力する際に同時に表示すべき映像として相応しい映像コンテンツを選択してハードディスク９から読み出し、次のステップＳＰ８へ移る。
【００２４】
実際上オーディオ装置１は、図３（Ａ）に示すようにオーディオ信号Ｓ１の楽曲ジャンルが「ロック」のときは当該ロックに相応しい例えばスペクトラムアナライザ表示や動画像の映像コンテンツを選択する。
【００２５】
一方、ステップＳＰ６においてＣＰＵ７は、オーディオ信号Ｓ１の楽曲ジャンルが「ジャズ」であるか否かを判定し、肯定結果が得られると次のステップＳＰ７へ移り、否定結果が得られると当該オーディオ信号Ｓ１の楽曲ジャンルが「クラシック」、「ロック」又は「ジャズ」のいずれでもない例えば人の話し声等であると判断し、この場合ステップＳＰ１２へ移って処理を終了する。
【００２６】
ステップＳＰ７においてＣＰＵ７は、オーディオ信号Ｓ１の楽曲ジャンルが「ジャズ」であると判断したので、当該ジャズの音楽を出力する際に同時に表示すべき映像として相応しい映像コンテンツを選択してハードディスク９から読み出し、次のステップＳＰ８へ移る。
【００２７】
実際上オーディオ装置１は、図３（Ａ）に示すようにオーディオ信号Ｓ１の楽曲ジャンルが「ジャズ」のときは当該ジャズに相応しい例えばサックスや酒場の風景等の映像コンテンツを選択する。
【００２８】
ステップＳＰ８においてＣＰＵ７は、周波数解析回路６によりオーディオ信号Ｓ１の周波数分析を行い、ステップＳＰ９において所定周波数超の高音を周期的に測定することにより当該オーディオ信号Ｓ１のテンポを解析し、次のステップＳＰ１０へ移る。
【００２９】
ステップＳＰ１０においてＣＰＵ７は、オーディオ信号Ｓ１のうち所定周波数以下の周波数帯に現れるいくつかの低音をさらに時間的に捕らえ、ステップＳＰ９で解析したテンポと比較することによりオーディオ信号Ｓ１の拍子を解析し、次のステップＳＰ１１へ移る。
【００３０】
ステップＳＰ１１においてＣＰＵ７は、ステップＳＰ３、ＳＰ５又はＳＰ７でオーディオ信号Ｓ１の楽曲ジャンルに対応付けられた映像コンテンツを当該楽曲のテンポ及び拍子に合わせた表示パターンで表示部８に表示し、次のステップＳＰ１２へ移って処理を終了する。
【００３１】
具体的にはオーディオ装置１は、図３（Ｂ）及び（Ｃ）に示すように、楽曲のテンポが遅い（Ｓｌｏｗ）のときは、画像に対して靄をかけたり、スライドのようにゆっくりと画像を変化させる等の表示パターンを選び、楽曲のテンポが中程度（Ｍｉｄｄｌｅ）のときは、軽快に画像を変更したり、画像の青系を強くして表示する等の表示パターンを選び、楽曲のテンポが速い（Ｆａｓｔ）ときにはリズムにあわせて即時に画像を変化させたり、画像の赤系を強くして表示したり、激しい動画を選択する等の表示パターンを選ぶようにする。
【００３２】
これによりオーディオ装置１は、楽曲のジャンルとテンポに合わせた映像を表示することができるので、楽曲のテンポだけを考慮して映像を表示している場合に比べて音楽と映像との一体性を一段と持たせることができるようになされている。
【００３３】
さらにオーディオ装置１は、図３（Ｃ）に示すように、楽曲の拍子に合わせて例えば４分の４拍子（４／４）であれば、４部音符を１拍として４拍毎の１小節単位で映像のシーンを切り換えるように表示したり、又は１小節単位で映像のフレームを切り換えるようにしたり、拍子に合わせて映像を切り換えるようにする。
【００３４】
この場合オーディオ装置１は、４分の４拍子における３拍子目に映像シーンを変化させることはないので、視聴しているユーザに対して違和感を与えることを予め回避することができる。
【００３５】
（３）動作及び効果
以上の構成において、オーディオ装置１は周波数解析回路６により行ったオーディオ信号Ｓ１のスペクトラム解析結果と、予めハードディスク９に格納しておいた楽曲ジャンル毎のサンプリングデータとを比較近似することにより楽曲ジャンルが「クラッシック」、「ロック」又は「ジャズ」のいずれであるかを予測し、その予測結果に応じて楽曲ジャンルに予め対応付けられた映像コンテンツを選択する。
【００３６】
そのうえでオーディオ装置１は、周波数解析回路６によりテンポ解析及び拍子解析を行い、映像コンテンツを楽曲のテンポ及び拍子に合わせた表示パターンで表示部８に表示する。
【００３７】
これにより、従来では楽曲のテンポだけに合わせて映像を表示する場合、楽曲のテンポと映像とが一致していたとしても、その映像の内容や映像の変化の仕方等の表示パターンが楽曲とマッチせず、視聴しているユーザに違和感を生じさせることがあったが、本発明のオーディオ装置１では、これらを予め回避しつつ楽曲ジャンル、テンポ及び拍子に合わせたユーザの感性と近い映像を表示部８に表示することができる。
【００３８】
以上の構成によれば、オーディオ装置１は、楽曲のジャンル、テンポ及び拍子の３要素を考慮し、楽曲の内容と対応すると共にユーザの感性に最も合った映像を表示部８に表示することができるので、エンタテインメント性の向上と共に、楽曲を聴き映像を視認しているユーザに対して楽曲と映像との一体性を一段と感じさせることができる。
【００３９】
（４）他の実施の形態
なお上述の実施の形態においては、周波数解析回路６によってオーディオ信号Ｓ１のスペクトラム解析を行い、予めハードディスク９に格納しておいた楽曲ジャンル毎のサンプリングデータと当該スペクトラム解析の結果とを比較近似することにより楽曲ジャンルを予測するようにした場合について述べたが、本発明はこれに限らず、例えばオーディオ信号Ｓ１がＭＰ３(MPEG1 Layer3 Audio)フォーマットのデータ等である場合には当該ＭＰ３データの所定領域に格納されているジャンル情報を読み出し、それに基づいて楽曲ジャンルを判別するようにしても良い。
【００４０】
また上述の実施の形態においては、楽曲と映像との一体性を持たせるための要素としてジャンル、テンポ及び拍子を用いるようにした場合について述べたが、本発明はこれに限らず、さらにＣＤ等に格納されている楽曲の演奏時間を表す楽曲時間情報を新たな要素として用い、この楽曲時間情報を読み取った後、当該演奏時間に合わせて物語性のある映像を生成し、その演奏時間に合わせて映像を終了させたり、フェードアウトさせるようにしても良い。
【００４１】
ところでオーディオ装置１は、楽曲の音源がＣＤやＭＤではなくラジオ等の場合には楽曲時間情報を取得することはできないので、所定レベル以上のノイズを周波数解析により常時監視しておき、当該ノイズを一定時間以上検出した場合にはディスクジョッキーの声から楽曲に変化したり、あるいは楽曲からディスクジョッキーの声に変化したときと判断し、映像を切り換えるようにする。
【００４２】
さらに上述の実施の形態においては、楽曲と映像との一体性を持たせるための要素としてジャンル、テンポ及び拍子の３要素を用いるようにした場合について述べたが、本発明はこれに限らず、さらに周波数解析回路６によるスペクトラム解析結果を基に音量レベルが最大になる箇所を楽曲の盛り上がる部分と判断し、それに合わせて映像の内容もクライマックスを迎えるように表示するようにしても良い。
【００４３】
さらに上述の実施の形態においては、ＣＰＵ７がＲＯＭ１０に予め格納された映像表示制御プログラムをＲＡＭ１１上に展開し、当該映像表示制御プログラムに従って上述の楽曲合致映像表示処理手順を実行するようにした場合について述べたが、本発明はこれに限らず、映像表示制御プログラムが格納されたプログラム格納媒体をオーディオ装置１にインストールすることにより楽曲合致映像表示処理手順を実行するようにしても良い。
【００４４】
このように上述した楽曲合致映像表示処理手順を実行するための映像表示制御プログラムをオーディオ装置１にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＤＶＤ（Digital Versatile Disc）等のパッケージメディアのみならず、映像表示制御プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現しても良い。またこれらプログラム格納媒体に映像表示制御プログラムを格納する手段として、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用してもよく、ルータやモデム等の各種通信インターフェースを介して格納するようにしても良い。
【００４５】
さらに上述の実施の形態においては、本発明をオーディオ装置に適用するようにした場合について述べたが、本発明はこれに限らず、楽曲をスピーカから出力すると共に表示部を介して映像を表示することが可能なＰＤＡ(Personal Digital Assistant)や、携帯電話機等のその他の種々の電子機器に本発明を適用するようにしても良い。
【００４６】
さらに上述の実施の形態においては、本発明の楽曲対応表示装置としてのオーディオ装置１を、音源判別手段、テンポ解析手段及び拍子解析手段としての周波数解析回路６及びＣＰＵ７、制御手段としてのＣＰＵ７によって構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成で楽曲対応表示装置と構成するようにしても良い。
【産業上の利用可能性】
【００４７】
本発明の楽曲対応表示装置は、例えば楽曲を出力するスピーカと映像を表示する表示部を有する電子機器に適用することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明のオーディオ装置の回路構成を示す略線的ブロック図である。
【図２】楽曲合致映像表示処理手順を示すフローチャートである。
【図３】楽曲に合わせた映像の表示パターンの説明に供する略線図である。
【符号の説明】
【００４９】
１……オーディオ装置、６……周波数解析回路、７……ＣＰＵ、８……表示部、９……ＨＤＤ、１０……ＲＯＭ、１１……ＲＡＭ。
【図１】
2005234494.tif 000003
【図２】
2005234494.tif 000004
【図３】
2005234494.tif 000005