(57)【特許請求の範囲】
【請求項１】
画像データを記憶する画像データ記憶手段と、
音楽データを記憶する音楽データ記憶手段と、
この音楽データ記憶手段に記憶された音楽データを再生した音楽のリズムを検出する検出手段と、
この検出手段により検出されたリズムに基づく各タイミングそれぞれにおけるリズムの適確性を示す信頼度を判定する判定手段と、
前記画像データ記憶手段に記憶された画像データを前記検出手段により検出されたリズムに基づいて切り換え表示していくことにより、前記音楽データ記憶手段に記憶された音楽データの再生に同期した切り換え表示を行うとともに、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分と満たさない部分では該切り換え表示の態様を異なるものとなるよう制御する切換表示制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記判定手段は、各タイミングにおける音楽データの自己相関値に基づいて定まる値を信頼度として判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画面書き換え速度の遅い切り換え表示を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画像データの切り換え表示頻度を低下させることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が前記低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、画面書き換え速度の遅い切り換え表示を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が前記低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、画像データの切り換え表示頻度を低下させることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
コンピュータに、音楽データを再生した音楽に同期した画像データの切り換え表示を行わせるためのプログラムであって、
前記音楽データを再生した音楽のリズムを検出する検出機能と、
この検出機能により検出されたリズムに基づく各タイミングそれぞれにおけるリズムの適確性を示す信頼度を判定する判定機能と、
前記画像データを前記検出機能により検出されたリズムに基づいて切り換え表示していくことにより、前記音楽データの再生に同期した切り換え表示を行うとともに、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分と満たさない部分では該切り換え表示の態様を異なるものとなるよう制御する切換表示制御機能と、
を前記コンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽データを再生した音楽に同期した画像データの切り換え表示を行う画像処理装置等に関する。
【背景技術】
【０００２】
音楽データの再生に同期して画像データ（映像データ）を切り換え表示する、いわゆる「スライドショー」と呼ばれる技術がある。このスライドショーに関する技術として、例えば次が知られている。
【０００３】
特許文献１には、周波数解析やパターン解析を含む音楽データのリズム解析処理を行って画像切り換えや画像処理を行うタイミングの情報を含むタイミング情報を生成し、次いで、解析した音楽データの各タイミングと一連の画像データとをリンクさせたリンク情報を生成して、その生成したリンク情報を参照することにより、音楽のリズムに合った画像の再生を行う技術が開示されている。
【０００４】
また、特許文献２には、音楽データ（楽曲音声データ）の強弱や周波数等からテンポを抽出し、抽出したテンポに合わせて、画像表示のフェードイン／フェードアウトといったスライド効果の時間を設定する技術が開示されている。かかる技術の場合、テンポの速い音楽（楽曲）の場合にはスライド効果の時間を早くし、逆にテンポの遅い楽曲の場合にはスライド効果の時間を長くすることで、音楽のテンポとスライド効果との整合が図られる。
【０００５】
また、特許文献３には、音楽データの内容から、フェードイン／フェードアウト、テンポの変化といった所定の音楽変化を検出し、その検出した音楽変化に基づいて、フェードイン、フェードアウト、クロスフェード、モザイク、ワイプ、フラッシュ、色調の変更といった所定の映像効果を画像データ（映像データ）に対して付与する技術が開示されている。
【特許文献１】特開２０００−１４８１０７号公報
【特許文献２】特開２００３−２４９０５１号公報
【特許文献３】特開２００４−２４００７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、従来のスライドショーでは、再生する音楽データのリズムを解析し、解析したリズムに基づいて画像データの表示制御を行っている。しかし、音楽データによっては、リズム解析が困難となる部分があった。このようなリズムが正確に解析されない部分では、画像データの再生が音楽のテンポやタイミングに合わないといった不自然な再生となってしまうという問題があった。
【０００７】
上記事情に鑑み、本発明は、適確なリズム解析ができない部分においても、画像データの自然な切り換え表示を行えるようにすること目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１に記載の発明は、
画像データを記憶する画像データ記憶手段（例えば、図１のＲＡＭ６０）と、
音楽データを記憶する音楽データ記憶手段（例えば、図１のＲＯＭ５０）と、
この音楽データ記憶手段に記憶された音楽データを再生した音楽のリズムを検出する検出手段（例えば、図１のＣＰＵ１０）と、
この検出手段により検出されたリズムに基づく各タイミングそれぞれにおけるリズムの適確性を示す信頼度を判定する判定手段（例えば、図１のＣＰＵ１０）と、
前記画像データ記憶手段に記憶された画像データを前記検出手段により検出されたリズムに基づいて切り換え表示していくことにより、前記音楽データ記憶手段に記憶された音楽データの再生に同期した切り換え表示を行うとともに、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分と満たさない部分では該切り換え表示の態様を異なるものとなるよう制御する切換表示制御手段（例えば、図１のＣＰＵ１０）と、
を備えることを特徴とする画像処理装置（例えば、図１の画像処理装置１）である。
【０００９】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記判定手段は、各タイミングにおける音楽データの自己相関値に基づいて定まる値を信頼度として判定することを特徴とする。
【００１０】
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画面書き換え速度の遅い切り換え表示を行うことを特徴とする。
【００１１】
請求項４に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画像データの切り換え表示頻度を低下させることを特徴とする。
【００１２】
請求項５に記載の発明は、請求項３に記載の画像処理装置において、
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が前記低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、画面書き換え速度の遅い切り換え表示を行うことを特徴とする。
【００１３】
請求項６に記載の発明は、請求項４に記載の画像処理装置において、
前記切換表示制御手段は、前記音楽データのうち、前記判定手段により判定された信頼度が前記低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、切り換え表示頻度を低下させることを特徴とする。
【００１４】
請求項７に記載の発明は、
コンピュータに、音楽データを再生した音楽に同期した画像データの切り換え表示を行わせるためのプログラム（例えば、図１の同期再生プログラム５１）であって、
前記音楽データを再生した音楽のリズムを検出する検出機能（例えば、図１１のステップＳ３３〜Ｓ４１）と、
この検出機能により検出されたリズムに基づく各タイミングそれぞれにおけるリズムの適確性を示す信頼度を判定する判定機能（例えば、図１１のステップＳ４３）と、
前記画像データを前記検出機能により検出されたリズムに基づいて切り換え表示していくことにより、前記音楽データの再生に同期した切り換え表示を行うとともに、前記音楽データのうち、前記判定手段により判定された信頼度が所定の低信頼度条件を満たす部分と満たさない部分では該切り換え表示の態様を異なるものとなるよう制御する切換表示制御機能（例えば、図１０のステップＳ９〜Ｓ１５）と、
を前記コンピュータに実現させるためのプログラムである。
【発明の効果】
【００１５】
請求項１又は７に記載の発明によれば、音楽データを再生した音楽のリズムが検出され、検出されたリズムに基づく各タイミングそれぞれにおけるリズムの適確性を示す信頼度が判定される。そして、検出されたリズムに基づくことで音楽データの再生に同期した切り換え表示が行われるとともに、判定された信頼度に基づいて切り換え表示の態様が制御される。即ち、検出されたリズムの信頼度に基づいて画像データの切り換え表示の態様が制御されるので、音楽データにリズムが適確に検出されない部分が含まれる場合であっても、自然な画像データの切り換え表示を実現し得る。
【００１６】
請求項２に記載の発明によれば、信頼度は、検出されたリズムに基づく各タイミングにおける音楽データの自己相関値に基づいて定められる。
【００１７】
請求項３に記載の発明によれば、音楽データのうち、判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画面書き換え速度の遅い切り換え表示が行われる。従って、例えば検出されたリズムが本来のリズムからずれている場合、このずれによって画像データの切り換え表示が本来のリズムからずれたものとなるが、信頼度が低信頼度条件を満たす、即ちリズムが適確に検出されていないと判定された部分については画面書き換えが他の部分と比較してゆっくり行われることで、検出されたリズムのずれによる画像データの書き換え表示のずれをユーザに感じさせること無く、自然な切り換え表示が実現され得る。
【００１８】
請求項４に記載の発明によれば、音楽データのうち、判定された信頼度が所定の低信頼度条件を満たす部分の再生時においては、画像データの切り換え表示頻度が低下される。従って、例えばテンポの遅い音楽での画像データの頻繁な切り換えはユーザに違和感を与えることになるが、リズムが適確に検出されていないと判定された部分については、画像データの切り換え頻度が低下される、即ち他の部分に比較して頻繁な画像データの切り換えが行われないことで、テンポの遅い音楽なのに画像データが頻繁に切り換えられるといった違和感をユーザに与えることなく、自然な画像データの切り換え表示が実現される。
【００１９】
請求項５に記載の発明によれば、音楽データのうち、判定された信頼度が所定の低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、画面書き換え速度の遅い切り換え表示が行われる。従って、リズムが適確に検出されていると判定されている部分であっても、音圧レベルが低レベル条件を満たす、即ち音圧レベルが低い部分については、画面書き換えがゆっくり行われることで、例えば音量が小さな部分から大きな音量へ大きく変化する部分で、ゆっくりであった画面の書き換えが素早い書き換えに変化するといった、より自然な画像データの切り換え表示が実現される。
【００２０】
請求項６に記載の発明によれば、音楽データのうち、判定された信頼度が所定の低信頼度条件を満たさず、且つ、音圧レベルが所定の低レベル条件を満たす部分については、画像データの切り換え表示頻度が低下される。従って、リズムが適確に検出されていると判定されている部分であっても音圧レベルが低い部分については、他の部分に比較して頻繁な画像データの切り換えが行われないことで、音量が小さい部分で頻繁に画像データが切り換えられるといった違和感をユーザに与えることなく、自然な画像データの切り換え表示が実現される。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して、本発明に好適な実施形態を説明する。
【００２２】
［画像処理装置の構成］
図１は、本実施形態における画像処理装置１のブロック構成図である。この画像処理装置１は、音楽データの再生に同期して画像データの切り換え表示を行うものであり、同図によれば、ＣＰＵ１０と、入力部２０と、表示部３０と、音声出力部４０と、ＲＯＭ５０と、ＲＡＭ６０とを備えて構成される。
【００２３】
ＣＰＵ１０は、所定のタイミングでＲＯＭ５０に記憶されているプログラムを読み出してＲＡＭ６０内に展開し、当該プログラムに基づいて画像処理装置１を構成する各部への指示やデータ転送等を行う。特に、本実施形態では、同期再生プログラム５１に従った同期再生処理（図１０参照）を実行する。
【００２４】
具体的には、同期再生処理において、ＣＰＵ１０は、先ず、ＲＡＭ６０に記憶されている音楽データ６２を対象とするリズム検出処理を行って、該音楽データ６２の検出したリズム及びその信頼度に関するデータであるリズムデータ６７を生成する。
【００２５】
詳細には、リズム検出処理において、ＣＰＵ１０は、図２に示すように、音楽データ６２を複数のフレームに分割する。図２は、音楽データ６２に基づく音声波形の一部を示す図である。同図に示すように、ＣＰＵ１０は、音楽データ６２に基づく音声波形を、その先頭から、時間Ｍずつずらした長さＮの複数のフレームＦ１，Ｆ２，・・、に分割する。ここで、時間Ｍ及びフレームの長さＮは適当に設定して良く、例えば、Ｍ＝０．５［秒］、Ｎ＝４［秒］、程度に設定する。但し、Ｍ＜Ｎ、とする。
【００２６】
次いで、ＣＰＵ１０は、分割した各フレームの音声信号の自己相関関数を導出する。具体的には、各フレームについて、その音声信号をローパスフィルタに通過させて高域成分を遮断し、低域成分を抽出する。次に、抽出した低域成分の信号に対するＦＦＴ（Fast Fourier Transform）演算を行ってフーリエスペクトラムを算出し、更に二乗してパワースペクトルを算出する。そして、算出したパワースペクトルに対する逆ＦＴＴ演算を行って、該フレームの音声信号の自己相関関数を導出する。
【００２７】
図３は、１つのフレームについての自己相関関数の一例を示すグラフである。同図において、横軸はサンプル数即ち時間であり、縦軸は相関関数値である。
【００２８】
そして更に、図４に示すように、このグラフの横軸を、曲のテンポを表す単位であるＢＰＭ（Beat Per Minute）に変換する。図４は、自己相関関数のグラフの横軸を、サンプル数からＢＰＭに変換した一例を示すグラフである。サンプル数からＢＰＭへの変換は、次のように行う。即ち、１フレームの長さＮを「Ｎ［秒］」とし、自己相関関数を導出する際のサンプル数を「Ｘ」とした場合、１サンプルは、時間ｔ＝Ｍ／Ｘ［秒］、に相当する。つまり、ｘサンプル目は、時間Ｔ＝ｔ×ｘ［秒］、に相当し、これをＢＰＭで表現すると、６０／Ｔ＝６０／（ｔ×ｘ）、となる。例えば、Ｎ＝４［秒］、Ｘ＝２０５２、とした場合、１サンプルは、時間ｔ＝０．００１９４９［秒］（＝４／２０５２）に相当する。横軸をＢＰＭとしたフレーム毎の自己相関関数は、フレーム自己相関データ６３としてＲＡＭ６０に記憶される。
【００２９】
続いて、ＣＰＵ１０は、導出したフレーム毎の自己相関関数を基に、各フレームのＢＰＭ候補値を算出する。具体的には、各フレームについて、導出した自己相関関数の所定のＢＰＭ範囲内において、自己相関値のピーク値のうち、その値が最大のものから順に所定数（例えば、５個）選択する。そして、これら選択した各ピーク値に対応するＢＰＭの値を、当該フレームにおけるＢＰＭ候補値とする。尚、上記所定のＢＰＭ範囲は、例えば一般的な音楽のＢＰＭの範囲である「５０〜２００」程度に設定される。
【００３０】
算出したＢＰＭ候補値は、対応するピーク値とともに、フレーム解析データ６４としてＲＡＭ６０に記憶される。図５に、フレーム解析データ６４のデータ構成の一例を示す。同図によれば、フレーム解析データ６４は、音楽データ６２を分割したフレーム６４ａ毎に、複数（同図では、５）のＢＰＭ候補値６４ｂとピーク値６４ｃとを対応付けて格納している。
【００３１】
各フレームについてＢＰＭ候補値を算出すると、ＣＰＵ１０は、近似する値同士のグループとなるように、算出した各ＢＰＭ候補値をグループ化する。そして、各グループについて、ＢＰＭ候補値の平均値と、ピーク値の累積値とを算出する。
【００３２】
ここでグループ化したＢＰＭ候補値は、ＢＰＭ決定用データ６５としてＲＡＭ６０に記憶される。図６に、ＢＰＭ決定用データ６５のデータ構成の一例を示す。同図によれば、ＢＰＭ決定用データ６５は、グループ６５ａ毎に、属するＢＰＭ候補値６６５とピーク値６５ｃとを対応付けて格納しているとともに、ＢＰＭ候補値６５ｂの平均６５ｄと、ピーク値６５ｃの累積６５ｅとを格納している。
【００３３】
また同図は、図５に示したフレーム解析データ６４に基づく場合を示しており、「６２」に近いＢＰＭ候補値をグループ化した第１グループ、「１２３」に近いＢＰＭ候補値をグループ化した第２グループ、「２４６」に近いＢＰＭ値をグループ化した第３グループ、・・、にグループ化されている。
【００３４】
次いで、ＣＰＵ１０は、これら複数のグループのうち、ピーク値の累積値が最も大きいグループを判定し、その判定したグループのＢＰＭ候補値の平均値を、音楽データ６２のＢＰＭとして決定する。例えば図６の場合、ピーク値の累積値が「２８７．１」で最も大きい第２グループが判定され、この第２グループのＢＰＭ候補値の平均値「１２３．８」が音楽データ６２のＢＰＭとして決定される。ここで決定したＢＰＭは、ＢＰＭ決定値データ６６としてＲＡＭ６０に記憶される。
【００３５】
音楽データ６２のＢＰＭを決定すると、ＣＰＵ１０は、続いて、その決定したＢＰＭを基に拍の間隔Ｌを算出する。拍の間隔ＬはＢＰＭの逆数で与えられ、例えばＢＰＭが「１２０」の場合、拍の間隔Ｌは、Ｌ＝０．５（＝６０［ｓ］／１２０）、となる。
【００３６】
続いて、ＣＰＵ１０は、音楽データ６２における拍の位置Ｒを決定する。具体的には、フレーム自己相関データ６３を参照して、音楽データ６２を分割した複数のフレームのうちから、全フレームを通して音圧レベル（音声波形の振幅）が最大のピーク値を含む１つのフレームを選択する。次いで、図７に示すように、その選択したフレームにおける音圧レベルが最大の位置を、当該音楽データ６２における拍の基準位置とする。図７は、音楽データ６２に基づく、最大のピーク値の位置を含む複数フレーム分の音声波形を示している。
【００３７】
そして、ＣＰＵ１０は、音楽データ６２に基づく音声波形全体に対して、決定した拍の基準位置を基準として、算出した拍の間隔Ｌで拍の位置Ｒを決定する。
【００３８】
その後、ＣＰＵ１０は、決定した各拍の位置Ｒにおけるリズムの適確性を示す信頼度を算出する。具体的には、各拍の位置Ｒについて、図８に示すように、音楽データ６２を分割した複数のフレームのうちから、当該拍の位置Ｒを含むフレームを選択する。図８は、音楽データ６２に基づく音声波形の一部を示している。ここで、フレームは時間Ｍずつずらして生成されているので、ある拍の位置Ｒを含むフレームとして複数のフレームが存在する。例えば同図の場合、拍の位置Ｒを含むフレームとして、フレームＦｎ＋１，Ｆｎ＋２，Ｆｎ＋３の３つのフレームが選択される。
【００３９】
そして、ＣＰＵ１０は、これら選択した各フレームについて、決定した当該音楽データ６２のＢＰＭに対応する自己相関値を算出し、算出した自己相関値の平均値に所定係数を乗じた値を、当該拍の位置Ｒにおける信頼度とする。
【００４０】
このように算出した各拍の位置Ｒについての信頼度は、該拍の位置Ｒと対応付けられ、当該音楽データ６２に対応するリズムデータ６７としてＲＡＭ６０に記憶される。図９は、リズムデータ６７のデータ構成の一例を示す図である。同図に示すように、リズムデータ６７は、拍の位置６７ａと信頼度６７ｂとを対応付けて格納している。ここで、拍の位置６７ａは、該当する音楽データ６２の先頭位置（再生開始位置）をゼロとした値で表現されている。
【００４１】
リズム検出処理を終了すると、ＣＰＵ１０は、音楽データ６２の再生を開始し、該音楽データ６２に基づく音楽を音声出力部４０から出力させるとともに、生成したリズムデータ６７を参照して、音楽に同期させて画像データ６１に基づく画像を表示部３０に切り換え表示させる。
【００４２】
具体的には、リズムデータ６７で指定される拍の位置Ｒが到来する毎に、当該到来した拍の位置Ｒに対応する信頼度が、信頼度閾値データ６８で指定される、低信頼度条件である閾値を超えたか否かを判断し、判断結果に応じた画面書き換え速度で次の画像への切り換え表示を行う。画面書き換え速度とは、短時間当たりに画面を書き換える量を指し、画面書き換え速度が速い程、より短時間で次の画像に書き換わることになる。本実施形態では、画面書き換え速度として、通常の速度と、この通常の速度より遅い速度との２つの速度があるとする。即ち、信頼度が閾値を超えた場合には、画面書き換え速度を通常の速度として画面の表示を切り換える。また、信頼度が閾値を超えない場合には、画面書き換え速度を遅い速度として画面の表示を切り換える。
【００４３】
ここで、通常の画面書き換え速度による画面書き換えと、通常より遅い速度による画面書き換えとの組み合わせの例としては、例えば全画面書き換えとフェードイン／フェードアウトの組み合わせがある。また、双方において、例えばディゾルブやワイプといった同じ画面書き換え技法を用い、その完了までに要する時間を異ならせることによって、通常の書き換え速度と遅い書き換え速度とを実現することとしても良い。
【００４４】
図１において、入力部２０は、例えばスイッチやキーボード、マウス、各種センサ等を有して構成され、ユーザによる操作に応じた操作信号をＣＰＵ１０に出力する。
【００４５】
表示部３０は、ＬＣＤ（Liquid Crystal Display）やＥＬＤ（Electro Luminescence Display）、ＰＤＰ（Plasma Display Panel）等のモニタを有して構成され、ＣＰＵ１０から入力される画像信号に従った画像、特に、本実施形態では、ＣＰＵ１０の制御に従って画像データ６１に基づく画像を切り換え表示する。
【００４６】
音声出力部４０は、Ｄ／Ａ変換器や増幅器、スピーカ等を有して構成され、ＣＰＵ１０から入力される音声信号に従った音声、特に本実施形態では、音楽データ６２に基づく音楽を出力する。
【００４７】
ＲＯＭ５０は、画像処理装置１にかかるシステムプログラムやアプリケーションプログラム、本実施形態を実現するためのプログラムやデータ等を記憶する。特に、本実施形態では、同期再生処理（図１０参照）を実現するための同期再生プログラム５１を記憶している。
【００４８】
ＲＡＭ６０は、ＣＰＵ１０の作業領域として用いられ、ＲＯＭ５０から読み出されたプログラムやデータ、ＣＰＵ１０で処理されたデータを一時的に記憶する。特に、本実施形態では、画像データ６１と、音楽データ６２と、フレーム自己相関データ６３と、フレーム解析データ６４と、ＢＰＭ決定用データ６５と、ＢＰＭ決定値データ６６と、リズムデータ６７と、信頼度閾値データ６８とを記憶する。
【００４９】
画像データ６１は、複数の画像群からなるデータであり、例えばメモリカード等の外部情報記憶媒体から読み出されたデータ、或いは、インターネット等の通信回線を介して他装置から取り込んだデータ等である。また、音楽データ６２は、ＣＤ等の外部情報記憶媒体から読み込んだデータ、或いは、上述の通信回線を介して他装置から取り込んだデータ等である。
【００５０】
［処理の流れ］
次に、画像処理装置１における処理の流れを説明する。
図１０は、同期再生処理の流れを説明するためのフローチャートである。この処理は、例えば入力部２０から再生指示が入力された場合に、ＣＰＵ１０が同期再生プログラム５１に従った処理を実行することで実現される。
【００５１】
同図によれば、ＣＰＵ１０は、先ず、入力部２０からの入力指示等に従って、再生する音楽データ６２及び画像データ６１を指定する（ステップＳ１）。そして、指定された音楽データ６２を対象とするリズム検出処理を実行し、当該音楽データ６２に対応するリズムデータ６７を生成する（ステップＳ３）。
【００５２】
図１１は、リズム検出処理の流れを説明するためのフローチャートである。同図によれば、ＣＰＵ１０は、対象としている音楽データ６２を、時間Ｍづつずらした長さＮの複数のフレームに分割する（ステップＳ３１）。
【００５３】
次いで、分割した各フレームの音声信号について自己相関関数を導出する（ステップＳ３３）。そして、各フレームについて、導出した自己相関関数における所定のＢＰＭ範囲内で、ＢＰＭ候補値とそのピーク値とを算出する（ステップＳ３５）。即ち、上述のように、各フレームの自己相関関数における所定のＢＰＭ範囲内で、ピーク値が最大となる所定数のＢＰＭの値をＢＰＭ候補値とする。
【００５４】
続いて、ＣＰＵ１０は、算出した各フレームのＢＰＭ候補値及びそのピーク値を基に、音楽データ６２のＢＰＭを決定する（ステップＳ３７）。即ち、上述のように、算出した各フレームのＢＰＭ候補値を近似する値同士でグループ化し、これら複数のグループのうちから、ピーク値の累積値が最大となるグループを選択する。そして、その選択したグループのＢＰＭ候補値の平均値を、該音楽データ６２のＢＰＭとして決定する。
【００５５】
その後、ＣＰＵ１０は、決定したＢＰＭの逆数を演算することで拍の間隔Ｌを算出する（ステップＳ３９）。そして、ピーク値の最大値を含むフレームにおいて音圧レベルが最大となる位置を、音楽データ６２における拍の基準位置として算出し、この拍の基準位置を基準として、拍の間隔Ｌで各拍の位置Ｒを算出する（ステップＳ４１）。
【００５６】
続いて、ＣＰＵ１０は、算出した各拍の位置Ｒにおける信頼度を算出する（ステップＳ４３）。即ち、上述のように、各拍の位置Ｒについて、該拍の位置Ｒを含む各フレームにおける当該音楽データ６２のＢＰＭに対応する自己相関値の平均値に所定の係数を乗じた値を、当該拍の位置Ｒの信頼度とする。そして、各拍の位置Ｒと算出した信頼度とを対応付けて、リズムデータ６７を生成する。
以上の処理を行うと、このリズム検出処理は終了となる。
【００５７】
リズム検出処理を終了すると、ＣＰＵ１０は、指定された音楽データ６２の再生を開始する（ステップＳ５）。そして、音楽再生が終了するまでの間（ステップＳ７：ＮＯ）、次の処理を繰り返す。
【００５８】
即ち、リズムデータ６７で指定される拍の位置Ｒのタイミングが到来すると（ステップＳ９：ＹＥＳ）、ＣＰＵ１０は、リズムデータ６７において該拍の位置Ｒに対応付けられている信頼度が、信頼度閾値データ６８で指定される閾値を超えるか否かを判断する。
【００５９】
信頼度が閾値を超える場合（ステップＳ１１：ＹＥＳ）、ＣＰＵ１０は、通常の書き換え速度で、表示部３０に表示されている現在の表示画像から次の画像に切り換える（ステップＳ１３）。また、信頼度が所定の閾値を超えない場合には（ステップＳ１１：ＮＯ）、上記通常の速度より遅い画面書き換え速度で、次の画像に切り換える（ステップＳ１５）。
そして、音楽データ６２の再生が終了すると（ステップＳ７：ＹＥＳ）、この同期再生処理は終了となる。
【００６０】
［具体例］
ここで、本実施形態における具体的な実施例を説明する。
図１２は、ある音楽データ６２を基に生成されたリズムデータを表すグラフであり、横軸を当該音楽データ６２の再生開始からの経過時間［秒］、縦軸を信頼度として、各拍の位置Ｒでの信頼度をプロットしている。同図において、信頼度の閾値を「８０」とすると、再生される音楽の前半部分の「４０〜１００［秒］」の範囲、後半部分の「３１０［秒］」付近、及び、終了直前の「４３０［秒］」付近において、信頼度がこの閾値より小さくなり、画像の書き換え速度がゆっくりとなる。
【００６１】
［作用・効果］
以上、本実施形態によれば、リズム検出処理により、音楽データ６２を再生した音楽のリズムのタイミングである拍の位置Ｒが算出され、これら各拍の位置Ｒにおける検出したリズムの適確性を示す信頼度が算出されて、拍の位置Ｒと信頼度とを対応付けたリズムデータ６７が生成される。そして、音楽データ６２の再生時には、このリズムデータ６７で指定される各拍の位置Ｒの到来毎に、該拍の位置Ｒに対応する信頼度が信頼度閾値データ６８で指定される閾値を超えるか否かが判断され、超える場合には通常の画面書き換え速度で、超えない場合には上記通常の速度より遅い画面書き換え速度で、次の画像に切り換え表示される。
【００６２】
従って、検出されたリズムが本来のリズムからずれる部分も有り得るが、信頼度が低く閾値を超えない部分については画面書き換え速度を遅くすることで、検出されたリズムのずれによる切り換え表示の違和感をユーザに与えることを防止できる。即ち、音楽データ６２にリズムが適確に検出されない部分が含まれる場合であっても、自然な画像データ６１の切り換え表示が実現され得る。
【００６３】
［変形例］
尚、本発明の適用可能な実施形態は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【００６４】
（Ａ）信頼度
例えば上述した実施形態では、各拍の位置Ｒにおける信頼度として、当該拍の位置Ｒを含む各フレームのＢＰＭに対応する自己相関値に基づく値としたが、これを、この自己相関値に基づく値に、更に、当該拍の位置Ｒでの音圧レベルに基づく値を加算した値を用いることとしても良い。
【００６５】
図１３は、この場合のリズムデータ６７Ａの一例を示す図である。同図に示すように、リズムデータ６７Ａは、拍の位置６７ａと、自己相関値に基づく値６７ｃと、音圧レベル６７ｄと、信頼度６７ｅとを対応付けて格納している。信頼度６７ｅは、自己相関値に基づく値６７ｃと、音圧レベル６７ｄとの和である。
【００６６】
また、図１４は、リズムデータ６７Ａに基づくグラフの一例を示す図である。同図では、横軸を音楽データ６２の再生開始からの経過時間とし、縦軸に、各拍の位置Ｒでの自己相関値に基づく値、音圧レベル及び信頼度の値をプロットしている。
【００６７】
図１４では、９０［秒］付近において音量が一瞬ほぼゼロになるとともにリズムが中断し、その後再度リズムが再開されて音量が一気に回復している。この場合、導出される自己相関値は、その部分において一旦低下した後、徐々に回復する。このため、信頼度を、自己相関値だけではなく、更に音圧レベルにも基づいて算出することで、一旦減少した音量が再度回復する時点で、ゆっくりであった画像書き換え速度が通常の速度に変化するといった、より自然な画像データ６１の切り替え表示が実現される。
【００６８】
また、音声信号のスペクトログラムにおいて、ある周波数の値が急に大きくなり、且つその状態が所定時間継続する場合、その位置はコードの変化点であると推測することができる。また、コードが変化する位置は拍の位置である可能性が高い。従って、自己相関関数から算出した拍の位置Ｒと、スペクトログラムから推測したコード変化位置との一致度を信頼度としても良い。
【００６９】
（Ｂ）リズム検出処理
また、上述した実施形態では、音楽データ６２の再生時に、当該音楽データ６２を対象としたリズム検出処理を実行して対応するリズムデータ６７を生成することとしたが、これを予め生成しておくこととしても良い。具体的には、例えば音楽データ６２の再生前、該音楽データ６２が読み込まれた際にリズム検出処理を行って対応するリズムデータ６７を生成し、その音楽データ６２の再生時に、この予め生成したリズムデータ６７を読み出して用いることとする。
【００７０】
（Ｃ）画像の切り換え表示のタイミング
また、上述した実施形態では、音楽データ６２を再生する際には、拍の位置Ｒが到来する毎に画像データ６１の切り換え表示を行うこととしたが、複数回の拍の位置Ｒの到来毎（例えば、１０拍毎）に切り換え表示を行うこととしても良い。
【００７１】
（Ｄ）切り換え表示の態様
また、上述した実施形態では、画像データ６１の切り換え表示の態様の制御として、画面書き換え速度を通常の速度とこの通常の速度より遅い速度との２つとして２段階で切り換えることとしたが、画面書き換え速度を３つ以上として３段階以上の多段階に切り換えることとしても良い。この場合、画面書き換え速度の数に応じた複数の閾値を設け、信頼度が何れの閾値の間であるかに応じて画面書き換え速度を決定する。
【００７２】
また、画像データ６１の切り換え表示の態様の制御として、画像書き換え速度を変化させることとしたが、切り換え表示の頻度を変化させることとしても良い。具体的には、例えば、音楽データ６２の再生の際、拍の位置Ｒの到来毎に画像の切り換えを行っていたものを、到来した拍の位置Ｒにおける信頼度が所定の閾値を超えない場合には、以降の連続する複数回の拍の位置Ｒが到来する間（例えば、１０拍の間）、画像の切り換え表示を行わないといったことにより、信頼度が低い部分では画像の切り換え頻度を低下させる。
【図面の簡単な説明】
【００７３】
【図１】画像処理装置のブロック構成図。
【図２】フレーム分割の説明図。
【図３】自己相関関数のグラフの一例。
【図４】自己相関関数のグラフの一例。
【図５】フレーム解析データのデータ構成例。
【図６】ＢＰＭ決定用データのデータ構成例。
【図７】拍の位置Ｒの決定の説明図。
【図８】拍の位置Ｒにおける信頼度決定の説明図。
【図９】リズムデータのデータ構成例。
【図１０】同期再生処理の流れ図。
【図１１】同期再生処理中に実行されるリズム検出処理の流れ図。
【図１２】リズムデータに基づくグラフの一例。
【図１３】変形例におけるリズムデータのデータ構成例。
【図１４】変形例におけるリズムデータに基づくグラフの一例。
【符号の説明】
【００７４】
１  画像処理装置
１０  ＣＰＵ
２０  入力部
３０  表示部
４０  音声出力部
５０  ＲＯＭ
５１  同期再生プログラム
５２  リズム検出プログラム
６０  ＲＡＭ
６１  画像データ
６２  音楽データ
６３  フレーム自己相関データ
６４  フレーム解析データ
６５  ＢＰＭ決定用データ
６６  ＢＰＭ決定値データ
６７  リズムデータ
６８  信頼度閾値データ
【図１】
0004687297.tif 000002
【図２】
0004687297.tif 000003
【図３】
0004687297.tif 000004
【図４】
0004687297.tif 000005
【図５】
0004687297.tif 000006
【図６】
0004687297.tif 000007
【図７】
0004687297.tif 000008
【図８】
0004687297.tif 000009
【図９】
0004687297.tif 000010
【図１０】
0004687297.tif 000011
【図１１】
0004687297.tif 000012
【図１２】
0004687297.tif 000013
【図１３】
0004687297.tif 000014
【図１４】
0004687297.tif 000015