(57)【要約】【課題】映像データの時間的な流れを表すことが可能な画像処理装置及び画像処理方法を提供する。【解決手段】映像データを構成する一連の映像フレームから代表フレームに関連する複数の映像フレームを抜粋し、表示用の仮想空間内に配置した複数の媒体フレームに複数の映像フレームを映像時間の時系列順に割り当て、当該複数の媒体フレームの中から一の注目フレームを順次決定し、当該注目フレームに割り当てられた映像フレームを強調する画像処理を、各媒体フレームに割り当てられた映像フレームに対して施す。【選択図】        図２
2008276410.tif 000002
【特許請求の範囲】
【請求項１】
映像データを構成する一連の映像フレームから、当該映像データを代表する代表フレームを決定する代表フレーム決定手段と、
前記一連の映像フレームから、前記代表フレームに関連する複数の映像フレームである部分動画像を決定する部分動画像決定手段と、
前記映像フレームの表示媒体となる複数の媒体フレームを、表示用の仮想空間内に配置する媒体フレーム設定手段と、
前記媒体フレームの配置関係に応じて、各媒体フレームに前記部分動画像に含まれた映像フレームを映像時間の時系列順に割り当てる割当手段と、
前記複数の媒体フレームの中から一の注目フレームを順次決定する注目フレーム決定手段と、
前記注目フレームに割り当てられた映像フレームを強調する画像処理を、各媒体フレームに割り当てられた映像フレームに施す画像処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記注目フレームから当該注目フレーム以外の他の媒体フレームまでの各距離に応じて、各媒体フレームに割り当てられた映像フレームに透過度の設定及び／又はぼかし処理を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記注目フレームに割り当てられた映像フレームから当該注目フレーム以外の他の媒体フレームに割り当てられた映像フレームまでの映像時間の各時間差に応じて、各媒体フレームに割り当てられた映像フレームに透過度の設定及び／又はぼかし処理を施すことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記注目フレームと当該注目フレーム以外の他の媒体フレームとの配置関係に応じて、前記映像フレームをぼかす方向及び／又は強度を決定することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記注目フレームと当該注目フレーム以外の他の媒体フレームとの配置関係に応じて、当該他の媒体フレームに割り当てられた映像フレームに前記注目フレームに割り当てられた映像フレームの特性を保持したぼかし処理を施すことを特徴とする請求項２〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記画像処理手段は、前記注目フレームに割り当てられた映像フレームに含まれるエッジ部分の画像要素を利用して、前記他の媒体フレームに割り当てられた映像フレームにぼかし処理を施すことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像処理手段は、時間的に隣接する映像フレームが割り当てられた媒体フレーム間の配置関係に応じて、各媒体フレームに割り当てられた映像フレームに透過処理及び／又はぼかし処理を施すことを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
前記画像処理手段は、時間的に隣接する映像フレームが割り当てられた媒体フレーム間の配置関係に応じて、前記映像フレームをぼかす方向及び／又は強度を決定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記媒体フレーム設定手段は、前記部分動画像に含まれる映像フレームの内容に基づいて、前記媒体フレームの配置を設定することを特徴とする請求項１〜８の何れか一項に記載の画像処理装置。
【請求項１０】
前記媒体フレーム設定手段は、前記各媒体フレームの配置、姿勢、形状を３次元の前記仮想空間内に設定することを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
【請求項１１】
前記媒体フレーム設定手段は、前記各媒体フレームが奥行き方向に異なる位置となるよう前記仮想空間内に順次配置し、
前記割当手段は、前記仮想空間内の奥から手前の媒体フレームにかけて、前記部分動画像に含まれた映像フレームを前記映像データの時系列順に割り当てることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記注目フレーム決定手段は、前記仮想空間内の奥から手前の媒体フレームにかけて、一の注目フレームを順次決定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記部分動画像決定手段は、前記代表フレームと当該代表フレームの前後に位置する所定数分の映像フレームを、前記部分動画像として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記注目フレーム決定手段は、前記各媒体フレームに割り当てられた映像フレームの映像時間に基づいて、前記複数の媒体フレームの中から一の注目フレームを映像時間の時系列順に順次決定することを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
代表フレーム決定手段によって、映像データを構成する一連の映像フレームから、当該映像データを代表する代表フレームを決定する代表フレーム決定工程と、
部分動画像決定手段によって、前記一連の映像フレームから、前記代表フレームに関連する複数の映像フレームである部分動画像を決定する部分動画像決定工程と、
媒体フレーム設定手段によって、前記映像フレームの表示媒体となる複数の媒体フレームを、表示用の仮想空間内に配置する媒体フレーム設定工程と、
割当手段によって、前記媒体フレームの配置関係に応じて、各媒体フレームに前記部分動画像に含まれた映像フレームを映像時間の時系列順に割り当てる割当工程と、
注目フレーム決定手段によって、前記複数の媒体フレームの中から一の注目フレームを順次決定する注目フレーム決定工程と、
画像処理手段によって、前記注目フレームに割り当てられた映像フレームを強調する画像処理を、各媒体フレームに割り当てられた映像フレームに施す画像処理工程と、
を含むことを特徴とする画像処理方法。
【請求項１６】
前記画像処理工程は、前記注目フレームから当該注目フレーム以外の他の媒体フレームまでの各距離に応じて、各媒体フレームに割り当てられた映像フレームに透過度の設定及び／又はぼかし処理を施すことを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記画像処理工程は、前記注目フレームに割り当てられた映像フレームから当該注目フレーム以外の他の媒体フレームに割り当てられた映像フレームまでの映像時間の各時間差に応じて、各媒体フレームに割り当てられた映像フレームに透過度の設定及び／又はぼかし処理を施すことを特徴とする請求項１５又は１６に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関する。
【背景技術】
【０００２】
ビデオ画像等の映像データを代表化して表す手法としては一般にサムネイルが知られている。このような手法では、通常、先頭の映像フレーム又は先頭から所定時間（所定のフレーム数）が経過した映像フレームが、サムネイルとして表示される。また、サムネイルとして静止画ではなく動画を用いた動画サムネイルと呼ばれる手法も存在する。この動画サムネイルの場合、動画部分の始まりと終わりとが連結され、繰り返し再生されることが一般的である。また、ビデオ画像の内容を表現する手法として映像シーンのカット検出に基づくチャプター分割という手法が存在する。このチャプター分割を用いた場合、チャプター単位の部分動画像をそれぞれのサムネイルで表現することになる。
【０００３】
一方で、ビデオ画像の内容を一覧したり、編集したりといった用途では、ビデオ画像を構成する映像フレームをタイムラインと関連付けて表示する手法が一般的に用いられている。映像フレーム同士を画面内に重ならないように配置しようとすると、タイムラインのスケールを変化させる等の作業が必要である。逆に限られた画面領域内にそのビデオ画像を構成する映像フレームの情報を配置しようとすると、映像フレーム同士が重なってしまい、それぞれの映像フレームが見づらくなるという問題があった。そのため、操作対象の映像フレームの周囲に存在する映像フレームの配置を変更することで、重なり具合を軽減する技術が提案されている（例えば、非特許文献１参照）。
【０００４】
また、ビデオ画像を構成する映像フレームを背景部分の整合性を取った上で重ねて配置することで、各映像フレーム内に存在する対象物（オブジェクト）の移動軌跡を見せる技術が提案されている（例えば、非特許文献２参照）。さらに、時空間の高い画像相関性を利用してビデオ画像を構成する複数の映像フレームを、整合性を保って配置した上で1枚の画像に合成する技術も提案されている（例えば、非特許文献３、４参照）。
【０００５】
【非特許文献１】Ramos  et  al.  Fluid  interaction  techniques  for  the  control  and  annotation  of  digital  video,  Proceedings  of  the  16th  annual  ACM  Symposium  on  User  Interface  Software  and  Technology  pp.  105-114  (2003)
【非特許文献２】Irani  et  al.  Efficient  Representation  of  Video  Sequences  and  Their  Applications,  Signal  processing:  Image  communication  (Journal):  pp.  327-351  (1996)
【非特許文献３】Teodosio  et  al.,  Salient  stills,  ACM  Transactions  on  Multimedia  Computing,  Communications,  and  Applications  (TOMCAAP),  Volume  1,  Issue  1  pp.  16-36  (2005)
【非特許文献４】Agarwala  et  al.,  Interactive  digital  photomontage,  ACM  Siggraph  2004  pp.  294-302  (2004)
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したサムネイルの手法では、ビデオ画像を構成する一連の映像フレームの中から一の映像フレームを抜き出しただけであるため、複数のビデオ画像の中からサムネイルを頼りに目的のビデオ画像を探すような場合には困難なケースが存在する。例えば、ある番組を放送開始時刻から録画したビデオ画像等であれば、ビデオ画像の先頭は番組のタイトルという同一の画像になってしまう可能性がある。このように、録画日の異なる同じ番組をサムネイルだけで区別することが出来ない場合がある。また、動画サムネイルの手法では、動画の始まりと終わりの画像間に相関関係がないと切り替わりが不連続となるため見づらいものとなる。さらに、動画の始まりと終わりとを区別しづらいため、動画サムネイルを見て映像の流れを理解することは困難である。
【０００７】
一方、上記非特許文献１にかかる技術では、周辺に位置する映像フレームの配置を変更することで、映像フレーム間の動きの方向性や映像の流れが不明確になるという問題がある。また、非特許文献２にかかる技術では、同時に複数の映像フレームを見せることになるため、オブジェクトの像が複数同時に見えてしまい、そのオブジェクトがどちらから来てどちらに去っていくのか、といった対象オブジェクトの時系列的な動きまでは表現出来ていない。さらに、非特許文献３、４にかかる技術では、オブジェクトの軌跡表現と同様に動物体については複数時点の状態を同時表示することになるため、動きの方向性や映像の流れを明確に表現することが出来ていない。
【０００８】
このように、上述した従来技術では、映像データの時間的な前後関係といった映像の流れをユーザに伝えることが困難である。
【０００９】
本発明は上記に鑑みてなされたものであって、映像データの時間的な流れを表すことが可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、映像データを構成する一連の映像フレームから、当該映像データを代表する代表フレームを決定する代表フレーム決定手段と、前記一連の映像フレームから、前記代表フレームに関連する複数の映像フレームである部分動画像を決定する部分動画像決定手段と、前記映像フレームの表示媒体となる複数の媒体フレームを、表示用の仮想空間内に配置する媒体フレーム設定手段と、前記媒体フレームの配置関係に応じて、各媒体フレームに前記部分動画像に含まれた映像フレームを映像時間の時系列順に割り当てる割当手段と、前記複数の媒体フレームの中から一の注目フレームを順次決定する注目フレーム決定手段と、前記注目フレームに割り当てられた映像フレームを強調する画像処理を、各媒体フレームに割り当てられた映像フレームに施す画像処理手段と、を備える。
【００１１】
また、本発明は、代表フレーム決定手段によって、映像データを構成する一連の映像フレームから、当該映像データを代表する代表フレームを決定する代表フレーム決定工程と、部分動画像決定手段によって、前記一連の映像フレームから、前記代表フレームに関連する複数の映像フレームである部分動画像を決定する部分動画像決定工程と、媒体フレーム設定手段によって、前記映像フレームの表示媒体となる複数の媒体フレームを、表示用の仮想空間内に配置する媒体フレーム設定工程と、割当手段によって、前記媒体フレームの配置関係に応じて、各媒体フレームに前記部分動画像に含まれた映像フレームを映像時間の時系列順に割り当てる割当工程と、注目フレーム決定手段によって、前記複数の媒体フレームの中から一の注目フレームを順次決定する注目フレーム決定工程と、画像処理手段によって、前記注目フレームに割り当てられた映像フレームを強調する画像処理を、各媒体フレームに割り当てられた映像フレームに施す画像処理工程と、を含む。
【発明の効果】
【００１２】
本発明によれば、映像データから抜粋した関連性を有する複数の映像フレームを、時系列順に同時に表示することができるとともに、各映像フレームを順次強調表示させることができる。これにより、映像データの時間的な流れを明確に表すことができるとともに、各映像フレームにユーザの意識を向けさせることが可能となるため、時間的な前後関係といった映像の流れをユーザに意識させることができる。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照して、画像処理装置及び画像処理方法の最良な実施形態を詳細に説明する。
【００１４】
［第１の実施形態］
図１は、画像処理装置１００のハードウェア構成を示すブロック図である。図１に示したように、画像処理装置１００は、プロセッサ１、ＲＯＭ２、ＲＡＭ３、映像入力部４、記憶部５、表示部６、操作部７等から構成されており、各部はバス８により接続されている。
【００１５】
プロセッサ１は、ＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）、ＤＳＰ(Digital  Signal  Processor)、数値演算コプロセッサ等の演算装置から構成され、記憶部５に記憶された所定のプログラム（画像処理プログラム等）を実行することにより、画像処理装置１００の各部を統括的に制御する。
【００１６】
ＲＯＭ２は、ＢＩＯＳ等を記憶した読み出し専用の記憶デバイスである。ＲＡＭ３は、各種のデータを書き換え可能に一時記憶する揮発性の記憶デバイスである。また、ＲＡＭ３は、その一部の記憶領域を後述するビデオ画像蓄積部１６として機能する。
【００１７】
映像入力部４は、ＤＶＤメディアやハードディスクドライブ装置などの記憶媒体に記録されたビデオ画像、あるいはネットワークにより受信したビデオ画像の入力を行う処理部である。なお、本実施形態において、「ビデオ画像」とは、複数の映像フレームから構成される映像データを意味するものである。
【００１８】
記憶部５は、後述する代表画像表示処理を実現するためのプログラムやパラメータ、各種の設定情報（例えば、後述する透過度モデル等）を記憶するとともに、映像入力部４から入力されたビデオ画像の記憶を行う。
【００１９】
表示部６は、ＬＣＤ（Liquid  Crystal  Display）やＣＲＴ（Cathode  Ray  Tube）等の表示装置により構成され、プロセッサ１からの表示信号に基づいて各種の情報を表示する。なお、表示部６は、プロセッサ１の制御の下、後述する表示用の仮想空間を画面上に表示することで、当該仮想空間内の媒体フレームに貼り付けられた映像フレームの表示を行う。
【００２０】
操作部７は、各種入力キー等を備え、ユーザから操作入力された情報を入力信号として受け付け、その入力信号をプロセッサ１に出力する。
【００２１】
図２は、本実施形態にかかる画像処理装置１００の機能的構成を示したブロック図である。図２に示すように、画像処理装置１００は、プロセッサ１が記憶部５に記憶された所定のプログラムに従って各部を制御することにより、代表フレーム決定部１１、部分動画像決定部１２、媒体フレーム設定部１３、注目フレーム決定部１４、媒体フレーム画像処理部１５を備えることになる。なお、ビデオ画像蓄積部１６はＲＡＭ３に対応し、映像入力部４から入力されたビデオ画像又は記憶部５に記憶されたビデオ画像を一時的に蓄積する。
【００２２】
代表フレーム決定部１１は、映像データを構成する一連の映像フレームから、当該映像データを代表する映像フレームを代表フレームとして決定する。代表フレームの決定は、従来のサムネイルに割り当てるビデオ画像の割り当て手法を用いることができる。例えば、代表フレームをビデオ画像の開始フレームとしてもよいし、開始時刻から一定時間（数秒等）経過した後の映像フレームとしてもよい。
【００２３】
また、チャプター分割等で分割されたチャプター単位に代表フレームを決定した場合には、一つの番組について複数の代表フレームが存在することになる。なお、各チャプターにおける代表フレームの決定手法は、従来の手法を用いることができる。また、動画に付随する音声情報（例えば、音声の「高さ」、「強さ」、「速さ」等）を頼りに算出した「盛り上がり度」に基づいて代表フレームを決定する態様としてもよい。
【００２４】
部分動画像決定部１２は、映像データを構成する一連の映像フレームから、代表フレームに関連する複数の映像フレームである部分動画像を決定する。具体的には、代表フレームを含む、当該代表フレームの前後に位置する所定の時間範囲分の映像フレーム群を部分動画像として決定する。
【００２５】
なお、時間範囲については、代表フレームの前後３００フレームといったようにフレーム単位で指定してもよいし、前後１０秒といったように時間単位で指定してもよい。例えば、フレーム単位での指定により、代表フレームの前後１０フレーム分を部分動画像とした場合、当該部分動画像に含まれるフレームの数は、代表フレームを含めて２１枚（時間軸上で前方向に１０フレーム＋後方向に１０フレーム＋代表フレーム）となる。なお、ここで前方向とはビデオ画像の先頭フレーム方向を意味し、後方向とはビデオ画像の末尾のフレーム方向を意味する。
【００２６】
また、代表フレームの前後で異なる時間幅（例えば、前方向に１０秒、後方向に２０秒等）又はフレーム数（例えば、前方向に１０フレーム、後方向に２０フレーム等）を設定してもよい。さらに代表フレームとの画像相関が所定のしきい値以上となるフレームの範囲を、部分動画像として決定する態様としてもよい。この場合、代表フレームと似た画像の続く時間範囲で部分動画像を決定することができる。また、ビデオ画像が事前にチャプター分割されていた場合、その代表フレームが含まれるチャプター全体の動画像を部分動画像としてもよい。
【００２７】
媒体フレーム設定部１３は、映像フレームの表示媒体となる複数の媒体フレームを表示用の仮想空間内に生成し、各媒体フレームの配置、姿勢、形状を決定する。また、媒体フレーム設定部１３は、媒体フレームの配置関係に応じ、各媒体フレームに部分動画像に含まれた映像フレームを映像時間の時系列順に割り当てることで、表示対象となる映像フレームを決定する。ここで映像時間とは、ビデオ画像の時間軸上において、各映像フレームが位置する時間を意味する。
【００２８】
注目フレーム決定部１４は、媒体フレーム設定部１３により生成された複数の媒体フレームから、ユーザに注目させたい一の媒体フレームを注目フレームとして決定する。また、注目フレーム決定部１４は、注目フレームとする媒体フレームを順次切り替えることで、各媒体フレームが注目フレームとなるよう制御する。
【００２９】
媒体フレーム画像処理部１５は、各媒体フレームに割り当てられた映像フレームをビデオ画像蓄積部１６から読み出し、注目フレーム決定部１４により決定された注目フレームを基準として各映像フレームに所定の画像処理を施した後、対応する媒体フレームに貼り付けることで画像処理後の映像フレームを表示部６に表示させる。ここで、映像フレームの貼り付けには、公知のテクスチャ・マッピング技術を用いるものとする。以下、各媒体フレームに割り当てられた映像フレーム、すなわち、ビデオ画像蓄積部１６から読み出される映像フレームを「媒体フレーム画像」という。
【００３０】
以下、本実施形態における画像処理装置１００の動作について説明する。図３は、画像処理装置１００で行われる代表画像表示処理の手順を示したフローチャートである。
【００３１】
まず、映像入力部４又は記憶部５からビデオ画像が入力されると、代表フレーム決定部１１は、このビデオ画像を構成する複数の映像フレームのうち、特定の映像フレームを代表フレームとして決定する（ステップＳ１１）。なお、ビデオ画像がチャプター分割されていた場合には、分割されたビデオ画像毎に代表フレームの決定が行われるものとする。
【００３２】
次いで、部分動画像決定部１２は、ステップＳ１１で決定された代表フレーム毎に、その代表フレームに対応する部分動画像を決定する（ステップＳ１２）。続いて、部分動画像決定部１２は、全ての代表フレームについて部分動画像を決定したか否かを判定し、部分動画像の決定が行われていない代表フレームが存在すると判定した場合には（ステップＳ１３；Ｎｏ）、ステップＳ１２の処理へと再び戻り、該当する代表フレームについて、部分動画像の決定を行う。
【００３３】
一方、ステップＳ１３において、部分動画像決定部１２が、ステップＳ１１で決定された全ての代表フレームに対し、部分動画像の決定を行ったと判定した場合には（ステップＳ１３；Ｙｅｓ）、ステップＳ１４の処理へと移行する。
【００３４】
ステップＳ１４では、媒体フレーム設定部１３が、ステップＳ１３で決定された部分動画像の中から、処理対象とする部分動画像を一つ決定する（ステップＳ１４）。なお、ステップＳ１３で決定された部分動画像が一つのみである場合には、この部分動画像が直ちに処理対象となる。また、複数の部分動画像が存在する場合には、ステップＳ１３で決定された順序や、各部分動画像に含まれた代表フレームの映像時間の前後関係に基づいて、処理対象とする部分動画像の決定が行われるものとするが、この態様に限らないものとする。
【００３５】
次いで、媒体フレーム設定部１３は、映像フレームを画面上で表示する際の媒体となる複数の媒体フレームを表示用の仮想空間内に生成し、各媒体フレームの配置、形状、姿勢を決定する（ステップＳ１５）。なお、生成される媒体フレームの個数は、特に問わないものとするが、例えば、１１個等の固定値としてもよいし、部分動画像に含まれた映像フレームの個数や内容に応じて決定する態様としてもよい。
【００３６】
以下、図４、５を参照して、ステップＳ１５の処理について説明する。なお、本実施形態では、媒体フレームとして３次元の仮想空間内に四辺形のオブジェクト（四辺形オブジェクト）を配置するものとするが、媒体フレームの形状はこの態様に限らないものとする。
【００３７】
図４では、１１個の媒体フレームＭを、仮想空間Ｖ内にそれぞれ画面方向（ＸＹ軸方向）と奥行き方向（Ｚ軸方向）とに所定量シフトして配置した例を示している。具体的には、ｉ番目（ｉ＝１〜１１）の媒体フレームＭのＸ、Ｙ、Ｚ軸上における位置をそれぞれ（Ｐ（ｉ）．ｘ、Ｐ（ｉ）．ｙ、Ｐ（ｉ）．ｚ）と定義した場合、各位置の決定に係る関係式を例えば下記式（１）〜（３）のように設定することで、図４のような配置を実現することができる。なお、下記式（１）〜（３）において、「Ｓｘ」、「Ｓｙ」、「Ｓｚ」は各軸上での配置を制御するスケーリングパラメータであり、「ｉｍａｘ」は媒体フレームの総数（図４の場合「１１」）を意味している。
【００３８】
【数１】
2008276410.tif 000003
【００３９】
また、媒体フレームの姿勢についても同様に制御することができる。具体的には、ｉ番目の媒体フレームの姿勢として、各軸（Ｘ、Ｙ、Ｚ）周りの回転角を（Ｒ（ｉ）．ｘ、Ｒ（ｉ）．ｙ、Ｒ（ｉ）．ｚ）と定義した場合、各回転角の決定に係る関係式を例えば下記式（４）〜（６）のように設定することで、任意の姿勢に制御することができる。なお、下記式（４）〜（６）において、「Ｒｘ」、「Ｒｙ」、「Ｒｚ」は各軸周りでの姿勢を制御するスケーリングパラメータである。
【００４０】
【数２】
2008276410.tif 000004
【００４１】
ここで、Ｒｘ、Ｒｙを「０．０」に設定すると、図５に示したように、仮想空間Ｖ内にＺ軸周りにそれぞれ所定量回転した媒体フレームＭが配置されることになる。なお、媒体フレームの配置及び姿勢については、これに限定されるものではなく、任意の配置・姿勢の設定が可能であるものとする。
【００４２】
さらに、媒体フレームの大きさについても、「配置」や「姿勢」と同様、媒体フレーム毎に個別的に設定することが可能である。例えば、図４、５に示したように媒体フレームＭとして四辺形オブジェクトを用いた場合、テクスチャとして映像フレームを貼り付ける面（Ｚ軸に垂直な面）の縦横比とビデオ画像のアスペクト比とを同一にすることで、映像フレームを歪みなく表示させることができる。
【００４３】
また、媒体フレーム上のビデオ画像を貼り付ける面の縦横比とビデオ画像のアスペクト比とが異なる場合には、テクスチャ・マッピング時のテクスチャ座標を調整することで、歪みのないビデオ画像を貼り付けてもよい。具体的には、媒体フレーム全面にテクスチャを貼り付ける場合、ビデオ画像のアスペクト比で長軸に合わせてテクスチャ座標の設定を正規化（０．０から１．０に設定）し、短軸側についてはそれを含む形で媒体フレーム上のテクスチャ座標を拡張すればよい。
【００４４】
このように、媒体フレーム設定部１３は、媒体フレームＭのサイズや縦横奥行き比の設定、形状の設定、仮想空間Ｖ内に配置する際の位置及び３軸周りの回転角を設定することで、仮想空間Ｖ内における媒体フレームＭの配置や姿勢を制御する。
【００４５】
なお上記では、媒体フレームの実体として四辺形オブジェクトを用いたが、これに限らず、映像フレームのテクスチャ・マッピングを行うことが可能であれば任意の３次元モデルを媒体フレームとして設定することができる。例えば、球や円柱といった単純な形状であってもよいし、一般的にメッシュ形状で指定できる任意のサーフェス曲面であってもよい。この場合、媒体フレームの大きさについては、該当する３次元モデルのバウンディングボリュームの大きさで指定することができる。
【００４６】
図３に戻り、続くステップＳ１６では、媒体フレーム設定部１３が、媒体フレームの配置に応じて、処理対象となった部分動画像に含まれる映像フレームの中から、表示対象とする映像フレームを映像時間の時系列順に媒体フレームに割り当ててゆくことで、表示を行う映像フレームを決定する（ステップＳ１６）。
【００４７】
例えば、図４の例の場合、１１個の媒体フレームＭに対し、部分動画像には２１個の映像フレームＦが含まれているため、部分動画像から１１個分の映像フレームＦを選択する必要がある。このような場合、媒体フレーム設定部１３は、図４に示したように、代表フレームＦ’を中心とし、当該代表フレームＦ’から前後２フレーム毎の映像フレームＦを選択することで、媒体フレームＭと同数の映像フレームＦを表示対象として選択する。
【００４８】
そして、媒体フレーム設定部１３は、媒体フレームＭの配置関係に応じて、各媒体フレームＭに、選択した１１枚の映像フレームＦ（代表フレームＦ’＋当該代表フレームＦ’から時間的に前方向のフレーム５枚＋後方向のフレーム５枚）を映像時間の時系列順に割り当てる。なお、部分動画像から表示対象とする映像フレームの選択方法は、図４の例に限定されないものとするが、代表フレームＦ’を基準に選択することが好ましい。
【００４９】
図３に戻り、注目フレーム決定部１４は、複数の媒体フレームの中から一の媒体フレームを注目フレームとして決定する（ステップＳ１７）。なお、後述するように、注目フレームとする媒体フレームの決定は、仮想空間内の奥から手前の媒体フレームにかけて、即ち、各媒体フレームに割り当てられた映像フレームの映像時間の時系列順に行われることが好ましい。
【００５０】
続くステップＳ１８では、媒体フレーム画像処理部１５が、各媒体フレームに割り当てられた映像フレーム（媒体フレーム画像）をビデオ画像蓄積部１６から読み出し、注目フレーム決定部１４により決定された注目フレームを基準として、各媒体フレーム画像に所定の画像処理を施す（ステップＳ１８）。以下、図６〜８を参照して、ステップＳ１８の画像処理について説明する。
【００５１】
図６は、ステップＳ１８の画像処理の手順を示したフローチャートである。まず、媒体フレーム画像処理部１５は、複数の媒体フレームの中から一の媒体フレームを処理対象として選択する（ステップＳ３１）。
【００５２】
次いで、媒体フレーム画像処理部１５は、ステップＳ１７で決定された注目フレームから、処理対象となった媒体フレームまでの３次元距離ｄを算出する（ステップＳ３２）。具体的には、図７に示したように、媒体フレームＭの重心点をその媒体フレームを代表する３次元位置とし、注目フレームＭ’の重心点と処理対象の媒体フレームＭの重心点との間の距離を、両フレーム間の３次元距離ｄとして算出する。なお、各媒体フレームの形状が同一であれば、両フレームの左上位置等同一位置を結ぶ距離を算出する態様としてもよい。
【００５３】
続いて、媒体フレーム画像処理部１５は、ステップＳ３２で算出された３次元距離ｄの値に応じて、処理対象の媒体フレームに割り当てられた媒体フレーム画像の透過度Ｔ（ｄ）を設定することで、表示部６に表示される際の媒体フレーム画像の透過度を変更する（ステップＳ３３）。
【００５４】
具体的に、媒体フレーム画像処理部１５は、３次元距離ｄと透過度Ｔ（ｄ）とが一義的に対応付けられた透過度モデルに基づいて、両フレーム間の３次元距離ｄに対応する透過度Ｔ（ｄ）を決定し、この特定した透過度Ｔ（ｄ）を処理対象となった媒体フレームに設定する。
【００５５】
図８は、三つの透過度モデル（透過度モデルＡ１〜Ａ３）をグラフ形式で示した図である。なお、以下に説明する透過度モデルの前提として、全ての媒体フレームの組み合わせにおいて、最大の３次元距離ｄｍａｘは１．０に正規化されているものとする。
【００５６】
図８では、注目フレーム周辺を透過させず、それ以外の部分を透過させるための代表的なパターンとしてＡ１〜Ａ３の３つの透過度モデルを表している。なお、図８において、グラフの縦軸は透過度を表しており、「０．０」が不透過であることを意味し、この数値が上がるほど透過度が上昇することを意味している。
【００５７】
注目フレームを不透過とし、且つ、各媒体フレームの透過度を注目フレームとの３次元距離ｄの大きさに比例して上昇させる場合には、透過度モデルＡ１を用いることで実現することができる。ここで、透過度モデルＡ１は、下記式（７）、（８）により表される曲線パターンである。なお、「Ｔｍｉｎ」は透過度の最小値、「ｄｔｈ」は曲線パターンを制御するためのパラメータ、「α」は透過度を調整するパラメータである。
【００５８】
【数３】
2008276410.tif 000005
【００５９】
また、注目フレーム及び当該注目フレームの周辺の媒体フレームを明瞭に見せる場合には、透過度モデルＡ２を用いることで実現することができる。ここで、透過度モデルＡ２は、下記式（９）により表される曲線パターンである。なお、「β」は透過度を調整するためのスケーリング係数である。
【００６０】
【数４】
2008276410.tif 000006
【００６１】
また、注目フレームのみを不透明とし、当該注目フレーム以外の媒体クレームを均一に透過させて見せる場合には、透過度モデルＡ３を用いることで実現することができる。ここで、透過度モデルＡ３は、下記式（１０）、（１１）により表される曲線パターンである。なお、「Ｔｍａｘ」、「Ｔｍｉｎ」はそれぞれ透過度の最大値、最小値を表し、「ｄｔｈ」は曲線パターンを制御するためのパラメータである。
【００６２】
【数５】
2008276410.tif 000007
【００６３】
媒体フレーム画像処理部１５は、各媒体フレームの透過度の設定に際し、上述した透過度モデルＡ１〜Ａ３から一の透過度モデルを選択することで、各媒体フレームに貼り付けられた映像フレームの透過度を設定・変更する。このような画像処理を行うことで、注目フレームを明瞭に見せるとともに、当該注目フレーム以外の媒体フレームをうっすらと見せることができるため、注目フレームを強調しつつ、他の媒体フレームも同時にユーザに見せることができるという効果を奏する。
【００６４】
なお、上記透過度モデルに係る関係式は、ＲＯＭ２又は記憶部５に予め記憶されているものとし、媒体フレーム画像処理部１５は、ＲＯＭ２又は記憶部５に記憶された関係式に基づいて上記透過度モデルに準じた画像処理（透過処理）を行うものとする。また、透過度パターンの設定については、透過度モデルＡ１〜Ａ３の例に限らず、任意の関数を設定することが可能である。
【００６５】
図６に戻り、媒体フレーム画像処理部１５は、画像処理後の媒体フレーム画像を対応する媒体フレームに貼り付けることで、媒体フレーム画像を表示部６に表示させる。（ステップＳ３４）。
【００６６】
次いで、媒体フレーム画像処理部１５は、全ての媒体フレームについてステップＳ３２〜３４の処理を施したか否かを判定し、未処理の媒体フレームがあると判定した場合には（ステップＳ３５；Ｎｏ）、ステップＳ３１へと再び戻り、該当する媒体フレームを処理対象とする。また、ステップＳ３５において、全ての媒体フレーム画像についてステップＳ３２〜３４の処理を施したと判定した場合には（ステップＳ３５；Ｙｅｓ）、図３のステップＳ１９へと移行する。
【００６７】
図３に戻り、注目フレーム決定部１４は、全ての媒体フレームを注目フレームとして処理したか否かを判定する（ステップＳ１９）。ここで、未処理の媒体フレームが存在すると判定した場合には（ステップＳ１９；Ｎｏ）、ステップＳ１７へと戻り、次の媒体フレームを注目フレームとして決定する。また、全ての媒体フレームを注目フレームとして処理したと判定した場合には（ステップＳ１９；Ｙｅｓ）、ステップＳ２０の処理へと移行する。
【００６８】
以下、図９を参照して、注目フレーム決定部１４による注目フレームの遷移について説明する。注目フレーム決定部１４は、複数の媒体フレームから一の媒体フレームを注目フレームとして順次選択して行くことで、各媒体フレームが順次注目対象となるよう制御する。ここで、注目フレームとする媒体フレームの決定順序は、媒体フレームに対応する映像フレームの映像時間の時系列順に決定してゆくことが好ましい。
【００６９】
例えば、図９で示した媒体フレームＭのように、仮想空間Ｖ内の画面左上（最奥）から右下（最前）にかけて時間経過を表すよう映像フレームが割り当てられていたとすると、最奥に配置された媒体フレームＭから、最前の媒体フレームＭにかけて順次注目フレームＭ’として決定していく。このように、映像フレームの時間軸上の順序に応じて注目フレームを遷移させることで、媒体フレーム画像が空間的に移動しながら見えるとともに、注目フレーム周辺の媒体フレームに貼り付けられた媒体フレーム画像もおぼろげに見えるという効果を得ることができる。
【００７０】
なお、注目フレームの遷移速度、即ち、注目フレームとする媒体フレームの切り替え速度は、任意であるものとするが、例えば、各媒体フレームに割り当てられた媒体フレーム画像間の映像時間の間隔に応じて切り替える態様としてもよいし、等しい時間間隔で切り替える態様としてもよい。さらには、注目フレームの遷移により、媒体フレーム画像がアニメーション的に動いて見える時間間隔で切り替えることがより好ましい。
【００７１】
図３に戻り、ステップＳ２０では、媒体フレーム設定部１３が、全ての部分動画像を処理対象としたか否かを判定する（ステップＳ２０）。ここで、処理対象としていない部分動画像が存在すると判定した場合には（ステップＳ２０；Ｎｏ）、ステップＳ１４の処理へと再び戻り、該当する部分動画像を処理対象とする。
【００７２】
一方、ステップＳ２０において、部分動画像決定部１２が、全ての部分動画像を処理対象としたと判定した場合には（ステップＳ２０；Ｙｅｓ）、本処理は終了する。
【００７３】
なお、図３のフローチャートでは、ステップＳ１４〜Ｓ１９の処理を各部分動画像につき一度行う態様としたが、これに限らず、繰り返し行う態様としてもよい。また、この場合、媒体フレーム画像処理部１５による画像処理結果をビデオ画像蓄積部１６に格納し、再度利用することで画像処理にかかる負担を軽減することが可能となる。
【００７４】
以上のように、本実施形態によれば、映像データから抜粋した関連性を有する複数の映像フレームを、時系列順に同時に表示することができるとともに、各映像フレームを順次強調表示させることができる。これにより、映像データの時間的な流れを明確に表すことができるとともに、各映像フレームにユーザの意識を向けさせることが可能となるため、時間的な前後関係といった映像の流れをユーザに意識させることができる。
【００７５】
なお、媒体フレーム画像処理部１５による媒体フレームの配置については、ビデオ画像蓄積部１６から取得したビデオ画像の解析結果を媒体フレームの配置に利用することも可能である。例えば、媒体フレームに対応する映像フレームについて、前後の映像フレームから動き情報を抽出し、最も大きな動き成分に基づいて、媒体フレームの配置位置を決定する態様としてもよい。この配置方法によれば、パンやチルトといったビデオ画像全体の動きパラメータはカメラパラメータと見なせるため、そのカメラの動きを反映した媒体フレームの配置を実現することができる。
【００７６】
図１０は、カメラの動きを反映した媒体フレームＭの配置を説明するための図である。例えば、横方向にパンしたビデオ画像でシーンを作成した場合、画面横方向の動きベクトルが抽出できるため、各媒体フレームＭを動きベクトルと同じ横方向にシフトさせた位置に配置することになる。この配置にて注目フレームＭ’の遷移のための画像処理を施すことで、パンをしたビデオ画像が時系列に横方向に流れると同時に、前後の映像フレームを残せるため、臨場感を高めることができる。
【００７７】
また、背景は固定で登場キャラクタが動いている場合には、図１１に示したように、ビデオ画像の前後の映像フレームから動き情報を抽出することで、対象物体の動きを検出することができる。例えば、Ｙ軸方向にジャンプしているような物体の場合、媒体フレームＭの配置もＹ軸方向にシフトを繰り返す軌跡のサムネイルを作成することができる。このように、ビデオ画像に登場するキャラクタの動きが媒体フレームＭ全体のレイアウトで確認することができるため、従来のビデオ画像の再生にはない新しい表現が可能となる。
【００７８】
また、本実施形態では、注目フレームから当該注目フレーム以外の他の媒体フレームまでの各距離に応じて、各媒体フレームに割り当てられた映像フレームに透過処理を施す態様としたが、これに限らないものとする。例えば、注目フレームに割り当てられた映像フレームから当該注目フレーム以外の他の媒体フレームに割り当てられた映像フレームまでの映像時間の各時間差に応じて、各媒体フレームに割り当てられた映像フレームに透過処理を施す態様としてもよい。
【００７９】
この場合、図８に示した透過度モデルを表すグラフの横軸を、注目フレームに割り当てられた映像フレームの映像時間から、他の媒体フレームに割り当てられた映像フレームの映像時間までの時間差とすることで、上記と同様に注目フレームの媒体フレーム画像を強調する画像処理を、各媒体フレームの媒体フレーム画像に施すことが可能となる。
【００８０】
［第２の実施形態］
次に、第２の実施形態の画像処理装置について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与しその説明を省略する。
【００８１】
図１２は、本実施形態の画像処理装置１００の機能的構成を示したブロック図である。図１２に示したように、画像処理装置１００は、プロセッサ１が記憶部５に記憶された所定のプログラムに従って各部を制御することにより、第１の実施形態で説明した媒体フレーム画像処理部１５に替えて、媒体フレーム画像処理部１７を備える。
【００８２】
媒体フレーム画像処理部１７は、第１の実施形態で説明した各媒体フレームの透過処理に加え、各媒体フレームにブラー（ぼかし処理）を施す。以下、媒体フレーム画像処理部１７の動作について説明する。
【００８３】
図１３は、媒体フレーム画像処理部１７により実行される画像処理の手順を示したフローチャートである。なお、本処理は、図３の画像処理（ステップＳ１８）に対応するものである。
【００８４】
まず、媒体フレーム画像処理部１７は、媒体フレームの中から一の媒体フレームを処理対象として選択する（ステップＳ４１）。次いで、媒体フレーム画像処理部１８は、ステップＳ１７で決定された注目フレームから、処理対象となった媒体フレームまでの３次元距離ｄを算出する（ステップＳ４２）。
【００８５】
続いて、媒体フレーム画像処理部１７は、ステップＳ４２で算出された注目フレームから媒体フレームまでの３次元距離ｄの値に応じて、処理対象の媒体フレームに割り当てられた媒体フレーム画像の透過度を設定する（ステップＳ４３）。なお、透過度の設定は第１の実施形態で説明した手法と同様であるため、詳細な説明は省略する。
【００８６】
続いて、媒体フレーム画像処理部１７は、ステップＳ４１で算出された３次元距離ｄの値に応じて、処理対象の媒体フレームに割り当てられた媒体フレーム画像にぼかし処理を施す（ステップＳ４４）。
【００８７】
ステップＳ４４で実行されるぼかし処理は、上述した透過度の設定と同様の手法により制御が行われるものとする。具体的には、図１４に示したように、３次元距離ｄとぼかし強度とが一義的に対応付けられたぼかしモデルＡ４〜Ａ６を用いることで、各媒体フレームに施すぼかし処理の強度を制御することができる。なお、モデルＡ４〜Ａ６を表す関係式は、上述した式（７）〜（１１）と同様であるため、その説明は省略する。また、ぼかしモデルＡ４〜Ａ６を表す関係式は、ＲＯＭ２又は記憶部５に予め記憶されているものとする。
【００８８】
図１４において、グラフの縦軸はぼかし処理の強度を表しており、「０．０」がぼかし処理を施さないことを意味し、この数値が上がるほどぼかし処理の強度が上昇することを意味している。つまり、注目フレーム周囲の媒体フレームにはぼかし処理を施さず、注目フレームから離れた媒体フレームほど、ぼかし処理を強めるといった制御を行うことができる。また、媒体フレーム画像処理部１７が行うぼかし処理の具体的な適用手法としては、ＦＦＴ（高速フーリエ変換）等の周波数解析技術を利用したローパスフィルタや、３×３、５×５等といったブロックサイズのカーネルフィルタを用いた画像フィルタ等を適用することができる。
【００８９】
図１３に戻り、媒体フレーム画像処理部１７は、画像処理後の媒体フレーム画像を対応する媒体フレームに貼り付けることで、媒体フレーム画像を表示部６に表示させる。（ステップＳ４５）。
【００９０】
次いで、媒体フレーム画像処理部１７は、全ての媒体フレームについてステップＳ４２〜４５の処理を施したか否かを判定し、未処理の媒体フレームがあると判定した場合には（ステップＳ４６；Ｎｏ）、ステップＳ４１へと再び戻り、該当する媒体フレームを処理対象とする。また、ステップＳ４６において、全ての媒体フレームについてステップＳ４２〜４５の処理を施したと判定した場合には（ステップＳ４６；Ｙｅｓ）、図３のステップＳ１９へと移行する。
【００９１】
以上のように、本実施形態によれば、映像データから抜粋した関連性を有する複数の映像フレームを、時系列順に同時に表示することができるとともに、各映像フレームを順次強調表示させることができる。これにより、映像データの時間的な流れを明確に表すことができるとともに、各映像フレームにユーザの意識を向けさせることが可能となるため、時間的な前後関係といった映像の流れをユーザに意識させることができる。
【００９２】
また、注目フレームとの３次元距離ｄに応じて、各媒体フレーム画像にぼかし処理を施すことで、注目フレーム周辺以外の媒体フレーム上の映像のコントラストは落ち、注目フレーム周辺の映像がくっきり見えるといった効果を得ることができる。また、ぼかし処理により、透過処理が施されたフレームが重なった場合に、各媒体フレーム上の映像が同時に見えることで発生するゴースト現象（同じ物体が同時に異なる場所で見える現象）を低減させることができるため、部分動画像全体の見え方を向上させることができる。
【００９３】
なお、各媒体フレーム画像に対するぼかし処理の変形例として、特定の方向にぼかし処理を施すよう制御する態様としてもよい。例えば、図１５に示したように、注目フレームＭ’の重心から媒体フレームＭの重心に向かうベクトル（方位ベクトル）と同じ方位に、ぼかし処理の方向性を制御することで、注目フレームと媒体フレームとの配置関係をよりユーザに意識させることができる。
【００９４】
また、図１６に示したように、時間的に隣接する媒体フレーム間の配置関係に基づいて、ぼかし処理の方向を決定する態様としてもよい。この場合、媒体フレーム画像のぼかしの方向性によって、媒体フレーム相互の配置関係をユーザにより意識させることができる。さらに、映像フレームが映像時間の時系列順に媒体フレームに割り当てられている場合には、各映像フレーム間の映像時間の時間差の大小関係に応じてぼかし処理の強度を変化させる態様としてもよい。この場合、図８で示したグラフの横軸を、媒体フレーム間の距離又は映像時間の時間差とすることで、上記と同様に制御することが可能となり、媒体フレーム間の配置関係をユーザに意識させるとともに、時間の経過を意識させることができる。
【００９５】
また、媒体クレームが存在する仮想空間のカメラ視点（レンダリング視点）と、各媒体フレームとの配置関係によってぼかし処理の方向性を決定する態様としてもよく、例えば、図１７に示したように、カメラ視点ＶＰから媒体フレームＭ面への投影ベクトル用いることで実現することができる。ここでカメラ視点ＶＰとは、仮想空間Ｖを表示する際の視点となる位置を意味しており、当該視点から見た媒体フレームＭの配置が、表示部６に表示されることになる。
【００９６】
この場合、図１４で示したグラフの横軸を、カメラ視点ＶＰと各媒体フレームＭとの距離とすることで、仮想空間Ｖ内に配置した媒体フレームＭの配置を変化させることなく、カメラ視点ＶＰの位置を変更（媒体フレームの集まりを回転させた場合も同様）するのみで、注目フレームＭ'を中心とした画像処理を各媒体フレームの媒体フレーム画像に施すことができる。
【００９７】
なお、方位性を有したぼかし処理の処理方法としては、公知の技術を利用することが可能であり、例えば、異方性のあるブロックを用いた異方性フィルタリング（例えば、J.Loviscach,  Motion  Blur  for  Texture  by  Means  of  Anisotropic  Filtering,  Eurographics  Symposium  on  Rendering,  pp.105-110(2005)等参照）や、イメージベースのぼかし処理手法（例えば、G.  Brostow  et  al.,  Image-based  motion  blur  for  stop  motion  animation,  Proceedings  of  the  28th  annual  conference  on  Computer  graphics  and  interactive  techniques,  pp.561-566(2001)等参照）を利用することができる。
【００９８】
また、本実施形態では、透過処理（ステップＳ４３）の後にぼかし処理（ステップＳ４４）を施す態様としたが、各処理を行う順序はこれに限らないものとする。具体的には、ステップＳ４３とステップＳ４４とを入れ替えた態様としてもよい。
【００９９】
また、本実施形態では、透過処理（ステップＳ４３）とぼかし処理（ステップＳ４４）とを施す態様としたが、これに限らず、例えば、各媒体フレームが重ならないよう配置されるような場合には、ぼかし処理のみを行う態様としてもよい。この場合、ステップＳ４３の処理を取り除いた画像処理を施すことになる。
【０１００】
また、本実施形態では、注目フレームから当該注目フレーム以外の他の媒体フレームまでの各距離に応じて、各媒体フレームに割り当てられた映像フレームに透過処理及びぼかし処理を施す態様としたが、これに限らないものとする。例えば、注目フレームに割り当てられた映像フレームから当該注目フレーム以外の他の媒体フレームに割り当てられた映像フレームまでの映像時間の各時間差に応じて、各媒体フレームに割り当てられた映像フレームに透過処理及び／又はぼかし処理を施す態様としてもよい。
【０１０１】
この場合、図８、１４に示したグラフの横軸を、注目フレームに割り当てられた映像フレームの映像時間から、他の媒体フレームに割り当てられた映像フレームの映像時間までの時間差とすることで、上記と同様に注目フレームの媒体フレーム画像を強調する画像処理を、各媒体フレームの媒体フレーム画像に施すことが可能となる。
【０１０２】
［第３の実施形態］
次に、第３の実施形態の画像処理装置について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与しその説明を省略する。
【０１０３】
図１８は、本実施形態の画像処理装置１００の機能的構成を示したブロック図である。図１８に示したように、画像処理装置１００は、プロセッサ１が記憶部５に記憶された所定のプログラムに従って各部を制御することにより、第１の実施形態で説明した媒体フレーム画像処理部１５に替えて、媒体フレーム画像処理部１８を備える。
【０１０４】
媒体フレーム画像処理部１８は、第１の実施形態で説明した画像処理（透過処理）に加え、注目フレームと媒体フレームとの配置関係に応じたブラー（ぼかし処理）を各媒体フレーム画像に施す。また、媒体フレーム画像処理部１８は、ぼかし処理の実行に際して、注目フレームと媒体フレームとが画面上で重なっているか否かを判定し、重なると判定した場合、重なり部分の媒体フレーム画像の特徴を保持するようぼかし処理を施す。以下、媒体フレーム画像処理部１８の動作について説明する。
【０１０５】
図１９は、媒体フレーム画像処理部１８により実行される画像処理の手順を示したフローチャートである。なお、本処理は、図３の画像処理（ステップＳ１８）に対応するものである。
【０１０６】
まず、媒体フレーム画像処理部１８は、媒体フレームの中から一の媒体フレームを処理対象として選択する（ステップＳ５１）。次いで、媒体フレーム画像処理部１８は、ステップＳ１７で決定された注目フレームから、処理対象となった媒体フレームまでの３次元距離を算出する（ステップＳ５２）。
【０１０７】
続いて、媒体フレーム画像処理部１８は、ステップＳ５２で算出された注目フレームから各媒体フレームまでの３次元距離の値に応じて、処理対象の媒体フレームに割り当てられた媒体フレーム画像の透過度を設定する（ステップＳ５３）。なお、透過度の設定は第１の実施形態で説明した手法と同様であるため、詳細な説明は省略する。
【０１０８】
次に、媒体フレーム画像処理部１８は、注目フレームから処理対象となった媒体フレームへの方位を表す方位ベクトルを算出する（ステップＳ５４）。ここで、方位ベクトルの算出は、例えば、注目フレームの重心位置から、処理対象となった媒体フレームの重心位置に向かうベクトルを方位ベクトルとして定義することができる。なお、各媒体フレームの形状が同一であれば、両フレームの左上位置等同一位置を結ぶベクトルから算出する態様としてもよい。
【０１０９】
次いで、媒体フレーム画像処理部１８は、注目フレーム上に処理対象となった媒体フレームが重なっているか否かを判定する（ステップＳ５５）。注目フレーム及び媒体フレームの双方が四辺形オブジェクトである場合、画面に投影した注目フレームのＸＹ領域と媒体フレームのＸＹ領域とのＡＮＤを取ることで、両フレームが重なるか否かを判定することができる。また、媒体フレームを構成するＣＧオブジェクトが球や円柱といった一般形状である場合、その媒体フレームを包含するバウンディングボックスの画面投影領域について交差判定を行うことで、両フレームが重なるか否かを判定することができる。
【０１１０】
ステップＳ５５において、注目フレーム上に媒体フレームが重なっていないと判定した場合には（ステップＳ５５；Ｎｏ）、媒体フレーム画像処理部１８は、ステップＳ５４で算出された方位ベクトルに従い、処理対象の媒体フレームに割り当てられた媒体フレーム画像について、当該媒体フレーム画像に含まれる全画素或いは所定のブロック画素単位で、方向性を有するぼかし処理を施した後（ステップＳ５６）、ステップＳ６１の処理へと移行する。
【０１１１】
一方、ステップＳ５５において、注目フレーム上に媒体フレームが重なっていると判定した場合には（ステップＳ５５；Ｙｅｓ）、媒体フレーム画像処理部１８は、注目フレームと処理対処の媒体フレームとの位置のずれ量を、シフト量Ｓとして算出する（ステップＳ５７）。次いで、媒体フレーム画像処理部１８は、重なり部分に対応する注目フレーム上の媒体フレーム画像の特徴を表した参照フレームを生成する（ステップＳ５８）。
【０１１２】
ここで、図２０を参照し、参照フレームの生成について説明する。なお、図２０は、参照フレームの生成について説明するための図である。まず、媒体フレーム画像処理部１８は、注目フレームＭ’と処理対処の媒体フレームＭとのＸ、Ｙ軸方向の位置のずれ量を、シフト量Ｓとして算出する。このシフト量Ｓについては、ステップＳ５４で求めた方位ベクトルを画面上（Ｘ、Ｙ平面）に投影したベクトル量として求めることができる。
【０１１３】
次いで、媒体フレーム画像処理部１８は、媒体フレームのサイズと同サイズのフレーム内において、注目フレームと処理対象の媒体フレームとの重なり部分に相当する領域に、注目フレーム上の媒体フレーム画像をシフト量Ｓだけシフトさせた画像を貼り付け、このフレームを参照フレームＲとして生成する。ここで、生成された参照フレームＲ上の各位置は、処理対象となった媒体フレームＭ上の各位置と関係付けられている。
【０１１４】
そして、媒体フレーム画像処理部１８は、生成した参照フレームＲを、ビデオ画像蓄積部１６に格納することで、参照フレームＲに含まれる全画素を次段の処理時に参照可能な状態とする。なお、参照フレームＲのうち、重なり部分に相当する領域以外には画像が存在しないことになるが、その領域には画素値０が設定されるものとする。
【０１１５】
図１９に戻り、媒体フレーム画像処理部１８は、参照フレームＲに貼り付けられた画像（画素）の特徴量を抽出する（ステップＳ５９）。具体的には、ラプラシアン法に基づくエッジ検出アルゴリズムを適用し、画像のエッジ抽出を行う。エッジ抽出の手法としては、カニーフィルタ等の任意の手法を適用することが可能である。また、参照フレームＲは、エッジ強度を表す１次元要素の画像に変換してもよいし、画像の色成分毎にエッジ抽出処理を行い、得られたエッジ強度値をビデオ画像蓄積部１６に格納してもよい。
【０１１６】
続いて、媒体フレーム画像処理部１８は、ステップＳ５４で算出された方位ベクトルと、ステップＳ６０で抽出された特徴量とに基づいて、処理対象の媒体フレームに割り当てられた媒体フレーム画像にぼかし処理を施す（ステップＳ６０）。具体的には、媒体フレームに貼り付けられた映像フレームの画素単位で、方位ベクトル及び参照フレームの特徴量に基づいた塗りつぶし処理を行う。
【０１１７】
以下、図２１、２２を参照して、ステップＳ６０のぼかし処理について説明する。なお、図２１は、ステップＳ６０のぼかし処理（塗りつぶし処理）を説明するための図である。
【０１１８】
媒体フレーム画像処理部１８は、処理対象の媒体フレームに割り当てられた媒体フレーム画像の画素毎に方位ベクトル（ここでは、画面全体で一様な方位ベクトルを適用する）を定義した際に、各画素にかかる方位ベクトルの寄与度を、方位ベクトル全体の長さで正規化した重みＷｂｌｕｒとして算出し、方位ベクトルの起点となる画素の画素値を各画素に順次足し込んでいく。ただし、参照フレームから抽出した特徴量の大きな部分、即ち注目フレームの媒体フレーム画像からシフトさせた画像のエッジ部分については、注目フレームの対応する画素値が優位になるよう設定する。
【０１１９】
具体的に、媒体フレームの各画素における重みＷｂｌｕｒは、下記式（１２）、（１３）により算出することができる。
【０１２０】
【数６】
2008276410.tif 000008
【０１２１】
なお、式（１２）、（１３）において「Ｌ」は処理の対象となっている画素を横切る方位ベクトル分の長さを意味し、「Ｓ」は方位ベクトル全体の長さを意味している。また、関数Ｍはエッジ強度の補正関数であり、下記式（１３）で表される非線形関数を用いることができる。なお、「Ｗｄｅｔａｉｌ」は参照フレームにおけるエッジ強度を意味し、γは補正係数である。
【０１２２】
【数７】
2008276410.tif 000009
【０１２３】
ここで、図２２は、上記式（１４）により表される曲線パターンを示している。γによる補正係数の変更により、参照フレームにおけるエッジを保持して、ぼかし効果をなくしたり、逆にぼかし効果を強調したりといった具合にぼかし効果を調整することができる。
【０１２４】
また、媒体フレーム上における各画素値Ｃｓ（ｘ、ｙ）は、下記式（１５）により求めることができる。なお、Ｃｖは方位ベクトルの起点となる画素値を意味し、δは補正係数である。また、Ｃｒ（ｘ、ｙ）は媒体フレームにおける画素値、つまり、注目フレーム上の対応する画素値を意味する。
【０１２５】
【数８】
2008276410.tif 000010
【０１２６】
以上の計算を全ての画素毎に算出することで、注目フレームにおける重なり部分の映像フレームの特性を保持したぼかし処理を、処理対象の媒体フレームに割り当てられた媒体フレーム画像に施すことができる。
【０１２７】
図１９に戻り、媒体フレーム画像処理部１８は、画像処理後の媒体フレーム画像を対応する媒体フレームに貼り付けることで、媒体フレーム画像を表示部６に表示させる。（ステップＳ６１）。
【０１２８】
次いで、媒体フレーム画像処理部１８は、全ての媒体フレームについてステップＳ５２〜６１の処理を施したか否かを判定し、未処理の媒体フレームがあると判定した場合には（ステップＳ６２；Ｎｏ）、ステップＳ５１へと再び戻り、該当する媒体フレームを処理対象とする。また、ステップＳ６２において、全ての媒体フレームについてステップＳ５２〜６１の処理を施したと判定した場合には（ステップＳ６２；Ｙｅｓ）、図３のステップＳ１９へと移行する。
【０１２９】
この際、画面上で複数の媒体フレームが重なる箇所に着目すると、時間経過とともに注目フレームと当該注目フレームに重なる映像フレームとが時系列的に切り替わることになる。ビデオ画像において、動物体のぼかし映像（ぼかし処理を施した映像フレーム）と通常映像（未処理の映像フレーム）とを組み合わせることで、通常映像のコントラストが上昇するという知見が得られている（例えば、T.Takeuchi  and  K.De  Valois,  Motion  sharpening  in  moving  natural  images,  Journal  of  Vision,  Vol.2,p.377,(2002)等参照）。
【０１３０】
ユーザの注目する媒体フレーム（媒体フレーム画像）を移動させることで知覚される注目フレームに重なる周辺の媒体フレーム画像は画像相関の高い画像であるため、ぼけた映像（コントラストの低い映像）が動いているのと等価になる。一方で背後にある注目フレームはコントラストが高いため、ぼかし処理を施した媒体フレーム画像との関係から、コントラストの増強効果を得ることができる。つまり、媒体フレーム間の重なりを意識させることなく、且つ、注目フレームの媒体フレーム画像を強調するという効果を得ることができる。
【０１３１】
以上のように、本実施形態によれば、映像データから抜粋した関連性を有する複数の映像フレームを、時系列順に同時に表示することができるとともに、各映像フレームを順次強調表示させることができる。これにより、映像データの時間的な流れを明確に表すことができるとともに、各映像フレームにユーザの意識を向けさせることが可能となるため、時間的な前後関係といった映像の流れをユーザに意識させることができる。
【０１３２】
また、注目フレーム上に重なった部分については、注目フレームの画像のエッジが保持されるようにぼかし処理を施すことで、注目フレームを手前に位置する媒体フレームの映像に妨げられることなく見せることが可能となる。また、最終的に得られるぼかし画像は、注目フレームの特徴を保持しているため、ぼかし効果とともに注目フレームの映像成分が効果的に反映されるという効果を得ることができる。
【０１３３】
以上、発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加等が可能である。また、上述した第１〜第３の実施形態の何れか又は全てを組み合わせて用いることが可能である。
【０１３４】
なお、第１〜第３の実施形態の画像処理装置で実行されるプログラムは、ＲＯＭ２又は記憶部５に予め組み込まれて提供するものとするが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、記録媒体は、コンピュータ或いは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記録媒体も含まれる。
【０１３５】
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーションシステム）た、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処理の一部を実行してもよい。
【０１３６】
また、第１〜第３の実施形態の画像処理装置で実行されるプログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよく、インターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【図面の簡単な説明】
【０１３７】
【図１】画像処理装置のハードウェア構成を示した図である。
【図２】第１の実施形態における画像処理装置の機能構成を示した図である。
【図３】代表画像表示処理の手順を示したフローチャートである。
【図４】媒体フレームの配置例を示した図である。
【図５】媒体フレームの配置例を示した図である。
【図６】第１の実施形態における画像処理の手順を示したフローチャートである。
【図７】注目フレームと媒体フレームとの関係を示した図である。
【図８】透過度モデルを示した図である。
【図９】注目フレームの遷移を説明するための図である。
【図１０】媒体フレームの配置例を示した図である。
【図１１】媒体フレームの配置例を示した図である。
【図１２】第２の実施形態における画像処理装置の機能構成を示した図である。
【図１３】第２の実施形態における画像処理の手順を示したフローチャートである。
【図１４】ぼかしモデルを示した図である。
【図１５】注目フレームと媒体フレームとの関係を示した図である。
【図１６】媒体フレーム間の関係を示した図である。
【図１７】媒体フレームとカメラ視点との関係を示した図である。
【図１８】第３の実施形態における画像処理装置の機能構成を示した図である。
【図１９】第３の実施形態における画像処理の手順を示したフローチャートである。
【図２０】参照フレームを説明するための図である。
【図２１】ぼかし処理を説明するための図である。
【図２２】エッジ強度の補正関数により表される曲線パターンを示した図である。
【符号の説明】
【０１３８】
１００  画像処理装置
１  プロセッサ
２  ＲＯＭ
３  ＲＡＭ
４  映像入力部
５  記憶部
６  表示部
７  操作部
８  バス
１１  フレーム決定部
１２  部分動画像決定部
１３  媒体フレーム設定部
１４  注目フレーム決定部
１５  媒体フレーム画像処理部
１６  ビデオ画像蓄積部
１７  媒体フレーム画像処理部
１８  媒体フレーム画像処理部
【図１】
2008276410.tif 000011
【図２】
2008276410.tif 000012
【図３】
2008276410.tif 000013
【図４】
2008276410.tif 000014
【図５】
2008276410.tif 000015
【図６】
2008276410.tif 000016
【図７】
2008276410.tif 000017
【図８】
2008276410.tif 000018
【図９】
2008276410.tif 000019
【図１０】
2008276410.tif 000020
【図１１】
2008276410.tif 000021
【図１２】
2008276410.tif 000022
【図１３】
2008276410.tif 000023
【図１４】
2008276410.tif 000024
【図１５】
2008276410.tif 000025
【図１６】
2008276410.tif 000026
【図１７】
2008276410.tif 000027
【図１８】
2008276410.tif 000028
【図１９】
2008276410.tif 000029
【図２０】
2008276410.tif 000030
【図２１】
2008276410.tif 000031
【図２２】
2008276410.tif 000032