(57)【特許請求の範囲】
【請求項１】
ビデオデータ又はオーディオデータの特徴を示す特徴パラメータ、又は、上記ビデオデータ又はオーディオデータにリンクする付随パラメータを、上記ビデオデータとともに取得する取得手段と、
上記取得手段により取得された上記特徴パラメータ又は上記付随パラメータを表示軸とする表示空間内において、上記特徴パラメータに示される特徴値又は上記付随パラメータに示される付随値から変換されるものの、前後の仮想距離が予め定められた所定の最小値よりも大きい場合には、上記仮想距離に基づく上記仮想距離よりも短い距離及び予め定められた所定の最大値の小さい一方を用いて補正された座標パラメータの時間的変化を利用して、上記ビデオデータ又は上記オーディオデータに対応する表示ウィンドウを上記表示空間内で動的に表示させるように、上記特徴パラメータ又は上記付随パラメータ、及び上記座標パラメータをもとに、メタデータを生成するメタデータ生成手段と
を備える画像処理装置。
【請求項２】
上記ビデオデータをエンコードしてビデオストリームを生成するビデオエンコーダを更に備える
請求項１に記載の画像処理装置。
【請求項３】
上記メタデータ生成手段により生成された上記メタデータを、上記エンコーダにより生成された上記ビデオストリームとともに記録媒体に記録する記録手段を更に備える
請求項２に記載の画像処理装置。
【請求項４】
上記記録媒体に記録された上記メタデータと上記ビデオストリームとを、当該ビデオストリームを再生する再生装置に送信する送信手段を更に備える
請求項３に記載の画像処理装置。
【請求項５】
上記表示空間は、３つの異なる上記特徴パラメータ又は上記付随パラメータを表示軸とする３次元の表示空間を含む
請求項１に記載の画像処理装置。
【請求項６】
ビデオデータ又はオーディオデータの特徴を示す特徴パラメータ、又は、上記ビデオデータ又はオーディオデータにリンクする付随パラメータを、上記ビデオデータとともに取得する取得ステップと、
上記取得ステップにおいて取得した上記特徴パラメータ又は上記付随パラメータを表示軸とする表示空間内において、上記特徴パラメータに示される特徴値又は上記付随パラメータに示される付随値から変換されるものの、前後の仮想距離が予め定められた所定の最小値よりも大きい場合には、上記仮想距離に基づく上記仮想距離よりも短い距離及び予め定められた所定の最大値の小さい一方を用いて補正された座標パラメータの時間的変化を利用して、上記ビデオデータ又はオーディオデータに対応する表示ウィンドウを上記表示空間内で動的に表示させるように、上記特徴パラメータ又は付随パラメータ、及び上記座標パラメータをもとに、メタデータを生成するメタデータ生成ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、人・物や風景などの被写体を、撮像装置を用いて撮像し、撮像した静止画をＪＰＥＧ規格又はＪＰＥＧ２０００規格等で圧縮して記録メディアに保存している。そして、記録メディアとしては、撮像装置に内蔵されている内蔵メモリ、撮像装置と着脱可能なリムーバブルメディアなどが存在する。
【０００３】
そして、ユーザは、コンピュータなどを用いて、記録メディアに保存された静止画データを、ハードディスクや光ディスクなどの大容量記録メディアにまとめて保存（アーカイブ）している。さらに、近年では、ネットワーク技術の進歩により、高帯域回線・高速回線といったブロードバンド回線が比較的普及している状況である。ユーザは、このようなブロードバンド回線を利用して、データ量の多い静止画を、電子メールで送信したり、一般的なＷｅｂサイト及び個人や数人のグループで運営・更新される日記的なＷｅｂサイト（Ｂｌｏｇ：ブログ）などに掲載したりしている。
【０００４】
上記のような様々な利用形態を想定して、ユーザは、画像管理ソフトウェアなどを用いて、大容量記録メディアに保存された多数の静止画を、閲覧・検索しやすいように、撮像日時等で分類分けをしながらして管理している。そして、ユーザは、必要に応じて、画像編集ソフトウェアを用いて、目的の静止画を編集している。
【０００５】
また、地上波ディジタル放送・ディジタル衛星放送等により提供される番組、ネットワーク配信等により提供される番組を、ハードディスクや光ディスクなどの大容量記録メディア記録し、必要に応じて視聴するコンピュータやセットトップボックスも存在する。
【０００６】
ユーザは、このように記録した番組を視聴する場合に、多数の番組の中から特定の番組を検索した上で、検索した特定の番組中の特定のシーンだけを視聴したい場合が考えられる。この場合、多数の番組を録画日時・番組カテゴリ（スポーツ・ドラマ・報道等）で分類分けして表示するとともに、各番組の各シーンの先頭画面を静止画像によりサムネイルとして表示して、ユーザの選択により対応するシーンを再生する。
【０００７】
以上のように、静止画データや録画した番組データの数が増えるほど、多数のデータの中から特定のデータを検索することが困難になることから、ユーザにとって分かりやすく・使い勝手のよい表示形態に関する技術が提案されている（例えば、特許文献１〜特許文献３参照）。さらに、静止画自体を解析し、解析して得られた特徴量に応じて、表示画面上に分類して配置する表示形態も存在する。
【特許文献１】ＷＯ２０００／０３３４５５号公報。
【特許文献２】ＷＯ２０００／０３３５７０号公報。
【特許文献３】ＷＯ２０００／０３３５７２号公報。
【０００８】
しかしながら、従来の表示形態では、撮像日時・録画日時・カテゴリ等により、静止画データや番組データを単純に分類して表示するだけでは、静止画データや録画した番組データの数が膨大になる場合には、ユーザにとって分かりやすく・使い勝手のよい表示形態としては不十分である。
【０００９】
さらに、扱う対象のデータが動画（ビデオデータ）である場合に、ユーザにとって分かりやすく・使い勝手のよい表示形態として、具体的にどのように分類・配置するのか等に関する技術は提案されていない。また、従来の表示形態では、動画全体がどのような特徴を有しているのか、ユーザの求める特定のシーンが動画全体のどこに含まれているのか等をユーザにとって直感的に認識させるには、使い勝手が悪いという問題があった。
【発明の開示】
【００１０】
本発明は、以上の点を考慮してなされたもので、ビデオデータに対する検索や管理等を容易に実行させる画像処理装置及び画像処理方法を提案する。
【００１１】
かかる課題を解決するため本発明は、ビデオデータ又はオーディオデータ特徴を示す特徴パラメータ、又は、ビデオデータ又はオーディオデータにリンクする付随パラメータを、ビデオデータともに取得し、当該取得した特徴パラメータ又は付随パラメータを表示軸とする表示空間内において、特徴パラメータに示される特徴値又は付随パラメータに示される付随値から変換されるものの、前後の仮想距離が予め定められた所定の最小値よりも大きい場合には、仮想距離に基づく当該仮想距離よりも短い距離及び予め定められた所定の最大値の小さい一方を用いて補正された座標パラメータの時間的変化を利用して、ビデオデータ又はオーディオデータに対応する表示ウィンドウを表示空間内で動的に表示させるように、特徴パラメータ又は付随パラメータ、及び座標パラメータをもとに、メタデータを生成するようにした。
【００１２】
従って本発明は、メタデータに基づいてビデオデータの特徴の変化を、ユーザにとって分かりやすい表示ウィンドウの動きとして表現すると共に、シーンチェンジ等により表示ウィンドウが大きくジャンプするような場合でも、一気にジャンプさせずに段階的に距離を詰めて移動させてユーザに対し容易に目で追わせることができ、ビデオデータの特徴をユーザに対し直感的に認識させることができる。
【００１３】
本発明によれば、ビデオデータ又はオーディオデータ特徴を示す特徴パラメータ、又は、ビデオデータ又はオーディオデータにリンクする付随パラメータを、ビデオデータともに取得し、当該取得した特徴パラメータ又は付随パラメータを表示軸とする表示空間内において、特徴パラメータに示される特徴値又は付随パラメータに示される付随値から変換されるものの、前後の仮想距離が予め定められた所定の最小値よりも大きい場合には、仮想距離に基づく当該仮想距離よりも短い距離及び予め定められた所定の最大値の小さい一方を用いて補正された座標パラメータの時間的変化を利用して、ビデオデータ又はオーディオデータに対応する表示ウィンドウを表示空間内で動的に表示させるように、特徴パラメータ又は付随パラメータ、及び座標パラメータをもとに、メタデータを生成するようにしたことにより、メタデータに基づいてビデオデータの特徴の変化を、ユーザにとって分かりやすい表示ウィンドウの動きとして表現すると共に、シーンチェンジ等により表示ウィンドウが大きくジャンプするような場合でも、一気にジャンプさせずに段階的に距離を詰めて移動させてユーザに対し容易に目で追わせることができ、ビデオデータの特徴をユーザに対し直感的に認識させることができるので、ビデオデータに対する検索や管理等を容易に実行させることができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明における画像処理装置の構成を示す略線的ブロック図である。
【図２】図２は、本実施の形態による編集画面の構成を示す略線図である。
【図３】図３は、画像群を示す略線図である。
【図４】図４は、マイクロプロセッサ及びＧＰＵによるビデオデータの表示機能を実現する第１構成例を示す略線的ブロック図である。
【図５】図５は、マイクロプロセッサ及びＧＰＵによるビデオデータの表示機能を実現する第２構成例を示す略線的ブロック図である。
【図６】図６は、マイクロプロセッサ及びＧＰＵによるビデオデータの表示機能を実現する第３構成例を示す略線的ブロック図である。
【図７】図７は、メタデータ抽出部の構成を示す略線的ブロック図である。
【図８】図８は、平均値算出部の処理の説明に供する略線図である。
【図９】図９は、動き検出部の処理の説明に供する略線図である。
【図１０】図１０は、動き検出部の他の構成例を示す略線的ブロック図である。
【図１１】図１１は、動き情報算出部の処理の説明に供する略線図である。
【図１２】図１２は、周波数分析部の構成例を示す略線的ブロック図である。
【図１３】図１３は、細かさ情報算出部の処理の説明に供する略線図である。
【図１４】図１４は、ＨＬＳ空間の説明に供する略線図である。
【図１５】図１５は、メタデータファイルの具体的内容を示す略線図である。
【図１６】図１６は、ビデオデータを構成するピクチャ（静止画像）の表示処理手順を示すフローチャートである。
【図１７】図１７は、３次元表示空間の表示軸を示す略線図である。
【図１８】図１８は、ＤＣＴ横周波数軸寄りに配置された画像群のズームアップ表示例を示す略線図である。
【図１９】図１９は、Ｒ軸寄りに配置された画像群のズームアップ表示例を示す略線図である。
【図２０】図２０は、Ｇ軸寄りに配置された画像群のズームアップ表示例を示す略線図である。
【図２１】図２１は、ビデオデータの表示処理手順を示すフローチャートである。
【図２２】図２２は、複数のビデオデータに対する表示処理手順を示すフローチャートである。
【図２３】図２３は、表示ウィンドウの動きの説明に供する略線図である。
【図２４】図２４は、座標補正処理手順を示すフローチャートである。
【図２５】図２５は、シーンチェンジを示す略線図である。
【図２６】図２６は、シーンチェンジのときの表示ウィンドウの移動の説明に供する略線図である。
【図２７】図２７は、再配置処理手順を示すフローチャートである。
【図２８】図２８は、再配置前後の画像群を示す略線的斜視図である。
【図２９】図２９は、グループ表示処理の説明に供する略線図である。
【図３０】図３０は、グループ表示処理手順を示すフローチャートである。
【図３１】図３１は、表示ウィンドウを固定したまま３次元表示空間を動かしたときの表示例（１）を示す略線図である。
【図３２】図３２は、表示ウィンドウを固定したまま３次元表示空間を動かしたときの表示例（２）を示す略線図である。
【図３３】図３３は、表示ウィンドウを固定したまま３次元表示空間を動かしたときの表示例（３）を示す略線図である。
【図３４】図３４は、表示ウィンドウを固定したビデオデータの表示処理手順を示すフローチャートである。
【図３５】図３５は、拡大表示ウィンドウにおける表示例を示す略線図である。
【図３６】図３６は、全軌跡表示モードの表示パターン（１）を示す略線図である。
【図３７】図３７は、軌跡表示処理手順を示すフローチャートである。
【図３８】図３８は、過去側の軌跡表示を示す略線図である。
【図３９】図３９は、未来側の軌跡表示を示す略線図である。
【図４０】図４０は、全軌跡表示を示す略線図である。
【図４１】図４１は、全軌跡表示モードの表示パターン（２）を示す略線図である。
【図４２】図４２は、全軌跡表示モードの表示パターン（３）を示す略線図である。
【図４３】図４３は、全軌跡表示モードの表示パターン（４）を示す略線図である。
【図４４】図４４は、代表的なシーンを用いた軌跡表示例を示す略線図である。
【図４５】図４５は、シーンチェンジを含む軌跡表示例を示す略線図である。
【図４６】図４６は、移動速度の制御例を示す略線図である。
【図４７】図４７は、タイムコードを付加した軌跡表示例を示す略線図である。
【図４８】図４８は、表示ウィンドウの制御処理の説明に供する略線図である。
【図４９】図４９は、他の実施の形態における２次元表示空間の説明に供する略線図である。
【図５０】図５０は、他の実施の形態における４次元表示空間を示す略線図である。
【図５１】図５１は、他の実施の形態におけるつまみの動きと連動した表示ウィンドウの移動表示処理の説明に供する略線図である。
【図５２】図５２は、適用可能なアプリケーションの例の説明に供する略線図である。
【図５３】図５３は、付随パラメータを利用した場合の表示例（１）を示す略線図である。
【図５４】図５４は、付随パラメータを利用した場合の表示例（２）を示す略線図である。
【図５５】図５５は、付随パラメータを利用した場合の表示例（３）を示す略線図である。
【発明を実施するための最良の形態】
【００１５】
以下、図面について、本発明の一実施の形態を詳述する。
【００１６】
（１）本実施の形態による画像処理システムの構成
図１に示すように、１は全体として本実施の形態による画像処理システムを示し、大きく分けて画像処理装置２、記憶装置２２及び複数台のビデオテープレコーダ２３１〜２３ｎ等から構成されている。
【００１７】
この画像処理システム１においは、ビデオテープに記録されたＡＶ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）データの一部又は全部をクリップとして、画像処理装置２を介してＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ  Ａｒｒａｙｓ  ｏｆ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｄｉｓｋｓ）でなる大容量の記憶装置２２に取り込んだり、或いはビデオテープに記録された静止画データについても記憶装置２２に取り込んだりするようになされている。
【００１８】
また、この画像処理システム１では、記憶装置２２に取り込まれたＡＶデータを所望状態につなぎ合わせて所望の編集映像音声を得るための編集内容を規定した編集リストを作成でき、さらにこの作成した編集リストに従って実際に編集処理を実行し、その結果得られたＡＶデータを新たなクリップとして記憶装置２２に蓄積したり、ビデオテープレコーダ２３１〜２３ｎを介してビデオテープに記録したりするようになされている。
【００１９】
この場合、画像処理システム１においては、マイクロプロセッサ３に対してＧＰＵ４、ＸＤＲ（Ｅｘｔｒｅｍｅ  Ｄａｔａ  Ｒａｔｅ）−ＲＡＭ５及びサウスブリッジ６が接続されると共に、当該サウスブリッジ６にハードディスク装置７、ＵＳＢインタフェース８及びサウンド入出力コーデック９が接続されている。このサウンド入出力コーデック９にはスピーカ４１が接続されている。
【００２０】
また、サウスブリッジ６には、ＰＣＩバス１５を介してマウス３８、キーボード３９、ビデオテープレコーダ２３１〜２３ｎ、記憶装置２２及び操作コントローラ３７が接続されている。なお、ＧＰＵ４にはディスプレイ４０が接続されている。
【００２１】
ところで、マイクロプロセッサ３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の基本プログラムを実行する汎用のメインＣＰＵコア３Ｍと、当該メインＣＰＵコア３Ｍに内部バス１２を介して接続された複数（この場合８個）のＲＩＳＣ（Ｒｅｄｕｃｅｄ  Ｉｎ−ｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）タイプの信号処理プロセッサ（以下、これをサブＣＰＵコアと呼ぶ）３ＳＡ〜３ＳＨと、例えば２５６［ＭＢｙｔｅ］の容量を持つＸＤＲ−ＲＡＭ５に対するメモリコントロールを行うメモリコントローラ１３と、サウスブリッジ６との間でデータの入出力を管理するＩ／Ｏ（Ｉｎ／Ｏｕｔ）コントローラ１４とが１チップに集積されたマルチコア構成でなり、例えば動作周波数４［ＧＨｚ］を実現している。
【００２２】
この画像処理システム１のマイクロプロセッサ３は、主にＭＰＥＧ２、、Ｈ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）等のコーデックの役割を担い、デコードした結果得られるビデオデータの再生映像をＧＰＵ４へデータ転送したり、ビデオデータの再生映像に対する再生速度（後述する）等の設定を変更したり、静止画データをＧＰＵ４へデータ転送したり、或いは物理演算等を行うようになされている。
【００２３】
特に、マイクロプロセッサ３では、８個のサブＣＰＵコア３ＳＡ〜３ＳＨが、ビデオデータをエンコードして得られたビデオストリームに対するデコーダの役割をそれぞれ担い、当該８個のサブＣＰＵコア３ＳＡ〜３ＳＨがＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）のビデオストリームを並列的にデコードすることが可能である。
【００２４】
また、メインＣＰＵコア３Ｍは、８個のサブＣＰＵコア３ＳＡ〜３ＳＨが行う以外の処理や管理を行うようになされており、サウスブリッジ６を介してマウス３８、キーボード３９或いは操作コントローラ３７から供給された命令を受け付け、当該命令に応じた種々の処理を実行する。
【００２５】
このようにマイクロプロセッサ３は、８個のサブＣＰＵコア３ＳＡ〜３ＳＨによって同並列的にビデオストリームをデコードすることができるようになされており、かつマイクロプロセッサ３とＧＰＵ４との間を帯域幅の大きなバス１０により例えば最大３０［Ｇｂｙｔｅ／ｓｅｃ］の転送速度でデータ転送し得るようになされているため、多くの高精細なビデオストリームをデコードして短時間にデータ転送し得るようになされている。
【００２６】
一方、ＧＰＵ４は、ディスプレイ４０に表示するビデオデータの再生映像を動かすときのテクスチャの張り込みなどに関する最終的なレンダリング処理に加えて、ビデオデータの再生映像及び静止画データの静止画像をディスプレイ４０に表示するときの座標変換計算処理や、ビデオデータ再生映像及び静止画データの静止画像に対する拡大・縮小処理等を行う機能を有し、マイクロプロセッサ３の処理負担を軽減させるようになされている。
【００２７】
実際上、マイクロプロセッサ３は、起動時、ハードディスク装置７に格納された制御プログラムに基づき、当該ハードディスク装置７に格納されている必要なアプリケーションプログラムを読み出してＸＤＲ−ＲＡＭ５に展開し、この後このアプリケーションプログラム及びユーザ操作に基づいて必要な制御処理を実行する。
【００２８】
マイクロプロセッサ３は、マウス３８、キーボード３９或いは操作コントローラ３７がユーザによって操作され、ビデオテープに記録されたＡＶストリームを記憶装置２２に取り込むためのクリップ取込みウィンドウの表示命令が入力されると、これに応動してハードディスク装置７を制御することにより、当該表示命令に対応するＡＶデータを読み出させる一方、これと併せてＧＰＵ４を制御することにより、このＡＶデータに基づく上述のクリップ取込みウィンドウをディスプレイ４０に表示させる。
【００２９】
また、マイクロプロセッサ３は、この状態でマウス３８、キーボード３９或いは操作コントローラ３７がユーザによって操作され、ビデオテープレコーダ２３１〜２３ｎに対する再生動作命令が入力されると、これに応動してビデオテープレコーダ２３１〜２３ｎを制御することにより、ビデオテープに記録されたＡＶデータに対する再生動作を実行させる。
【００３０】
この結果、このビデオテープレコーダ２３１〜２３ｎからは、当該ビデオテープレコーダ２３１〜２３ｎに装填されたビデオテープから再生されるＡＶストリームが出力されて、ＰＣＩバス１５、サウスブリッジ６及びマイクロプロセッサ３を順次介してＧＰＵ４に与えられる。
【００３１】
ＧＰＵ４は、マイクロプロセッサ３の制御のもとに、供給されたビデオデータに対して所定の信号処理を施し、その結果得られた映像データをディスプレイ４０へ送出することにより、当該映像データに基づく再生映像をクリップ取込みウィンドウ内の所定位置に表示させる。一方、マイクロプロセッサ３は、ＡＶデータから抽出した音声信号をサウンド入出力コーデック９を介してスピーカ４１へ送出することにより、当該音声信号に基づく音声をスピーカ４１から出力させる。
【００３２】
かくしてユーザは、ディスプレイ４０に表示されたビデオデータの再生映像及びスピーカ４１から出力されるオーディオデータの再生音声に基づいて、マウス３８、キーボード３９或いは操作コントローラ３７を用いて再生映像及び再生音声の所望部分を指定することができ、さらにその映像音声部分をクリップとしてそのイン点及びアウト点のタムコードや素材長、クリップＩＤ、クリップ名、そのＡＶデータの撮影日時、そのクリップの作成日時等の管理情報をメタデータとして登録することができる。そしてこのメタデータとして登録されたそのクリップの管理情報が、マイクロプロセッサ３の制御のもとに、ハードディスク装置７内のクリップ管理情報データベースに登録される。
【００３３】
また、マイクロプロセッサ３は、後述するが、上述のようなクリップの管理情報だけに限らず、ＡＶデータを構成しているビデオデータが有する種々のパラメータの特徴量を抽出し、これらをメタデータファイルとして登録しておくようになされている。
【００３４】
また、マイクロプロセッサ３は、この後マウス３８、キーボード３９或いは操作コントローラ３７が操作されて、そのＡＶストリームの取込み命令が入力されると、これに応動してビデオテープレコーダ２３１〜２３ｎを制御することにより、指定されたＡＶストリームの再生動作を実行させる。
【００３５】
この結果、ビデオテープレコーダ２３１〜２３ｎからは、ビデオテープから再生されたＡＶストリームに含まれるビデオストリームやオーディオストリームが出力され、そのうちビデオストリームがＰＣＩバス１５、サウスブリッジ６、マイクロプロセッサ３及びバス１０を順次介してＧＰＵ４に与えられる。
【００３６】
一方、ユーザは、この後マウス３８、キーボード３９或いは操作コントローラ３７を用いた所定操作により編集作業を行うための編集画面（後述する）をディスプレイ４０に表示させることができ、この編集画面を用いてどのクリップとどのクリップとをどのように繋ぎ合わせるかといった編集内容を規定した編集リストを作成することができる。またユーザは、編集リストの作成後又は作成途中において、その編集リストに基づく編集映像及び編集音声を確認することができるようになされている。
【００３７】
そして、マイクロプロセッサ３は、編集リストが作成された後マウス３８が操作されてその編集リストの登録命令が入力された場合には、その編集リストにおいて規定された全てのユーザによる設定の編集データをファイル化してハードディスク装置７内の編集リストデータベースに登録する。
【００３８】
また、マイクロプロセッサ３は、編集リストの作成後又は作成途中において、マウス３８、キーボード３９或いは操作コントローラ３７が操作されて、その編集リストに基づく編集映像音声の再生命令が入力されると、これに応動して記憶装置２２を制御することにより、必要なＡＶストリームに含まれるビデオストリーム及びオーディオストリームを記憶装置２２に読み出させる。
【００３９】
かくして、この記憶装置２２から読み出されたＡＶストリームに含まれるビデオストリーム及びオーディオストリームがＰＣＩバス１５、サウスブリッジ６、マイクロプロセッサ３及びバス１０を順次介してＧＰＵ４に与えられ、この後マイクロプロセッサ３の制御のもとに、当該ＧＰＵ４において必要に応じて映像特殊効果加工処理が施される。
【００４０】
そして、ＧＰＵ４は、マイクロプロセッサ３の制御のもとに、供給されるビデオデータに対して映像特殊効果加工処理を施すことにより得られたビデオデータに対して所定の信号処理を施し、その結果得られたビデオ信号をディスプレイ４０へ送出する。
【００４１】
一方、マイクロプロセッサ３は、ＡＶデータに含まれるビデオデータ及びオーディオデータのうち、オーディオデータに対して音声ミキシング処理を施し、その結果得られた音声データを、サウンド入出力コーデック９を介してスピーカ４１へ送出する。
【００４２】
この結果、編集画面内の所定位置にビデオデータの再生映像が表示され、スピーカ４１から音声データの再生音声が出力される。このようにして、この画像処理システム１においては、編集リストに基づく再生映像及び再生音声をユーザに目視確認させながら編集作業を実行させ得るようになされている。
【００４３】
従って、画像処理システム１では、画像処理装置２のマイクロプロセッサ３及びＧＰＵ４により、ディスプレイ４０に表示した編集画面の再生映像に対して、特殊効果の施された映像表示処理を実行し得ると共に、種々の拡張操作や編集処理を実行し得るようになされている。
【００４４】
ところで、マイクロプロセッサ３における８個のサブＣＰＵコア３ＳＡ〜３ＳＨで同時並列的にデコードされたビデオデータは、バス１０を介してＧＰＵ４へデータ転送されるのだが、このときの転送速度は例えば最大３０［Ｇｂｙｔｅ／ｓｅｃ］であり、特殊効果の施された複雑なビデオデータであっても高速かつ滑らかに表示し得るようになされている。
【００４５】
（２）ビデオデータに対する表示
画像処理システム１においては、編集モードとビューモードとが存在し、編集モードでは上述したような編集映像データを生成する等の編集処理を実行するのに対し、ビューモードでは記憶装置２２に格納された大量の動画ＡＶデータや静止画ＡＶデータをオペレータが容易に管理又は検索するための分類表示を実行するようになされている。
【００４６】
（２−１）編集画面の表示内容
画像処理装置２のマイクロプロセッサ３は、マウス３８、キーボード３９或いは操作コントローラ３７がユーザにより操作されて編集画面を表示すべき命令が入力されると、ハードディスク装置７及びＧＰＵ４を制御することによりビューモードに遷移し、図２に示すような編集画面５０をディスプレイ４０に表示させる。
【００４７】
この編集画面５０は、クリップ一覧表示部５１、ストーリーボード部５２、タイムライン部５３及びエフェクト情報表示部５４と、この編集画面５０に固有の機能を有する表示部５５とから構成される。なお、編集画面５０の場合、後述のように編集作業は主として表示部５５を用いて行われるため、ストーリーボード部５２及びタイムライン部５３は補助的に設けられている。
【００４８】
この場合、クリップ一覧表示部５１には、その画像処理装置２に登録されている各種ビン及びファイルの中から所望の１つのビン又はファイルを選択して、そのビン又はファイルに収納されているＡＶデータ一覧を表示させることができるようになされている。
【００４９】
そして、ユーザは、これらクリップ一覧表示部５１に一覧表示された動画ＡＶデータの中から所望のＡＶデータを選択し、これを表示部５５にドラッグアンドドロップすることによって、そのＡＶデータの先頭画像（ビデオデータであればその先頭の静止画像）を写し出した表示ウィンドウＷ５７を表示部５５内に複数表示させることができる。
【００５０】
また、ユーザは、その状態で表示ウィンドウＷ５７をクリックすることによって、かかるドラッグアンドドロップされたＡＶデータの再生処理を画像処理装置２に対して開始させ、その再生映像を表示部５５に表示させることや、その表示された再生映像を早送り、巻き戻し又は停止等させることができる。
【００５１】
かくして、ユーザは、表示部５５に表示される複数の表示ウィンドウＷ５７を介してＡＶデータに含まれるビデオデータの再生映像を目視確認しながら、所望のフレームを探索し、その動画ＡＶデータから切り取るべき映像音声部分の開始点（以下、イン点）及び終了点（以下、アウト点）をそれぞれ指定することができる。
【００５２】
そして、画像処理装置２のマイクロプロセッサ３は、このようにしてイン点及びアウト点が指定されたことにより編集モードに遷移すると、イン点及びアウト点が指定されたＡＶデータについて、当該イン点及びアウト点で挟まれるを新たなＡＶデータとして、ユーザのドラッグアンドドロップに応じてストーリーボード部５２に貼り付けることができる。
【００５３】
これにより、編集画面５０においては、編集に使用するＡＶデータのクリップを予めストーリーボード部５２に並べることによって、ユーザが編集結果を容易にイメージし得るようになされている。なお、このときストーリーボード部５２には、貼り付けられた各クリップの先頭画像等に相当する代表画像のサムネイル及び詳細情報が表示される。
【００５４】
そして、ユーザは、この後かかるストーリーボード部５２に貼り付けた各クリップを、それぞれドラッグアンドドロップによりタイムライン部５３のビデオトラック上に並べるように順次貼り付けるようにする。このときビデオトラックには、タイムラインを指標として、貼り付けられたクリップの素材長に応じた長さの帯（図示せず）が表示される。またこのときそのクリップに音声がある場合には、オーディオトラックにおけるタイムライン上の同じ位置に同じ長さの帯（図示せず）が表示される。
【００５５】
ここで、このようにタイムライン部５３のビデオトラックやオーディオトラックに帯が表示されることは、編集映像音声の出力時にタイムライン上で表された時間にその帯に対応するクリップの映像が表示され又は音声が出力されることを意味する。従って、このような操作により編集映像として表示され、又は編集音声として出力されるクリップの映像又は音声を順次規定してなる編集リストを作成することができる。
【００５６】
（２−２）画像群の表示
さらに、画像処理装置２のマイクロプロセッサ３は、クリップ一覧表示部５１に一覧表示された中からユーザによって選択され、表示部５５にドラッグアンドドロップされたＡＶデータを写し出した所定の画枠サイズでなる表示ウィンドウＷ５７を編集画面５０の表示部５５に複数表示することにより画像群５８を提示させ得るようになされている。
【００５７】
また、画像処理装置２のマイクロプロセッサ３は、後からユーザによってクリップ一覧表示部５１から選択してドラッグアンドドロップされたＡＶデータの表示ウィンドウＷ５７については表示部５５に追加することが可能であり、また表示ウィンドウＷ５７に対する選択削除操作に応じて表示部５５から消去することも可能である。
【００５８】
ここで、画像群５８とは、図３に示すように例えばＸ軸に「赤色（Ｒ）」、Ｙ軸に「青色（Ｂ）」及びＺ軸に「輝度」を表示軸のパラメータとする３次元表示空間内において、ビデオデータの先頭のピクチャ（静止画像）もしくは代表的なピクチャ（静止画像）が、ビデオデータが有する特徴量（例えばピクチャ単位又はＧＯＰ単位）に基づいて個々の表示ウィンドウＷ５７上で配置されたものである。
【００５９】
この３次元表示空間におけるそれぞれの表示軸（Ｘ軸、Ｙ軸及びＺ軸）を構成するパラメータとしては、ビデオデータ含むＡＶデータの特徴を示す特徴パラメータである。基本的に、特徴パラメータに示される特徴量は、同一静止画のピクチャが時間的に継続していない限り、ビデオデータを構成するピクチャ毎に異なる。
【００６０】
実際上、編集画面５０の表示部５５では、図３に示したような上述の３次元表示空間の各表示軸を明示的に表示することはないが、この３次元表示空間上に表示ウィンドウＷ５７が配置された結果、画面右下方向には画像群５８のうち、ビデオデータに含まれる赤色レベルの高いピクチャ（静止画像）が映し出された表示ウィンドウＷ５７が配置される。また、画面中央上方向には画像群５８のうち、ビデオデータに含まれる輝度レベルの強いピクチャが映し出された表示ウィンドウＷ５７が配置される。また、画面左下方向には分画像群５８のうち、ビデオデータに含まれる青色レベルの高いピクチャが写し出された表示ウィンドウＷ５７が配置される。これにより、複数のビデオデータを確認するユーザに対して、複数のビデオデータに含まれる明るさや色成分の大まかな傾向（分布）をイメージとして直感的に認識させ得るようになされている。
【００６１】
因みに、この３次元表示空間ではＸ軸の「赤色」、Ｙ軸の「青色」及びＺ軸の「輝度」について原点からプラス方向だけの象現が用いられており、その象現に相当する空間に複数の表示ウィンドウＷ５７が配置されている。但し、これに限るものではなく、Ｘ軸、Ｙ軸及びＺ軸について原点からマイナス方向をも含めた全ての象現に複数の表示ウィンドウＷ５７が配置されることも可能である。
【００６２】
ところで、画像処理装置２のマイクロプロセッサ３では、画像群５８のうちビデオデータに対して、表示ウィンドウＷ５７内で所定のフレーム周波数に従った更新速度により順次表示さるピクチャを更新し、動画の再生映像として表示させることができる。
【００６３】
その際、画像処理装置２のマイクロプロセッサ３は、画像群５８のうちビデオデータを構成するピクチャを更新する度にその特徴量も変化するので、当該特徴量に応じて表示ウィンドウＷ５７を３次元表示空間内で再配置することにより、あたかもビデオデータの表示ウィンドウＷ５７を３次元表示空間上で移動させながら表示し得るようになされている。
【００６４】
なお、画像処理装置２では、ピクチャに対する更新速度を変更することによりビデオデータの再生速度を調整することも可能であり、更新速度を上げれば早送り再生することができるので表示ウィンドウＷ５７の移動速度が上がって３次元表示空間上を高速移動させることになる。逆に、更新速度を下げれば表示ウィンドウＷ５７の移動速度が下がって３次元表示空間上をあたかも浮遊するかのように低速移動させることになる。
【００６５】
更に、画像処理装置２は、表示ウィンドウＷ５７内のビデオデータを巻き戻し再生することも可能であり、そのときには３次元表示空間上をこれまでとは逆方向に当該表示ウィンドウＷ５７を移動表示させ得るようになされている。因みに、画像処理装置２は、順方向又は逆方向への表示ウィンドウＷ５７の移動表示中にユーザ所望のタイミングで停止させて、停止させたタイミングに対応するピクチャ（静止画像）を表示させることもできる。
【００６６】
（２−３）ビデオデータの表示
続いて、画像処理装置２では、ビデオデータを構成しているピクチャに対して、ピクチャの特徴量を示す特徴パラメータをメタデータとして予め抽出しておき、ビデオデータの再生映像を表示ウィンドウＷ５７に表示する際に、ピクチャを更新する際の各ピクチャの特徴量に従って当該表示ウィンドウＷ５７を３次元仮想空間上に再配置する。これにより、その表示ウィンドウＷ５７を移動表示するための構成を、マイクロプロセッサ３及びＧＰＵ４による機能ブロックとして説明する。
【００６７】
ここでは、ビデオデータを構成している個々のピクチャから特徴パラメータを予めメタデータとして抽出しておき、それを用いてビデオデータを表示する第１構成例、ビデオデータを構成している個々のピクチャからメタデータを生成しながら、それを用いてビデオデータを表示する第２構成例、ビデオデータをエンコードして記録する際に特徴パラメータをメタデータとして生成しながら、それを用いてビデオデータを表示する第３構成例の合計３種類について説明する。
【００６８】
（２−３−１）第１構成例
図４に示すように、メタデータ抽出部６１は、ビデオデータを含むＡＶデータまれる種々の特徴量を示す特徴パラメータを抽出し、これらをビデオデータに対するピクチャ単位又は複数ピクチャ単位（例えばＧＯＰ単位）のメタデータファイルＭＤＦとしてメタデータデータベース（以下、これをメタデータＤＢと呼ぶ）６２に登録する。
【００６９】
一方、圧縮画像生成部６３は、メタデータ抽出部６１を介して供給されたビデオデータの各ピクチャを圧縮して、メイン・ビデオストリームＨＤ１として後段のビデオデータベース（以下、これをビデオＤＢと呼ぶ）６４に登録すると共に、ビデオデータにおける各ピクチャの画素数を所定の割合で間引き、その結果得られる画素数の少ないサブ・画像としてのサブ・ビデオストリームＬＤ１をビデオＤＢ６４に登録するようになされている。
【００７０】
これにより、ビデオＤＢ６４は、画素数を間引くことのないメイン・ビデオストリームＨＤ１と、画素数が間引かれたサブ・ビデオストリームＬＤ１との双方をビデオデータ単位又は所定時間単位で蓄積することが出来るので、マイクロプロセッサ３が３次元表示空間上の配置場所に応じて画枠サイズの小さな表示ウィンドウＷ５７に表示するときにはサブ・ビデオストリームＬＤ１を用いたり、ときに拡大表示する際にはメイン・ビデオストリームＨＤ１を用いたり、等の使い分けが出来るようになされている。
【００７１】
続いて、表示空間制御部６６は、表示部５５に表示されたＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）６５を介してユーザにより指定された３次元表示空間の生成に用いられる表示軸のパラメータを認識したり、ユーザに対して画像群５８を表示する際の視点座標を認識したり、ユーザにより選択されたＡＶデータを当該３次元表示空間に対する配置対象として用いることを決定する等の表示に関する種々の決定を行うようになされている。
【００７２】
従って、表示空間制御部６６は、その決定結果に基づき画像群５８（図３）として表示部５５に表示すべきビデオデータを構成する複数のピクチャに対するフレーム番号をメタデータＤＢ６２へ出力することにより、当該メタデータＤＢ６２からフレーム番号に対応したピクチャの特徴パラメータをメタデータとしてメタデータファイルＭＤＦを読み出させて座標計算部６７へ送出させる。
【００７３】
また、表示空間制御部６６は、その決定結果に基づきビデオＤＢ６４に対してもビデオデータを構成する複数のピクチャに対するフレーム番号を出力することにより、ビデオデータの再生映像を表示ウィンドウＷ５７に表示する場合にはフレーム番号に対応したサブ・ビデオストリームＬＤ１をデコーダ６８へ送出させ、ビデオデータの再生映像を拡大表示する場合には、そのフレーム番号に対応したメイン・ビデオストリームＨＤ１をデコーダ６８へ送出させるようになされている。
【００７４】
デコーダ６８は、ビデオＤＢ６４から供給されたサブ・ビデオストリームＬＤ１、メイン・ビデオストリームＨＤ１をデコードし、その結果得られるデコード後のサブ・ビデオデータ、メイン・ビデオデータを画像表示部６９へ送出する。
【００７５】
座標計算部６７は、表示空間制御部６６から供給された特徴パラメータを表示空間の表示軸に設定し、特徴パラメータを３次元表示空間内の座標（座標パラメータ）に計算により変換し、変換した座標パラメータの値に応じて３次元表示空間内の配置位置を決定する。そして、３次元表示空間内に配置されるべき複数の表示ウィンドウＷ５７からなる画像群５８に対する視点座標及び各表示ウィンドウＷ５７の配置場所に基づいて、それぞれの表示ウィンドウＷ５７の表示サイズを決定し、これら各表示ウィンドウＷ５７の表示に関する種々の情報（表示パラメータ）を画像表示部６９へ受け渡す。
【００７６】
画像表示部６９は、座標計算部６７から受け渡された座標パラメータを利用して、デコーダ６８から供給されたサブ・ビデオデータを配置すべき当該３次元表示空間上の３次元座標位置に基づいて、当該サブ・ビデオデータに対応する表示ウィンドウＷ５７を３次元表示空間上に配置する。これら一連の処理を、他のビデオデータに対応する表示ウィンドウＷ５７に対しても実行した後、これら複数の表示ウィンドウＷ５７の座標パラメータを表示部５５の２次元座標位置（表示位置パラメータ）に変換して表示することにより、複数の表示ウィンドウＷ５７からなる画像群５８を表示部５５に対して提示する。
【００７７】
（２−３−２）第２構成例
図４との対応部分に同一符号を付して示す図５において、表示空間制御部６６は、表示部５５に表示されたＧＵＩ６５を介してユーザにより指定された３次元表示空間の表示軸に設定された特徴パラメータを認識したり、ユーザに対して画像群５８を表示する際の視点座標を認識したりする。さらに、表示空間制御部６６は、ユーザにより選択されたビデオデータを当該３次元表示空間に対する配置対象として用いることを決定する等の表示に関する種々の決定を行い、その情報を座標計算部６７へ送出する。
【００７８】
従って、表示空間制御部６６は、その決定結果に基づきビデオＤＢ６４に対しても、ビデオデータを構成する複数のピクチャに対するフレーム番号を出力することにより、ビデオデータの再生映像を表示ウィンドウＷ５７に表示する場合には、フレーム番号に対応したサブ・ビデオストリームＬＤ１をデコーダ６８へ送出させ、ときにビデオデータの再生映像を拡大表示する場合には、そのフレーム番号に対応したメイン・ビデオストリームＨＤ１をデコーダ６８へ送出させる。
【００７９】
因みに、このビデオＤＢ６４には、第１構成例と同様に、画素数を間引くことのなくエンコードされたメイン・ビデオストリームＨＤ１と、画素数が間引かれてエンコードされたサブ・ビデオストリームＬＤ１との双方が予め蓄積されている。
【００８０】
デコーダ６８は、ビデオＤＢ６４から供給されたサブ・ビデオストリームＬＤ１、メイン・ビデオストリームＨＤ１をデコードし、その結果得られるデコード後のメイン・ビデオデータをメタデータ抽出部６１へ送出し、サブ・ビデオデータを画像表示部６９へ送出する。
【００８１】
メタデータ抽出部６１は、デコーダ６８から供給されたメイン・ビデオデータに含まれる特徴パラメータをメタデータとして抽出し、抽出したメタデータをメタデータファイルＭＦとしてメタデータＤＢ６２に登録すると共に、当該メタデータファイルＭＤＦを座標計算部６７へ送出する。
【００８２】
座標計算部６７は、表示空間制御部６６から供給された特徴パラメータを表示軸に設定した３次元表示空間を計算により生成し、各表示ウィンドウＷ５７に表示するビデオデータの特徴パラメータの示す特徴量を３次元表示空間内の座標パラメータに変換し、座標パラメータの値に応じて３次元表示空間内の配置場所を決定する。そして、座標計算部６７は、３次元表示空間内に配置されるべき複数の表示ウィンドウＷ５７からなる画像群５８に対する視点座標及び各ウィンドウ画面の配置場所に基づいて、それぞれの表示ウィンドウＷ５７の表示サイズ（表示パラメータ）を決定し、これら各表示ウィンドウＷ５７の表示に関する種々の情報（表示パラメータ）を画像表示部６９へ受け渡す。
【００８３】
画像表示部６９は、座標計算部６７から受け渡された表示パラメータを基に、デコーダ６８から供給されたサブ・ビデオデータを配置すべき当該３次元表示空間内の３次元座標位置（座標パラメータ）に基づいて、当該サブ・ビデオデータに対応する表示ウィンドウＷ５７を３次元表示空間内に配置する。これら一連の処理を、他のビデオデータに対応する表示ウィンドウＷ５７に対しても実行した後、複数の表示ウィンドウＷ５７の３次元座標位置を表示部５５の２次元座標位置（表示位置パラメータ）に変換して表示することにより、複数の表示ウィンドウＷ５７からなる画像群５８を表示部５５に対して提示する。
【００８４】
（２−３−３）第３構成例
図５との対応部分に同一符号を付して示す図６において、表示空間制御部６６は、表示部５５に表示されたＧＵＩ６５を介してユーザにより指定された３次元表示空間の表示軸に設定された特徴パラメータを認識したり、ユーザに対して画像群５８を表示する際の視点座標を認識したりする。さらに、表示空間制御部６６は、ユーザにより選択されたビデオデータを３次元表示空間に対する配置対象として用いることを決定する等の表示に関する種々の決定を行い、その情報を座標計算部６７へ送出する。
【００８５】
従って、表示空間制御部６６は、その決定結果に基づき、メタデータ及びビデオデータベース（以下、これをメタデータ・ビデオＤＢと呼ぶ）７０に対して、ビデオデータを構成している複数のピクチャに対応したフレーム番号を出力する。
【００８６】
このメタデータ・ビデオＤＢ７０は、撮像装置により撮像・エンコードされたメイン・ビデオストリームＨＤ１が登録されていることに加えて、そのメイン・画像データの画素数が間引かれたサブ・ビデオデータをエンコードしたサブ・ビデオストリームＬＤ１についても登録されている。メタデータ・ビデオＤＢ７０は、ビデオデータの再生映像を表示ウィンドウＷ５７に表示する場合には、フレーム番号に対応したサブ・ビデオストリームＬＤ１をデコーダ６８へ送出し、ときにはビデオデータの再生映像を拡大表示する場合には、そのフレーム番号に対応したメイン・ビデオストリームＨＤ１をデコーダ６８へ送出する。
【００８７】
さらに、メタデータ・ビデオＤＢ７０には、メイン・ビデオデータの撮像時に、当該撮像装置に内蔵されているメタデータ抽出部によって抽出されたメイン・ビデオデータに含まれる特徴パラメータについてもメタデータファイルＭＤＦとして登録されている。
【００８８】
従って、メタデータ・ビデオＤＢ７０は、表示空間制御部６６から供給されたフレーム番号に対応した特徴パラメータをメタデータファイルＭＤＦとして座標計算部６７へ送出する。
【００８９】
座標計算部６７は、表示空間制御部６６から供給された特徴パラメータが表示軸に設定された３次元表示空間を計算により生成し、各表示ウィンドウＷ５７に表示すべきビデオデータの特徴パラメータを３次元空間内の座標パラメータに変換して配置位置を決定し、３次元表示空間内に配置される複数の表示ウィンドウＷ５７からなる画像群５８に対する視点座標及び各ウィンドウ画面の配置場所に基づいて、それぞれの表示ウィンドウＷ５７の表示サイズを決定し、これら各表示ウィンドウＷ５７の表示に関する種々の情報を画像表示部６９へ受け渡す。
【００９０】
デコーダ６８は、メタデータ・ビデオＤＢ７０から供給されたサブ・ビデオストリームＬＤ１又はメイン・ビデオストリームＨＤ１をデコードし、その結果得られるデコード後のサブ・ビデオデータ又はメイン・ビデオデータを画像表示部６９へ送出する。
【００９１】
画像表示部６９は、座標計算部６７から受け渡された表示に関する情報を基に、デコーダ６８から供給されたサブ・ビデオデータを配置すべき座標パラメータの値に基づいて、サブ・ビデオデータに対応する表示ウィンドウＷ５７を３次元表示空間内に配置する。さらに、画像表示部６９は、これら一連の処理を、他のビデオデータに対応する表示ウィンドウＷ５７に対しても実行した後、複数の表示ウィンドウＷ５７の３次元座標位置を表示部５５の２次元座標位置（表示位置パラメータ）に変換して表示することにより、複数の表示ウィンドウＷ５７からなる画像群５８を表示部５５に対して提示する。
【００９２】
（２−４）メタデータ抽出部の具体的構成
続いて、上述したメタデータ抽出部６１の具体的な構成について説明する。図７に示すように、このメタデータ抽出部６１では、ビデオデータを構成している各ピクチャの例えば、細かさ（複雑さ）、動きベクトル、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）縦横周波数成分、色成分、音声レベル等による種々の特徴量を含む特徴パラメータを抽出するため、細かさ情報算出部７１、動き検出部７２、ＤＣＴ縦横周波数成分検出部７３、色成分検出部７６、音声検出部８０、輝度色差検出部８３及びメタデータファイル生成部８６によって形成されている。但し、メタデータ抽出部６１は、これら以外のパラメータの特徴量を抽出するための種々の検出部が設けられていても良い。
【００９３】
（２−４−１）細かさ情報算出部の構成
この細かさ情報算出部７１は、平均値算出部１０７１、差分値演算部１０７２及び積算部１０７３から構成されており、平均値算出部１０７１及び差分値演算部１０７２に対してビデオデータが供給される。
【００９４】
平均値算出部１０７１は、ビデオデータのフレームを順次、注目フレームとし、その注目フレームを、例えば、図８に示すように、８×８画素のブロックに分割する。さらに、平均値算出部１０７１は、注目フレームにおける各ブロックの画素値の平均値を求め、これを差分値演算部１０７２へ供給する。
【００９５】
ここで、８×８画素のブロックのラスタスキャン順で、ｋ番目の画素の画素値をＰｋと表した場合、平均値算出部１０７１では、平均値Ｐａｖｅを、次式のＰａｖｅ＝１／（８×８）×ΣＰｋに従って求める。なお、平均値Ｐａｖｅ＝１／（８×８）×ΣＰｋにおけるサメーションΣは、ｋを１から８×８（＝６４）までに変えてのサメーションを表す。
【００９６】
差分値演算部１０７２は、平均値算出部１０７１と同様に、注目フレームを、８×８画素のブロックに分割し、ブロックの各画素値Ｐｋと、平均値算出部１０７１から供給される、そのブロックの画素値の平均値Ｐａｖｅとの差分値の絶対値｜Ｐｋ−Ｐａｖｅ｜を求め、積算部１０７３に供給する。
【００９７】
積算部１０７３は、差分値演算部１０７２から供給されるブロックの各画素について求められた差分値の絶対値｜Ｐｋ−Ｐａｖｅ｜を積算し、積算値Ｑ＝Σ｜Ｐｋ−Ｐａｖｅ｜を求める。ここで、積算値Ｑ＝Σ｜Ｐｋ−Ｐａｖｅ｜におけるサメーションΣは、ｋを、１から８×８（＝６４）までに変えてのサメーションを表す。
【００９８】
さらに、積算部１０７３は、注目フレームのすべてのブロックについて得られた積算値Ｑの総和を求め、これを注目フレームの細かさ情報ＱＳ１としてメタデータファイル生成部８６へ出力する。
【００９９】
なお、注目フレームについて求められる積算値Ｑの総和は、イントラＡＣ（Ｉｎｔｒａ−ＡＣ）と呼ばれるもので、その値が大きいほど、注目フレームにおける画素値にばらつきが大きい。従って、積算値Ｑの総和である細かさ情報ＱＳ１が大きいほど、注目フレームが細かな（複雑な）静止画像であるということになる。
【０１００】
（２−４−２）動き検出部の構成
動き検出部７２（図７）では、図９に示すように動きベクトル検出部１０４１が、前フレームを１６×１６画素のマクロブロックに分割し、前フレームの各マクロブロックについて、そのマクロブロックに最も類似する注目フレームの１６×１６画素のブロック（以下、類似ブロックという）を検出する。そして、動きベクトル検出部１０４１は、マクロブロックの、例えば、左上を始点とすると共に、類似ブロックの左上を終点とするベクトルを、マクロブロックの動きベクトル△Ｆ０（ｈ，ｖ）として求める。
【０１０１】
いま、前フレームの左からｈ番目で、上からｖ番目のマクロブロックの位置をＦ０（ｈ，ｖ）と表すと共に、マクロブロックＦ０（ｈ，ｖ）から、そのマクロブロックＦ０（ｈ，ｖ）の動きベクトル△Ｆ０（ｈ，ｖ）だけ移動した位置の注目フレームの１６×１６画素のブロック、即ち、類似ブロックの位置をＦ１（ｈ，ｖ）と表すこととすると、マクロブロックＦ０（ｈ，ｖ）の動きベクトル△Ｆ０（ｈ，ｖ）は、次式△Ｆ０（ｈ，ｖ）＝Ｆ１（ｈ，ｖ）−Ｆ０（ｈ，ｖ）の差分として表される。
【０１０２】
統計量算出部１０４２は、前フレームのマクロブロックについて求められた動きベクトルの統計量として、例えば、前フレームにおける全てのマクロブロックの動きベクトル△Ｆ０（ｈ，ｖ）の大きさ｜△Ｆ０（ｈ，ｖ）｜の総和Ｄ０＝Σ｜△Ｆ０（ｈ，ｖ）｜を求め、この総和Ｄ０を、注目フレームの動き情報として出力する。
【０１０３】
なお、総和Ｄ０＝Σ｜△Ｆ０（ｈ，ｖ）｜におけるサメーションΣは、ｈを、１から、前フレームの横方向のマクロブロックの数までに変えると共に、ｖを、１から、前フレームの縦方向のマクロブロックの数までに変えてのサメーションを表す。
【０１０４】
ここで、前フレームの各マクロブロックＦ０（ｈ，ｖ）における動きベクトル△Ｆ０（ｈ，ｖ）の大きさが大きいと、その和である動き情報Ｄ０も大きくなる。従って、注目フレームの動き情報Ｄ０が大きい場合には、注目フレームの画像の動きも大きい（激しい）ということになる。
【０１０５】
なお、上述の場合には、前フレームのマクロブロックについて求められた動きベクトルの統計量として、前フレームの全てのマクロブロックにおける動きベクトル△Ｆ０（ｈ，ｖ）の大きさ｜△Ｆ０（ｈ，ｖ）｜の総和Ｄ０＝Σ｜△Ｆ０（ｈ，ｖ）｜を求めるようにしたが、前フレームのマクロブロックについて求められた動きベクトルの統計量としては、その他、例えば、前フレームのマクロブロックについて求められた動きベクトルの分散を採用することが可能である。
【０１０６】
この場合、統計量算出部１０４２では、前フレームの全てのマクロブロックにおける動きベクトル△Ｆ０（ｈ，ｖ）の平均値△ａｖｅが求められ、前フレームの全てのマクロブロックＦ０（ｈ，ｖ）における動きベクトル△Ｆ０（ｈ，ｖ）の分散σ０が、例えば、次式σ０＝Σ（△Ｆ０（ｈ，ｖ）−△ａｖｅ）２を演算することで求められる。
【０１０７】
なお、分散σ０＝Σ（△Ｆ０（ｈ，ｖ）−△ａｖｅ）２におけるサメーションΣは、ｈを、１から、前フレームの横方向のマクロブロックの数までに変えると共に、ｖを、１から、前フレームの縦方向のマクロブロックの数までに変えてのサメーションを表す。
【０１０８】
この分散σ０も、総和Ｄ０と同様に、注目フレームの画像の動きが大きい（激しい）と大きくなる。
【０１０９】
次に、図１０は、図７における動き検出部７２の他の構成例を示し、この動き検出部７２Ａは、ヒストグラム作成部１０５１、ヒストグラム記憶部１０５２及び差分演算部１０５３から構成されている。
【０１１０】
ヒストグラム作成部１０５１には、ビデオデータが供給され、このビデオデータのフレームを、順次、注目フレームとし、注目フレームの画素値のいわば簡略的なヒストグラムを作成し、注目フレームのヒストグラムとして、ヒストグラム記憶部１０５２及び差分演算部１０５３へ供給する。
【０１１１】
ヒストグラム記憶部１０５２は、ヒストグラム作成部１０５１から供給される注目フレームのヒストグラムを記憶する。ここで、ヒストグラム記憶部１０５２は、少なくとも２フレーム分のヒストグラムを記憶することができるだけの記憶容量を有しており、ヒストグラム作成部１０５１から供給される今回の注目フレームに対するヒストグラムと、前回の注目フレーム、即ち、前フレームに対するヒストグラムとを記憶する。
【０１１２】
差分演算部１０５３は、ヒストグラム作成部１０５１から供給される注目フレームに対するヒストグラムと、ヒストグラム記憶部１０５２に記憶された前フレームに対するヒストグラムとの後述する差分絶対値和を求め、注目フレームの動き情報Ｄ０として出力する。
【０１１３】
図１１を参照して、図１０の動き検出部７２Ａの処理について、さらに説明する。ヒストグラム作成部１０５１に供給されるビデオデータの画素値が、例えば、０〜２５５の整数値により表現可能な８ビットで表されるとすると、ヒストグラム作成部１０５１は、０〜２５５の範囲を、例えば、０〜３１，３２〜６３，６４〜９５，９６〜１２７，１２８〜１５９，１６０〜１９１，１９２〜２２３，２２４〜２５５の８つの小範囲に８等分し、各小範囲に含まれる画素値の度数を求めることにより、注目フレームの簡略的なヒストグラムを作成する。
【０１１４】
例えば、いま、第ｉ＋１フレームが注目フレームであるとすると、差分演算部１０５３では、注目フレームである第ｉ＋１フレームと、前フレームである第ｉフレームとのヒストグラムの同一の小範囲における度数同士の差分値の絶対値△（図１１において影を付して示す部分）が求められる。さらに、差分演算部１０５３では、ヒストグラムの８つの小範囲について求められた度数の差分値の絶対値の総和（差分絶対値和）Σ△が求められ、注目フレームの動き情報Ｄ０としてメタデータファイル生成部８６へ出力される。
【０１１５】
ここで、注目フレームの動きが大きい（激しい）場合には、注目フレームの画素値の度数分布は、前フレームの画素値の度数分布と異なるものになる。従って、注目フレームの差分絶対値和Σ△が大きい場合には、注目フレームの画像の動きも大きい（激しい）ということになる。
【０１１６】
（２−４−３）ＤＣＴ縦横周波数成分検出部の構成
次に、図１２は、ＤＣＴ縦横周波数成分検出部７３（図７）における周波数分析部７４の構成例を示している。この周波数分析部７４は、ＤＣＴ変換部１０６１、重み係数算出部１０６２及び積算部１０６３から構成されている。
【０１１７】
ＤＣＴ変換部１０６１には、ビデオデータが供給され、このビデオデータのフレームを、順次、注目フレームとし、注目フレームを、例えば、８×８画素のブロックに分割する。更にＤＣＴ変換部１０６１は、注目フレームの各ブロックをＤＣＴ変換し、各ブロックについて得られる８×８個のＤＣＴ係数を積算部１０６３へ供給する。
【０１１８】
重み係数算出部１０６２は、ブロックの８×８個のＤＣＴ係数それぞれに付す重みを求めて積算部１０６３へ供給する。積算部１０６３は、ＤＣＴ変換部１０６１から供給されるブロックの８×８個のＤＣＴ係数それぞれに、重み係数算出部１０６２から供給される重みを付して積算することにより積算値を求める。更に積算部１０６３は、注目フレームの各ブロックについて求められた積算値の総和を求め、注目フレームの細かさ情報として縦すじ横すじレベル算出部７５（図７）へ送出する。
【０１１９】
図１３を参照して、図１２の周波数分析部７４の処理について更に説明する。図１３左は、ＤＣＴ変換の基底画像を示している。基底画像は、８×８個のパターン（周波数成分）からなり、右側のパターンほど、また下側のパターンほど、高い周波数成分のパターンとなる。
【０１２０】
図１３右はブロックにおける８×８個のＤＣＴ係数のうちの、左からｉ（ｉ＝１，２，・・・，８）番目で、上からｊ（ｊ＝１，２，・・・，８）番目のＤＣＴ係数Ｆ（ｉ−１，ｊ−１）を示し、当該ＤＣＴ係数Ｆ（ｉ−１，ｊ−１）は、基底画像の左からｉ番目で、上からｊ番目のパターンの周波数成分がブロックに含まれている程度（度合い）を表す。
【０１２１】
図１３左の基底画像中に記されている数字は、図１２の重み係数算出部１０６２が算出する重みＧ（ｉ−１，ｊ−１）を示している。この重みＧ（ｉ−１，ｊ−１）は、ＤＣＴ係数Ｆ（ｉ−１，ｊ−１）に付す重みであり、重み係数算出部１０６２は、重みＧ（ｉ−１，ｊ−１）を、例えば式Ｇ（ｉ−１，ｊ−１）＝ｉ×ｊに従って求めるようになされている。これにより重み係数算出部１０６２では、高い周波数成分のＤＣＴ係数Ｆ（ｉ−１，ｊ−１）に付す重みＧ（ｉ−１，ｊ−１）ほど、大きな値の重みが求められる。
【０１２２】
積算部１０６３（図１２）は、ＤＣＴ変換部１０６１から供給されるブロックのＤＣＴ係数Ｆ（ｉ−１，ｊ−１）に、重み係数算出部１０６２から供給される重みＧ（ｉ−１，ｊ−１）を乗算し、乗算値Ｇ（ｉ−１，ｊ−１）×Ｆ（ｉ−１，ｊ−１）を求める。そして積算部１０６３は、ブロックにおける８×８個のＤＣＴ係数Ｆ（ｉ−１，ｊ−１）それぞれについて得られる乗算値Ｇ（ｉ−１，ｊ−１）×Ｆ（ｉ−１，ｊ−１）を積算し、積算値Ｖ＝ΣＧ（ｉ−１，ｊ−１）×Ｆ（ｉ−１，ｊ−１）を求める。ここで積算値Ｖ＝ΣＧ（ｉ−１，ｊ−１）×Ｆ（ｉ−１，ｊ−１）におけるサメーションΣは、ｉ，ｊをそれぞれ１から８までに変えてのサメーションを表す。
【０１２３】
更に積算部１０６３は、注目フレームのすべてのブロックについて得られた積算値Ｖの総和Ｋを求め、これを注目フレームの細かさ情報として縦すじ横すじレベル算出部７５へ出力する。
【０１２４】
ここで注目フレームに高周波成分が含まれるほど、積算値Ｖの総和Ｋである細かさ情報は大きくなるので、注目フレームの画像が細かな（複雑な）静止画像であるということになる。
【０１２５】
ＤＣＴ縦横周波数成分検出部７３の縦すじ横すじレベル算出部７５は、注目フレームのうちエリアＡＲ１におけるＤＣＴ係数に基づいて縦方向に細かいスジが存在する画像すなわち横方向の周波数が高い画像であることや、注目フレームのうちエリアＡＲ２におけるＤＣＴ係数に基づいて横方向に細かいスジが存在する画像すなわち縦方向の周波数が高い画像であることを検出するようになされている。
【０１２６】
これによりＤＣＴ縦横周波数成分検出部７３では、周波数分析部７４で注目フレームの画像が細かな（複雑な）静止画像であるか否かを判別し得ると共に、横方向の周波数及び縦方向の周波数がどのくらいのレベルにあるのかを判別し、それをＤＣＴ縦横周波数成分情報ＦＶＨとしてメタデータファイル生成部８６へ出力するようになされている。
【０１２７】
（２−４−４）色成分検出部の構成
色成分検出部７６は、画素ＲＧＢレベル検出部７７、ＲＧＢレベル統計分散検出部７８及びＨＬＳレベル統計分散検出部７９から構成されており、供給されたビデオデータを画素ＲＧＢレベル検出部７７に入力する。
【０１２８】
画素ＲＧＢレベル検出部７７は、ビデオデータの注目フレームにおける各画素のＲＧＢレベルをそれぞれ検出し、その検出結果をＲＧＢレベル統計分散検出部７８及びＨＬＳレベル統計分散検出部７９へ送出する。
【０１２９】
ＲＧＢレベル統計分散検出部７８は、画素ＲＧＢレベル検出部７７から供給された注目フレームにおける各画素のＲＧＢレベルに対する統計及び分散を算出し、注目フレームにおけるＲＧＢの各色成分がどのようなレベルにあるのかを示す統計値や、注目フレームにおける色成分が全体的な色として付されているのか、局所的な色としてふされているのかを示す分散値を色成分情報ＣＬ１としてメタデータファイル生成部８６へ出力する。
【０１３０】
ＨＬＳレベル統計分散検出部７９は、画素ＲＧＢレベル検出部７７から供給された注目フレームにおける各画素のＲＧＢレベルを、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）及び輝度(Ｌｕｍｉ−ｎａｎｃｅ／Ｌｉｇｈｔｎｅｓｓ)の３つの成分に変換し、図１４に示すように、これら色相、彩度及び輝度からなるＨＬＳ空間における各要素の統計及び分散として算出し、その検出結果をＨＬＳ情報ＣＬ２としてメタデータファイル生成部８６へ出力するようになされている。
【０１３１】
ここでＨＬＳ空間における色相とは、色味を０度〜３５９度の範囲の角度で表したものであり、０度は赤で、その反対側に位置する１８０度は赤の反対にあたる青緑となる。すなわち、ＨＬＳ空間では反対色を見つけるのも容易である。
【０１３２】
ＨＬＳ空間における彩度とは、有彩色が混ざる割合のことであり、特にＨＬＳ空間ではＨＳＶ（色相（Ｈｕｅ）、彩度(Ｓａｔｕｒａ−ｔｉｏｎ)及び明度（Ｖａｌｕｅ））空間とは異なり、純色から彩度が落ちるということは、すなわち灰色になっていくという考え方に基づいているので、灰色に近いと彩度が低く、灰色から遠いと彩度が高いということになる。
【０１３３】
ＨＬＳ空間における輝度とは、ＨＳＶ空間のように明度１００％を純色とし、そこからどれだけ明るさが失われるかを示すのとは異なり、輝度０％を黒、輝度１００％を白とし、その中間を純白としたものである。
【０１３４】
従ってＨＬＳレベル統計分散検出部７９は、ＲＧＢ空間に比べて色相を一段と分かり易く表現したＨＬＳ情報ＣＬ２をメタデータファイル生成部８６へ出力することができる。
【０１３５】
（２−４−５）音声検出部の構成
上述した実施例では、ビデオデータを対象として特徴パラメータを抽出する形態を説明した。ここでは、ＡＶデータにオーディオデータが含まれている場合に、ビデオデータに対応するオーディオデータから、オーディオデータの特徴を示す特徴量を特徴パラメータとして算出することも可能である。つまり、特徴パラメータは、ビデオデータ又はオーディオデータ双方に適用可能なパラメータである。
【０１３６】
音声検出部８０（図７）は、周波数分析部８１及びレベル検出部８２から構成されており、供給されたを周波数分析部８１に入力する。
【０１３７】
周波数分析部８１では、ビデオデータの注目フレームに対応したオーディオデータの周波数を分析し、その周波数帯域をレベル検出部８２へ通知する。レベル検出部８２は、周波数分析部８１から通知された周波数帯域における音声データのレベルを検出し、その音声レベル情報ＡＬをメタデータファイル生成部８６へ出力するようになされている。
【０１３８】
（２−４−６）輝度色差検出部の構成
輝度色差検出部８３（図７）は、Ｙ、Ｃｂ、Ｃｒレベル検出部８４と、Ｙ、Ｃｂ、Ｃｒレベル統計分散検出部８５とから構成されており、供給されたビデオデータをＹ、Ｃｂ、Ｃｒレベル検出部８４に入力する。
【０１３９】
Ｙ、Ｃｂ、Ｃｒレベル検出部８４は、ビデオデータの注目フレームにおける各画素の輝度信号Ｙの輝度レベル、色差信号Ｃｂ、Ｃｒの信号レベルを検出し、これらをＹ、Ｃｂ、Ｃｒレベル統計分散検出部８５へ供給する。
【０１４０】
Ｙ、Ｃｂ、Ｃｒレベル統計分散検出部８５は、Ｙ、Ｃｂ、Ｃｒレベル検出部８４から供給された注目フレームにおける各画素の輝度信号Ｙの輝度レベル、色差信号Ｃｂ、Ｃｒの信号レベルに対する統計及び分散を算出し、注目フレームにおける輝度信号Ｙ、色差信号Ｃｂ、Ｃｒがどのようなレベルにあるのかを示す統計値や、注目フレームにおける輝度信号Ｙ、色差信号Ｃｂ、Ｃｒの分散値を色成分情報ＣＬ３としてメタデータファイル生成部８６へ出力する。
【０１４１】
（２−４−７）メタデータファイル生成部の構成
メタデータファイル生成部８６は、細かさ情報算出部７１から得られる細かさ情報ＱＳ１、動き検出部７２から得られる注目フレームの動き情報Ｄ０、ＤＣＴ縦横周波数成分検出部７３から得られるＤＣＴ縦横周波数成分情報ＦＶＨ、色成分検出部７６から得られる色成分情報ＣＬ１やＨＬＳ情報ＣＬ２、音声検出部８０から得られる音声レベル情報ＡＬ、及び輝度色差検出部８３から得られる色成分情報ＣＬ３を基に、ビデオデータを構成しているピクチャの特徴パラメータ又はビデオデータに対応するオーディオデータの特徴パラメータを、メタデータを含むメタデータファイルＭＤＦとしてそれぞれ生成し、これを出力するようになされている。
【０１４２】
このメタデータファイルＭＤＦでは、図１５に示すように例えばビデオデータであれば、そのビデオデータを構成している１フレームから最終フレームまでの複数のピクチャ毎に「タイムコード」、「動き量」、「細かさ」、「赤」、「青」、「緑」、「輝度」、「赤分散」、「緑分散」、「色相」、「飽和度」、「縦スジ」、「横スジ」、「動き分散」及び「音声レベル」等の様々な特徴パラメータが登録されている。
【０１４３】
なお、メタデータファイルＭＤＦの各特徴パラメータにおける特徴量の値としては、０〜１の間の正規化された相対値を用いているが、これに限るものではなく、絶対値を用いても良い。また、メタデータファイルＭＤＦの内容としても、上述した特徴パラメータの特徴量に限られるものではなく、これら以外にも、例えば表示ウィンドウＷ５７を３次元表示空間に配置した後であれば、その表示ウィンドウＷ５７が実際に配置された３次元仮想空間上の座標値についてもメタデータの一種として登録しておいても良い。
【０１４４】
このように画像処理装置２では、メタデータファイルＭＤＦに３次元表示空間上の座標値についても登録しておけば、次にビデオデータの表示ウィンドウＷ５７を３次元表示空間上に配置する際、特徴パラメータに基づいて３次元表示空間内の座標パラメータを再度計算する必要がなく、瞬時に表示ウィンドウＷ５７を配置することができる。
【０１４５】
（２−５）表示処理手順
次に、画像処理装置２のマイクロプロセッサ３によるビデオデータに対する表示処理手順及び複数のビデオデータに対する表示処理手順について具体的にフローチャートを用いて説明する。
【０１４６】
（２−５−１）ビデオデータのピクチャ（静止画像）に対する分類表示処理手順
図１６に示すように、画像処理装置２のマイクロプロセッサ３は、ルーチンＲＴ１の開始ステップから入って次のステップＳＰ１へ移り、ユーザにより指定された３次元表示空間の表示軸や、ユーザに対して画像群５８を表示する際の視点座標を決定し、次のステップＳＰ２へ移る。
【０１４７】
ここで、画像処理装置２のマイクロプロセッサ３は、例えば図１７（Ａ）に示すように、ＲＧＢの各色成分を表すＲ軸、Ｇ軸及びＢ軸からなる３次元表示空間、図１７（Ｂ）に示すように、輝度レベル軸、Ｒ軸及びＢ軸からなる３次元表示空間、図１７（Ｃ）に示すように、動き量軸、Ｃｂ軸及びＣｒ軸からなる３次元表示空間、図１７（Ｄ）に示すように、細かさ情報軸、輝度レベル軸、及び色相軸からなる３次元表示空間、図１７（Ｅ）に示すように、Ｒ軸、ＤＣＴ縦周波数軸、ＤＣＴ横周波数軸からなる３次元表示空間、図１７（Ｆ）に示すようにＤＣＴ縦周波数軸、Ｃｂ軸及びＣｒ軸からなる３次元表示空間、図１７（Ｇ）に示すようにＨＬＳ空間の各要素であるＬ（Ｌｕｍｉｎａｎｃｅ）軸、Ｈ（Ｈｕｅ）軸、及びＳ（Ｓａｔｕｒａｔｉｏｎ）軸からなる種々の３次元表示空間等を生成するように各表示軸を決定することができるが、これらに限られるものではなく、メタデータファイルに登録された種々の特徴パラメータを表示軸とした３次元表示空間を生成するように決定することが可能である。
【０１４８】
ステップＳＰ２において、画像処理装置２のマイクロプロセッサ３は、ユーザによって指定された再生すべきビデオデータのピクチャ（静止画像）を認識し、次のステップＳＰ３へ移る。ステップＳＰ３において、マイクロプロセッサ３は、その静止画像を注目フレームとし、そのサブ・ビデオストリームＬＤ１をデコードし、その結果得られるデコード後のサブ・ビデオデータをＧＰＵ４へデータ転送し、次のステップＳＰ４へ移る。
【０１４９】
ステップＳＰ４において、画像処理装置２のマイクロプロセッサ３は、その静止画像に対応付けられているメタデータファイルＭＤＦから、３次元表示空間の表示軸に用いられる特徴パラメータの特徴量を照会して受け取り、次のステップＳＰ５へ移る。
【０１５０】
ステップＳＰ５において、画像処理装置２のマイクロプロセッサ３は、ステップＳＰ４で受け取った特徴パラメータの特徴量に基づいて、静止画像の表示ウィンドウＷ５７を貼り付けるべき、３次元表示空間上の座標位置を計算し（座標パラメータを算出し）、次のステップＳＰ６へ移る。すなわち、画像処理装置２のマイクロプロセッサ３は、静止画像が有する表示軸のパラメータに対する特徴量を３次元表示空間上の座標位置に変換するようになされている。
【０１５１】
ステップＳＰ６において、画像処理装置２のマイクロプロセッサ３は、表示すべき静止画像がこれで終わりか否かを判定する。ここで肯定結果が得られると、このことはユーザによってこれ以外の他の静止画像が指定されておらず、他に表示すべき表示ウィンドウＷ５７が他には存在しないことを表しており、このときマイクロプロセッサ３は次のステップＳＰ７へ移る。
【０１５２】
これに対して、ステップＳＰ６で否定結果が得られると、このことはユーザによってこれ以外の他のビデオデータのピクチャ（静止画像）が指定されており、他の静止画像に対応した表示ウィンドウＷ５７が他にも存在することを表しており、このとき画像処理装置２のマイクロプロセッサ３はステップＳＰ２へ戻って上述の処理を繰り返すことにより、複数の静止画像に対応した複数の表示ウィンドウＷ５７に対する３次元表示空間上の座標位置をその静止画像の特徴パラメータに示される特徴量に従って計算する。
【０１５３】
ステップＳＰ７において、画像処理装置２のマイクロプロセッサ３は、ＧＰＵ４により、ステップＳＰ５で計算した３次元表示空間上の座標パラメータ（座標位置）に基づいて静止画像に対応する表示ウィンドウＷ５７を３次元表示空間に貼り付け、ステップＳＰ１で決定した視点座標に基づいて３次元表示空間の座標パラメータ（座標位置）を、表示部５５の２次元画面における２次元座標位置（表示位置パラメータ）に変換すると共に、各表示ウィンドウＷ５７の表示サイズを決定し、その２次元座標位置にその表示ウィンドウＷ５７を描画して表示し、次のステップＳＰ８へ移る。
【０１５４】
このとき、画像処理装置２のマイクロプロセッサ３は、複数のビデオデータの静止画像（ピクチャ）がユーザによって指定されているときには、当該複数の静止画像に対応する複数の表示ウィンドウＷ５７を、その静止画像の特徴パラメータに従ってそれぞれ３次元表示空間上の座標位置（座標パラメータに示される位置）に配置することになり、これら複数の表示ウィンドウＷ５７からなる画像群５８として提示する。
【０１５５】
ステップＳＰ８において、画像処理装置２のマイクロプロセッサ３は、ユーザからの終了指示があるか、もしくは所定時間が経過したかを基準に表示ウィンドウＷ５７の表示処理を終了するか否かを判定し、肯定結果が得られると次のステップＳＰ１１へ移って表示ウィンドウＷ５７の表示処理を終了する。
【０１５６】
これに対して、ステップＳＰ８で否定結果が得られると、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７の表示処理を終了することなく次のステップＳＰ９へ移る。ステップＳＰ９において、画像処理装置２のマイクロプロセッサ３は、ユーザによるカーソル操作に応じて、表示ウィンドウＷ５７に対する視点座標が変更されるまで待ち受け、次のステップＳＰ１０へ移る。
【０１５７】
ステップＳＰ１０において、画像処理装置２のマイクロプロセッサ３は、ユーザによって表示ウィンドウＷ５７に対する視点座標が実際に変更されたか否かを判定し、否定結果が得られると、ステップＳＰ７へ戻って当初の座標位置のまま静止画像の表示ウィンドウＷ５７を表示させ続けるのに対し、肯定結果が得られるとステップＳＰ１へ戻って変更後の新たな視点座標を決定し、ステップＳＰ２以降の処理を繰り返し、新たな視点座標を基準とした３次元表示空間に対して、表示ウィンドウＷ５７を再配置する。
【０１５８】
ここで、画像処理装置２のマイクロプロセッサ３は、新たな視点座標を基準とした３次元表示空間に対して表示ウィンドウＷ５７を再配置する際、視点変更に拘わらず、表示ウィンドウＷ５７を常にユーザに対して正対するように配置することにより、表示ウィンドウＷ５７を常に正面からユーザに目視確認させ得るようになされている。
【０１５９】
このように、画像処理装置２のマイクロプロセッサ３は、ビデオデータの静止画像が持つ特徴パラメータに従って、３次元表示空間上の座標位置に当該静止画像の表示ウィンドウＷ５７を配置することができるので、複数のビデオデータのピクチャ（静止画像）が指定されているときには、それら複数のビデオデータに対応する静止画像の表示ウィンドウＷ５７が配置されてなる画像群５８（図３）として提示することができ、当該画像群５８を介して複数のビデオデータの全体的な傾向をユーザに対して直感的なイメージとして認識させ得るようになされている。
【０１６０】
ところで、画像処理装置２のマイクロプロセッサ３は、例えばＤＣＴ横周波数軸、Ｒ軸及びＧ軸からなる３次元表示空間に対して、ビデオデータのピクチャ（静止画像）に対応した表示ウィンドウＷ５７を配置して表示している状態で、ユーザのズームアップ操作に応じて視点座標をＤＣＴ横周波数軸よりの横周波数が大きい位置に動かした場合、図１８に示すように縦方向に細かいスジが存在するような静止画像の表示ウィンドウＷ５７がＤＣＴ横周波数軸寄りに多数配置されたズームアップ画像群５８Ｚ１を提示し得るようになされている。
【０１６１】
また、画像処理装置２のマイクロプロセッサ３は、例えばＤＣＴ横周波数軸、Ｒ軸及びＧ軸からなる３次元表示空間に対してビデオデータの静止画像に対応した表示ウィンドウＷ５７を配置して表示している状態で、ユーザのズームアップ操作に応じて視点座標をＲ軸よりのＲが大きい位置に動かした場合、図１９に示すように赤色成分を多く含むような静止画像の表示ウィンドウＷ５７がＲ軸寄りに多数配置されたズームアップ画像群５８Ｚ２を提示し得るようになされている。
【０１６２】
更に、画像処理装置２のマイクロプロセッサ３は、例えばＤＣＴ横周波数軸、Ｒ軸及びＧ軸からなる３次元表示空間に対してビデオデータのピクチャ（静止画像）に対応した表示ウィンドウＷ５７を配置して表示している状態で、ユーザのズームアップ操作に応じて視点座標をＧ軸よりのＧが大きい位置に動かした場合、図２０に示すように緑色成分を多く含むような静止画像に対応する表示ウィンドウＷ５７がＧ軸寄りに多数配置されたズームアップ画像群５８Ｚ３を提示し得るようになされている。
【０１６３】
（２−５−２）ビデオデータ（動画像）に対する分類表示処理手順
続けて、ビデオデータ（動画）に対する表示処理手順を説明するが、基本的にはビデオデータのピクチャ（静止画像）に対する表示処理手順ＲＴ１と考え方は同じであり、ビデオデータを構成している複数のピクチャ（静止画像）をフレーム周波数に従って更新する度に上述の静止画像に対する表示処理手順ＲＴ１を実行するのと同様の処理を実行するようになされている。
【０１６４】
実際上、図２１に示すように、画像処理装置２のマイクロプロセッサ３は、ルーチンＲＴ２の開始ステップから入って次のステップＳＰ２１へ移り、ユーザにより指定された３次元表示空間の表示軸や、ユーザに対して画像群５８を表示する際の視点座標を決定し、次のステップＳＰ２２へ移る。
【０１６５】
ステップＳＰ２２において、画像処理装置２のマイクロプロセッサ３は、ユーザによって指定された再生すべきビデオデータの静止画像を認識し、次のステップＳＰ２３へ移る。ステップＳＰ２３において、画像処理装置２のマイクロプロセッサ３は、その静止画像を注目フレームとし、そのサブ・ビデオストリームＬＤ１をデコードし、その結果得られるデコード後のサブ・ビデオデータをＧＰＵ４へデータ転送し、次のステップＳＰ２４へ移る。
【０１６６】
ステップＳＰ２４において、画像処理装置２のマイクロプロセッサ３は、その静止画像に対応付けられているメタデータファイルＭＤＦから３次元表示空間の表示軸に用いられる特徴パラメータの特徴量を照会して受け取り、次のステップＳＰ２５へ移る。
【０１６７】
ステップＳＰ２５において、画像処理装置２のマイクロプロセッサ３は、ステップＳＰ２４で受け取った特徴パラメータの特徴量に基づいて、ビデオデータを構成している各静止画像対応する表示ウィンドウＷ５７を貼り付けるべき３次元表示空間上の座標パラメータ（座標位置）を計算し、次のサブルーチンＳＲＴ１へ移る。すなわち、画像処理装置２のマイクロプロセッサ３は、ビデオデータを構成している複数のピクチャ（静止画像）がそれぞれ有する特徴量を表示軸とする３次元表示空間上の座標パラメータ（座標位置）に変換するようになされている。
【０１６８】
サブルーチンＳＲＴ１において、画像処理装置２のマイクロプロセッサ３は、ビデオデータを構成している複数の静止画像のうち前回表示した静止画像の３次元表示空間上の座標パラメータ（座標位置）と、更新後の次に表示すべき静止画像の３次元表示空間上の座標パラメータ（座標位置）との相互位置関係に基づいて、座標補正処理を行うことにより補正座標を計算し、次のステップＳＰ２６へ移る。因みに、このサブルーチンＳＲＴ１における座標補正処理手順については、後述する。
【０１６９】
ステップＳＰ２６において、画像処理装置２のマイクロプロセッサ３は、ＧＰＵ４により、ステップＳＰ２５で計算した３次元表示空間上の座標位置、又はサブルーチンＳＲＴ１で得られた補正座標に基づいて、ビデオデータを構成している各静止画像に対応する表示ウィンドウＷ５７を３次元表示空間上に貼り付け、ステップＳＰ２１で決定した視点座標に基づいて、３次元表示空間上の座標位置を、表示部５５の２次元画面における２次元座標位置（表示位置パラメータ）に変換すると共に、表示ウィンドウＷ５７の表示サイズをそれぞれ決定し、その２次元座標位置に当該表示ウィンドウＷ５７を静止画像の更新順に描画して表示し、次のステップＳＰ２７へ移る。
【０１７０】
ステップＳＰ２７において、画像処理装置２のマイクロプロセッサ３は、ユーザからの終了指示があるか、もしくは所定時間が経過したかを基準にビデオデータに対応する表示ウィンドウＷ５７の表示処理を終了するか否かを判定し、肯定結果が得られると次のステップＳＰ２８へ移って、表示ウィンドウＷ５７の表示処理を終了する。
【０１７１】
これに対して、ステップＳＰ２７で否定結果が得られると、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７の表示処理を終了することなくステップＳＰ２１へ戻って次に指定されるビデオデータに対応する表示ウィンドウＷ５７に対する表示処理を実行する。
【０１７２】
このように、画像処理装置２のマイクロプロセッサ３は、ビデオデータを構成する静止画像が有する特徴量パラメータが表示軸に設定された３次元表示空間上の座標位置に、当該静止画像の表示ウィンドウＷ５７を配置し、３次元表示空間上に配置された表示ウィンドウＷ５７の静止画像をフレーム周波数に従って更新する度に、当該静止画像の特徴パラメータの示す特徴量が変化することに応じて、３次元表示空間上の座標位置（座標パラメータ）を変更して配置し直すことにより、表示ウィンドウＷ５７の静止画像を更新する度にあたかも当該表示ウィンドウＷ５７が３次元表示空間上を浮遊して移動するかのような印象をユーザに与えることができるので、ビデオデータの時系列的な特徴（傾向）を、その再生映像の進行に伴った表示ウィンドウＷ５７の動きの変化によるイメージとして、ユーザに直感的かつ瞬時に認識させ得るようになされている。
【０１７３】
（２−５−３）複数のビデオデータ（動画像）に対する同時表示処理手順
同様に、複数のビデオデータに対する同時表示処理手順を説明するが、基本的には１つのビデオデータに対する表示処理手順ＲＴ２と考え方は同じであり、ビデオデータを構成している複数の静止画像を更新する度に、各静止画像の特徴パラメータの変化に応じて、３次元表示空間上の配置場所を変更しながら、表示ウィンドウＷ５７を移動表示することを、ビデオデータ毎に同時並行して実行するようになされている。
【０１７４】
図２２に示すように、実際上、画像処理装置２のマイクロプロセッサ３は、ルーチンＲＴ３の開始ステップから入って次のステップＳＰ３１へ移り、ユーザにより指定された３次元表示空間の表示軸や、ユーザに対して画像群５８を表示する際の視点座標を決定し、次のステップＳＰ３２へ移る。
【０１７５】
ステップＳＰ３２において、画像処理装置２のマイクロプロセッサ３は、ユーザによって指定された再生すべき複数のビデオデータにおける静止画像をそれぞれ認識し、次のステップＳＰ３３、ステップＳＰ３６、ステップＳＰ３９へ移る。
【０１７６】
ステップＳＰ３３、ステップＳＰ３６及びステップＳＰ３９において、画像処理装置２のマイクロプロセッサ３は、各静止画像を注目フレームとし、そのサブ・ビデオ津砥リームＬＤ１をデコードし、その結果得られるデコード後のサブ・ビデオデータをそれぞれＧＰＵ４へデータ転送し、次のステップＳＰ３４、ステップＳＰ３７、ステップＳＰ４０へ移る。
【０１７７】
ステップＳＰ３４、ステップＳＰ３７及びステップＳＰ４０において、画像処理装置２のマイクロプロセッサ３は、各静止画像に対応付けられているメタデータファイルＭＤＦから３次元表示空間の表示軸に用いられる特徴パラメータの特徴量をそれぞれ照会して受け取り、次のステップＳＰ３５、ステップＳＰ３８、ステップＳＰ４１へ移る。
【０１７８】
ステップＳＰ３５、ステップＳＰ３８及びステップＳＰ４１において、画像処理装置２のマイクロプロセッサ３は、ステップＳＰ３４、ステップＳＰ３７、ステップＳＰ４０で受け取った特徴パラメータの特徴量に基づいて、各ビデオデータにおける各静止画像の表示ウィンドウＷ５７を貼り付けるべき３次元表示空間上の座標パラメータ（座標位置）を計算し、次のサブルーチンＳＲＴ１へそれぞれ移る。すなわち、画像処理装置２のマイクロプロセッサ３は、複数のビデオデータをそれぞれ構成している各静止画像が有する特徴パラメータが表示軸に設定された３次元表示空間内の座標パラメータ（座標位置）に変換するようになされている。
【０１７９】
サブルーチンＳＲＴ１において、画像処理装置２のマイクロプロセッサ３は、ビデオデータを構成している複数の静止画像のうち、前回表示した静止画像の３次元表示空間内の座標パラメータ（座標位置）と、次に表示する静止画像の３次元表示空間上の座標パラメータ（座標位置）との相互位置関係に基づいて、それぞれ座標補正を行うことにより補正座標を得、次のステップＳＰ４２へ移る。
【０１８０】
ステップＳＰ４２において、画像処理装置２のマイクロプロセッサ３は、ＧＰＵ４により、ステップＳＰ３５、ステップＳＰ３８、ステップＳＰ４１で計算した３次元表示空間上の座標位置に基づいて、ビデオデータを構成している各静止画像の表示ウィンドウＷ５７を３次元表示空間内にそれぞれ貼り付け、ステップＳＰ３１で決定した視点座標に基づいて、３次元表示空間内の座標位置を、表示部５５の２次元画面における２次元座標位置（表示位置パラメータ）にそれぞれ変換すると共に、各表示ウィンドウＷ５７の表示サイズをそれぞれ決定し、その２次元座標位置にその各表示ウィンドウＷ５７をそれぞれ配置することにより画像群５８を表示し、次のステップＳＰ４３へ移る。
【０１８１】
ステップＳＰ４３において、画像処理装置２のマイクロプロセッサ３は、ユーザからの終了指示があるか、もしくは所定時間が経過したかを基準に画像群５８の表示処理を終了するか否かを判定し、肯定結果が得られると次のステップＳＰ４４へ移って複数のビデオデータに対応した複数の表示ウィンドウＷ５７からなる画像群５８の表示処理を終了する。
【０１８２】
これに対して、ステップＳＰ４４で否定結果が得られると、画像処理装置２のマイクロプロセッサ３は、画像群５８の表示処理を終了することなくステップＳＰ３１へ戻って次に指定されるビデオデータの表示ウィンドウＷ５７に対する表示処理を実行する。
【０１８３】
このように、画像処理装置２のマイクロプロセッサ３は、複数のビデオデータにおけるそれぞれの静止画像が有する表示軸の特徴パラメータに対する特徴量に従って、３次元表示空間内の座標パラメータ（座標位置）に、当該複数の静止画像の表示ウィンドウＷ５７をそれぞれ配置し、３次元仮想空間内にそれぞれ配置された表示ウィンドウＷ５７の静止画像をフレーム周波数に従って更新する度に、当該静止画像の特徴パラメータの示す特徴量が変化することに応じて３次元表示空間内の座標パラメータ（座標位置）をそれぞれ変更して配置し直すことにより、複数のビデオデータに対応した表示ウィンドウＷ５７の静止画像を更新する度にあたかも当該表示ウィンドウＷ５７が３次元表示空間内を浮遊移動するかのような印象をユーザに与えることができるので、複数のビデオデータの特徴（傾向）を、複数の表示ウィンドウＷ５７の動きの変化によるイメージとしてユーザに直感的かつ瞬時に認識させ得るようになされている。
【０１８４】
すなわち、画像処理装置２では、複数のビデオデータを構成している静止画像の特徴が非常に似ていれば、それぞれのビデオデータに対応した表示ウィンドウＷ５７が浮遊する動き・方向も揃ったものになる。一方、複数のビデオデータを構成している静止画像の特徴が異なっている場合には、それぞれのビデオデータに対応した表示ウィンドウＷ５７の動き・方向は全て異なったものになる。
【０１８５】
従って、このような場合、画像処理装置２では、複数のビデオデータのうち、表示ウィンドウＷ５７の動きを、注目したいビデオデータのみがユーザに選択されていれば、そのビデオデータに対応した表示ウィンドウＷ５７の動きだけに着目し易くなり、そのビデオデータの特徴（傾向）を、その表示ウィンドウＷ５７の動きの変化を表したインパクトのあるイメージとしてユーザに印象付けることができる。
【０１８６】
具体的には、図２３に示すように、画像処理装置２のマイクロプロセッサ３は、画像群５８のうち、あるビデオデータに対応する表示ウィンドウＷ５７の最初の静止画像にＢ軸の青色成分が強く含まれている場合、その静止画像が有するＢ軸の特徴パラメータの示す特徴量に応じて表示ウィンドウＷ５７を画面左下隅の位置ＰＯ１に配置する。
【０１８７】
その後、画像処理装置２のマイクロプロセッサ３は、ビデオデータの静止画像を更新すると、その更新後の次の静止画像における青色成分の特徴量に応じて、当該静止画像の表示ウィンドウＷ５７を位置ＰＯ１から移動させた位置ＰＯ２へ配置し直す。
【０１８８】
さらに、画像処理装置２のマイクロプロセッサ３は、ビデオデータの静止画像を更に更新すると、その更新後の次の静止画像における青色成分の特徴量に応じて、当該静止画像の表示ウィンドウＷ５７を先程の位置ＰＯ２から更に移動させた位置ＰＯ３へ配置し直す。
【０１８９】
このように、画像処理装置２のマイクロプロセッサ３は、ビデオデータの静止画像を更新する度に、それぞれの静止画像の特徴パラメータの示す特徴量に応じて、３次元表示空間内の座標位置を変更しながら配置し直していくことにより、ビデオデータに対応した表示ウィンドウＷ５７があたかも表示部５５の画面上を浮遊して移動いる様子をユーザに対して目視確認させ得るようになされている。
【０１９０】
（２−５−４）座標補正処理手順
次に、上述のルーチンＲＴ２におけるサブルーチンＳＲＴ１（図２１）の座標補正処理手順及びルーチンＲＴ３におけるサブルーチンＳＲＴ１（図２２）における座標補正処理手順について説明するが、これらは全て同じ処理手順である。
【０１９１】
図２４に示すように、この座標補正処理手順ＳＲＴ１では、表示ウィンドウＷ５７の静止画像を更新する際、当該表示ウィンドウＷ５７を静止画像の特徴量に応じて順次移動させるときに、図２５に示すように、シーンチェンジ等により大きく表示ウィンドウＷ５７をジャンプさせる場合、一気にジャンプしてしまうのではなく、移動スピードを調整しながら（段階的に移動させながら）最終的に目的の移動先に配置させるようになされており、その際に本来の移動先となる座標位置ではなく補正計算により算出した次の補正座標の位置まで移動させることにより、ユーザに表示ウィンドウＷ５７の動きを目で追わせながら当該表示ウィンドウＷ５７を移動表示させ得るようになされている。
【０１９２】
実際上、画像処理装置２のマイクロプロセッサ３は、サブルーチンＳＲＴ１の開始ステップから入って次のステップＳＰ６１へ移り、ビデオデータの静止画像を更新する際、現在の静止画像に対応した表示ウィンドウＷ５７の３次元表示空間内の位置ＰＯｎから次の静止画像に対応した表示ウィンドウＷ５７の３次元表示空間内の位置ＰＯｎ＋１へ移動させるときの移動先座標（位置ＰＯｎ＋１）と現在座標（位置ＰＯｎ）との差分を算出することにより、仮移動距離（ユークリッド距離）を求め、次のステップＳＰ６２へ移る。
【０１９３】
ステップＳＰ６２において、画像処理装置２のマイクロプロセッサ３は、移動先座標と現在座標との差分を算出し、その大きさが「１」のベクトルを移動方向ベクトルとして求め、次のステップＳＰ６３へ移る。
【０１９４】
ステップＳＰ６３において、画像処理装置２のマイクロプロセッサ３は、ステップＳＰ６１で求めた仮移動距離の方が予め定めておいた所定の移動最小値よりも小さいか否かを判定する。ここで肯定結果が得られると、このことは仮移動距離が移動最小値よりも小さいこと、すなわち現在の静止画像に対応した表示ウィンドウＷ５７の位置ＰＯｎから次の静止画像に対応した表示ウィンドウＷ５７の位置ＰＯｎ＋１へ当該表示ウィンドウＷ５７を移動させた場合でもその距離が短く、ユーザに表示ウィンドウＷ５７の動きを目で追わせることが十分可能であることを表しており、このときマイクロプロセッサ３は次のステップＳＰ６４へ移る。
【０１９５】
ステップＳＰ６４において、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７を次に移動させるべき移動先座標が次の静止画像の特徴量に応じて定められる座標値そのものであると認識し、その座標値に表示ウィンドウＷ５７を配置した後、ステップＳＰ６８へ移って処理を終了する。
【０１９６】
これに対して、ステップＳＰ６３で否定結果が得られると、このことは仮移動距離が移動最小値よりも大きいこと、すなわち現在の静止画像に対応した表示ウィンドウＷ５７の位置ＰＯｎから次の静止画像に対応した表示ウィンドウＷ５８の位置ＰＯｎ＋１へ当該表示ウィンドウＷ５７を移動させた場合にはその距離が非常に長く、ユーザに表示ウィンドウＷ５７の動きを目で追わせることが困難であることを表しており、このとき画像処理装置２のマイクロプロセッサ３は、次のステップＳＰ６５へ移る。
【０１９７】
ステップＳＰ６５において、画像処理装置２のマイクロプロセッサ３は、予め定めておいた所定の移動最大値よりもステップＳＰ６１で求めた仮移動距離の１／２（以下、これを仮移動距離／２と表現する）の方が大きいか否かを判定する。ここで肯定結果が得られると、このことは仮移動距離／２が移動最大値よりも大きいこと、すなわち現在の静止画像に対応した表示ウィンドウＷ５７の位置ＰＯｎから仮移動距離／２に相当する補正座標の位置へ当該表示ウィンドウＷ５７を移動させた場合でも未だその距離が長く、ユーザに表示ウィンドウＷ５７の動きを目で追わせることが困難であることを表しており、このとき画像処理装置２のマイクロプロセッサ３は次のステップＳＰ６６へ移る。
【０１９８】
ステップＳＰ６６において、画像処理装置２のマイクロプロセッサ３は、補正座標（＝現在座標＋移動方向ベクトル×移動最大値）を求め、この求めた補正座標を表示ウィンドウＷ５７の移動先座標として決定し、次のステップＳＰ６８へ移って処理を終了する。
【０１９９】
これに対して、ステップＳＰ６５で否定結果が得られると、このことは仮移動距離／２が移動最大値よりも小さいこと、すなわち現在の静止画像に対応した表示ウィンドウＷ５７の位置ＰＯｎから仮移動距離／２に相当する補正座標の位置へ当該表示ウィンドウＷ５７を移動させた場合の距離が短く、ユーザに表示ウィンドウＷ５７の動きを目で追わせることが容易であることを表しており、このときマイクロプロセッサ３は次のステップＳＰ６７へ移る。
【０２００】
ステップＳＰ６７において、画像処理装置２のマイクロプロセッサ３は、補正座標（＝現在座標＋移動方向ベクトル×仮移動距離／２）を求め、この求めた補正座標を表示ウィンドウＷ５７の移動先座標として決定し、次のステップＳＰ６８へ移って処理を終了する。
【０２０１】
このようにすれば、画像処理装置２のマイクロプロセッサ３は、例えば図２６に示すように、あるビデオデータの表示ウィンドウＷ５７がそのときの静止画像に対応した位置ＰＯｎの現在座標から、次の静止画像に対応した位置ＰＯｎ＋１へ瞬時に移動するシーンチェンジがあった場合、上述の座標補正処理手順ＳＲＴ１を実行することにより、当初、表示ウィンドウＷ５７の位置ＰＯｎから次に移動する予定の移動先座標の位置ＰＯｎ＋１までの仮移動距離が移動最小値よりも大きい場合、仮移動距離／２か、若しくは移動最大値の分だけ移動させるように補正座標を求め（この場合、仮移動距離／２の座標位置）、その補正座標に対応した位置ＰＯｍに表示ウィンドウＷ５７を一時的に配置して表示する。
【０２０２】
このとき、画像処理装置２のマイクロプロセッサ３は、シーンチェンジ後の静止画像を表示ウィンドウＷ５７に表示するが、これに限るものではなく、シーンチェンジ後の位置ＰＯｎ＋１まではシーンチェンジ前の静止画像を表示ウィンドウＷ５７に表示しても良く、また、シーンチェンジ前からシーンチェンジ後までの中間位置まではシーンチェンジ前の静止画像を表示ウィンドウＷ５７に表示し、それ以降シーンチェンジ後までは当該シーンチェンジ後の静止画像を表示ウィンドウＷ５７に表示しても良い。
【０２０３】
そして、画像処理装置２のマイクロプロセッサ３は、その表示ウィンドウＷ５７の位置ＰＯｍから、その次の更新した静止画像に対応した位置ＰＯｎ＋２までの仮移動距離が未だ移動最小値よりも大きい場合、仮移動距離／２か、若しくは移動最大値の分だけ移動させるように補正座標を再度求め、その補正座標に対応した位置ＰＯｍ＋１に表示ウィンドウＷ５７を一時的に配置して表示する。
【０２０４】
続けて、画像処理装置２のマイクロプロセッサ３は、その表示ウィンドウＷ５７の位置ＰＯｍ＋１から、更に更新した静止画像に対応した位置ＰＯｎ＋３までの仮移動距離が未だ移動最小値よりも大きい場合、仮移動距離／２か、若しくは移動最大値の分だけ移動させるように補正座標を再度求め、その補正座標に対応した位置ＰＯｍ＋２に表示ウィンドウＷ５７を一時的に配置して表示する。
【０２０５】
その後、画像処理装置２のマイクロプロセッサ３は、その表示ウィンドウＷ５７の位置ＰＯｍ＋２から、更に更新した静止画像に対応した位置ＰＯｎ＋４までの仮移動距離が遂に移動最小値よりも小さくなった場合、その仮移動距離に対応した移動先座標の位置ＰＯｎ＋４に表示ウィンドウＷ５７を直接移動させて表示するようになされている。
【０２０６】
即ち、画像処理装置２のマイクロプロセッサ３は、ビデオデータに対応した表示ウィンドウＷ５７の静止画像をそのフレーム周波数に従って更新する際、当該表示ウィンドウＷ５７を静止画像の特徴パラメータの示す特徴量に応じてフレーム毎に配置し直すが、シーンチェンジ等により大きく表示ウィンドウＷ５７をジャンプさせる必要が生じたときであっても、当該表示ウィンドウＷ５７を一気にジャンプしてしまうのではなく、目的の移動先に近付くに連れて段階的に移動距離を次第に短くしながら近付けさせるように配置し直していくことにより、シーンチェンジ時における表示ウィンドウＷ５７の動きをユーザが見失うことなく追従させ得るようになされている。
【０２０７】
（３）再配置処理
次に、画像処理装置２では、３次元表示空間の表示軸を決めて、ビデオデータの表示ウィンドウＷ５７を３次元表示空間内にそれぞれ配置した後に、ユーザの操作に応じて３次元表示空間の表示軸を任意に変更して表示ウィンドウＷ５７を再度配置し直すことが可能であり、その再配置処理について説明する。
【０２０８】
画像処理装置２のマイクロプロセッサ３は、ビデオデータの表示ウィンドウＷ５７を３次元表示空間内に配置した後に、ユーザによるＧＵＩ６５（図４〜図６）を介した表示軸のパラメータを変更する操作に応じて、新たな表示軸による新たな３次元表示空間を生成し直すようになされている。
【０２０９】
このとき、画像処理装置２のマイクロプロセッサ３は、図２７に示すルーチンＲＴ４の開始ステップから入って次のステップＳＰ７１へ移り、ユーザの表示軸に対する特徴パラメータ変更操作の内容を認識し、現在の表示軸から変更すべき新たな表示軸に対応する特徴パラメータを確認した後、次のステップＳＰ７２へ移る。
【０２１０】
ステップＳＰ７２において、画像処理装置２のマイクロプロセッサ３は、新たな３次元表示空間の表示軸と、そのときの視点座標を決定し、次のステップＳＰ７３へ移る。但しマイクロプロセッサ３は、視点座標について何ら変更がなければ、従前の視点座標をそのまま用いるようになされている。
【０２１１】
ステップＳＰ７２において、画像処理装置２のマイクロプロセッサ３は、既に画像群５８を構成する複数の表示ウィンドウＷ５７を介して表示していたビデオデータの静止画像を注目フレームとし、その注目フレームに対応付けられているメタデータファイルＭＤＦから新たな３次元表示空間の表示軸に用いられる特徴パラメータの特徴量を照会して受け取り、次のステップＳＰ７４へ移る。
【０２１２】
ステップＳＰ７４において、画像処理装置２のマイクロプロセッサ３は、ステップＳＰ７３で受け取った特徴パラメータの特徴量に基づいて静止画像の表示ウィンドウＷ５７を貼り付けるべき新たな３次元表示空間内の座標パラメータ（座標位置）を再計算し、次のステップＳＰ７５へ移る。
【０２１３】
ステップＳＰ７５において、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７に表示すべきビデオデータの静止画像がこれで終わりか否かを判定する。
【０２１４】
ここで肯定結果が得られると、このことはこれら以外のビデオデータを表示すべき表示ウィンドウＷ５７が他には存在しないことを表しており、このときマイクロプロセッサ３は次のステップＳＰ７６へ移る。
【０２１５】
これに対して、画像処理装置２のステップＳＰ７５で否定結果が得られると、このことは他に表示すべきビデオデータの表示ウィンドウＷ５７が他にも存在することを表しており、このときマイクロプロセッサ３はステップＳＰ７２へ戻って、上述の処理を繰り返すことにより、複数のビデオデータにそれぞれ対応した複数の表示ウィンドウＷ５７に対する新たな３次元表示空間上の座標位置をそれぞれの静止画像の特徴パラメータに従って計算する。
【０２１６】
ステップＳＰ７６において、マイクロプロセッサ３は、ＧＰＵ４により、ステップＳＰ７４で計算した新たな３次元表示空間の座標位置に基づいて、ビデオデータの表示ウィンドウＷ５７を新たな３次元表示空間に描画して貼り付けると共に、ステップＳＰ７２で決定した視点座標に基づいて新たな３次元表示空間の座標位置を２次元画面に表示するための２次元座標（表示位置パラメータ）に変換すると共に、複数の表示ウィンドウＷ５７の表示サイズを決定し、その２次元座標にこれら複数の表示ウィンドウＷ５７を表示することにより、新たな３次元表示空間上に再配置し直した複数の表示ウィンドウＷ５７からなる画像群５８を提示し得、次のステップＳＰ７７へ移る。
【０２１７】
ステップＳＰ７７において、マイクロプロセッサ３は、ユーザからの終了指示があるか、もしくは所定時間が経過したかを基準にして、画像群５８の表示を終了するか否かを判定し、肯定結果が得られると次のステップＳＰ８０へ移って画像群５８の表示処理を終了する。
【０２１８】
これに対して、ステップＳＰ７７で否定結果が得られると、マイクロプロセッサ３は画像群５８の表示を終了することなく次のステップＳＰ７８へ移る。ステップＳＰ７８において、マイクロプロセッサ３は、ユーザによるカーソル操作に応じて表示ウィンドウＷ５７に対する視点座標が次に変更されるまで待ち受け、次のステップＳＰ７９へ移る。
【０２１９】
ステップＳＰ７９において、マイクロプロセッサ３は、ユーザによって表示ウィンドウＷ５７に対する視点座標が実際に変更されたか否かを判定し、否定結果が得られると、ステップＳＰ７６へ戻ってそのまま画像群５８を表示させ続けるのに対し、肯定結果が得られるとステップＳＰ７１へ戻ってユーザの表示軸に対する特徴パラメータ変更操作の内容を認識し、現在の表示軸から変更すべき新たな表示軸の特徴パラメータを確認した後、次のステップＳＰ７２以降の処理を繰り返す。
【０２２０】
このように、画像処理装置２のマイクロプロセッサ３は、図２８に示すように、ビデオデータの静止画像の特徴パラメータの示す特徴量に従って、当初は例えばＢ軸、ＤＣＴ縦周波数軸及びＤＣＴ横周波数軸からなる３次元表示空間内に配置された表示ウィンドウＷ５７１及びＷ５７２であっても、その表示軸が例えばＲ軸、Ｂ軸及びＧ軸に変更された新たな３次元表示空間内に配置し直した場合には、その表示ウィンドウＷ５７１及びＷ５７２の分置結果を大きく変更した状態で再提示し得るようになされている。
【０２２１】
従って、画像処理装置２のマイクロプロセッサ３は、３次元表示空間の表示軸をユーザの好みに合わせて任意に変更し、表示ウィンドウＷ５７を再配置することにより、その再配置結果を介して、ビデオデータの全体的な特徴（傾向）をユーザに対して直感的に認識させ得るようになされている。
【０２２２】
これにより、ユーザは、当初のＢ軸、ＤＣＴ縦周波数軸及びＤＣＴ横周波数軸からなる３次元表示空間内に配置された表示ウィンドウＷ５７１及びＷ５７２を目視確認しただけでは「海」の静止画像が有する青色成分の特徴量が似通っている印象しか受けないが、次にＲ軸、Ｂ軸及びＧ軸に変更された新たな３次元表示空間上に分類配置された表示ウィンドウＷ５７１及びＷ５７２を目視確認したときには、その静止画像における緑色成分及び赤色成分の特徴量がそれぞれ異なっている印象を受けることになり、ビデオデータの管理及び検索を容易に実行することができるようになる。
【０２２３】
（４）グループ表示処理
また、画像処理装置２では、ビデオデータの静止画像における特徴が類似している表示ウィンドウＷ５７同士をグループ化して表示することが可能であり、ここではそのグループ表示処理について説明する。
【０２２４】
例えば、図２９（Ａ）及び（Ｂ）に示すように、画像処理装置２のマイクロプロセッサ３は、例えば複数のビデオデータにそれぞれ対応した複数の表示ウィンドウＷ５７１〜Ｗ５７８を３次元表示空間内に配置して表示する場合、これら複数の表示ウィンドウＷ５７１〜Ｗ５７８については、複数のビデオデータをそれぞれ再生する際、そこに表示する静止画像を更新する度に、当該表示ウィンドウＷ５７１〜Ｗ５７８が矢印方向へ少しずつ移動していく。
【０２２５】
そして、図２９（Ｃ）に示すように画像処理装置２のマイクロプロセッサ３は、ビデオデータの再生途中段階又は再生終了時に、隣合う表示ウィンドウＷ５７１〜Ｗ５７８同士の距離Ｌ１を算出し、その距離Ｌ１が所定の閾値ＴＨ１未満であれば互いに隣接する静止画像同士の特徴量における類似性が高く、閾値ＴＨ１以上であれば互いに隣接する静止画像同士の特徴量における類似性が低いと判断し、例えば類似性が高いもの同士の表示ウィンドウＷ５７１、Ｗ５７３を第１グループとし、当該表示ウィンドウＷ５７１、Ｗ５７３の表示枠を第１の所定色に色付けして表示し、同様に表示ウィンドウＷ５７２、Ｗ５７７、Ｗ５７８を第２グループとして第２の所定色に色付けして表示するようになされている。
【０２２６】
この場合、画像処理装置２のマイクロプロセッサ３は、例えば表示ウィンドウＷ５７４、Ｗ５７６、Ｗ５７５に関しては互いの距離Ｌ１が閾値ＴＨ１以上であり、互いに隣接する静止画像の特徴量における類似性が低いのでグループ分けの対象から外し、例えばその表示ウィンドウＷ５７４、Ｗ５７６、Ｗ５７５の輝度レベルを落として表示することにより、第１グループや第２グループと視覚的な違いを持たせるようになされている。
【０２２７】
実際上、図３０に示すように、画像処理装置２のマイクロプロセッサ３は、ルーチンＲＴ５の開始ステップから入って次のステップＳＰ９１へ移り、表示部５５に表示した画像群５８を構成している複数の表示ウィンドウＷ５７１〜Ｗ５７８のうち互いに隣接している表示ウィンドウＷ５７間の距離Ｌ１をそれぞれ算出し、次のステップＳＰ９２へ移る。
【０２２８】
ステップＳＰ９２において、画像処理装置２のマイクロプロセッサ３は、互いに隣接している表示ウィンドウＷ５７間の距離Ｌ１と予め設定された所定の閾値ＴＨ１とを比較し、距離Ｌ１が閾値ＴＨ１未満であるか否かを判定し、肯定結果が得られると次のステップＳＰ９３へ移る。
【０２２９】
ステップＳＰ９３において、画像処理装置２のマイクロプロセッサ３は、隣接している表示ウィンドウＷ５７間の距離Ｌ１が閾値ＴＨ１未満であるので、３次元表示空間内で非常に近接した位置に複数の表示ウィンドウＷ５７が配置されていると認識し、すなわちこれら複数の表示ウィンドウＷ５７の静止画像が有する特徴量が似通っており、互いに類似していると判断し、次のステップＳＰ９４へ移る。
【０２３０】
ステップＳＰ９４において、画像処理装置２のマイクロプロセッサ３は、互いに類似していると判断した複数の表示ウィンドウＷ５７の表示枠を第１の所定色や第２の所定色に色付け表示することにより、互いに似通った特徴量を持つグループとして色分け表示し、次のステップＳＰ９５へ移る。
【０２３１】
ステップＳＰ９５において、画像処理装置２のマイクロプロセッサ３は、画像群５８における全ての表示ウィンドウＷ５７について類似判断が終了したか否かを判定し、否定結果が得られるとステップＳＰ９１へ戻って上述の処理を繰り返し、全ての表示ウィンドウＷ５７に対する類似判断が終了し、肯定結果が得られると次のステップＳＰ９８へ移って処理を終了する。
【０２３２】
これに対して、ステップＳＰ９２で否定結果が得られると、画像処理装置２のマイクロプロセッサ３は次のステップＳＰ９６へ移り、隣接している表示ウィンドウＷ５７間の距離Ｌ１が閾値ＴＨ１以上であるので、両者は３次元表示空間内の近接した位置に配置されておらず、すなわちこれら隣接した表示ウィンドウＷ５７の静止画像が有する特徴量が似通っていないので互いに非類似であると判断し、次のステップＳＰ９７へ移る。
【０２３３】
ステップＳＰ９７において、画像処理装置２のマイクロプロセッサ３は、互いに非類似であると判断した隣接した複数の表示ウィンドウＷ５７についてはグループ化することなく、それらの表示ウィンドウＷ５７の輝度レベルを所定レベルに落として表示することにより、グループ化できない表示ウィンドウＷ５７であることを視覚的に認識できるように提示すると共に、結果としてグループ化した表示ウィンドウＷ５７を強調表示することになり、次のステップＳＰ９８へ移って処理を終了する。
【０２３４】
このように、画像処理装置２のマイクロプロセッサ３は、複数のビデオデータにそれぞれ対応した複数の表示ウィンドウＷ５７上で、再生途中・再生終了時の表示形態として、静止画像を基準としてその類似性を判断することにより類似性のあるグループと類似性のないグループに分け、類似性のあるグループに対しては表示ウィンドウＷ５７の表示枠を色付け表示し、類似性のない表示ウィンドウＷ５７に対しては表示ウィンドウＷ５７の輝度レベルを低下して表示することにより、ユーザに対して画像群５８の各表示ウィンドウＷ５７が持つ特徴量の傾向を色分けされたグループによって瞬時かつ直感的に認識させ得るようになされている。
【０２３５】
ところで、画像処理装置２のマイクロプロセッサ３は、複数のビデオデータに対する再生処理を開始する前の時点における最初の静止画像を基準に上述のグループ表示処理手順ＲＴ５を実行しても良く、また、動画再生中の静止画像を更新する度に上述のグループ表示処理手順ＲＴ５を実行しても良い。
【０２３６】
因みに、画像処理装置２のマイクロプロセッサ３は、類似性のない表示ウィンドウＷ５７に対する輝度レベルを落として表示するのではなく、グループ化された表示ウィンドウＷ５７とは反対色になるような色付け表示を行ったり、グループ化された表示ウィンドウＷ５７の表示枠に色付け表示を行うのではなく、輝度レベルを非常に上げて表示したり、点滅表示させるようにしても良く、要は類似性のあるグループの表示ウィンドウＷ５７を他の表示ウィンドウＷ５７よりも強調表示できるようにすれば良い。
【０２３７】
上述したように、ビデオデータにおける特徴パラメータが類似していること、又は、類似性のあるグループであることを示す類似度情報を、新たな特徴パラメータ又は後述する付随パラメータとして生成することも可能である。例えば、ビデオデータが上述した類似性が高いと判断された場合に、類似した回数を示すカウンタをビデオデータ毎に設けて、カウントアップすることにより、ビデオデータ間の類似性を測定することもできる。そして、カウンタが設定された閾値以上のビデオデータのみを自動的に表示させることも可能である。
【０２３８】
（５）表示応用例
続いて、画像処理装置２のマイクロプロセッサ３が実行可能な表示ウィンドウＷ５７に対する表示応用例について説明する。
【０２３９】
（５−１）表示ウィンドウを固定したまま３次元表示空間を動かすときの表示処理
画像処理装置２では、ビデオデータに対応した表示ウィンドウＷ５７の静止画像を更新する際、静止画像毎に特徴量が変化することに応じて、表示部５５の表示ウィンドウＷ５７をその位置に固定したまま、３次元表示空間及び他の表示ウィンドウＷ５７を移動して再配置することが可能であり、ここではそのような表示ウィンドウを固定した表示処理について説明する。
【０２４０】
これまで、画像処理装置２では、図２３に示したように、３次元表示空間を固定したまま、表示ウィンドウＷ５７の静止画像を更新する度に、その静止画像の特徴量に応じて配置先となる３次元表示空間内の座標パラメータ（座標位置）を変更することにより、表示ウィンドウＷ５７をあたかも浮遊させるかのように、その位置ＰＯ１〜ＰＯ３まで移動表示する場合について説明してきた。
【０２４１】
しかしながら、これに限るものではなく、画像処理装置２では、表示部５５に表示したユーザが注目すべき表示ウィンドウＷ５７の表示位置を固定させたまま、その表示ウィンドウＷ５７の静止画像を更新する度に、各静止画像の特徴量に応じて３次元表示空間自体を移動・回転させて表示ウィンドウＷ５７と３次元表示空間内の座標との相対的位置関係を変化させることにより、固定した表示ウィンドウＷ５７に対して３次元表示空間内の他の表示ウィンドウＷ５７を近づけさせたり、遠ざけさせたりするように浮遊させながら移動表示し得るようになされている。
【０２４２】
実際上、画像処理装置２のマイクロプロセッサ３は、図３１に示すように、図２３における位置ＰＯ１の静止画像を写し出した表示ウィンドウＷ５７Ｃを表示部５５の画面中央位置ＰＯｃに固定させて表示した場合、その表示ウィンドウＷ５７Ｃを中心としてその周囲に存在する他の表示ウィンドウＷ５７についても当該表示ウィンドウＷ５７Ｃとの相対的位置関係を保った状態で表示する。
【０２４３】
この後、画像処理装置２のマイクロプロセッサ３は、図３２に示すように、表示ウィンドウＷ５７Ｃの静止画像を更新して表示する際、当該表示ウィンドウＷ５７Ｃについては画面中央位置ＰＯｃに固定したままであるため、更新した静止画像の特徴量に応じて３次元表示空間と共に他の表示ウィンドウＷ５７についても移動させる。
【０２４４】
さらに、画像処理装置２のマイクロプロセッサ３は、図３３に示すように、表示ウィンドウＷ５７Ｃの静止画像を更に更新して表示するとき、当該表示ウィンドウＷ５７Ｃについては相変わらず画面中央位置ＰＯｃに固定したままであるため、更新した静止画像の特徴量に応じて３次元表示空間と共に他の表示ウィンドウＷ５７についても移動させる。
【０２４５】
すなわち、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７Ｃにビデオデータの再生映像を表示中、この表示ウィンドウＷ５７Ｃについては画面中央位置ＰＯｃに固定したまま、フレーム毎に変化する静止画像の特徴量に応じて３次元表示空間及び他の表示ウィンドウＷ５７を移動表示させることにより、その表示ウィンドウＷ５７Ｃを目視確認しているユーザに対しては表示ウィンドウＷ５７Ｃを見失うというリスクを排除しつつ、表示ウィンドウＷ５７Ｃと共にユーザ自身が３次元表示空間の中を移動しているかのような印象を与え得るようになされている。
【０２４６】
このような表示ウィンドウＷ５７Ｃを固定したビデオデータの表示処理手順を続けて説明する。図３４に示すように、画像処理装置２のマイクロプロセッサ３は、ルーチンＲＴ６の開始ステップから入って次のステップＳＰ１０１へ移る。
【０２４７】
ステップＳＰ１０１において、画像処理装置２のマイクロプロセッサ３は、ユーザにより指定された３次元表示空間の表示軸や、ユーザに対して画像群５８を表示する際の視点座標を決定し、次のステップＳＰ１０２へ移る。
【０２４８】
ステップＳＰ１０２において、画像処理装置２のマイクロプロセッサ３は、ユーザによって指定された再生すべきビデオデータの静止画像を認識し、次のステップＳＰ１０３へ移る。ステップＳＰ１０３において、マイクロプロセッサ３は、その静止画像を注目フレームとし、そのサブ・ビデオストリームＬＤ１をデコードし、その結果得られるデコード後のサブ・ビデオデータをＧＰＵ４へデータ転送し、次のステップＳＰ１０４へ移る。
【０２４９】
ステップＳＰ１０４において、画像処理装置２のマイクロプロセッサ３は、その静止画像に対応付けられているメタデータファイルＭＤＦから３次元表示空間の表示軸に用いられている特徴パラメータの特徴量を照会して受け取り、次のステップＳＰ１０５へ移る。
【０２５０】
ステップＳＰ１０５において、画像処理装置２のマイクロプロセッサ３は、ステップＳＰ１０４で受け取った特徴パラメータの特徴量に基づいて、静止画像の表示ウィンドウＷ５７Ｃを貼り付けるべき３次元表示空間内の座標パラメータ（座標位置）を計算し、その座標位置が画面中央位置ＰＯｃに相当するように視点座標を変更し、次のステップＳＰ１０６へ移る。
【０２５１】
ステップＳＰ１０６において、画像処理装置２のマイクロプロセッサ３は、注目フレームの表示ウィンドウＷ５７Ｃを画面中央位置ＰＯｃに固定して最初の静止画像を表示すると共に、その周囲に存在する他のビデオデータにそれぞれ対応した表示ウィンドウＷ５７についても配置し直して表示し、次のステップＳＰ１０７へ移る。
【０２５２】
ステップＳＰ１０７において、画像処理装置２のマイクロプロセッサ３は、画面中央位置ＰＯｃに表示ウィンドウＷ５７Ｃを固定したまま、その表示ウィンドウＷ５７Ｃの静止画像を例えばフレーム周波数に従って更新し、その更新後の静止画像に対応付けられているメタデータファイルＭＤＦから表示軸に用いられている特徴パラメータの特徴量を照会して受け取り、次のステップＳＰ１０８へ移る。
【０２５３】
ステップＳＰ１０８において、画像処理装置２のマイクロプロセッサ３は、ＧＰＵ４により、画面中央位置ＰＯｃの表示ウィンドウＷ５７Ｃを固定したまま、更新後の静止画像の特徴量に応じて３次元表示空間及び周囲の表示ウィンドウＷ５７を動かして描画し直し、次のステップＳＰ１０９へ移る。
【０２５４】
ステップＳＰ１０９において、マイクロプロセッサ３は、ユーザからの終了指示があるか、もしくは所定時間が経過したかを基準にして、画面中央位置ＰＯｃの表示ウィンドウＷ５７Ｃの表示処理を終了するか否かを判定し、肯定結果が得られると次のステップＳＰ１１０へ移って表示ウィンドウＷ５７Ｃの表示処理を終了する。
【０２５５】
これに対して、ステップＳＰ１０９で否定結果が得られると、マイクロプロセッサ３は画面中央位置ＰＯｃの表示ウィンドウＷ５７Ｃの表示処理を終了することなくステップＳＰ１０１へ戻って上述の処理を繰り返す。
【０２５６】
このように、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７Ｃにビデオデータの再生映像を表示中、この表示ウィンドウＷ５７Ｃを画面中央位置ＰＯｃに固定し、更新する静止画像の特徴量に応じて３次元表示空間及び他の表示ウィンドウＷ５７を移動表示させることにより、その表示ウィンドウＷ５７Ｃと３次元表示空間及び他の表示ウィンドウＷ５７との相対的位置関係の変化を通して、ビデオデータの特徴をユーザにイメージとして直感的に認識させ得るようになされている。
【０２５７】
（５−３）サブブラウザによる拡大表示例
更に、画像処理装置２のマイクロプロセッサ３は、画像群５８を構成している複数の表示ウィンドウＷ５７の表示サイズが必ずしも大きくないため、表示ウィンドウＷ５７を介してビデオの再生映像を表示したときでも、ユーザに対して十分に目視確認させ得ない場合がある。
【０２５８】
このような場合、画像処理装置２は、例えば図３５に示すように、画像群５８を構成している複数の表示ウィンドウＷ５７のうち、例えば表示ウィンドウＷ５７１、Ｗ５７２がユーザによってダブルクリックされる等の選択操作が行われると、当該表示ウィンドウＷ５７１、Ｗ５７２に表示されるビデオデータを画面サイズの大きな再生映像で表示すべくサブブラウザを立ち上げ、そのサブブラウザによる所定サイズの拡大表示ウィンドウＢＷ５７１、ＢＷ５７２に対して、表示ウィンドウＷ５７１、Ｗ５７２と同じ再生映像を拡大表示し得るようになされている。
【０２５９】
これにより、画像処理装置２は、表示ウィンドウＷ５７１、Ｗ５７２の配置場所や画面サイズによって再生映像が非常に小さく表示されていた場合であっても、ユーザに対して拡大表示ウィンドウＢＷ５７１、ＢＷ５７２を介してその再生映像の内容を目視確認させることができるので、複数のビデオデータにそれぞれ対応した複数の表示ウィンドウＷ５
７の中からユーザ所望のビデオデータを容易に探索させることができる。
【０２６０】
ここで、画像処理装置２のマイクロプロセッサ３は、拡大表示ウィンドウＢＷ５７１、ＢＷ５７２を表示部５５の周囲に並べるように配置し、表示ウィンドウＷ５７１及び拡大表示ウィンドウＢＷ５７１の表示枠を同色で色付け表示し、表示ウィンドウＷ５７２及び拡大表示ウィンドウＢＷ５７２の表示枠を表示ウィンドウＷ５７１及び拡大表示ウィンドウＢＷ５７１の表示枠とは異なる同色で色付け表示するようになされている。
【０２６１】
これにより、画像処理装置２のマイクロプロセッサ３は、ユーザに対して、拡大表示ウィンドウＢＷ５７１、ＢＷ５７２で表示している再生映像が画像群５８の何れの表示ウィンドウＷ５７１、Ｗ５７２であるかを同色の表示枠によって容易に判別させ得るようになされている。
【０２６２】
なお、画像処理装置２のマイクロプロセッサ３は、拡大表示ウィンドウＢＷ５７１、ＢＷ５７２を表示部５５の周囲に並べるように配置している関係で、この拡大表示ウィンドウＢＷ５７１、ＢＷ５７２の数が多くなり過ぎると、画像群５８の表示ウィンドウＷ５７を隠蔽してしまうことになるので、拡大表示ウィンドウＢＷ５７１、ＢＷ５７２の数が所定値以上になると、その縦横サイズを小さくして画面サイズを縮小するようになされている。
【０２６３】
（６）表示ウィンドウの軌跡表示処理
ところで、画像処理装置２では、ビデオデータの再生映像を表示ウィンドウＷ５７により表示する場合、ビデオデータを構成する複数のピクチャ（静止画像）を更新する度に３次元表示空間内の座標位置を変えながら表示することになるため、ある瞬間の表示ウィンドウＷ５７の位置が所定時間経過後には非常に離れた位置にまで移動していることも多く、そのような場合ユーザはその再生映像の過去のタイミングではどのような特徴を有していたのかを記憶し切れず、ビデオデータの特徴（傾向）を十分に認識させ得ないという事態が考えられる。
【０２６４】
そのような点を考慮し、画像処理装置２では、ビデオデータの再生映像を表示ウィンドウＷ５７に表示し、その表示ウィンドウＷ５７を３次元表示空間内で移動させながら、その表示ウィンドウＷ５７の移動経過を、３次元表示空間内の軌跡として表示することにより、ユーザに対してビデオデータの再生映像を表示中にその過去又は未来、若しくは双方のタイミングではどのような特徴を有しているのかをユーザに対して視覚的に目視確認させ、そのビデオデータにおける再生映像の表示終了後であってもビデオデータの特徴（傾向）を十分に認識させ得るようになされており、そのための軌跡表示処理について以下説明する。
【０２６５】
（６−１）通常の軌跡表示モード
画像処理装置２のマイクロプロセッサ３は、図３６に示すように、ビデオデータの表示ウィンドウＷ５７が静止画像を更新する度に矢印方向へ移動表示する際、全軌跡表示モードが選択されている場合、現在表示している静止画像に応じて配置されている表示ウィンドウＷ５７が過去に移動してきた軌跡と、これから表示ウィンドウＷ５７が移動する未来の軌跡を線として表示するようになされている。
【０２６６】
ここで、画像処理装置２のマイクロプロセッサ３は、過去の軌跡を表示する場合、表示ウィンドウＷ５７の静止画像を更新したときに、当該表示ウィンドウＷ５７の移動と共に移り変わる表示ウィンドウＷ５７の重心点を結ぶことにより生成した線を過去の軌跡として、例えば赤色で表示するようになされている。
【０２６７】
これに対して、画像処理装置２のマイクロプロセッサ３は、未来の軌跡を表示する場合、表示ウィンドウＷ５７のこれから更新する予定の静止画像の特徴量に基づいて当該表示ウィンドウＷ５７が移動する予定の座標パラメータ（座標位置）を算出し、その移動する予定の座標位置における未来の表示ウィンドウＷ５７の重心点を順次結んでいくことにより生成した線を未来の軌跡として、例えば青色で表示するようになされている。
【０２６８】
従って、画像処理装置２では、表示ウィンドウＷ５７の後方に提示した過去の軌跡については赤色の線で表示し、前方に提示した未来の軌跡については青色で表示するように色分けした状態で、ユーザに目視確認させることにより、表示ウィンドウＷ５７がこれから何れの方向へ向かって移動表示するかを瞬時かつ直感的に認識させ得るようになされている。
【０２６９】
なお、画像処理装置２のマイクロプロセッサ３は、過去の軌跡及び未来の軌跡を色分け表示するのではなく、過去の軌跡を実線で表示し、未来の軌跡を破線で表示する等のその他種々の表示方法により軌跡を表現するようにしても良い。
【０２７０】
ところで、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７の過去及び未来の双方の軌跡を表示するようにしたが、これに限るものではなく、ユーザの選択操作に応じたモード選択により過去又は未来のいずれか一方の軌跡だけを表示することも可能である。
【０２７１】
このような画像処理装置２のマイクロプロセッサ３が行う軌跡表示処理手順について図３７のフローチャートを用いて説明する。
【０２７２】
画像処理装置２のマイクロプロセッサ３は、ルーチンＲＴ９の開始ステップから入って次のステップＳＰ１６１へ移り、ユーザによって選択された軌跡表示を行うべきビデオデータを特定し、次のステップＳＰ１６２へ移る。
【０２７３】
ステップＳＰ１６２において、画像処理装置２のマイクロプロセッサ３は、そのビデオデータを構成する各静止画像にそれぞれ対応した位置の表示ウィンドウＷ５７における重心点を認識し、次のステップＳＰ１６３へ移る。
【０２７４】
ステップＳＰ１６３において、画像処理装置２のマイクロプロセッサ３は、ステップＳＰ１６２で認識した重心点を結ぶことにより、ビデオデータの表示ウィンドウＷ５７が移動する際の軌跡を表した線を生成し、次のステップＳＰ１６４へ移る。
【０２７５】
ステップＳＰ１６４において、画像処理装置２のマイクロプロセッサ３は、ユーザによって過去の軌跡を表示する過去軌跡表示モードが選択されているか否かを判定し、肯定結果が得られると次のステップＳＰ１６５へ移り、現在の表示ウィンドウＷ５７よりも過去側の線を軌跡として表示した後、ステップＳＰ１６９へ移って処理を終了する。
【０２７６】
これに対して、ステップＳＰ１６４で否定結果が得られると、このことはユーザによって未来の軌跡を表示する未来軌跡表示モードもしくは過去及び未来の全ての軌跡を表示する全軌跡表示モードが選択されていることを表しており、このとき画像処理装置２のマイクロプロセッサ３は次のステップＳＰ１６６へ移る。
【０２７７】
ステップＳＰ１６６において画像処理装置２のマイクロプロセッサ３は、ユーザによって未来軌跡表示モードが選択されているか否かを判定し、肯定結果が得られると次のステップＳＰ１６７へ移り、現在の表示ウィンドウＷ５７よりも未来側の線を軌跡として表示した後、ステップＳＰ１６９へ移って処理を終了する。
【０２７８】
これに対して、ステップＳＰ１６６で否定結果が得られると、このことはユーザによって全軌跡表示モードが選択されていることを表しており、このとき画像処理装置２のマイクロプロセッサ３は、次のステップＳＰ１６８へ移り、現在の表示ウィンドウＷ５７に対して過去側及び未来側の線からなる全軌跡を表示した後、ステップＳＰ１６９へ移って処理を終了する。
【０２７９】
これにより、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７に対する過去側の軌跡だけを表示する場合、図３８に示すように、現在表示中の表示ウィンドウＷ５７よりも過去側すなわち後方の線だけを表示することになるため、あたかも移動物体が排気しながら進行するかのような印象をユーザに与え得るようになされている。
【０２８０】
また、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７に対する未来の軌跡だけを表示する場合、図３９に示すように、現在表示中の表示ウィンドウＷ５７よりも未来側すなわち前方の線だけを表示することになるため、あたかも移動物体が前方をライトによって照らしながら進行するかのような印象をユーザに与え得るようになされている。
【０２８１】
因みに、画像処理装置２のマイクロプロセッサ３は、未来側の軌跡を表示する際には、エンド位置ＰＯｅ（図３６）までの軌跡を最初から全て表示するのではなく、現在表示中の表示ウィンドウＷ５７よりも前方に所定長さ分の線を未来側の軌跡として表示することも可能であり、こうすれば最終的に何れのエンド位置ＰＯｅに表示ウィンドウＷ５７を配置するのかを最初からユーザに示してしまうのではなく、エンド位置ＰＯｅが何れの場所になるのかをユーザに対する楽しみとして残すこともできる。
【０２８２】
さらに、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７に対する過去側及び未来側の全軌跡を表示する場合、図４０に示すように現在表示中の表示ウィンドウＷ５７の前方及び後方に軌跡を表した線を表示することになるため、あたかも線路上を電車が移動するかのような印象をユーザに与え得るようになされている。
【０２８３】
このように、画像処理装置２のマイクロプロセッサ３は、表示ウィンドウＷ５７が移動表示する際の軌跡表示方法をユーザの選択によって３通りの中から任意に選択させることが出来るため、ビデオデータの各静止画像が持つ特徴（傾向）をユーザに最も認識させ易い軌跡により提示し得るようになされている。
【０２８４】
（６−２）複数の表示ウィンドウを使用した軌跡表示モード
ところで、画像処理装置２のマイクロプロセッサ３は、図３６に示したように移動表示中の表示ウィンドウＷ５７だけではなく、ビデオデータの再生開始時点における表示ウィンドウＷ５７のスタート位置ＰＯｓ及び、ビデオデータの再生終了時点における表示ウィンドウＷ５７のエンド位置ＰＯｅに、そのときの静止画像をそれぞれ映し出した表示ウィンドウＷ５７ｓ及びＷ５７ｅを残存表示するようになされている。
【０２８５】
これにより、画像処理装置２では、このビデオデータに対応した表示ウィンドウＷ５７を目視確認しているユーザに対し、表示ウィンドウＷ５７が最初に３次元表示空間内のどのの位置ＰＯｓに配置されてから、３次元表示空間内のどの位置ＰＯｅに最終的に配置されて、ビデオデータの再生処理が終了するのかという全体の流れを当該表示ウィンドウＷ５７の開始から終了までの全体の軌跡を介したイメージとして直感的に認識させ得るようになされている。
【０２８６】
もちろん、画像処理装置２のマイクロプロセッサ３は、スタート位置ＰＯｓ及びエンド位置ＰＯｅに、そのときの静止画像を映し出した表示ウィンドウＷ５７ｓ、Ｗ５７ｅを必ず残存表示させなければならないということではなく、ユーザの選択操作により残存表示させないようにすることもできる。
【０２８７】
また、画像処理装置２のマイクロプロセッサ３は、スタート位置ＰＯｓの近傍に設けられた全ウィンドウ表示ボタンＺ１（図３６）がユーザによってダブルクリックされると、図４５に示すように、ビデオデータを構成している複数のピクチャ（静止画像）によってそれぞれ決まる３次元表示空間内の位置に表示ウィンドウＷ５７（Ｗ５７ｓ〜Ｗ５７ｅ）を所定間隔毎又は全て表示するようになされており、これにより過去の軌跡及び未来の軌跡を表示する代わり、もしくは軌跡と共に、複数の表示ウィンドウＷ５７（Ｗ５７ｓ〜Ｗ５７ｅ）による連続的な流れをビデオデータの特徴（傾向）としてユーザに提示し得るようになされている。
【０２８８】
さらに、画像処理装置２のマイクロプロセッサ３は、図４２に示すように軌跡上の任意の点がユーザによってクリック操作されたことを認識すると、その時点から表示ウィンドウＷ５７による再生処理を開始し、エンド位置ＰＯｅの表示ウィンドウＷ５７ｅまでの再生映像をプレビュー表示するようになされている。
【０２８９】
これにより、画像処理装置２では、ビデオデータを再生することによりスタート位置ＰＯｓ〜エンド位置ＰＯｅまで表示ウィンドウＷ５７の静止画像を更新させながら移動表示した様子をユーザに目視確認させた後、ユーザの希望する任意の位置から表示ウィンドウＷ５７による移動表示処理を再開させることが可能であり、ユーザの操作性を大幅に向上させ得るようになされている。
【０２９０】
因みに、画像処理装置２のマイクロプロセッサ３は、ビデオデータに対応した表示ウィンドウＷ５７の移動表示中であっても、軌跡線上の任意の点がクリック操作されると、その任意の点から表示ウィンドウＷ５７による再生処理を開始すると共に、それまで移動表示していた表示ウィンドウＷ５７については見易さの観点から消滅させ、軌跡線上に一つの表示ウィンドウＷ５７だけを移動表示させるようになされている。
【０２９１】
但し、画像処理装置２では見易さが損なわれることはないとユーザに判断された場合、軌跡線上を複数の表示ウィンドウＷ５７が同時に移動表示するように選択できるようにすることも可能である。
【０２９２】
この場合、画像処理装置２のマイクロプロセッサ３は、図４３に示すように、この軌跡上を２個の表示ウィンドウＷ５７を並行して移動表示させることになり、ユーザに対して所望シーンの画探し作業を一段と容易に実行させ得るようになされている。
【０２９３】
また、画像処理装置２のマイクロプロセッサ３は、図４４に示すように、表示ウィンドウＷ５７の軌跡線上の所定位置に予め代表的なシーンとして設定されていた静止画像の表示ウィンドウＷ５７ａ、Ｗ５７ｂ、Ｗ５７ｃ、Ｗ５７ｄを残存表示することも可能である。
【０２９４】
これにより、ユーザは、スタート位置ＰＯｓ〜エンド位置ＰＯｅまで表示ウィンドウＷ５７を移動表示した後であっても、その中で代表的なシーンの静止画像を映し出している表示ウィンドウＷ５７ａ、Ｗ５７ｂ、Ｗ５７ｃ、Ｗ５７ｄについては軌跡上に残存表示されているため、それらの残存表示された代表的なシーンの表示ウィンドウＷ５７ａ、Ｗ５７ｂ、Ｗ５７ｃ、Ｗ５７ｄの静止画像を目視確認すれば、ビデオデータの全体傾向を容易に把握できるだけでなく、個々の代表的なシーンの特徴についてもその傾向を容易に把握することができる。
【０２９５】
このような代表的なシーンとしては、例えばビデオデータのソースがＤＶＤ等であれば、チャプター毎に予め設定された代表的な静止画像が相当することになるため、ＤＶＤのビデオデータを表示ウィンドウＷ５７により再生する場合、画像処理装置２のマイクロプロセッサ３は、上述のような代表的なシーンを残存表示させる軌跡表示処理を容易に実現し得るようになされている。
【０２９６】
ここで、画像処理装置２は、代表的なシーンの表示ウィンドウＷ５７を残存表示するようにしたが、これに限るものではなく、一定間隔毎に表示ウィンドウＷ５７を残存表示させることも可能である。この場合、ユーザは一定間隔毎の表示ウィンドウＷ５７に写し出されている静止画像を目視確認することができるので、表示ウィンドウＷ５７を用いたビデオデータの再生処理を終了した後であっても、一定間隔毎に残存表示された表示ウィンドウＷ５７を介してビデオデータの特徴（傾向）を直ちに把握することができるようになされている。
【０２９７】
（６−３）シーンチェンジ又はフラッシュ時の軌跡表示モード
また、画像処理装置２は、図４５に示すように表示ウィンドウＷ５７を介してビデオデータの再生映像を表示中、その中でシーンチェンジ又はフラッシュ（以降、代表して単にフラッシュと称する）があり、シーンチェンジ前の静止画像が有する特徴量と、シーンチェンジ後の静止画像が有する特徴量とが大きく変化する場合、シーンチェンジ前の表示ウィンドウＷ５７ｂｅｆｏｒｅからシーンチェンジ後の表示ウィンドウＷ５７ａｆｔｅｒまで大きくジャンプすることがある。
【０２９８】
このようなとき、画像処理装置２は、上述したように座標補正処理手順ＳＲＴ１（図２４）を実行し、表示ウィンドウＷ５７ｂｅｆｏｒｅから表示ウィンドウＷ５７ａｆｔｅｒまで一気にジャンプしてしまうのではなく、目的の移動先に近付くに連れて段階的に移動距離を次第に短くしながら順次分類配置させることにより、シーンチェンジ時における表示ウィンドウＷ５７ｂｅｆｏｒｅ〜Ｗ５７ａｆｔｅｒまでの動きをユーザに目視確認させるようになされているが、軌跡表示モードであっても上述の座標補正処理手順を実行し得るようになされている。
【０２９９】
この場合、画像処理装置２のマイクロプロセッサ３は、軌跡線上を表示ウィンドウＷ５７が一気にジャンプするのではなく、シーンチェンジ前の表示ウィンドウＷ５７ｂｅｆｏｒｅの位置からシーンチェンジ後の表示ウィンドウＷ５７ａｆｔｅｒの位置まで段階的に移動表示するが、この段階的に移動表示している表示ウィンドウＷ５７に対してのみ、例えば半透明色で表示させたり、若しくは、点滅表示させたり等の強調表示を実行するようになされている。
【０３００】
なお、画像処理装置２のマイクロプロセッサ３は、このときシーンチェンジ前の表示ウィンドウＷ５７ｂｅｆｏｒｅ及びシーンチェンジ後の表示ウィンドウＷ５７ａｆｔｅｒの双方共に残存表示するようになされており、シーンチェンジ前後の内容をユーザに対して常時目視確認させ得るようになされている。
【０３０１】
因みに、画像処理装置２のマイクロプロセッサ３は、上述の座標補正処理手順ＳＲＴ１を行うのではなく、シーンチェンジ前の位置からシーンチェンジ後の位置までの間を、シーンチェンジ後の静止画像を映し出した表示ウィンドウＷ５７ａｆｔｅｒによって一定間隔毎に繰り返し移動表示することも可能であり、そのときには移動表示速度をジャンプ速度よりも極端に遅くする。
【０３０２】
ここで、画像処理装置２のマイクロプロセッサ３は、図４６（Ａ）に示すようにシーンチェンジ前の表示ウィンドウＷ５７ｂｅｆｏｒｅの位置からシーンチェンジ後の表示ウィンドウＷ５７ａｆｔｅｒの位置までの距離Ｌ２と、その距離Ｌ２に対する表示ウィンドウＷ５７の移動時間ｔ２とが線形の関係を有するように移動表示速度を設定するばかりではなく、図４６（Ｂ）及び（Ｃ）に示すように距離Ｌ２と移動時間ｔ２とが非線形の関係を有するように移動表示速度を設定するようにしても良い。
【０３０３】
この場合、画像処理装置２のマイクロプロセッサ３は、シーンチェンジ前の表示ウィンドウＷ５７ｂｅｆｏｒｅからシーンチェンジ後の表示ウィンドウＷ５７ａｆｔｅｒまで段階的に移動表示させる際、当初は高速に移動し、次第に移動表示速度を下げるように当該表示ウィンドウＷ５７を可変速状態で移動表示することができる。
【０３０４】
更に、画像処理装置２のマイクロプロセッサ３は、軌跡線上を移動表示中の表示ウィンドウＷ５７がユーザによってクリックされたことを認識すると、その時点での静止画像の特徴量に応じて決まる位置に表示ウィンドウＷ５７を数秒間もしくは半永久的に残存表示し、再度クリックされたことを認識すると、当該表示ウィンドウＷ５７を消去させ、もしくはその時点から表示ウィンドウＷ５７の再生映像を再開させ得るようになされている。
【０３０５】
（６−４）タイムコードを用いた軌跡表示モード
画像処理装置２のマイクロプロセッサ３は、図４７に示すように、表示ウィンドウＷ５７を介してビデオデータを再生することにより、表示ウィンドウＷ５７を３次元表示空間内で移動表示させた際、その軌跡線上の位置に表示ウィンドウＷ５７のタイムコード表示枠ＴＷ１〜ＴＷｎを表示することができる。
【０３０６】
ここで、画像処理装置２のマイクロプロセッサ３は、タイムコード表示枠ＴＷ１〜ＴＷｎに表示しているビデオデータに付随するタイムコード情報を、各静止画像のメタデータファイルＭＤＦから読み出し、その読み出したタイムコード情報を用いてタイムコード表示枠ＴＷ１〜ＴＷｎのタイムコードを表示するようになされている。
【０３０７】
また、画像処理装置２のマイクロプロセッサ３は、必ずしも軌跡線上ではなく、代表的なシーンからなる静止画像の表示ウィンドウＷ５７やエンド位置ＰＯｅの表示ウィンドウＷ５７ｅを残存表示しているときにも、その残存表示した表示ウィンドウＷ５７及びＷ５７ｅに対して、そのときのタイムコードをタイムコード表示枠ＴＷ３、ＴＷｅによって提示するようになされている。
【０３０８】
これにより、画像処理装置２は、ビデオデータの再生映像に合わせて表示ウィンドウＷ５７を移動表示したときの軌跡だけでなく、その軌跡線上の位置や表示ウィンドウＷ５７に付随したタイムコード表示枠ＴＷ１〜ＴＷｎ〜ＴＷｅを介してビデオデータの時間情報をユーザに提示することができるので、タイムコード表示枠ＴＷ１〜ＴＷ４を介してビデオデータの時間的な経過状態をユーザに認識させながら所望シーンの画探し作業を実行させ得るようになされている。
【０３０９】
なお、画像処理装置２のマイクロプロセッサ３は、その特徴が非常に似通ったビデオデータをそれぞれの表示ウィンドウＷ５７によって再生した場合、各表示ウィンドウＷ５７が移動表示するときの軌跡についても非常に似通った結果を示すことになり、この場合、３本の非常に似通った軌跡を表示する。
【０３１０】
これを目視確認したユーザは、３個のビデオデータの傾向をその軌跡が似通っていることに基づいて、同じような内容であることを推測することができるので、ビデオデータの管理や検索を容易に実行することができる。
【０３１１】
（６−５）軌跡表示中の表示ウィンドウ制御モード
画像処理装置２は、ビデオデータの再生映像に合わせて表示ウィンドウＷ５７を移動表示したときの軌跡を表示することに加えて、移動中の表示ウィンドウＷ５７のサイズ及び形状を変化させながら表示し得るようになされており、その点について説明する。
【０３１２】
実際上、画像処理装置２のマイクロプロセッサ３は、例えば図４８（Ａ）に示すようにＲＧＢの色成分を表示軸のパラメータとして設定した３次元表示空間上で、ビデオデータの表示ウィンドウＷ５７をその軌跡に沿って移動表示する際、そのビデオデータを構成している各静止画像のメタデータファイルＭＤＦから表示軸の特徴パラメータとして用いられているＲＧＢの色成分における特徴量以外の他のパラメータとして、例えば静止画像の細かさ情報の特徴量についても取得し、その細かさ情報の特徴量が所定の閾値を超えているときには、図４８（Ｂ）に示すように、その時点の静止画像に対応した表示ウィンドウＷ５７の表示サイズを所定倍に拡大表示する。
【０３１３】
更に、画像処理装置２のマイクロプロセッサ３は、静止画像の細かさ情報の特徴量が所定の閾値未満のときには、図４８（Ｃ）に示すように表示ウィンドウＷ５７の表示サイズを所定倍に縮小表示する。
【０３１４】
すなわち、画像処理装置２のマイクロプロセッサ３は、細かさ情報の特徴量が所定の閾値を超えているときのような高周波成分が多く含まれている静止画像の場合、その表示ウィンドウＷ５７を拡大表示することにより、ユーザに対する見易さを向上させ得るようになされている。
【０３１５】
また、画像処理装置２のマイクロプロセッサ３は、細かさ情報の特徴量が所定の閾値未満のような高周波成分が殆ど含まれていない静止画像の場合、画像サイズを縮小させてもユーザに対する見易さについては殆ど変化しないと判断し、表示ウィンドウＷ５７を縮小表示することにより処理負担を軽減させ得るようになされている。
【０３１６】
因みに、画像処理装置２では、表示軸を構成している色成分以外のパラメータとして静止画像の細かさ情報を用いて表示ウィンドウＷ５７の表示サイズを拡大又は縮小するようにしたが、これに限るものではなく、動き量、色相、音声レベル等のその他種々の特徴量を用いて表示ウィンドウＷ５７の表示サイズを拡大又は縮小することが可能であり、また表示ウィンドウＷ５７の表示サイズを拡大又は縮小するだけに留まらず、表示ウィンドウＷ５７の表示枠形状を変形させて表示するようにしても良いし、表示サイズ及び表示枠形状の双方を制御するようにしても良い。
【０３１７】
（７）動作及び効果
以上の構成において、画像処理装置２のマイクロプロセッサ３は、ビデオデータの再生映像を表示ウィンドウＷ５７に表示する際、ユーザによって選定された表示軸によって生成した３次元表示空間内に、ビデオデータを構成している各静止画像の特徴量に応じてフレーム更新する度に表示ウィンドウＷ５７を順次分類配置していく。
【０３１８】
ここで、画像処理装置２では、ビデオデータのフレームを更新する度に、特徴量が変化して配置する先の３次元表示空間座標位置が移り変わるので、あたかも３次元表示空間上を表示ウィンドウＷ５７が浮遊するかのように移動表示させることができる。
【０３１９】
例えば、旅行先でビデオカメラにより撮影したビデオデータータを、３次元表示空間内に配置し、ビデオデータの再生映像を表示ウィンドウＷ５７によって表示する場合、海が映し出された再生画像の表示ウィンドウＷ５７では、浜辺で撮影されたビデオデータの表示ウィンドウＷ５７が多く配置されているエリアへ移動していき、その次に山が写し出された静止画像に更新されると、その表示ウィンドウＷ５７は山林で撮影されたビデオデータの表示ウィンドウＷ５７が多く配置されているエリアへ移動していき、ビルが写し出された静止画像に更新されると、その表示ウィンドウＷ５７は都心で撮影されたビデオデータの表示ウィンドウＷ５７が多く配置されているエリアへ移動していくことになる。
【０３２０】
このような表示ウィンドウＷ５７の動き自体が、ビデオデータの特徴を表したものであるため、ユーザにとっては表示ウィンドウＷ５７の３次元表示空間内の動きに応じた３次元表示空間内での位置変化や、表示ウィンドウＷ５７自体の動きのイメージを介して、ビデオデータの特徴（傾向）を直感的に認識することができる。
【０３２１】
特に、画像処理装置２では、従来のように、ビデオデータを構成している複数の静止画像のうち先頭画像だけをサムネイル表示して配置しても、それが必ずしもビデオデータの傾向を示していることにはならないが、本発明のように、ビデオデータを構成している各静止画像の特徴量の変化に応じて表示ウィンドウＷ５７を移動表示させたときの動きのイメージとしてユーザに認識させることにより、当該ユーザに対してビデオデータの特徴（傾向）を正確に理解させ、ビデオデータの管理及び検索を容易に実行させることができる。
【０３２２】
ここで、画像処理装置２は、ビデオデータの再生中にシーンチェンジ又はフラッシュがあった場合、シーンチェンジ又はフラッシュ前の３次元表示空間内の位置からシーンチェンジ又はフラッシュ後の３次元表示空間内の位置まで表示ウィンドウＷ５７を大きくジャンプするのではなく、段階的に距離を詰めながら表示ウィンドウＷ５７を移動表示するようにしたことにより、ユーザの視線から表示ウィンドウＷ５７が外れてしまって見失うことを回避し、ユーザによる表示ウィンドウＷ５７の動きのイメージが途切れてしまうことを未然に防止することができる。
【０３２３】
また、画像処理装置２では、複数のビデオデータにそれぞれ対応した表示ウィンドウＷ５７を用いて同時に再生すれば、フレーム更新する度に似通った特徴量のビデオデータに対応する表示ウィンドウＷ５７が３次元表示空間内における特定のエリアに集まることになり、これら複数のビデオデータが持つ特徴（傾向）を、３次元表示空間上に集められた若しくは分散された複数の表示ウィンドウＷ５７の配置状態を通じて、ユーザに直感的かつ容易に認識させることができる。
【０３２４】
更に、画像処理装置２では、ビデオデータを再生することにより、表示ウィンドウＷ５７を３次元表示空間内に配置しているときに、その３次元表示空間を構成している表示軸のパラメータがユーザの指示に応じて変更された場合、新たな３次元表示空間を生成し、そこに表示する表示ウィンドウＷ５７の配置状態を大きく変化させることが可能であり、ユーザが所望するパラメータに合わせて表示ウィンドウＷ５７の配置結果を自在に変更して提示することできる。
【０３２５】
更に、画像処理装置２は、表示ウィンドウＷ５７の移動表示に伴って、その過去側の軌跡、未来側の軌跡、過去側及び未来側の双方の全軌跡をユーザの選択操作に応じて表示ウィンドウＷ５７と共に表示するようにしたことにより、表示ウィンドウＷ５７が３次元表示空間内を過去に移動してきたときの動きや、これから移動しようとする未来の動きを視覚的に提示することができるので、ユーザに対しては複数のビデオデータに対する表示ウィンドウＷ５７の軌跡をそれぞれ比較させるだけで、複数のビデオデータ同士が似通った傾向を有するのか、異なる傾向を有するのかを軌跡の線によるイメージとして直感的に理解させることができる。
【０３２６】
ところで、画像処理装置２は、編集画面の表示部５５にビデオデータにそれぞれ対応した表示ウィンドウＷ５７を配置し、画像群５８として表示するが、表示部５５には３次元表示空間の表示軸を表示することがなく、かつ全ての表示ウィンドウＷ５７をユーザの視線方向に対して正面を向くように配置しているため、ユーザに対して複数の表示ウィンドウＷ５７が３次元表示空間内に配置されていることを理解させ易くする。
【０３２７】
以上の構成によれば、画像処理装置２では、ビデオデータを再生する場合、当該ビデオデータを構成している個々の静止画像を更新するときに、更新した静止画像の特徴量が変化することに応じて、表示ウィンドウＷ５７と３次元表示空間との相対的位置関係を変化させながら当該表示ウィンドウＷ５７を絵柄の特徴変化に応じて、移動表示させることにより、ビデオデータが有する再生映像の特徴（傾向）を表示ウィンドウＷ５７の動きとして表現し、ユーザにその動きのイメージを直感的に認識させることができるので、大量にあるビデオデータの分類、管理、検索を直感的なイメージを通じて容易化することができる。
【０３２８】
（８）他の実施の形態
なお、上述の実施の形態においては、本発明の映像処理装置を、画像処理装置２に適用するようにした場合について述べたが、本発明はこれに限らず、単なるコンピュータに適用し、ビデオカメラで撮影した複数のビデオデータを内部のハードディスクドライブに蓄積し、その全てのビデオデータを３次元表示空間に配置して表示することにより、静止画ビデオデータの特徴や全体傾向をユーザに対して直感的に認識させ、かつ所望のシーンに対する画探し作業を容易に実行させるようにしても良い。
【０３２９】
また、上述の実施の形態においては、３次元表示空間を生成し、これに表示ウィンドウＷ５７を配置するようにした場合について述べたが、本発明はこれに限らず、図４９に示すように、２次元表示空間を生成し、これに表示ウィンドウＷ５７を配置したり、表示ウィンドウＷ５７の軌跡を表示したりするようにしても良い。
【０３３０】
さらに、上述の実施の形態においては、ビデオデータを構成するピクチャ（静止画像）自体が持つＲ（赤）、Ｂ（青）、輝度の表示軸を特徴パラメータとして、３次元表示空間を生成するようにした場合について述べたが、本発明はこれに限らず、静止画像に対応付けられた音声情報を表示軸のパラメータとして用いたり、時間情報を表示軸のパラメータとして用いたり、Ｒ（赤）、Ｂ（青）の双方を一つの表示軸のパラメータとして用いる等のユーザの好みに合わせて配置のための種々の多次元表示空間を生成するようにしても良い。
【０３３１】
例えば、図５０に示すように、画像処理装置２では、輝度、Ｒ（赤）、Ｂ（青）を表示軸とした３次元表示空間と、動き量、ＤＣＴ縦周波数及びＤＣＴ横周波数を表示軸とした３次元表示空間とを時間軸に沿って並べることにより、４次元表示空間を生成し、その４次元表示空間内にビデオデータの表示ウィンドウＷ５７を配置させたり、ビデオデータの表示ウィンドウＷ５７を再生処理に伴って移動表示させることができる。
【０３３２】
さらに、上述の実施の形態においては、ビデオデータの再生に合わせて表示ウィンドウＷ５７を３次元表示空間内で移動表示させるようにした場合について述べたが、本発明はこれに限らず、例えば図５１に示すように、編集画面５０の表示部５５に設けられたバー６６のつまみ６７に対するユーザの左右方向操作に合わせて、表示ウィンドウＷ５７を過去側あるいは未来側へその軌跡に沿って移動表示させるようにしても良い。
【０３３３】
この場合、ユーザは、表示ウィンドウＷ５７の３次元表示空間内の位置を自らの意思により自在にコントロールすることが出来るので、所望シーンの画探し作業や編集作業を一段と容易に実行することができる。
【０３３４】
さらに、上述の実施の形態においては、ビデオデータの再生映像を表示ウィンドウＷ５７に表示するようにした場合について述べたが、本発明はこれに限らず、画像群５８のうち重なり合って見えない表示ウィンドウＷ５７については、ビデオデータを構成する静止画像の更新率を下げて再生速度を極めて遅くしたり、解像度を落としたり、静止画像を更新せずに表示したり、あるいは何も表示しないようにしても良い。これにより画像処理装置２は、ユーザにとって目視確認できない表示ウィンドウＷ５７に対しては再生表示処理を実行しなくて済む分だけマイクロプロセッサ３の処理負荷を軽減することができる。
【０３３５】
さらに、上述の実施の形態においては、軌跡線上や表示ウィンドウＷ５７にタイムコード通知枠ＴＷ（図４７）を表示するようにした場合について述べたが、本発明はこれに限らず、再生経過時刻をユーザに認識させることが出来れば、軌跡上や表示ウィンドウＷ５７に対してフレーム番号通知枠やフィールド番号通知枠等のその他種々の通知枠を表示することができる。
【０３３６】
さらに、本実施の形態では、ビデオデータのピクチャ（静止画像）ごとに特徴パラメータ又は付属パラメータを求めが、特徴パラメータ又は付属パラメータは、複数ピクチャごとに求めることが可能である即ち、複数ピクチャとしての、例えば、１ＧＯＰごと（単位）に求めることもできる。例えば、その１ＧＯＰを構成するすべてのピクチャの特徴パラメータの平均値や、１ＧＯＰを構成するピクチャのうちのＩピクチャの特徴パラメータ（付属パラメータ）を、１ＧＯＰの特徴パラメータとして採用することができる。
【０３３７】
このように、特徴パラメータや付属パラメータを、複数ピクチャとしての、例えば、１ＧＯＰごと求めてメタデータとして格納する場合には、ピクチャごとの特徴パラメータや付属パラメータをメタデータとして格納する場合に比較して、メタデータのサイズを小さくすることができ、また、メタデータの解析（パース）に要する処理の負担を軽減することができる。
【０３３８】
なお、メタデータの作成時に、ビデオデータを例えばＭＰＥＧ方式で符号化する場合において、ピクチャ毎又はＧＯＰごとの特徴パラメータや付属パラメータをを求めるときには、ＭＰＥＧ方式での符号化の結果得られるビデオストリーム中のピクチャヘッダ又はＧＯＰヘッダに含めるようにすることができる。
【０３３９】
（９）ビデオデータに連結する付随パラメータについて
上述した実施の形態においては、ビデオデータを構成するピクチャ（静止画像）の特徴パラメータについて述べたが、ビデオデータに連結（付随）しているパラメータ（付随パラメータ）にも適用可能である。例えば、ビデオデータを撮像又は記録した時刻を示す時刻情報、ビデオデータを撮像又は記録した際の位置情報（緯度・経度情報）、ビデオデータの所有者又は作成者を識別する識別情報、ビデオデータにネットワーク経由でアクセスしたユーザを識別する識別情報、ビデオデータにアクセスした数を示すアクセス数、ビデオデータをグループ分けした際のグループ識別情報、ビデオデータに含まれる人物の顔を識別する顔識別情報、ビデオデータに含まれるタイトル・カテゴリ又はキーワード又は字幕情報などが含まれる。これらの付随パラメータは、周知の技術を採用して生成可能なパラメータである。
【０３４０】
ここで言う連結（付随）とは、データと、このデータに関するパラメータ（メタデータ）が、互いにリンクされている状態であれば良い。例えば、互いに別の記録媒体に記録されていり、別の伝送路で伝送されたものであっても、パラメータ（メタデータ）にビデオデータを識別する情報やビデオデータのピクチャ番号が含まれているようにしていれば、後で互いに対応させることができる。本実施の形態では、このような場合も含めて連結（付随）しているという。
【０３４１】
このような付随パラメータを、特徴パラメータとともに、同様の処理手順で利用して、上述した表示形態を実現することも可能である。
【０３４２】
ここで、図５２のように、複数のユーザ１〜Ｎから提供（アップロード）されたビデオデータを、サーバ（ビデオＤＢ、メタデータ・ビデオＤＢ）で一括管理し、ユーザはそれぞれネットワークを介して、自分の興味のあるビデオデータにアクセスして内容を確認するアプリケーションが考えられる。
【０３４３】
この場合、データベースは、上述した付随パラメータをビデオデータ毎に管理することができる。例えば、ビデオデータにアクセスした数を示すアクセス数が付随パラメータに含まれる場合、アクセス数の増減に対応して表示ウィンドウの表示サイズを変更する（例えばアクセス数が予め設定された閾値よりも大きくなったビデオデータについては、ユーザから人気のあるビデオデータとして、対応する表示ウィンドウのサイズを大きく表示させり、表示ウィンドウを強調表示させるたりする）ことができる。また、ビデオデータの所有者又は作成者を識別する識別情報が付属パラメータに含まれる場合、ユーザ毎に表示空間を設定することも可能である。また、ビデオデータのカテゴリ毎に表示空間を生成することも可能である。
【０３４４】
例えば、図５３に示すように、表示ウィンドウＷ５７＿２／Ｗ５７＿５／Ｗ５７＿６は、表示ウィンドウＷ５７＿１／Ｗ５７＿３／Ｗ５７＿４に比べて大きく表示されている。これは、対応するビデオデータに対するアクセス数が多いことを示している。
【０３４５】
次に、図５０においては、時間軸を用いて４次元表示空間を生成することを述べたが、上述した付随パラメータを利用すれば、様々な表示形態を実現することができる。例えば、ＧＰＳなどによりビデオデータにリンクして生成された位置情報（緯度・経度）が付随パラメータに含まれる場合、図５４に示しているように、位置情報を表示軸として追加した表示空間を生成して、位置情報の変化とともにビデオデータと３次元表示空間とが連動して移動する表示形態も考えられる。
【０３４６】
さらに、図５２にように多数のユーザが多数のビデオデータを提供するケースでは、特徴パラメータの類似度、付随パラメータを利用して、図５５にように、互いに類似度が高く・位置情報も特定範囲に含まれるビデオデータをグループとして、グループ毎に表示空間を生成することもできる。この場合、特に動画投稿サイト・ＳＮＳ（ソーシャル・ネットワーキング・サービス）のようなアプリケーションでは、グループ毎に生成された表示空間をコミュニティとして捉えることができるので、投稿したビデオデータを用いてユーザ間のコミュニケーションの促進を実現する一面もある。
【０３４７】
（１０）本願発明の適用可能な装置について
さらに上述の実施の形態においては、本発明を図１のように構成された画像処理装置２に適用するようにした場合について述べたが、本発明はこれに限らず、画像処理装置としての機能の提供が可能な装置であれば、この他種々の構成の画像処理装置に広く適用することができる。
【０３４８】
なお、この画像処理装置には、例えばコンピュータ、ビデオカメラ、ディジタルカメラ、ゲーム機器、携帯情報端末（携帯型のコンピュータ、携帯電話機、携帯型ゲーム機器）、ストレージ機器（例えば光ディスク装置、ホームサーバ）、発明に係る機能を搭載した処理ボードや処理カードが含まれる。
【０３４９】
これら何れの画像処理装置の場合にも、筐体と、信号処理部と、外部インタフェースとを共通構成とし、商品形態に応じた周辺装置が組み合わされて構成される。例えば、ビデオカメラやディジタルカメラであれば、前述の構成に加え、カメラユニットや撮像された映像データを記憶媒体に保存するための書込み回路を有する。また例えば携帯電話機その他の通信機能を有する電子機器であれば、前述の構成に加え、送受信回路やアンテナを有する。
【０３５０】
さらに、上述の実施の形態においては、マイクロプロセッサ３がハードディスク装置７に格納された映像処理プログラムを起動して、３次元表示空間上で表示ウィンドウＷ５を移動表示させるようにした場合について述べたが、本発明はこれに限らず、映像処理プログラムが格納されたプログラム格納媒体をマイクロプロセッサ３にインストールすることにより上述の移動表示処理等を実行するようにしても良い。
【０３５１】
このように、上述した移動表示処理等を実行するための映像処理プログラムをハードディスク装置７にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等のパッケージメディアのみならず、映像処理プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現しても良い。また、これらプログラム格納媒体に映像処理プログラムを格納する手段として、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用してもよく、ルータやモデム等の各種通信インタフェースを介して格納するようにしても良い。
【０３５２】
さらに、上述の実施の形態においては、本発明の画像処理装置としての画像処理装置２を、表示空間生成手段、変換手段としてのマイクロプロセッサ３、分類配置手段としてのマイクロプロセッサ３及びＧＰＵ４によって構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成でなる表示空間生成手段、変換手段及び分類配置手段によって本発明の画像処理装置を構成するようにしても良い。
【０３５３】
なお、発明の趣旨の範囲内で上述のほかに様々な変形例が考えられる。また本明細書の記載に基づいて創作される各種の変形例及び応用例も考えられる。
【産業上の利用可能性】
【０３５４】
本発明の画像処理装置及び画像処理方法は、ビデオデータを再生して表示画面上に表示させる種々の画像処理装置に広く適用することができる。
【符号の説明】
【０３５５】
１……画像処理システム、２……画像処理装置、３……マイクロプロセッサ、４……ＧＰＵ、５……ＸＤＲ−ＲＡＭ、２２……記憶装置、３７……操作コントローラ、３８……マウス、３９……キーボード、４０……ディスプレイ、４１……スピーカ、５０……編集画面、５５……表示部、Ｗ５７……表示ウィンドウ、５８……画像群。
【図１】
0005453716.tif 000002
【図２】
0005453716.tif 000003
【図３】
0005453716.tif 000004
【図４】
0005453716.tif 000005
【図５】
0005453716.tif 000006
【図６】
0005453716.tif 000007
【図７】
0005453716.tif 000008
【図８】
0005453716.tif 000009
【図９】
0005453716.tif 000010
【図１０】
0005453716.tif 000011
【図１１】
0005453716.tif 000012
【図１２】
0005453716.tif 000013
【図１４】
0005453716.tif 000014
【図１５】
0005453716.tif 000015
【図１６】
0005453716.tif 000016
【図１７】
0005453716.tif 000017
【図１８】
0005453716.tif 000018
【図１９】
0005453716.tif 000019
【図２０】
0005453716.tif 000020
【図２１】
0005453716.tif 000021
【図２２】
0005453716.tif 000022
【図２３】
0005453716.tif 000023
【図２４】
0005453716.tif 000024
【図２５】
0005453716.tif 000025
【図２６】
0005453716.tif 000026
【図２７】
0005453716.tif 000027
【図２８】
0005453716.tif 000028
【図２９】
0005453716.tif 000029
【図３０】
0005453716.tif 000030
【図３１】
0005453716.tif 000031
【図３２】
0005453716.tif 000032
【図３３】
0005453716.tif 000033
【図３４】
0005453716.tif 000034
【図３５】
0005453716.tif 000035
【図３６】
0005453716.tif 000036
【図３７】
0005453716.tif 000037
【図３８】
0005453716.tif 000038
【図３９】
0005453716.tif 000039
【図４０】
0005453716.tif 000040
【図４１】
0005453716.tif 000041
【図４２】
0005453716.tif 000042
【図４３】
0005453716.tif 000043
【図４４】
0005453716.tif 000044
【図４５】
0005453716.tif 000045
【図４６】
0005453716.tif 000046
【図４７】
0005453716.tif 000047
【図４８】
0005453716.tif 000048
【図４９】
0005453716.tif 000049
【図５０】
0005453716.tif 000050
【図５１】
0005453716.tif 000051
【図５２】
0005453716.tif 000052
【図５３】
0005453716.tif 000053
【図５４】
0005453716.tif 000054
【図５５】
0005453716.tif 000055
【図１３】
0005453716.tif 000056