(57)【要約】【課題】Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像などに対し、ＲＯＩ領域を考慮した再圧縮などの処理を効率的に実行できるようにする。【解決手段】画像記憶部１００に、圧縮された画像のファイル１０１とともに同画像の固有情報のファイル１０２が記憶されている。処理部１０４は、ファイル１００内の固有情報を参照し、ファイル１０１内のＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像やＪＰＥＧ２０００の静止画像に対し、その固有情報に基づいて、ＲＯＩ領域、被写体、シーンなどを考慮した再圧縮処理や特定のフレームの検索などを実行する。圧縮された画像を復号する必要がないため、長時間の動画像の再圧縮処理を短時間で行うことができる。固有情報は好ましくはＭＰＥＧ−７により記述される。【選択図】        図１
2004229044.tif 000002
【特許請求の範囲】
【請求項１】
圧縮された画像が格納された第１のファイルと、前記圧縮された画像の固有情報が格納された第２のファイルとを保存することを特徴とする画像保存方法。
【請求項２】
請求項１に記載の画像保存方法において、前記固有情報はＭＰＥＧ−７に従って記述されることを特徴とする画像保存方法。
【請求項３】
請求項１に記載の画像保存方法において、前記固有情報に、高画質領域、被写体、シーン及び代表フレームのうちの少なくも１つに関する情報が含まれることを特徴とする画像保存方法。
【請求項４】
請求項１、２又は３に記載の画像保存方法において、前記圧縮された画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像又はＪＰＥＧ２０００の静止画像であることを特徴とする画像保存方法。
【請求項５】
請求項１、２、３又は４に記載の第１のファイル及び第２のファイルの組が記録されたコンピュータが読み取り可能な記録媒体。
【請求項６】
圧縮された画像が格納された第１のファィル及び前記圧縮された画像の固有情報が格納された第２のファイルにそれぞれアクセスするための手段と、この手段を通じて前記第１のファイル及び前記第２のファイルをアクセスし、前記第２のファイルに格納されている固有情報に基づいて、前記第１のファイルに格納されている圧縮された画像に対し特定の処理を行う処理手段とを有することを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、前記特定の処理は再圧縮処理であり、この再圧縮処理において、前記処理手段は、前記第２のファイルに格納されている固有情報に含まれている高画質領域に関する情報に基づいて、高画質領域の圧縮率をそれ以外の領域の圧縮率より下げることを特徴とする画像処理装置。
【請求項８】
請求項６に記載の画像処理装置において、前記特定の処理は再圧縮処理であり、この再圧縮処理において、前記処理手段は、前記第２のファイルに格納されている固有情報に含まれている被写体又はシーンに関する情報に基づいて、特定の被写体又はシーンが写っている動画像のフレーム又は静止画像の圧縮率をそれが写っていない動画像のフレーム又は静止画像の圧縮率より下げることを特徴とする画像処理装置。
【請求項９】
請求項６に記載の画像処理装置において、前記特定の処理は再圧縮処理であり、この再圧縮処理において前記処理手段は、前記第２のファイルに格納されている固有情報に含まれている被写体又はシーン及び高画質領域に関する情報に基づいて、特定の被写体又はシーンが写っている動画像のフレーム又は静止画像の圧縮率をそれが写っていないフレーム又は静止画像の圧縮率より下げ、かつ、特定の被写体又はシーンが写っているフレーム又は静止画像では高画質領域の圧縮率をそれ以外の領域の圧縮率より下げることを特徴とする画像処理装置。
【請求項１０】
請求項６に記載の画像処理装置において、前記特定の処理は動画像の特定のフレーム又は特定の静止画像を検索する処理であることを特徴とする画像処理装置。
【請求項１１】
請求項６乃至１０のいずれか１項に記載の画像処理装置において、前記圧縮された画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像又はＪＰＥＧ２０００の静止画像であることを特徴とする画像処理装置。
【請求項１２】
圧縮された画像が格納された第１のファィル及び前記圧縮された画像の固有情報が格納された第２のファイルをそれぞれアクセスし、前記固有情報に基づいて前記圧縮された画像に対し特定の処理を行うことを特徴とする画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法において、前記特定の処理は再圧縮処理であり、この再圧縮処理において、前記固有情報に含まれている高画質領域に関する情報に基づいて、高画質領域の圧縮率をそれ以外の領域の圧縮率より下げることを特徴とする画像処理方法。
【請求項１４】
請求項１２に記載の画像処理方法において、前記特定の処理は再圧縮処理であり、この再圧縮処理において、前記固有情報に含まれている被写体又はシーンに関する情報に基づいて、特定の被写体又はシーンが写っている動画像のフレーム又は静止画像の圧縮率を、それが写っていないフレーム又は静止画像の圧縮率より下げることを特徴とする画像処理方法。
【請求項１５】
請求項１２に記載の画像処理方法において、前記特定の処理は再圧縮処理であり、この再圧縮処理において、前記固有情報に含まれている被写体又はシーン及び高画質領域に関する情報に基づいて、特定の被写体又はシーンが写っている動画像のフレーム又は静止画像の圧縮率をそれが写っていないフレーム又は静止画像の圧縮率より下げ、かつ、特定の被写体又はシーンが写っているフレーム又は静止画像では高画質領域の圧縮率をそれ以外の領域の圧縮率より下げることを特徴とする画像処理方法。
【請求項１６】
請求項１２に記載の画像処理方法において、前記特定の処理は、動画像の特定のフレーム又は特定の静止画像を検索する処理であることを特徴とする画像処理方法。
【請求項１７】
請求項１２乃至１６のいずれか１項に記載の画像処理方法において、前記圧縮された画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像又はＪＰＥＧ２０００の静止画像であることを特徴とする画像処理方法。
【請求項１８】
請求項１２乃至１７のいずれか１項に記載の画像処理方法の手順をコンピュータに実行させるプログラム。
【請求項１９】
請求項１８に記載のプログラムが記録されたコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、圧縮された画像の保存及び処理の方法及び装置に関する。
【０００２】
【従来の技術】
画像は圧縮された状態で保存されるのが一般的である。静止画像の圧縮にはＪＰＥＧが、動画像の圧縮にはＭＰＥＧが広く利用されているが、これに代わる新しい符号化方式としてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  ＦＣＤ  １５４４４−１）と、その拡張方式であるＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  ＦＣＤ  １５４４４−３）が注目されている。ＪＰＥＧ２０００については例えば非特許文献１に詳しい。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、時間的に連続した複数の静止画像それぞれをフレームとして動画像を扱うが、各フレームはＪＰＥＧ２０００のアルゴリズムにより符号化され、ＪＰＥＧ２０００の静止画像と同様に扱うことができる。
【０００３】
ＪＰＥＧ２０００は多くの特徴を有するが、その１つとして画像全体の圧縮率を下げることなく、特定の領域の圧縮率を下げる（高画質化する）選択的領域画質向上機能（ＲＯＩ）がある。ＪＰＥＧ２０００の基本仕様では、ＲＯＩの方式として、高画質領域（ＲＯＩ領域）のウェーブレット係数のビットシフトによるＭａｘ  Ｓｈｉｆｔ方式が規定されている。もう１つの特徴は、符号化データを復号することなく、符号の廃棄、加工による再圧縮（ポスト量子化）などの処理が可能であることである。
【０００４】
ＪＰＥＧ２０００の符号化データに関しては、ＲＯＩ領域のシフトされたウェーブレット係数の下位ビットプレーンに、日時、場所、撮影者、撮影条件、被写体などの情報を埋め込む技術が特許文献１に記載されている。
【０００５】
【特許文献１】
特開２００２−６４７０９号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式  ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００６】
【発明が解決しようとする課題】
ＪＰＥＧ２０００の静止画像及びＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像は、その符号化データを符号状態のままで再圧縮するなどの処理が可能である。このような処理においてＲＯＩ領域、被写体もしくはシーン、その他の圧縮条件などに関する情報を必要とする場合があるが、ＲＯＩ領域などの情報を取得するには符号化データを復号する必要がある。しかし、必要な情報を得るために符号化データを復号するのでは、符号状態のままで加工が可能というＪＰＥＧ２０００の長所を活用できず、フレーム数の多い動画像又は多数枚の静止画像の処理に極めて長い時間を要してしまう。また、特定の条件に合致するような動画像のフレーム又は静止画像を処理する場合にも、そのフレーム又は静止画像の選択を迅速に行うことができない。特許文献１に記載された技術によっても、符号化データを復号しない限り埋め込まれた情報を取得することができないため、上に述べた問題は解決されない。
【０００７】
なお、ＪＰＥＧ２０００又はＭｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データ中のメインヘッダ又はタイルヘッダに、ＲＯＩのスタイル、シフトビット数などの情報が含まれることもあるが、ＲＯＩ領域の範囲は符号化データを復号しないと判明しない。
【０００８】
よって、本発明の目的は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像やＪＰＥＧ２０００の静止画像などの圧縮された画像を、復号することなく、再圧縮などの処理を効率的に実行するための手段を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明は、請求項１に記載されるように、圧縮された画像が格納された第１のファイルと、前記圧縮された画像の固有情報が格納された第２のファイルとを保存することを特徴とする画像保存方法を提供する。
【００１０】
本発明の動画像保存方法のもう１つの特徴は、請求項２に記載されるように、請求項１に記載の構成において、前記固有情報はＭＰＥＧ−７に従って記述されることにある。ここで、ＭＰＥＧ−７とは、ＩＳＯ／ＩＥＣ  ＪＴＣ１  ＳＣ２９／ＷＧ１１において標準化作業が進行している、マルチメディア・コンテンツに対するメタデータの表記に関する国際標準規格（Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｔｅｎｔ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ；ＩＳＯ／ＩＥＣ  １５９３８−１〜８）である。
【００１１】
本発明の動画像保存方法のもう１つの特徴は、請求項３に記載されるように、請求項１に記載の構成において、前記固有情報に高画質領域、被写体、シーン、代表フレームのうちの少なくも１つに関する情報が含まれることにある。
【００１２】
本発明の動画像保存方法のもう１つの特徴は、請求項４に記載されるように、請求項１、２又は３に記載の構成において、前記圧縮された画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像又はＪＰＥＧ２０００の静止画像であることにある。
【００１３】
また、上記目的を達成するため、本発明は請求項５に記載されるように、請求項１、２、３又は４に記載の第１のファイル及び第２のファイルの組が記録されたコンピュータが読み取り可能な記録媒体を提供する。
【００１４】
また、上記目的を達成するため、本発明は請求項６に記載されるように、圧縮された画像が格納された第１のファィル及び前記圧縮された画像の固有情報が格納された第２のファイルにそれぞれアクセスするための手段と、この手段を通じて前記第１のファイル及び前記第２のファイルをアクセスし、前記第２のファイルに格納されている固有情報に基づいて、前記第１のファイルに格納されている圧縮された画像に対し特定の処理を行う処理手段とを有することを特徴とする画像処理装置を提供する。
【００１５】
本発明の画像処理装置のもう１つの特徴は、請求項７に記載されるように、請求項６に記載の構成において、前記特定の処理は再圧縮処理であり、この再圧縮処理において、前記処理手段は、前記第２のファイルに格納されている固有情報に含まれている高画質領域に関する情報に基づいて、高画質領域の圧縮率をそれ以外の領域の圧縮率より下げることにある。
【００１６】
本発明の画像処理装置のもう１つの特徴は、請求項８に記載されるように、請求項６に記載の構成において、前記特定の処理は再圧縮処理であり、この再圧縮処理において、前記処理手段は、前記第２のファイルに格納されている固有情報に含まれている被写体又はシーンに関する情報に基づいて、特定の被写体又はシーンが写っている動画像のフレーム又は静止画像の圧縮率をそれが写っていない動画像のフレーム又は静止画像の圧縮率より下げることにある。
【００１７】
本発明の画像処理装置のもう１つの特徴は、請求項９に記載されるように、請求項６に記載の構成において、前記特定の処理は再圧縮処理であり、この再圧縮処理において前記処理手段は、前記第２のファイルに格納されている固有情報に含まれている被写体又はシーン及び高画質領域に関する情報に基づいて、特定の被写体又はシーンが写っている動画像のフレーム又は静止画像の圧縮率をそれが写っていないフレーム又は静止画像の圧縮率より下げ、かつ、特定の被写体又はシーンが写っているフレーム又は静止画像では高画質領域の圧縮率をそれ以外の領域の圧縮率より下げることにある。
【００１８】
本発明の画像処理装置のもう１つの特徴は、請求項１０に記載されるように、請求項６に記載の構成において、前記特定の処理は動画像の特定のフレーム又は特定の静止画像を検索する処理であることにある。
【００１９】
本発明の画像処理装置のもう１つの特徴は、請求項１１に記載されるように、請求項６乃至１０のいずれか１項に記載の構成において、前記圧縮された画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像又はＪＰＥＧ２０００の静止画像であることにある。
【００２０】
また、上記目的を達成するため、本発明は請求項１２に記載されるように、圧縮された画像が格納された第１のファィル及び前記圧縮された画像の固有情報が格納された第２のファイルをそれぞれアクセスし、前記固有情報に基づいて前記圧縮された画像に対し特定の処理を行うことを特徴とする画像処理方法を提供する。
【００２１】
本発明の画像処理方法のもう１つの特徴は、請求項１３に記載されるように、請求項１２に記載の構成において、前記特定の処理は再圧縮処理であり、この再圧縮処理において、前記固有情報に含まれている高画質領域に関する情報に基づいて、高画質領域の圧縮率をそれ以外の領域の圧縮率より下げることにある。
【００２２】
本発明の画像処理方法のもう１つの特徴は、請求項１４に記載されるように、請求項１２に記載の構成において、前記特定の処理は再圧縮処理であり、この再圧縮処理において、前記固有情報に含まれている被写体又はシーンに関する情報に基づいて、特定の被写体又はシーンが写っている動画像のフレーム又は静止画像の圧縮率を、それが写っていないフレーム又は静止画像の圧縮率より下げることにある。
【００２３】
本発明の画像処理方法のもう１つの特徴は、請求項１５に記載されるように、請求項１２に記載の構成において、前記特定の処理は再圧縮処理であり、この再圧縮処理において、前記固有情報に含まれている被写体又はシーン及び高画質領域に関する情報に基づいて、特定の被写体又はシーンが写っている動画像のフレーム又は静止画像の圧縮率をそれが写っていないフレーム又は静止画像の圧縮率より下げ、かつ、特定の被写体又はシーンが写っているフレーム又は静止画像では高画質領域の圧縮率をそれ以外の領域の圧縮率より下げることにある。
【００２４】
本発明の画像処理方法のもう１つの特徴は、請求項１６に記載の構成において、前記特定の処理は、動画像の特定のフレーム又は特定の静止画像を検索する処理であることにある。
【００２５】
本発明の画像処理方法のもう１つの特徴は、請求項１７に記載されるように、請求項１２乃至１６のいずれか１項に記載の構成において、前記圧縮された画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像又はＪＰＥＧ２０００の静止画像であることにある。
【００２６】
また、上記目的を達成するため、本発明は請求項１８に記載されるように、請求項１２乃至１７のいずれか１項に記載の画像処理方法の手順をコンピュータに実行させるプログラムを提供する。
【００２７】
また、上記目的を達成するため、本発明は請求項１９に記載されるように、請求項１８に記載のプログラムが記録されたコンピュータが読み取り可能な記録媒体を提供する。
【００２８】
【発明の実施の形態】
図１は本発明の実施の形態を説明するためのブロック図である。図１において、画像記憶部１００は、圧縮された画像が格納された第１のファイル１０１と、この画像の固有情報が格納された第２のファイル１０２の組を記憶するための手段である。このように、本発明によれば、圧縮された画像と、その固有情報とが別々のファイルとして保存されるため、圧縮された画像を復号することなく、その固有情報を参照することが可能である。第１のファイル１０１と第２のファイル１０２の組が記録された各種の記録（記憶）媒体も本発明に含まれる。なお、画像記憶部１００を複数備え、第１のファイルと第２のファイルが別々の画像記憶部に分散して記憶されてもよく、このような態様も本発明に含まれる。
【００２９】
以下、第１のファイル１０１に格納される画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像であるものとして説明するが、ＪＰＥＧ２０００の静止画像であっても本発明の効果を得られることは明白である。説明の重複を避けるため、静止画像の場合について以下の説明中に括弧で囲んで付記する。
【００３０】
アクセス部１０３は、第１のファイル１０１及び第２のファイル１０２をアクセスするための手段である。処理部１０４は、アクセス部１０３を介して第１のファイル１０１及び第２のファイル１０２をアクセスし、第２のファイル１０２内の固有情報に基づいて、第１のファイル１０１内の動画像に対し処理を行う手段である。入力部１０５は、ユーザが処理部１０４に対し指示などを入力するための手段である。表示部１０６は画像などを表示するための手段である。
【００３１】
図１に示す画像処理装置は、例えば図２に示すようなパソコンなどの汎用コンピュータ上でソフトウェアにより実現することができる。図２に示すコンピュータは、ＣＰＵ２００、メモリ２０１、ハードディスク装置２０２、キーボードやマウスなどの入力装置２０３、ディスプレイ装置２０４、各種記録（記憶）媒体（例えば、各種メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど）２０５の読み取り／書き込みを行う媒体ドライブ装置２０６、ネットワーク（ＬＡＮ、イントラネット、インターネットなど）上のコンピュータ２１０との通信のためのネットワーク・コントローラ２０７などからなる一般的な構成のものである。
【００３２】
図１と図２との対応であるが、図１中の画像記憶部１００としては、例えば、ハードディスク装置２０２、記録媒体２０５、ネットワーク上のコンピュータ２１０の備えるハードディスク装置などの大容量記憶装置２１１などが利用される。表示部１０６としてはディスプレイ装置２０４が、入力部１０５としては入力装置２０３がそれぞれ利用される。アクセス部１０３及び処理部１０４は、コンピュータのハードウェア資源（メモリ２０１、ハードディスク装置２０２、媒体ドライブ装置２０６、ネットワーク・コントローラ２０７）を利用し、プログラム（オペレーティングシステム及びアプリケーション・プログラム）により実現される。以下の説明では主として図１のブロック図を参照する。
【００３３】
第２のファイル１０２はｘｍｌファイルであり、第１のファイル内の動画像（又は静止画像）の固有情報がＭＰＥＧ−７に従って記述されている。この固有情報とは、例えば、高画質領域（ＲＯＩ領域）、被写体、シーン、代表フレーム（静止画サムネイル）などに関する情報であるが、その他の圧縮条件など、符号化データを復号しないと取得できない各種の情報を含めることができる。
【００３４】
固有情報の記述例を図３及び図４に示す。いずれもＭＰＥＧ−７により記述されている。図３の例では、第１のファイル（ｃ：￥ｄａｔａ￥ＪＰＥＧ２０００￥ｓａｍｐｌｅ１．ｍｊ２）に格納されている動画像の先頭より１００フレーム目を指定して、ｃｒｉｔｅｒｉａ＝”ｋｅｙＦｒａｍｅ”という属性を与え、同フレームが代表フレーム（静止画サムネイル）であることが記述されている。図４の例では、第１のファイル（図４では簡略化のため指定省略）に格納されている動画像において、登場人物（被写体）Ｙａｍａｄａ  Ｔａｒｏ、場所ｙｏｋｏｈａｍａ、日時２００２／１１／２２のシーンは、先頭より５分１０秒から２０秒間のフレームであり、また、それらフレームにはＲＯＩ領域が設定され、ＲＯＩ領域は画面左上の１００画素×２００画素の矩形領域であることが記述されている。
【００３５】
なお、複数の第１のファイル内の画像に関する固有情報を集約して１つの第２のファイルに記述することも可能であり、このような態様も本発明に含まれることは当然である。固有情報を必ずしもＭＰＥＧ−７により記述する必要はないが、ＭＰＥＧ−７によるほうが汎用性の面で有利である。
【００３６】
以上に例示したような固有情報が第２のファイルに記述されているため、それがない場合に比べ、動画像（又は多数の静止画像）に対する処理を迅速に実行することができる。固有情報を利用する処理の具体例について以下に説明する。
【００３７】
まず、動画像の全フレーム（又は全ての静止画像）にＲＯＩ領域を考慮した再圧縮処理を施す動作について説明する。この再圧縮処理では、ＲＯＩ領域が設定されたフレーム（又は静止画像）についてはＲＯＩ領域の圧縮率をそれ以外の領域の圧縮率より下げる。図５は、この処理の動作を説明するための簡略化したフローチャートである。
【００３８】
この再圧縮処理の指示をユーザが入力部１０５より入力すると、処理部１０４は、アクセス部１０３を介して、ユーザより指定された第２のファイル１０２をアクセスし、ＲＯＩ領域情報を取得する（ステップＳ１００）。このＲＯＩ領域情報は処理部１０４の内部メモリ（例えば図２のメモリ２０１）に保存される。
【００３９】
次に、処理部１０４は、アクセス部１０３を介して、該当する第１のファイル１０１に格納されている動画像の先頭のフレームから順に１フレームの符号データ（又は複数の静止画像中の１つの静止画像の符号化データ）を取り込む（ステップＳ１０２）。
【００４０】
次に、処理部１０４は、取り込んだ符号化データの符号加工により再圧縮を行う（ステップＳ１０６）。このステップにおいて、処理部１０４は予め取得したＲＯＩ領域情報を参照し、処理対象のフレーム（又は静止画像）にＲＯＩ領域が設定されているか調べ、ＲＯＩ領域が設定されているならば、そのＲＯＩ領域の圧縮率をそれ以外の領域の圧縮率より下げて再圧縮処理を実行する。ＲＯＩ領域が設定されていないフレーム（又は静止画像）ならば、そのような圧縮率の調整を行うことなく再圧縮処理を実行する。例えば、第２のファイル内に図４に示したような固有情報が格納されている場合には、動画像の先頭から５分１０秒目のフレームから５分３０秒目までのフレームまでは、画面の左上の１００画素×２００画素サイズの矩形領域の圧縮率を下げた再圧縮処理が行われ、他のフレームについては画面全体が均等な圧縮率で再圧縮される。
【００４１】
そして、処理部１０４は再圧縮後の符号化データで第１のファイル１０１内の対応フレーム（又は静止画像）の符号化データを書き換え、あるいは、再圧縮後の符号化データを画像記録部１００上に予め生成した別のファイルに書き出す（ステップＳ１０８）。
【００４２】
ステップＳ１０２からステップＳ１０８が繰り返し実行され、動画像の各フレーム（又は各静止画像）が順に再圧縮される。最後のフレーム（又は静止画像）まで再圧縮処理されると（ステップＳ１０４，Ｙｅｓ）、一連の処理を終了する。
【００４３】
ＲＯＩ領域を認識するために全フレーム（又は全静止画像）の復号を行ったのでは、フレーム数の多い動画像（又は多数の静止画像）について上に述べたようなＲＯＩ領域を考慮した再圧縮処理を実行するには非常に長い時間を要してしまう。これに対し、本発明によれば、第２のファイル１０２に格納されているＲＯＩ領域情報を参照することにより、全フレーム（又は全静止画像）の復号を行うことなくＲＯＩ領域を考慮した再圧縮処理を行うことができるため、その処理時間を大幅に短縮することができる。
【００４４】
次に、動画像の全フレーム（又は全静止画像）に再圧縮処理を施すが、特定の被写体又はシーンが写っているフレーム（又は静止画像）の圧縮率をそれ以外のフレーム（又は静止画像）の圧縮率より下げて再圧縮処理を施す場合について説明する。図６は、その説明のための簡略化したフローチャートである。
【００４５】
この再圧縮処理の指示をユーザが入力部１０５より入力すると、処理部１０４は、アクセス部１０３を介して、ユーザから指定された第２のファイル１０２をアクセスし、被写体又はシーンに関する情報を取得し、その内容を表示部１０６に表示する（ステップＳ２００）。ユーザは表示内容を確認し、特定の被写体、シーン、又はその両方を入力部１０５より指定する（ステップＳ２０１）。より具体的には、例えば図２中の入力装置２０３に含まれるマウスを操作し、ディスプレイ装置２０４上のポインタを希望する被写体やシーンに移動させクリックすることにより、被写体やシーンを指定する。
【００４６】
例えば、第２のファイルに図４に示した固有情報が格納されている場合、登場人物（被写体）Ｙａｍａｄａ  Ｔａｒｏ、場所ｙｏｋｏｈａｍａ、日時２００２／１１／２２が表示されるので、ユーザはＹａｍａｄａ  Ｔａｒｏやｙｏｋｏｈａｍａなどを指定することができる。
【００４７】
次に、処理部１０４は、アクセス部１０３を介して、該当する第１のファイル１０１に格納されている動画像の先頭のフレームから順に１フレームの符号データ（又は複数の静止画像中の１つの静止画像の符号化データ）を取り込む（ステップＳ２０２）。
【００４８】
次に、処理部１０４は、取り込んだ符号化データの符号加工により再圧縮を行う（ステップＳ２０６）。このステップにおいて、処理部１０４は取得した被写体又はシーンに関する情報を参照し、処理対象のフレーム（又は静止画像）がユーザにより指定された特定の被写体又はシーンが写っているフレーム（又は静止画像）であるか調べ、指定された特定の被写体又はシーンが写っているフレーム（又は静止画像）については、それ以外のフレーム（又は静止画像）より圧縮率を下げた再圧縮処理を実行する。図４に示したような例で、ユーザにより特定の被写体としてＹａｍａｄａ  Ｔａｒｏが指定された場合には、動画像の先頭から５分１０秒目から５分３０秒目までのフレームは、他のフレームより低圧縮率で再圧縮されることになる。この例では、場所ｙｏｋｏｈａｍａや日時２００２／１１／２２により特定のシーンを指定した場合も同じ再圧縮処理が実行される。
【００４９】
そして、処理部１０４は、再圧縮後の符号化データで第１のファイル１０１内の対応フレーム（又は静止画像）の符号化データを書き換え、あるいは、再圧縮後の符号化データを画像記録部１００上に予め生成した別のファイルに書き出す（ステップＳ２０８）。
【００５０】
ステップＳ２０２からステップＳ２０８が繰り返し実行され、動画像の各フレーム（又は各静止画像）が順に再圧縮される。最後のフレーム（又は静止画像）まで再圧縮処理されると（ステップＳ２０４，Ｙｅｓ）一連の処理を終了する。
【００５１】
このように、本発明によれば、第２のファイルに格納されている固有情報を参照することにより、動画像の各フレーム（又は各静止画像）を復号することなく、特定の被写体又はシーンが写ったフレーム（又は静止画像）とそれ以外のフレーム（又は静止画像）とで圧縮率を異ならせた再圧縮処理を迅速に実行することができる。
【００５２】
なお、特定の被写体又はシーンが写ったフレーム（又は静止画像）にＲＯＩ領域が設定されている場合に、ステップＳ２０６においてＲＯＩ領域の再圧縮の圧縮率を下げさせることもできる。この場合には、ステップＳ２００でＲＯＩ領域情報も取得されることになる。このような態様も本発明に含まれる。
【００５３】
また、ユーザが予め特定の被写体又はシーンが写っているフレーム（又は静止画像）の存在を知っている場合には、ユーザが入力部１０５より最初にその被写体又はシーンを指定して、同様の再圧縮処理を実行させることもできる。この場合の動作を図６を援用して説明すると、ステップＳ２００では指定された被写体又はシーンに関する情報のみが第２のファイル１０２より取得される。例えば、第２のファイル１０２に図４に示すような固有情報が格納されているときに、場所ｙｏｋｏｈａｍａを指定すると、「先頭から５分１０秒目から２０秒間」という情報が取得される。そして、ステップＳ２０２以降の処理が繰り返し実行され各フレームが再圧縮されるが、場所ｙｏｋｏｈａｍａのシーンが写っているフレームは他のフレームより低い圧縮率で再圧縮される。このような態様も本発明に含まれる。
【００５４】
次に、動画像の代表フレーム（静止画サムネイル）や、特定の被写体又はシーンが写ったフレーム（又は静止画像）を検索して表示する処理について説明する。図７は、その説明のためのフローチャートである。
【００５５】
ユーザから入力部１０５より検索条件が入力される（ステップＳ３００）。処理部１０４は、アクセス部１０３を介して、ユーザから指定された第２のファイル１０２をアクセスし、検索条件と合致するフレーム（又は静止画像）に関する情報を取得する（ステップＳ３０２）。
【００５６】
例えば、第２のファイル１０２に図３に示したような固有情報が格納されている場合に、検索条件として代表フレームが指定されときには、代表フレームの属性値ｋｅｙＦｒａｍｅを与えられた先頭から１００フレーム目という情報が取得される。仮に、属性値ｋｅｙＦｒａｍｅを与えられたフレームが複数存在するならば、それぞれのフレームを示す情報が取得される。また、例えば、第２のファイル１０２に図４に示したような固有情報が格納されている場合に、検索条件として被写体（登場人物）Ｙａｍａｄａ  Ｔａｒｏが指定されたときには、Ｙａｍａｄａ  Ｔａｒｏが登場する一連のフレーム中の最初のフレーム、つまり先頭から５分１０秒目のフレームを示す情報が取得される。なお、Ｙａｍａｄａ  Ｔａｒｏが動画中に複数回登場する場合は、各回の最初のフレームを示す情報が取得される。
【００５７】
次に、処理部１０４は、ステップＳ３０２で取得した情報を参照し、第１のファイル１０１より、検索条件に合致したフレーム（又は静止画像）の符号データを取り込んで復号し、その画像を表示部１０６に表示させる（ステップＳ３０４）。この際、検索条件に合致したフレーム（又は静止画像）が他に存在するときには、その旨のメッセージも表示部１０６に表示させる。かくして、上に述べた例では、代表フレーム（静止画サムネイル）やＹａｍａｄａ  Ｔａｒｏが登場するフレームの画像が表示される。
【００５８】
ユーザは、検索条件に合致した他のフレーム（又は静止画像）を表示させたい時には、その旨を入力部１０５より指示することができる。この場合（ステップＳ３０６，次フレーム）、処理部１０４は検索条件に合致した次のフレーム（又は静止画像）の符号化データを取り込んで復号し、その画像を表示させる（ステップＳ３０４）。ユーザが終了の旨を指示すると（ステップＳ３０６，終了）、一連の処理を終了する。
【００５９】
このように、第２のファィルに格納されている画像の固有情報を利用することにより、様々な検索情報により動画像の特定のフレーム（又は特定の静止画像）を効率的に検索し、その画像を表示させることができる。
【００６０】
なお、ステップＳ３００に先だって、第２のファイルの固有情報を参照し、検索条件として指定し得る項目を表示部１０６に表示し、ステップＳ３００では、表示された項目の１つ又は複数をマウスなどを利用して選択させるようにしてもよい。このような態様も本発明に含まれる。
【００６１】
また、検索条件を指定して検索したフレーム（又は静止画像）に対し、復号表示以外の処理を行わせることも可能であり、このような態様も当然に本発明に含まれる。
【００６２】
ここまでの説明から明らかなように、図５乃至図７に関連して説明したような処理手順を、例えば図２に示したようなコンピュータ上で実行するためのプログラム、及び、同プログラムが記録された記録（記憶）媒体も本発明に包含される。また、本発明が適用される画像はＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像やＪＰＥＧ２０００の静止画像のみに限定されるものではない。
【００６３】
【発明の効果】
以上に詳細に説明したように、本発明によれば、圧縮された画像のＲＯＩ領域などの固有情報が格納されたファイルを、圧縮された画像のファイルとともに保存するため、圧縮された画像を復号することなく、圧縮された画像の処理に必要なＲＯＩ領域などの固有情報を容易に参照することができる。ＪＰＥＧ２０００の静止画像やＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像などの符号状態で処理が可能なフォーマットの画像の場合に、その固有情報を取得するために復号するのでは符号符号状態で処理が可能という長所を利用できない。本発明によれば、圧縮された画像を復号することなく固有情報を参照することができるため、長時間の動画像や多数枚の静止画像について、ＲＯＩ領域、被写体、シーンどを考慮した再圧縮や検索などの処理を極めて効率的に実行することができる。また、固有情報を国際標準であるＭＰＥＧ−７により記述することにより汎用性が向上する、等々の効果を得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明するためのブロック図である。
【図２】本発明をコンピュータ上でソフトウェアにより実現する形態を説明するためのブロック図である。
【図３】固有情報の一例を示す図である。
【図４】固有情報の他の例を示す図である。
【図５】ＲＯＩ領域を考慮した再圧縮処理の動作を説明するためのフローチャートである。
【図６】被写体もしくはシーンを考慮した再圧縮処理の動作を説明するためのフローチャートである。
【図７】検索処理の動作を説明するためのフローチャートである。
【符号の説明】
１００  画像記憶部
１０１  第１のファイル
１０２  第２のファイル
１０３  アクセス部
１０４  処理部
１０５  入力部
１０６  表示部
【図１】
2004229044.tif 000003
【図２】
2004229044.tif 000004
【図３】
2004229044.tif 000005
【図４】
2004229044.tif 000006
【図５】
2004229044.tif 000007
【図６】
2004229044.tif 000008
【図７】
2004229044.tif 000009