(57)【要約】【課題】圧縮ＲＡＷ動画をデコードする場合に、ワークフローにおける互換性を維持しつつ、処理負荷を減らした画像処理を可能とする。【解決手段】画像処理装置であって、圧縮ＲＡＷ動画ファイルを伸張して、非圧縮ＲＡＷ動画ファイルを生成する伸張手段を備え、前記伸張手段は、前記圧縮ＲＡＷ動画ファイルに含まれる複数の圧縮ＲＡＷ画像データのそれぞれを伸張して得られたフルサイズの非圧縮ＲＡＷ画像データからフルサイズの非圧縮ＲＡＷ動画ファイルを生成し、前記圧縮ＲＡＷ画像データが階層的に圧縮されたデータである場合に、前記複数の圧縮ＲＡＷ画像データのそれぞれの一部のデータを伸張して得られた縮小サイズの非圧縮ＲＡＷ画像データから、縮小サイズの非圧縮ＲＡＷ動画ファイルを生成することを特徴とする。【選択図】  図１
2018182571.tif 000002
【特許請求の範囲】
【請求項１】
圧縮ＲＡＷ動画ファイルを伸張して、非圧縮ＲＡＷ動画ファイルを生成する伸張手段を備え、
前記伸張手段は、
前記圧縮ＲＡＷ動画ファイルに含まれる複数の圧縮ＲＡＷ画像データのそれぞれを伸張して得られたフルサイズの非圧縮ＲＡＷ画像データからフルサイズの非圧縮ＲＡＷ動画ファイルを生成し、
前記圧縮ＲＡＷ画像データが階層的に圧縮されたデータである場合に、前記複数の圧縮ＲＡＷ画像データのそれぞれの一部のデータを伸張して得られた縮小サイズの非圧縮ＲＡＷ画像データから、縮小サイズの非圧縮ＲＡＷ動画ファイルを生成する
ことを特徴とする画像処理装置。
【請求項２】
前記複数の圧縮ＲＡＷ画像データのそれぞれは、ウェーブレット変換を利用して圧縮されており、
前記伸張手段は、前記一部のデータとして前記圧縮ＲＡＷ画像データにおける同一の階層における低域のデータを伸張することにより、前記縮小サイズの非圧縮ＲＡＷ画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記伸張手段は、前記圧縮ＲＡＷ画像データに含まれる複数の階層のうち、指定された階層の前記低域のデータを伸張することにより、前記縮小サイズの非圧縮ＲＡＷ画像データを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記圧縮ＲＡＷ動画ファイルは、前記圧縮ＲＡＷ画像データが階層的に圧縮されているか否かを示すフラグ情報を含み、
前記伸張手段は、前記フラグ情報に基づき、前記縮小サイズの非圧縮ＲＡＷ画像データを生成するか否かを決定する
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記伸張手段は、前記縮小サイズの非圧縮ＲＡＷ画像データを、対応する前記フルサイズの非圧縮ＲＡＷ画像データの生成の度に生成することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記伸張手段は、前記縮小サイズの非圧縮ＲＡＷ画像データを生成するための伸張処理の結果を利用して前記対応するフルサイズの非圧縮ＲＡＷ画像データを生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記伸張手段は、前記縮小サイズの非圧縮ＲＡＷ画像データを、前記複数の圧縮ＲＡＷ画像データの全てについて前記フルサイズの非圧縮ＲＡＷ画像データを生成した後に生成することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項８】
前記縮小サイズの非圧縮ＲＡＷ動画ファイルが生成された場合に、
前記フルサイズの非圧縮ＲＡＷ動画ファイルには、前記縮小サイズの非圧縮ＲＡＷ動画ファイルを示す情報が関連づけられ、
前記縮小サイズの非圧縮ＲＡＷ動画ファイルには、前記フルサイズの非圧縮ＲＡＷ動画ファイルを示す情報が関連づけられる
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
作成された前記非圧縮ＲＡＷ動画ファイルには、対応する前記圧縮ＲＡＷ動画ファイルを示す情報と、ファイルに含まれる非圧縮ＲＡＷ画像データのサイズを示す情報とが関連づけられることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
圧縮ＲＡＷ動画ファイルを伸張して、非圧縮ＲＡＷ動画ファイルを生成する伸張手段を備える画像処理装置が実行する画像処理方法であって、
前記伸張手段が、
前記圧縮ＲＡＷ動画ファイルに含まれる複数の圧縮ＲＡＷ画像データのそれぞれを伸張して得られたフルサイズの非圧縮ＲＡＷ画像データからフルサイズの非圧縮ＲＡＷ動画ファイルを生成する工程と、
前記圧縮ＲＡＷ画像データが階層的に圧縮されたデータである場合に、前記複数の圧縮ＲＡＷ画像データのそれぞれの一部のデータを伸張して得られた縮小サイズの非圧縮ＲＡＷ画像データから、縮小サイズの非圧縮ＲＡＷ動画ファイルを生成する工程と
を含むことを特徴とする画像処理方法。
【請求項１１】
コンピュータを請求項１から９のいずれか１項に記載の画像処理装置の伸張手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。 
【背景技術】
【０００２】
ベイヤ配列の撮像素子から得られるRAWデータをRAW画像ファイルまたはRAW動画ファイルとして保存することが行われている。このRAWデータはデータ量が非常に大きくなるため、ファイルを作成するに当たりRAWデータを圧縮する方法が提案されている。例えば、RAW動画の圧縮方法として、ウェーブレット変換を利用する技術が提案されている(特許文献1参照)。
【０００３】
ウェーブレット変換を利用することで、ＲＡＷデータはサブバンドに基づいて所定の分解レベルにつき階層的に圧縮され、階層毎、サブバンド単位に伸張して元のＲＡＷデータをデコードすること（以下、「階層デコード」という）が可能となる。必要となる解像度などに応じて必要なサブバンドを選択し、フルサイズだけでなく小さいサイズ（縮小サイズ）でデコードすることが可能となる。つまり、小さいサイズ(例えば１／４)でデコードすることで、処理負荷を減らした高速な出力/再生などの画像処理が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2009-302638号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のＲＡＷ動画の圧縮方法により得られるＲＡＷ動画は階層デコードが可能であるが、階層デコード不可能な従来のＲＡＷ動画と比べるとワークフローにおける互換性が低くなる。そのため従来のＲＡＷ動画に変換して利用することが考えられる。その一方で、従来のＲＡＷ動画は階層デコード不可能なため、常にフルサイズの画像を扱う必要があり、処理負荷を減らした画像処理を行うことは難しい。つまり、階層デコード可能なＲＡＷ動画を階層デコード不可能な従来のＲＡＷ動画に変換すると処理負荷を減らした画像処理が難しくなってしまうという問題がある。
【０００６】
そこで、本発明は、圧縮ＲＡＷ動画をデコードする場合に、ワークフローにおける互換性を維持しつつ、処理負荷を減らした画像処理を可能とする技術を提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明は、画像処理装置であって、圧縮ＲＡＷ動画ファイルを伸張して、非圧縮ＲＡＷ動画ファイルを生成する伸張手段を備え、
前記伸張手段は、
前記圧縮ＲＡＷ動画ファイルに含まれる複数の圧縮ＲＡＷ画像データのそれぞれを伸張して得られたフルサイズの非圧縮ＲＡＷ画像データからフルサイズの非圧縮ＲＡＷ動画ファイルを生成し、
前記圧縮ＲＡＷ画像データが階層的に圧縮されたデータである場合に、前記複数の圧縮ＲＡＷ画像データのそれぞれの一部のデータを伸張して得られた縮小サイズの非圧縮ＲＡＷ画像データから、縮小サイズの非圧縮ＲＡＷ動画ファイルを生成することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、圧縮ＲＡＷ動画をデコードする場合に、ワークフローにおける互換性を維持しつつ、処理負荷を減らした画像処理を可能とする技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】発明の実施形態に係る画像処理装置の構成例を示すブロック図。
【図２】発明の実施形態に係る、ウェーブレット変換時のサブバンド分割の一例の説明図、及び、ＲＡＷ圧縮部とＲＡＷ伸張部の構成例を示すブロック図。
【図３】発明の実施形態１に係る処理の一例を示すフローチャート。
【図４】発明の実施形態２に係る処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、発明の実施形態を添付の図面に基づいて詳細に説明する。
【００１１】
［実施形態１］
以下、図１から図３を参照して、発明の第１の実施形態について説明する。本実施形態では、画像処理装置として、画像処理プログラム(アプリケーションソフト)を実行するパーソナルコンピュータ（ＰＣ）の例を説明する。但し、画像処理装置は、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、携帯型メディアプレーヤなどの任意の情報処理装置、画像符号化復号化装置、画像再生装置、画像記録装置、画像圧縮装置、撮像装置等として実現することもできる。いずれの装置においても、発明の実施形態に対応する画像処理プログラムを当該装置が実行することにより、本発明を実施することができる。
【００１２】
本実施形態では、画像処理蔵置１００が、階層デコード可能な圧縮ＲＡＷ動画を、階層デコード不可能な非圧縮ＲＡＷ動画に変換して保存する例を示す。本実施形態では保存後のファイルとして「非圧縮ＲＡＷ動画」の例を示すが、それ以外の形式のＲＡＷ動画でも良い。また本実施形態のアプリケーションソフトは、階層デコード可能な圧縮ＲＡＷ動画を扱った場合には、元動画と同じ画像サイズ（フルサイズ）の非圧縮ＲＡＷ動画と、元動画の画像サイズより幅１／２、高さ１／２(つまり画像サイズ１／４)に縮小した（縮小サイズの）非圧縮ＲＡＷ動画を保存する例を示す。縮小サイズの非圧縮ＲＡＷ動画は、後段のワークフローでプロキシファイルとして使用することを想定している。なお、画像サイズ１／４はあくまで一例であり、それ以外の縮小サイズで保存しても良いし、複数種類の縮小サイズで保存しても良い。
【００１３】
本実施形態では、ＲＡＷ動画を階層的に圧縮し符号化する形式としてウェーブレット圧縮処理を利用する場合を説明する。但し、処理対象のＲＡＷ画像データを階層的に圧縮符号化処理（エンコード）して、階層単位での伸張処理（デコード）を可能とする形式であれば、ウェーブレット圧縮処理以外の手法を利用する場合であっても発明は適用される。また、コンテナはＩＳＯベースファイルフォーマット互換ファイルとするが、それ以外のコンテナでも良い。
【００１４】
図１は、発明の実施形態に係る画像処理装置１００の構成例を示すブロック図である。入力部１０１は、キーボードやポインティングデバイスを含み、表示部１０２に表示されているボタンなどのコントロール指示を受け付ける。尚、ポインティングデバイスとしては、マウス、トラックボール、タブレット等が挙げられる。表示部１０２は、例えばＣＲＴやＬＣＤ等で構成され、ＧＵＩ(Graphical User Interface)画面や画像データを表示する。ＣＰＵ１０３は、画像処理装置１００の全体の動作を制御する制御部である。ＲＡＭ１０４は、画像処理装置１００による各種処理に必要な作業領域をＣＰＵ１０３に提供する。また、記憶部１０５に格納されている制御プログラム、画像処理プログラムは、一旦ＲＡＭ１０４に読みだされてからＣＰＵ１０３によって実行される。
【００１５】
記憶部１０５は画像処理装置１００による各種処理に必要な制御プログラム、画像処理プログラムや動画ファイル、圧縮ＲＡＷ動画ファイルなどを記憶している。本実施形態の画像処理プログラムについては後述する。記憶部１０５は、内蔵式の大容量メモリやハードディスクとして構成されても良く、また、着脱式のメモリカードを更に備えるように構成されても良い。更にはネットワークを介して画像処理装置１００と接続される記憶装置であってもよい。通信制御部１０６は、通信インターフェースとして、ＵＳＢ(Universal Serial Bus)、Ethernetなどを用い、外部装置１１０と接続する。外部装置１１０には、ネットワーク上に設置された、ＲＡＷ動画ファイルを保持するためのサーバや、ＲＡＷ動画ファイルを保持する機能を有する任意の装置が含まれる。また、通信ケーブルを用いた有線接続に代えて、無線による接続形態を用いても良い。
【００１６】
上記各部は、システムバス１０７により接続されている。本実施形態では記憶部１０５に画像処理プログラムが記録されている例を示すが、プログラムが通信制御部１０６に接続された外部記憶部やネットワーク上にある場合でも、本発明は適用される。
【００１７】
以上では、図１を参照してＰＣとして構成した場合の画像処理装置１００の構成について説明した。しかし、画像処理装置１００は、デジタルカメラのように撮像機能を有し、ＲＡＷ画像を生成し、記録することが可能な装置として構成することも可能である。その場合、画像処理装置１００は、レンズ等の撮像光学系、及び、撮像センサを含む撮像部を含むように構成することができる。
【００１８】
図２（Ａ）は、発明の実施形態に係るウェーブレット変換時のサブバンド分割の一例を示す説明図である。ウェーブレット変換では、入力画像に、ローパスフィルタ及びハイパスフィルタによる空間周波数帯域分割と、ダウンサンプリングを適用することにより、水平方向低周波数成分及び垂直方向低周波数成分のＬＬ１ブロック、水平成分高周波数成分及び垂直方向低周波数成分のＨＬ１ブロック、水平方向低周波数成分及び垂直方向高周波数成分のＬＨ１ブロック、水平方向高周波数成分及び垂直方向高周波数成分のＨＨ１ブロック、が得られる。ここで、ＬＬ１ブロックは、ＬＬ１、ＬＨ１、ＨＬ１及びＨＨ１の４つのサブバンドのうち、同一の分解レベル（階層）において最も低周波数寄り（低域）のサブバンドであり、入力画像の解像度が水平方向、垂直方向、ともに半分になった画像である。
【００１９】
図２（Ａ）の参照番号２０で示す例では、サブバンド分割レベル＝１の場合を示している。また、例２０におけるＬＬ１に対して、同様の処理を施すことにより、サブバンド分割レベル＝２とした場合を参照番号２１で示している。サブバンド分割レベル＝２の場合、ＬＬ１が更に４つのサブバンドＬＬ２、ＬＨ２、ＨＬ２、ＨＨ２に分割されることになる。また、サブバンド分割レベルを３以上とすることもできる。
【００２０】
次に、ＲＡＷ画像の圧縮処理について図２（Ｂ）を参照して説明する。図２（Ｂ）は、本実施形態に対応するＲＡＷ圧縮部２００の構成例を示す図である。ＲＡＷ圧縮部２００は、入力された圧縮処理対象の非圧縮のＲＡＷ画像データを、ウェーブレット圧縮処理により圧縮された状態のＲＡＷ画像データに変換し出力する。出力されたＲＡＷ画像データは外部のバッファ（ＲＡＭ１０４内）に保持され、ＲＡＷ画像データとしての符号化データを後段の処理のために一時的に保持することができる。また、ＲＡＷ画像がＲＡＷ動画の一部である場合には、複数のＲＡＷ画像データからＲＡＷ動画ファイルが生成され、メモリカードや外部装置１１０等に保存される。
【００２１】
ＲＡＷ圧縮部２００は、ウェーブレット変換部２０１、量子化部２０２、符号化部２０３を有することができる。ウェーブレット変換部２０１は、入力されたＲＡＷ画像に対して上述のウェーブレット変換処理を行い、ＲＡＷ画像を複数のサブバンドに分割して、各変換係数を出力する。量子化部２０２はウェーブレット変換により得られた係数をサブバンド毎に量子化し、量子化係数を符号化部２０３に出力する。符号化部２０３は例えばゴロム符号化などの符号化方式で量子化係数を圧縮し、圧縮ＲＡＷ画像データとして出力する。
【００２２】
このとき、ＲＡＷ圧縮部２００は、符号化された圧縮ＲＡＷ画像データに、当該データが階層的に圧縮符号化されていること（階層デコード可能か）を示すフラグ情報を含めることができる。また、圧縮ＲＡＷ画像データにおけるＬＬ１（または、ＬＬｎ）のビット位置を示す情報や、データサイズを示す情報も含めることができる。なお、ＲＡＷ画像がＲＡＷ動画の一部であって、複数のＲＡＷ画像について共通に与えられる情報については、ＲＡＷ動画ファイルの管理情報に含めることができる。例えば、階層デコード可能かを示すフラグ情報は、ＲＡＷ動画ファイルの管理情報に含めるようにしても良い。例えば、ＲＡＷ動画ファイルがＩＳＯベースファイルフォーマットを有する場合、データ形式を示すＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙのｃｏｄｉｎｇｎａｍｅを、階層デコード可能かどうかを示すフラグ情報として使用することができる。その他、ＲＡＷ動画ファイルの管理情報には、ＲＡＷ動画ファイルに関する情報として、フレーム数に関する情報、各フレームのファイル内の位置、及び、大きさに関する情報等を含めることができる。
【００２３】
次に、上述のウェーブレット圧縮処理により生成された圧縮ＲＡＷ画像データの伸張処理について図２（Ｃ）を参照して説明する。図２（Ｃ）は、本実施形態に対応するＲＡＷ伸張部２１０の構成例を示す図である。ＲＡＷ伸張部２１０は、入力された圧縮ＲＡＷ画像データを伸張して非圧縮ＲＡＷ画像データに変換し出力する。出力された非圧縮ＲＡＷ画像データは外部のバッファに保持され、ＲＡＷ画像として後段の処理のために一時的に保持することができる。ＲＡＷ伸張部２１０は、復号部２１１、逆量子化部２１２、逆ウェーブレット変換部２１３を有することができる。復号部２１１は例えばゴロム符号化などの符号化方式で圧縮された圧縮量子化係数を伸張し、量子化係数を復元する。得られた量子化係数は逆量子化部２１２に出力される。逆量子化部２１２は、量子化係数をサブバンド毎のウェーブレット変換係数に変換し、逆ウェーブレット変換部２１３に出力する。逆ウェーブレット変換部２１３は、入力されたウェーブレット変換係数に基づいて得られるサブバンド画像を合成して非圧縮のＲＡＷ画像を復元し、出力する。ここで、圧縮ＲＡＷ画像データは各分解レベルについてサブバンド毎に圧縮符号化されており、当該ウェーブレット伸張処理では、所望の分解レベルのサブバンドの符号化データを圧縮ＲＡＷ画像データから取得して伸張処理を実行することができる。
【００２４】
本実施形態において、ＲＡＷ圧縮部２００及びＲＡＷ伸張部２１０は、専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、記憶部１０５に記憶されている画像処理プログラムをＣＰＵ１０３が実行することにより、ソフトウェア的に構成されてもよい。以下の説明では、ＣＰＵ１０３がＲＡＷ圧縮部２００及びＲＡＷ伸張部２１０として機能する場合を説明する。
【００２５】
図３を参照し、発明の実施形態に対応する処理を説明する。本実施形態では、圧縮ＲＡＷ動画ファイルをＣＰＵ１０３が非圧縮ＲＡＷ動画ファイルに変換して保存する処理について説明する。図３のフローチャートに対応する処理は、ＣＰＵ１０３が、ＲＡＭ１０４をワークメモリとして、記憶部１０５に記憶された本実施形態に対応する画像処理プログラムを利用して実行することにより実現される。ＲＡＷ１０４は、ＣＰＵ１０３が処理する画像データの一時的保持領域としても利用される。
【００２６】
ここで、保存する非圧縮のＲＡＷ動画ファイルのファイル名は新たに指定せずに、対象となる圧縮ＲＡＷ動画ファイルのファイル名の後ろに"_full"と"_proxy"とつけたファイル名で保存するものとする。例えば圧縮ＲＡＷ動画ファイルのファイル名が"movie.raw"だった場合は、元動画と同じ画像サイズの非圧縮ＲＡＷ動画のファイル名を" movie_full.raw"とし、縮小サイズの非圧縮ＲＡＷ動画のファイル名を"movie_proxy.raw"とする。
【００２７】
まず、ＣＰＵ１０３は、Ｓ３０１において処理対象の圧縮ＲＡＷ動画ファイルを選択する。当該選択は、例えば、画像処理装置１００のユーザによって行われた圧縮ＲＡＷ動画ファイルの指定に基づくことができる。ここで、処理対象となる圧縮ＲＡＷ動画ファイルは、ＲＡＷ圧縮部２００によって生成されたファイルであっても良いし、外部装置で生成され本画像処理装置１００に保存されたファイル、或いは、外部装置から受信したファイルであっても良い。
【００２８】
次に、Ｓ３０２においてＣＰＵ１０３は、選択した圧縮ＲＡＷ動画ファイルの管理情報を取得する。圧縮ＲＡＷ動画ファイルは、記憶部１０５に記憶されていても良いし、或いは、通信制御部１０６を介して外部装置１１０から受信してもよい。ここで、ＣＰＵ１０３は、取得した管理情報をＲＡＭ１０４に保持することができる。
【００２９】
ＣＰＵ１０３はＳ３０３において、圧縮ＲＡＷ動画ファイルのうち、未処理のフレームの圧縮ＲＡＷ画像データを選択する。続くＳ３０４において、ＣＰＵ１０３はＳ３０２で取得した管理情報に基づき、当該圧縮ＲＡＷ画像データが、階層的に圧縮符号化されたデータであるか否か、すなわち、階層デコード可能なデータであるか否かを判定する。階層デコード可能な場合、処理はＳ３０５に進む。階層デコード不可能な場合、処理はＳ３０７に進む。Ｓ３０５においてＣＰＵ１０３は、選択した１フレーム分の圧縮ＲＡＷ画像データのうちの一部のデータであるＬＬ１ブロックを復号伸長し、縮小サイズ非圧縮ＲＡＷ画像データを生成する。この非圧縮ＲＡＷ画像データは、ＬＬ１ブロックから作成するため、前述のように画像サイズは元のＲＡＷ画像の１／４である。
【００３０】
続くＳ３０６においてＣＰＵ１０３は、Ｓ３０５で生成した縮小サイズ非圧縮ＲＡＷ画像データを、縮小サイズ非圧縮ＲＡＷ動画ファイルとして出力する。このとき、最初のフレームの出力時には、ファイルを新規に作成するが、２フレーム目以降の場合には、既にあるファイルに新たに生成した縮小サイズ非圧縮ＲＡＷ画像データを追記していく。生成された縮小サイズ非圧縮ＲＡＷ動画ファイルは、記憶部１０５に保存してもよいし、通信制御部１０６を介して外部装置１１０に送信し、保存してもよい。本実施形態では、縮小サイズ非圧縮ＲＡＷ動画ファイルを、圧縮ＲＡＷ動画ファイルと同じフォルダに保存するものとする。
【００３１】
続くＳ３０７においてＣＰＵ１０３は、Ｓ３０３で選択した１フレーム分の圧縮ＲＡＷ画像データを復号伸張してフルサイズの非圧縮ＲＡＷ画像データを生成し、出力する。このときＳ３０６において既に非圧縮ＲＡＷ画像データが生成済みの場合は、ＬＬ１は復号伸張済みであるので、ＨＬ１ブロック、ＬＨ１ブロック、及び、ＨＨ１ブロックを復号伸長し、復号伸長済みのＬＬ１ブロックと組み合わせて、フルサイズ非圧縮ＲＡＷ画像データを生成する。また、階層デコード不可能の圧縮ＲＡＷ動画データが処理対象の場合には、本ステップにおいて対応する復号アルゴリズムに従って復号伸張して非圧縮ＲＡＷ画像データを生成する。このように、本実施形態では、フルサイズの非圧縮ＲＡＷ画像データを生成する場合に、縮小サイズの非圧縮ＲＡＷ画像データで行った伸張処理の結果を利用する。
【００３２】
ＣＰＵ１０３は生成したフルサイズ非圧縮ＲＡＷ画像データを、フルサイズ非圧縮ＲＡＷ動画ファイルとして出力する。もし、最初のフレームの出力時にはファイルを新規に作成するが、２フレーム目以降の場合は、既にあるファイルに新たに作成したフルサイズ非圧縮ＲＡＷ画像データを追記していく。生成されたフルサイズ非圧縮ＲＡＷ動画ファイルは記憶部１０５に保存されてもよいし、通信制御部１０６を介して外部装置１１０に送信し、保存してもよい。本実施形態では、フルサイズの非圧縮ＲＡＷ動画ファイルは、圧縮ＲＡＷ動画ファイルと同じフォルダに記憶されるものとする。
【００３３】
続くＳ３０８において、ＣＰＵ１０３は処理対象の圧縮ＲＡＷ動画ファイルに含まれるフレームにつき最終フレームまで処理が完了したか否かを判定する。もし、最終フレームまで処理が完了している場合、処理はＳ３０９に進む。まだ未処理のフレームが存在する場合、処理はＳ３０３に進む。Ｓ３０３では、未処理の次のフレームを選択して上記処理を繰り返す。このようにしてＳ３０３からＳ３０７を繰り返すことで、圧縮ＲＡＷ動画ファイルに含まれる全フレームを処理することができる。
【００３４】
続くＳ３０９においてＣＰＵ１０３は、縮小サイズ非圧縮ＲＡＷ動画ファイルを作成したか否かを判定する。圧縮ＲＡＷ動画ファイルに含まれる各フレーム画像が階層デコード可能な場合には縮小サイズ非圧縮ＲＡＷ動画ファイルが作成されるが、階層デコード不可能の場合には当該ファイルは作成されないためである。ここでは、Ｓ３０２で取得した管理情報の上記フラグ情報の内容に基づいて判断してもよい。縮小サイズ非圧縮ＲＡＷ動画ファイルを作成している場合、処理はＳ３１０に進む。当該ファイルを作成しない場合、処理はＳ３１１に進む。ＣＰＵ１０３はステップＳ３１０において、縮小サイズ非圧縮ＲＡＷ動画ファイルの管理情報（縮小サイズ用管理情報）を生成する。続くＳ３１１においてＣＰＵ１０３はフルサイズ非圧縮ＲＡＷ動画ファイルの管理情報（フルサイズ用管理情報）を生成する。
【００３５】
これらの２つの管理情報には、関連づけられる動画ファイルがフルサイズ動画か縮小サイズ動画かを識別可能な識別情報を含めることができる。また、元になる圧縮ＲＡＷ動画ファイルを示す情報、フルサイズ動画の場合は縮小サイズ動画ファイルを示す情報、縮小サイズ動画の場合はフルサイズ動画ファイルを示す情報を含めることもできる。
【００３６】
以上の本実施形態によれば、圧縮ＲＡＷ動画ファイルから非圧縮ＲＡＷ動画ファイルを生成し、保存する場合に、圧縮ＲＡＷ動画ファイルがウェーブレット圧縮符号化により階層符号化されている場合には、フルサイズの非圧縮ＲＡＷ動画ファイルに加え、縮小サイズの非圧縮ＲＡＷ動画ファイルを生成し、同時に保存することができる。これにより、非圧縮ＲＡＷ動画を扱う後段のワークフローでも、条件に応じて使用するファイルを切り換えることが可能となる。よって、プロキシファイルとして縮小サイズのＲＡＷ動画ファイルが使用可能な状況では、これを使用することで処理負荷を抑えた画像処理を実行することが可能となる。
【００３７】
また、図３の処理では、サブバンド分割レベル＝１の場合についてのみ説明したが、サブバンド分割レベルが２以上の場合にも、上記と同様に縮小画像を生成することができる。その際、分割レベルの数だけＬＬが存在することになるが、各レベルのＬＬブロックについて縮小サイズのＲＡＷ画像データを生成しても良い。或いは、一部の階層のＬＬブロックについて縮小サイズのＲＡＷ画像データを生成しても良い。また、後段の処理において用いる画像のサイズが予め指定されている（分かっている）場合、或いは、ユーザから所定のサイズが指定されている場合には、当該サイズに対応した所定の分解レベルについて縮小サイズのＲＡＷ画像データを生成しても良い。また例えば、分割レベル＝ｎとして、ＬＬ１についてのみ、ＬＬｎについてのみ、或いは、ＬＬ１、ＬＬｎを含む任意の階層について作成しても良い。ここで、ＬＬｎからＬＬ２までの各階層についてはＬＬ１のＲＡＷ画像データを生成する過程において生成されるので、その際に、各階層の縮小画像をファイルとして生成しておいても良い。
【００３８】
上記においては、処理対象が階層デコード可能な圧縮ＲＡＷ動画である場合には、原則として縮小サイズ非圧縮ＲＡＷ動画を生成し、保存する実施形態を示した。しかし、画像処理装置１００において、階層デコード可能な圧縮ＲＡＷ動画であっても縮小サイズＲＡＷ動画ファイルを生成するか否かを設定可能としてもよい。そのような実施形態であっても、本発明の技術的思想の範疇に含まれるものである。その際、階層デコード可能かどうかによって上記設定のデフォルト設定を決定するような構成でも良い。例えば、階層デコード可能な場合には「縮小サイズＲＡＷ動画ファイルを出力する」ことを有効とする設定をデフォルト設定にすることができる。その一方、階層デコード不可能な場合には「縮小サイズＲＡＷ動画ファイルを出力する」ことを無効とする設定をデフォルト設定にすることができる。上記において「縮小サイズＲＡＷ動画ファイル」を、「プロキシファイル」と呼ぶこともできる。
【００３９】
［実施形態２］
次に、発明の第２の実施形態について説明する。上記の実施形態１では、フルサイズの非圧縮ＲＡＷ動画ファイルと、縮小サイズの非圧縮ＲＡＷ動画ファイルとを、処理対象フレーム毎に同時に生成する場合を説明した。これに対して、本実施形態ではフルサイズの非圧縮ＲＡＷ動画ファイルを生成した後に、階層デコードが可能か否かに基づいて縮小サイズの非圧縮ＲＡＷ動画ファイルの生成処理を実行する。本実施形態における装置及び各ブロックの構成は図１から図２に示したものと同様であるので、ここでの説明は省略する。
【００４０】
次に、図４を参照し、発明の実施形態に対応する処理を説明する。本実施形態でも、圧縮ＲＡＷ動画ファイルをＣＰＵ１０３が非圧縮ＲＡＷ動画ファイルに変換して保存する処理について説明する。図４のフローチャートに対応する処理は、ＣＰＵ１０３が、ＲＡＭ１０４をワークメモリとして、記憶部１０５に記憶された本実施形態に対応する画像処理プログラムを利用して実行することにより実現される。ＲＡＷ１０４は、ＣＰＵ１０３が処理する画像データの一時的保持領域としても利用される。
【００４１】
まず、ＣＰＵ１０３はＳ４０１で、Ｓ３０１と同様に処理対象の圧縮ＲＡＷ動画ファイルを選択する。続くＳ４０２においてＣＰＵ１０３は、Ｓ３０２と同様に選択した圧縮ＲＡＷ動画ファイルの管理情報を取得する。続くＳ４０３で、ＣＰＵ１０３はＳ３０３と同様に、選択した圧縮ＲＡＷ動画ファイルにおける未処理のフレームの圧縮ＲＡＷ画像データを選択する。続くＳ４０４において、ＣＰＵ１０３は、Ｓ４０３で選択した１フレーム分の圧縮ＲＡＷ画像データを復号伸張して、フルサイズの非圧縮ＲＡＷ画像データを生成する。また、階層デコード不可能な圧縮ＲＡＷ動画データが処理対象の場合には、本ステップにおいて対応する復号アルゴリズムに従って復号伸張して非圧縮ＲＡＷ画像データを生成する。生成したフルサイズ非圧縮ＲＡＷ画像データは、フルサイズ非圧縮ＲＡＷ動画ファイルとして出力され実施形態１と同様に記憶部１０５等に保存される。
【００４２】
続くＳ４０５において、ＣＰＵ１０３は処理対象の圧縮ＲＡＷ動画ファイルに含まれるフレームにつき最終フレームまで処理が完了したか否かを判定する。もし、最終フレームまで処理が完了している場合、処理はＳ４０６に進む。まだ未処理のフレームが存在する場合、処理はＳ４０３に戻る。Ｓ４０３では、未処理の次のフレームを選択して上記処理を繰り返す。このようにしてＳ４０３及びＳ４０４を繰り返すことで、圧縮ＲＡＷ動画ファイルに含まれる全フレームを処理することができる。
【００４３】
続くＳ４０６では、ＣＰＵ１０３はフルサイズ非圧縮ＲＡＷ動画ファイルの管理情報（フルサイズ用管理情報）を生成し、保存する。続くＳ４０７では、ＣＰＵ１０３はＳ４０２で取得した管理情報に基づき、当該圧縮ＲＡＷ画像データが階層デコード可能か否かを判定する。階層デコード可能な場合、処理はＳ４０８に進む。階層デコード不可能な場合、処理は本処理を終了する。Ｓ４０８において、処理対象の圧縮ＲＡＷ動画ファイルの先頭フレームを選択する。続くＳ４０９においてＣＰＵ１０３は、選択した１フレーム分の圧縮ＲＡＷ画像データのうちＬＬ１ブロックを伸長し、縮小サイズ非圧縮ＲＡＷ画像データを生成する。このとき、ＣＰＵ１０３は、予め圧縮ＲＡＷ画像データのうちＬＬ１ブロックの長さ及びビット位置の情報を圧縮ＲＡＷ画像データから抽出しておき、当該長さ分のＬＬ１ブロックを圧縮ＲＡＷ画像データから読み出してＲＡＭ１０４上に展開しても良い。ＬＬ１ブロックの長さの情報は、対象フレームの圧縮ＲＡＷ画像データの先頭、或いは、圧縮ＲＡＷ動画ファイル内の別の場所に格納されていても良い。
【００４４】
続くＳ４１０ではＣＰＵ１０３は、Ｓ４０９で生成した縮小サイズ非圧縮ＲＡＷ画像データを、縮小サイズ非圧縮ＲＡＷ動画ファイルとして出力する。続くＳ４１１において、ＣＰＵ１０３は処理対象の圧縮ＲＡＷ動画ファイルに含まれるフレームにつき最終フレームまで処理が完了したか否かを判定する。もし、最終フレームまで処理が完了している場合、処理はＳ４１３に進む。まだ未処理のフレームが存在する場合、処理はＳ４１２に進む。Ｓ４１２では、未処理の次のフレームを選択して上記処理を繰り返す。このようにしてＳ４０９及びＳ４１０を繰り返すことで、圧縮ＲＡＷ動画ファイルに含まれる全フレームについて、縮小サイズ非圧縮ＲＡＷ動画ファイルを生成することができる。続くＳ４１３では、ＣＰＵ１０３は縮小サイズ非圧縮ＲＡＷ動画ファイルの管理情報（縮小サイズ用管理情報）を生成し、本処理を終了する。
【００４５】
以上の本実施形態によれば、本実施形態では先にフルサイズの非圧縮ＲＡＷ動画ファイルを生成した後で、階層デコードが可能か否かに基づいて縮小サイズの非圧縮ＲＡＷ動画ファイルの生成処理を実行する。これにより、階層デコードが可能か否かの判定ステップを実行する回数を減らすことができる。なお、本実施形態では、フルサイズの非圧縮ＲＡＷ動画の保存と縮小サイズの非圧縮ＲＡＷ動画の保存処理を順番に実行する例を示したが、これらの保存処理を並行して実行してもよい。これにより本実施形態でも、非圧縮ＲＡＷ動画を扱う後段のワークフローでも、条件に応じて使用するファイルを切り換えることが可能となる。よって、プロキシファイルとして縮小サイズのＲＡＷ動画ファイルが使用可能な状況では、これを使用することで処理負荷を抑えた画像処理を実行することが可能となる。
【００４６】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００４７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４８】
１００‥‥ 画像処理装置、１１０‥‥ 外部装置、２００‥‥ ＲＡＷ圧縮部、２１０‥‥ ＲＡＷ伸張部
【図１】
2018182571.tif 000003
【図２】
2018182571.tif 000004
【図３】
2018182571.tif 000005
【図４】
2018182571.tif 000006