(57)【要約】【課題】処理負荷を低減しつつ表示遅延を防止してしかも高画質で画像を表示する。【解決手段】制御部１６１の制御下で、簡易現像部１１１は表示指示が入力される前にＲＡＷ画像データを所定の画像サイズに処理した後に現像処理を行って第１の画像データを得る。高画質現像部１１２は表示指示が入力される前にＲＡＷ画像データを現像処理した後に表示部１２５に対応する画像サイズにリサイズして第２の画像データを得る。リサイズ処理部１２２および高画質現像部は簡易現像部によって第１の画像データが生成された後、表示指示が入力されるとＲＡＷ画像データをリサイズ処理して表示部に対応する画像サイズのリサイズＲＡＷ画像データとし、リサイズＲＡＷ画像データを現像処理して第３の画像データを得る。制御部の制御下で表示処理部１２４は表示指示に基づいて第１の画像データ、第２の画像データ、および第３の画像データを選択的に表示部に表示する。【選択図】図１
2015076782.tif 000002
【特許請求の範囲】
【請求項１】
ＲＡＷ画像データを記憶する記憶手段を備え、前記ＲＡＷ画像データを現像処理して画像を表示部に表示する画像処理装置であって、
前記表示部に画像を表示する表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを所定の画像サイズに処理した後に現像処理を行って第１の画像データを得る第１の生成手段と、
前記表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを現像処理した後に前記表示部に対応する画像サイズにリサイズして第２の画像データを得る第２の生成手段と、
前記第１の生成手段によって前記第１の画像データが生成された後、前記表示指示が入力されると前記記憶手段に記憶されたＲＡＷ画像データをリサイズ処理して前記表示部に対応する画像サイズのリサイズＲＡＷ画像データとし、当該リサイズＲＡＷ画像データを現像処理して第３の画像データを得る第３の生成手段と、
前記表示指示に基づいて前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを選択的に前記表示部に表示する表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記表示制御手段は、前記第１の画像データに応じた画像を前記表示部に表示している際、前記第１の画像データに応じた画像における所定の領域を表示する表示指示が入力されると、前記第２の画像データ又は第３の画像データに応じた画像を前記表示部に表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段は、前記第１の画像データに応じた画像を前記表示部に表示している際、前記第１の画像データに応じた画像における所定の領域を表示する表示指示が入力されると、当該表示指示が入力された際に前記第２の生成手段によって前記第２の画像データが生成されていると、前記所定の領域を切り出して前記表示部に表示することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記表示制御手段は、前記表示指示が入力された際に前記第２の生成手段によって前記第２の画像データが生成されていない場合には、前記第３の生成手段を制御して前記所定の領域に対応する前記第３の画像データを生成して前記表示部に表示することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示部における表示画素数を取得する取得手段を有し、
前記表示制御手段は、表示対象である画像データにおける所定の領域を表示する表示指示が入力されると、前記表示画素数が前記所定の領域の画素数未満であると、前記表示対象の画像データとして前記第１の画像データを選択して当該第１の画像データにおける前記所定の領域を切り出して前記表示部に表示することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記表示制御手段は、前記表示画素数が前記所定の領域の画素数以上であると、前記表示対象の画像データとして前記第２の画像データ又は前記第２の画像データを選択して前記第２の画像データ又は前記第３の画像データに応じた画像を前記表示部に表示することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記表示対象である画像データにおける所定の領域を表示する表示指示が入力された際、前記表示画素数が前記所定の領域の画素数以上であってかつ前記第２の生成手段によって前記第２の画像データが生成されていると、前記表示対象の画像データとして前記第２の画像データを選択して当該第２の画像データにおける前記所定の領域を切り出して前記表示部に表示することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記表示制御手段は、前記表示対象である画像データにおける所定の領域を表示する表示指示が入力された際、前記表示画素数が前記所定の領域の画素数以上であってかつ前記第２の生成手段によって前記第２の画像データが生成されていないと、前記第３の生成手段を制御して前記表示対象の画像データとして前記所定の領域に対応する前記第３の画像データを生成して、当該第３の画像データに対応する画像を前記表示部に表示することを特徴とする請求項６又は７に記載の画像処理装置。
【請求項９】
ＲＡＷ画像データを記憶する記憶手段を備え、前記ＲＡＷ画像データを現像処理して画像を表示部に表示する画像処理装置の制御方法であって、
前記表示部に画像を表示する表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを所定の画像サイズに処理した後に現像処理を行って第１の画像データを得る第１の生成ステップと、
前記表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを現像処理した後に前記表示部に対応する画像サイズにリサイズして第２の画像データを得る第２の生成ステップと、
前記第１の生成ステップで前記第１の画像データが生成された後、前記表示指示が入力されると前記記憶手段に記憶されたＲＡＷ画像データをリサイズ処理して前記表示部に対応する画像サイズのリサイズＲＡＷ画像データとし、当該リサイズＲＡＷ画像データを現像処理して第３の画像データを得る第３の生成ステップと、
前記表示指示に基づいて前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを選択的に前記表示部に表示する表示制御ステップと、
を有することを特徴とする制御方法。
【請求項１０】
ＲＡＷ画像データを記憶する記憶手段を備え、前記ＲＡＷ画像データを現像処理して画像を表示部に表示する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記表示部に画像を表示する表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを所定の画像サイズに処理した後に現像処理を行って第１の画像データを得る第１の生成ステップと、
前記表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを現像処理した後に前記表示部に対応する画像サイズにリサイズして第２の画像データを得る第２の生成ステップと、
前記第１の生成ステップで前記第１の画像データが生成された後、前記表示指示が入力されると前記記憶手段に記憶されたＲＡＷ画像データをリサイズ処理して前記表示部に対応する画像サイズのリサイズＲＡＷ画像データとし、当該リサイズＲＡＷ画像データを現像処理して第３の画像データを得る第３の生成ステップと、
前記表示指示に基づいて前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを選択的に前記表示部に表示する表示制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、動画又は静止画としてＲＡＷ画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
一般に、画像処理装置の１つとしてデジタルスチルカメラ又はデジタルビデオカメラなどの撮影装置がある。この種の撮像装置では、ＣＣＤ又はＣＭＯＳなどの撮像センサーで得られた撮像データを予め設定された設定条件に応じて現像処理（ノイズ除去補正、色調補正、およびシャープネス補正など）して現像処理済み撮像データとする。そして、一般に、現像処理後の撮像データはＪＰＥＧ符号化処理によって符号化されて記憶媒体にファイルとして格納される。
【０００３】
ところで、ＪＰＥＧ符号化処理によって、現像処理済み撮像データ（以下単に画像データと呼ぶ）を符号化する際には、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各色１０〜１２ビット分のダイナミックレンジを有する色情報を、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各色８ビットに揃えるので色階調数が失われることになる。従って、一旦ＪＰＥＧ符号化処理を行うと、編集の際にユーザーが意図する細かい画質調整を行うことが困難となってしまう。
【０００４】
ユーザーによる細かい画質調整を可能とするため、近年、撮像センサーで得られた直後の現像未処理の撮像データをそのまま又は可逆圧縮して記憶媒体に格納する撮像装置が知られている。一般に、現像未処理の撮像データはＲＡＷ画像データ又は生画像データと呼ばれており、ＲＡＷ画像データを記録媒体などに記録することによって、撮影後にユーザーが意図するきめ細かい現像および編集が可能となる。
【０００５】
例えば、ＲＡＷ画像データを記録する際、ＲＡＷ画像データとともに現像パラメータを記録しておき、画像再生の際に当該現像パラメータを用いてＲＡＷ画像データの現像及び再生を行うようにした撮像装置がある（特許文献１参照）。
【０００６】
一方、ＲＡＷ画像データに応じた画像を表示する際の表示遅延を低減するため、例えば、ＲＡＷ画像データを記録する際、低解像度ＪＰＥＧ画像データを生成する撮像装置がある（特許文献２参照）。そして、ここでは、低解像度ＪＰＥＧ画像データを表示用画像として用いて表示遅延を低減するようにしている。
【０００７】
また、ＲＡＷ画像データを記録する際に縮小ＲＡＷ画像データを表示用画像データとして生成して現像処理における負荷を抑制することによって、表示遅延を低減するようにした撮像装置がある（特許文献３参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−２４４４２３号公報
【特許文献２】特開２００６−２２９４７４号公報
【特許文献３】特開２０１２−９５３５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述のように、特許文献１に記載の撮像装置においては、撮影の際にはＲＡＷ画像データを現像することなくそのまま記録しているので、撮影の際における現像処理量は軽減されることになる。しかしながら、特許文献１に記載の撮像装置においては、ＲＡＷ画像データを記録しているため、再生処理の際に画像を速やかに再生表示することが困難となる。
【００１０】
言い換えると、特許文献１に記載の撮像装置において、撮影の際のパフォーマンスを高くしてしかも再生画像を高速に表示するためには、高価な処理回路を搭載するか又はＲＡＷ画像データを高速かつ簡便に再生できるようにする必要がある。
【００１１】
一方、上述のように、特許文献２又は３に記載の撮像装置においては、低解像度のＪＰＥＧ画像データ又は圧縮ＲＡＷ画像データを表示用画像データとして用いて、表示遅延を低減するようにしている。しかしながら、ユーザーがフォーカスの確認など撮像結果について細部まで確認したい場合には、低解像度ＪＰＲＧ画像データを表示用画像データとして用いると、ユーザーは撮影結果について細部を確認することが困難となってしまう。
【００１２】
従って、本発明の目的は、処理負荷を低減しつつ表示遅延を防止してしかも高画質で画像を表示することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明による画像処理装置は、ＲＡＷ画像データを記憶する記憶手段を備え、前記ＲＡＷ画像データを現像処理して画像を表示部に表示する画像処理装置であって、前記表示部に画像を表示する表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを所定の画像サイズに処理した後に現像処理を行って第１の画像データを得る第１の生成手段と、前記表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを現像処理した後に前記表示部に対応する画像サイズにリサイズして第２の画像データを得る第２の生成手段と、前記第１の生成手段によって前記第１の画像データが生成された後、前記表示指示が入力されると前記記憶手段に記憶されたＲＡＷ画像データをリサイズ処理して前記表示部に対応する画像サイズのリサイズＲＡＷ画像データとし、当該リサイズＲＡＷ画像データを現像処理して第３の画像データを得る第３の生成手段と、前記表示指示に基づいて前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを選択的に前記表示部に表示する表示制御手段と、を有することを特徴とする。
【００１４】
本発明による制御方法は、ＲＡＷ画像データを記憶する記憶手段を備え、前記ＲＡＷ画像データを現像処理して画像を表示部に表示する画像処理装置の制御方法であって、前記表示部に画像を表示する表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを所定の画像サイズに処理した後に現像処理を行って第１の画像データを得る第１の生成ステップと、前記表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを現像処理した後に前記表示部に対応する画像サイズにリサイズして第２の画像データを得る第２の生成ステップと、前記第１の生成ステップで前記第１の画像データが生成された後、前記表示指示が入力されると前記記憶手段に記憶されたＲＡＷ画像データをリサイズ処理して前記表示部に対応する画像サイズのリサイズＲＡＷ画像データとし、当該リサイズＲＡＷ画像データを現像処理して第３の画像データを得る第３の生成ステップと、前記表示指示に基づいて前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを選択的に前記表示部に表示する表示制御ステップと、を有することを特徴とする。
【００１５】
本発明による制御プログラムは、ＲＡＷ画像データを記憶する記憶手段を備え、前記ＲＡＷ画像データを現像処理して画像を表示部に表示する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記表示部に画像を表示する表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを所定の画像サイズに処理した後に現像処理を行って第１の画像データを得る第１の生成ステップと、前記表示指示が入力される前に、前記記憶手段に記憶されたＲＡＷ画像データを現像処理した後に前記表示部に対応する画像サイズにリサイズして第２の画像データを得る第２の生成ステップと、前記第１の生成ステップで前記第１の画像データが生成された後、前記表示指示が入力されると前記記憶手段に記憶されたＲＡＷ画像データをリサイズ処理して前記表示部に対応する画像サイズのリサイズＲＡＷ画像データとし、当該リサイズＲＡＷ画像データを現像処理して第３の画像データを得る第３の生成ステップと、前記表示指示に基づいて前記第１の画像データ、前記第２の画像データ、および前記第３の画像データを選択的に前記表示部に表示する表示制御ステップと、を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、画像の表示指示に基づいて第１の画像データ、第２の画像データ、および第３の画像データを選択的に表示部に表示制御するようにしたので、処理負荷を低減しつつ表示遅延を防止してしかも高画質で画像を表示することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラで行われる撮影モード処理を説明するためのフローチャートである。
【図３】図１に示すカメラで生成される静止画ファイルおよびＲＡＷファイルを説明するための図であり、（ａ）は静止画ファイルの構造を示す図、（ｂ）はＲＡＷファイルの構造を示す図である。
【図４】図１に示すカメラにおいて撮影が行われないアイドル状態における処理を説明するためのフローチャートである。
【図５】図１に示すカメラで行われる静止画再生モード処理を説明するためフローチャートである。
【図６】図１に示すカメラで行われる再生モード処理における表示処理の一例を説明するための図であり、（ａ）は縮小表示（サムネイル表示）の一例を示す図、（ｂ）は（ａ）に示すサムネイル画像の１つを表示部全体に表示した状態を示す図、（ｃ）は（ｂ）に示す画像の一部領域を拡大して示す図である。
【図７】本発明の第２の実施形態による画像処理装置を備えるカメラで行われる再生モード処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。
【００１９】
［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。
【００２０】
図示の撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、被写体を撮像した結果得られた画像データを記録媒体に記録する。さらに、カメラ１００は記録媒体に記録された画像データを読み込んで現像処理した後、再生画像として表示する。また、カメラ１００は画像データを外部装置およびサーバ（クラウド）などに送信し、外部装置などから画像データを受信する機能を備えている。
【００２１】
カメラ１００は制御部１６１を備えており、この制御部１６１はＣＰＵおよび当該ＣＰＵで実行される制御プログラムを格納するメモリを有している。そして、制御部１６１はカメラ１００全体の制御を司る。
【００２２】
操作部１６２は、ユーザーが制御部１６１に対して各種の指示を与えるために用いられ、キー、ボタン、およびタッチパネルなどの入力デバイスを有している。ユーザーの操作に応じて操作部１６２から出力された操作信号は制御部１６１によって検出され、制御部１６１は操作信号に応じた制御を実行する。
【００２３】
表示部１２５は、例えば、液晶ディスプレイ（ＬＣＤ）を備えており、表示部１２５には撮影又は再生の結果得られた画像データに応じた画像が表示される。さらに、表示部１２５にはメニュー画面および各種の情報などが表示される。
【００２４】
操作部１６２によって撮影動作の開始が指示されると、制御部１６１はカメラ制御部１０４によって撮像光学部１０１および撮像センサー部１０２を制御して、撮像対象となる被写体の光学像を、撮像光学部１０１を介して撮像センサー部１０２に結像する（なお、図１においては、制御部１６１とカメラ制御部１０４との間の制御線は省略されている）。撮影の際には、カメラ制御部１０４は、後述する評価値算出部１０５で得られる絞り、フォーカス、および手ぶれなどの評価値および認識部１３１で得られる被写体情報に基づいて撮像光学部１０１及び撮像センサー部１０２を制御する。
【００２５】
撮像センサー部１０２には画素毎に赤、緑、および青（ＲＧＢ）のカラーフィルターが配置されており、撮像センサー部１０２はカラーフィルターを透過した光学像に応じた電気信号（アナログ信号）を出力する。撮像センサー部１０２に配置されるカラーフィルターは、例えば、ベイヤ―配列で配列されている。
【００２６】
ベイヤ―配列においては、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）が画素毎にモザイク状に配置されており、２×２の４画素について赤１画素、青１画素、および緑２画素を１セットとして規則的に並べられている。
【００２７】
撮像センサー部１０２の出力であるアナログ信号はセンサー信号処理部１０３に与えられて、センサー信号処理部１０３は当該アナログ信号をＡ／Ｄ変換によってデジタル信号に変換した後、画素の修復処理を行う。当該修復処理においては、撮像センサー部１０２における欠落画素および信頼性の低い画素の画素値に対して、周辺画素値を用いて修復対象の画素を補間する処理が行われる。さらに、修復処理においては、デジタル信号から所定のオフセット値を減算する減算処理が行われる。図示の例では、センサー信号処理部１０３から出力されるデジタル信号を生（未現像）の画像データを意味するＲＡＷ画像データと呼ぶことにする。
【００２８】
センサー信号処理部１０３の出力であるＲＡＷ画像データは、現像部１１０に与えられて、ここで現像処理される。現像部１１０は簡易現像部１１１、高画質現像部１１２、リサイズ処理部１２２、およびスイッチ部１２１および１２３を有している。簡易現像部１１１はＲＡＷ画像データ（又は後述する伸張後のＲＡＷファイル）現像処理して第１の画像データを出力する。高画質現像部１１２はＲＡＷ画像データ（又は後述する伸張後のＲＡＷファイル又はリサイズ処理回路１２２の出力）を現像処理して後述する第２又は第３の画像データを出力する。そして、これら第１の画像データおよび第２又は第３の画像データはスイッチ部１２３に送られて、スイッチ部１２３は、後述するようにして第１の画像データおよび第２又は第３の画像データのいずれか１つを選択して現像済み画像データとして出力する。
【００２９】
スイッチ部１２１は、後述するＲＡＷ伸張部１１５の出力を受けて、当該出力を選択的にリサイズ処理部１２２および高画質現像部１１２に与える。リサイズ処理部１２２はＲＡＷ圧縮部１１４の出力をリサイズ処理してリサイズ画像データとして高画質現像部１１２に与える。
【００３０】
なお、上述の第２の画像データは、ＲＡＷ画像データ又はＲＡＷ伸張部１１５の出力に応じて高画質現像部１１２で生成される画像データであり、第３の画像データはリサイズ処理部１２２の出力に応じて高画質現像部１１２で生成される画像データである。制御部１６１は、後述するようにして、操作部１６２によるユーザー操作又は動作モードに応じてスイッチ部１２１を後述するようにして切り替え制御する。
【００３１】
なお、リサイズ処理部１２２は、現像処理開始前において表示部１２５の画素数に応じて画像の表示に適したサイズのＲＡＷ画像データ（リサイズＲＡＷ画像データ）を生成する。ここで、リサイズ処理は画素補完又は画素間引きなどの既知の処理によって画像データをリサイズする処理をいう。
【００３２】
簡易現像部１１１および高画質現像部１１２の各々はＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）を施してＲＡＷ画像データを輝度および色差からなる画像信号に変換する。さらに、簡易現像部１１１および高画質現像部１１２の各々は当該画像信号に含まれるノイズの除去を行うとともに光学的な歪を補正する所謂現像処理を行う。
【００３３】
ここでは、高画質現像部１１２は、簡易現像部１１１よりも現像処理を高精度に行って、高画質の画像データ（現像画像）が得る。一方、高精度な現像処理を行うと、不可避的に処理負荷が大きくなるので、図示の高画質現像部１１２は撮影と並行してリアルタイムの現像処理を行うことなく、撮影の後に分散処理によって現像処理を行なう。このように、撮影と並行して現像処理を行わず、撮影の後に現像処理を行なえば、高画質現像部１１２の回路規模および消費電力の増大（ピーク）を抑えることができる。
【００３４】
簡易現像部１１１では、高画質現像部１１２よりも画質は低いので現像処理に要する処理量が少ない。よって、簡易現像部１１１は撮影の際に高速に現像処理を行うことができる。つまり、簡易現像部１１１における処理負荷は小さいので、撮影動作と並行してリアルタイムで現像処理を行うことができる。
【００３５】
制御部１６１は操作部１６２によるユーザー操作又は動作モードに応じてスイッチ部１２３を切り替え制御する。なお、図１に示す例では、現像部１１０において簡易現像部１１１および高画質現像部１１２が独立に存在するが、一つの現像部を用いて動作モードに応じて簡易現像処理と高画質現像処理を排他的に行うようにしてもよい。
【００３６】
現像部１１０の出力である画像データ（つまり、スイッチ部１２３の出力である現像済み画像データ）は表示処理部１２４に与えられ、表示処理部１２４は現像済み画像データに対して所定の表示処理を行って、表示部１２５に表示する。さらに、現像済み画像データを表示処理部１２４を介して映像出力端子１２６から外部表示機器に出力するようにしてもよい。なお、映像出力端子１２６は、例えば、ＨＤＭＩ(登録商標)又はＳＤＩなどの汎用インタフェースを有している。
【００３７】
図示のように、現像済み画像データは評価値算出部１０５にも与えられる。評価値算出部１０５は、現像済み画像データに基づいてフォーカス状態および露出状態などを示す評価値を算出する。
【００３８】
さらに、現像済み画像データは、認識部１３１にも与えられる。認識部１３１は、現像済み画像データにおいて被写体を検出および認識して被写体を示す被写体情報を出力する。例えば、認識部１３１は現像済み画像データにおいて被写体である人物の顔領域を検出して、顔領域を検出すると、画像における顔領域の位置を示す被写体情報を出力する。さらに、認識部１３１は顔領域の特徴を示す特徴情報に基づいて特定の人物の認証を行う。
【００３９】
加えて、現像済み画像データは、静止画圧縮部１４１にも与えられる。静止画圧縮部１４１は現像済み画像データを高能率符号化（圧縮符号化）して、その情報量が圧縮された画像データを生成して静止画ファイルに変換する。静止画圧縮には、例えば、ＪＰＥＧ符号化が用いられる。
【００４０】
ＲＡＷ圧縮部１１３は、センサー信号処理部１０３の出力であるＲＡＷ画像データを、例えば、ウエーブレット変換又は差分符号化を用いて高能率符号化して、圧縮ＲＡＷファイルに変換する。そして、ＲＡＷ圧縮部１１３は当該圧縮ＲＡＷファイルをバッファ部（記憶媒体）１１５に格納する。
【００４１】
なお、ＲＡＷファイルは、バッファ部１１５に残した状態において読み出すことができるが、バッファ部１１５にＲＡＷファイルを格納した後、別の記録媒体にＲＡＷファイル移動するようにしてもよい（この際には、バッファ部１１５からＲＡＷファイルは削除される）。
【００４２】
記録再生部１５１はＲＡＷファイルおよび静止画ファイルを記録媒体１５２に記録する。記録媒体１５２として、例えば、大容量メモリ、ハードディスク、又はメモリカードが用いられる。記録再生部１５１は、記録媒体１５２から静止画ファイルおよびＲＡＷファイルを読み出して、後述する静止画伸張部１４２又はバッファ１１５に出力する。
【００４３】
さらに、記録再生部１５１は、通信部１５３を介して外部のストレージ又はサーバに各種の画像ファイルを書き込み、さらには、各種の画像ファイルを外部のストレージ又はサーバから読み込む。通信部１５３は通信端子１５４によって無線通信又は有線通信によってインターネット又は外部機器にアクセスすることができる。
【００４４】
再生動作が開始されると、記録再生部１５１は、記録媒体１５２から又は通信部１５３を介して所望の画像ファイルを取得して再生する。再生対象の画像ファイルがＲＡＷファイルであれば、記録再生部１５１は当該ＲＡＷファイルをバッファ部１１５に格納する。一方、再生対象の画像ファイルが静止画ファイルであれば、記録再生部１５１は当該静止画ファイルを静止画伸張部１４３に送る。
【００４５】
ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読み込んで、圧縮された状態にあるＲＡＷファイルを復号化処理して伸張する。ＲＡＷ伸張部１１４によって伸張処理されたＲＡＷファイル（伸張後ＲＡＷファイル）は簡易現像部１１１および高画質現像部１１２に送られる。
【００４６】
静止画伸張部１４３は、静止画ファイルを受けると、当該静止画ファイルを復号化処理して伸張し、静止画の再生画像として表示処理部１２４に送る。
【００４７】
図２は、図１に示すカメラで行われる撮影モード処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１６１の制御下で行われ、制御部１６１において、内蔵するＲＯＭに格納されたプログラムをＲＡＭに展開して、ＣＰＵが実行することによって図示のフローチャートに係る処理が行われる。
【００４８】
撮影モード処理が開始されると、制御部１６１がカメラ１００の処理負荷状況が低いか否か、つまり、カメラ１００がアイドル状態であるか否かを判定する（ステップＳ２０１）。カメラ１００がアイドル状態であると（ステップＳ２０１において、ＹＥＳ）、制御部１６１は撮影モード処理を終了する。負荷状況が高いと（例えば、高速連写中）、つまり、カメラ１００がアイドル状態でないと（ステップＳ２０１において、ＮＯ）、制御部１６１の制御下でカメラ制御部１０４は所定の撮影条件で撮影を行うため、撮像光学部１０１および撮像センサー部１０２を制御する（ステップＳ２０２）。
【００４９】
例えば、カメラ制御部１０４は、ユーザーによるズーム又はフォーカス指示に応じて撮像光学部１０１に備えられたズームレンズ又はフォーカスレンズを光軸に沿って移動する。さらに、カメラ制御部１０４は撮影画素数に係る指示に応じて撮像センサー部１０２における読み出し領域を設定する。加えて、カメラ制御部１０４は、評価値算出部１０５から与えられる評価値および認識部１３１から与えられる被写体情報に基づいて、特定の被写体に対するフォーカス調整および追尾制御を行う。
【００５０】
続いて、撮像センサー部１０２の出力（センサー信号）に対してセンサー信号処理部１０３は画素修復のための信号処理を行う（ステップＳ２０３）。ここでは、前述のように、センサー信号処理部１０３は欠落画素および信頼性の低い画素値に対して、周辺画素値による補間処理を行うとともに、所定のオフセット値を減算する減算処理を行う。
【００５１】
次に、簡易現像部１１１はセンサー信号処理部の出力であるＲＡＷ画像データに対して現像処理を行う（ステップＳ２０４：簡易現像）。この際、制御部１６１はスイッチ部１２３を切り替え制御して、簡易現像部１１１の出力である第１の画像データを選択する。
【００５２】
なお、前述のように、簡易現像部１１１は、ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）を行い、輝度および色差からなる画像信号に変換する。そして、簡易現像部１１１は当該画像信号に含まれるノイズを除去するとともに、光学的な歪を補正する現像処理を行う。
【００５３】
ここで、簡易現像部１１１で行われる現像処理（簡易現像）について説明する。
【００５４】
簡易現像部１１１において、現像後の画像サイズを制限するとともに（例えば、縮小処理を行う）、ノイズ除去および光学的な歪補正処理に限定して、現像を高速処理する簡易処理を行っている。このように、簡易現像部１１１では、画像サイズを縮小した後に現像処理の機能を一部制限して処理を行うので、簡易現像部１１１の回路規模を小さくしてしかもその消費電力を少なくすることができる。
【００５５】
簡易現像部１１１の出力である第１の画像データは評価値算出部１０５に送られる。評価値算出部１０５は、第１の画像データの輝度値およびコントラスト値などに応じてフォーカス状態および露出状態などを示す評価値を算出する（ステップＳ２０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像データを得て、当該ＲＡＷ画像データに応じて評価値を算出するようにしてもよい。
【００５６】
さらに、簡易現像部１１１の出力である第１の画像データは認識部１３１に送られる。認識部１３１は、第１の画像データにおいて被写体（顔領域など）を検出して、被写体情報を得る。例えば、認識部１３１は第１の画像データにおいて被写体である人物の顔領域の有無、顔領域の位置、そして、特定の人物の認証などを行って、その結果を被写体情報として出力する（ステップＳ２０６）。
【００５７】
また、簡易現像部１１１の出力である第１の画像データは表示処理部１２４に送られる。表示処理部１２４は第１の画像データに基づいて表示画像を生成して表示部１２５又は外部表示機器に出力する（ステップＳ２０７：表示）。表示部１２５に表示された表示画像は、撮影モードにおいてユーザーが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）に用いられる。
【００５８】
なお、当該表示画像を、表示処理部１２４から映像出力端子１２４を介して外部テレビジョンなどの他の表示機器に送って表示するようにしてもよい。さらに、表示処理部１２４は、評価値算出部１０５および認識部１３１から送られる評価値および被写体情報を用いて、例えば、表示画像における合焦領域にマーキングを表示するとともに、認識された顔領域の位置に枠を表示するようにしてもよい。
【００５９】
続いて、制御部１６１は、ユーザー操作による撮影指示があったか否かを判定する（ステップＳ２０８）。所定の時間を経過しても撮影指示がないと（ステップＳ２０８において、ＮＯ）、制御部１６１はステップＳ２０２の処理に戻って、カメラ制御部１０４による制御を行う。一方、撮影指示があると（ステップＳ２０８において、ＹＥＳ）、制御部１６１の制御下で簡易現像部１１１の出力である第１の画像データが静止画圧縮部１４１に送られる。そして、静止画圧縮部１４１は第１の画像データに対して高能率符号化処理（静止画圧縮）を行って、静止画ファイルを生成する（ステップＳ２０９）。なお、前述のように、静止画圧縮部１４１は、ＪＰＥＧ符号化などの既知の静止画圧縮手法を用いて圧縮処理を行う。
【００６０】
続いて、記録再生部１５１が上記の静止画ファイルを記録媒体１５２に記録する（ステップＳ２１０）。そして、ＲＡＷ圧縮部１１３は静止画ファイルに対応するＲＡＷ画像データを取得して当該ＲＡＷ画像データを高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに生成する（ステップＳ２１１）。このＲＡＷファイルはＲＡＷ圧縮部１１３によってバッファ部１１５に格納される（ステップＳ２１２）。その後、制御部１６１はステップＳ２０２の処理に戻って、カメラ制御部１０４による制御を行う。
【００６１】
なお、ＲＡＷ圧縮部１１３によって行われる高能率符号化として、例えば、ウエーブレット変換又は差分符号化などの既知の符号化手法が用いられる。この際の符号化処理は非可逆符号化処理および可逆符号化処理のいずれであってもよい。さらに、ＲＡＷ圧縮部１１３におれるＲＡＷ圧縮は省略するようにしてもよく、ＲＡＷ画像データを非圧縮の状態でバッファ１１５に記録するようにしてもよい。つまり、ＲＡＷ圧縮の有無に拘わらず、ここでは、ＲＡＷ画像データが損なわれることない高画質ファイルとしてバッファに格納される。
【００６２】
前述のステップＳ２１０およびＳ２１２の処理において、記録再生部１５１は静止画ファイルおよびＲＡＷファイルを通信部１５３を介して、通信端子１５４から外部ストレージに送るようにしてもよい。
【００６３】
図３は、図１に示すカメラで生成される静止画ファイルおよびＲＡＷファイルを説明するための図である。そして、図３（ａ）は静止画ファイルの構造を示す図であり、図３（ｂ）はＲＡＷファイルの構造を示す図である。
【００６４】
まず、図３（ａ）を参照して、静止画ファイル３００は、前述のようにして、記録再生部１５１によって記録媒体１５２の所定の記録エリアに記録される。静止画ファイル３００は、ヘッダ部３０１、メタデータ部３０２、および圧縮データ部３０３を備えており、ヘッダ部３０１には当該ファイルが静止画ファイル形式であることを示す識別コードなどが含まれている。また、圧縮データ部３０３には高能率符号化された静止画圧縮データが記録されている。
【００６５】
メタデータ部３０２には、当該静止画ファイルと同時に生成されたＲＡＷファイルのファイル名情報３０４が記録されるとともに、静止画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータス情報３０５が記録される。さらに、メタデータ部３０２には、前述の評価値、被写体情報、および撮影情報（例えば、レンズ種別識別情報およびセンサー種別識別情報）を有する撮影メタデータ３０６が記録される。
【００６６】
なお、図示されていないが、メタデータ部３０２にはＲＡＷファイルが記録された記録媒体の識別コードおよび記録されたフォルダのパス情報などがさらに記録されるようにしてもよい。
【００６７】
続いて、図３（ｂ）を参照して、ＲＡＷファイル３１０は、前述のように、記録再生部１５１によって記録媒体１５２の所定の記録エリアに記録される。ＲＡＷファイル３１０は、ヘッダ部３１１、メタデータ部３１２、および圧縮データ部３１３を有している。ヘッダ部３１１には、当該ファイルがＲＡＷファイル形式であることを示す識別コードなどが記録される。圧縮データ部３１３には高能率符号化されたＲＡＷ圧縮データが記録される（なお、前述のようにＲＡＷ画像データは圧縮されずに記録されることがある）。
【００６８】
メタデータ部３１２には、当該ＲＡＷファイルと同時に生成された静止画ファイルのファイル名情報３１４が記録されるとともに、静止画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータス情報３１５が記録される。さらに、メタデータ部３１２には、前述の評価値、被写体情報、および撮影情報（例えば、レンズ種別識別情報およびセンサー種別識別情報）を有する撮影メタデータ３１６が記録される。
【００６９】
なお、図示されていないが、メタデータ部３１２には同時に生成された静止画ファイルが記録された記録媒体の識別コードおよび記録されたフォルダのパス情報などがさらに記録されるようにしてもよい。代わりに同時に生成された静止画ファイル自体をメタデータ化して、メタデータ部３１２に格納するようにしてもよい。上述の静止画ファイルおよびＲＡＷファイルの構造は一例であり、例えば、ＤＣＦ又はＥＸＩＦなどの標準規格に準じた構造であってもよい。
【００７０】
上述のように、カメラ１００においては、撮影モード処理の際、撮影指示があるまでのライブビュー表示を簡易現像部１１１で得られた第１の画像データに応じて行うとともに、撮影指示の後、静止画ファイルを得るための現像処理を簡易現像部１１１で行う。
【００７１】
一方、上述のように、カメラ１００においては、撮影指示に応じてＲＡＷファイルを生成する。このＲＡＷファイルはセンサー信号処理部１０３の出力であるＲＡＷ画像データを損なわない高画質ファイルであるものの、当該ＲＡＷファイルの生成に当たっては現像処理を必要としない。
【００７２】
従って、カメラ１００においては、画像における画素数又は連写における撮影スピードを高めつつも、小規模な回路によってかつ消費電力を少なくしてＲＡＷファイルを記録することができる。
【００７３】
図４は、図１に示すカメラにおいて撮影が行われないアイドル状態における処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１６１の制御下で行われ、制御部１６１において、内蔵するＲＯＭに格納されたプログラムをＲＡＭに展開して、ＣＰＵが実行することによって図示のフローチャートに係る処理が行われる。
【００７４】
アイドル状態の処理（アイドル状態処理）が開始すると、制御部１６１はユーザー設定に応じて追いかけ現像を行うか否かを判定する（ステップＳ４０１）。追いかけ現像を行わない設定であると（ステップＳ４０１において、ＮＯ）、制御部１６１はアイドル状態処理を終了する。
【００７５】
なお、追いかけ現像を行わない場合には、制御部１６１はユーザーによるモード設定（モード選択ともいう）に応じて撮影モードおよび再生モードのいずれかのモードに遷移する。また、上記の追いかけ現像とは、撮影動作を終えた後にバッファ部１１５又は記録媒体１５２に記録されたＲＡＷファイルをソースとして高画質の現像処理を施して高画質の表示画像および高画質の静止画ファイルを生成する処理をいう。
【００７６】
上述のように、撮影の際に生成される静止画ファイルは、簡易現像部１１１によって現像処理されているので、画素数に制限があるばかりでなく現像処理についてその一部が省略されている。このため、撮影の際に生成される静止画ファイルの画質は限定的な画質である。
【００７７】
簡易現像部１１１によって得られた画像は撮影内容（構図および被写体など）を大まかな確認する際には問題がないものの、画像の細部を確認する場合、そして、プリントアウトする場合などにおいて十分ではないことがある。一方、静止画ファイルと同時に生成されたＲＡＷファイルは、前述のようにＲＡＷ画像データを損なわない高品質を有しているものの、現像処理前の画像データであるので、表示およびプリントアウトには即時に対応ができない。つまり、ＲＡＷファイルについてはＲＡＷ現像処理のために時間を要することになる。さらに、ＲＡＷファイルはＪＰＥＧファイルなどのように広く普及したファイルではないので、ＲＡＷファイルを扱える再生環境が限定される。
【００７８】
このため、ここでは、追いかけ現像を実行すると、記録再生部１５１によってＲＡＷファイルが読み出されて、当該ＲＡＷファイルについて高画質現像部１１２による高画質の現像処理が行われる。そして、静止画圧縮部１４１は高画質現像部１１２の出力を圧縮処理して得られた静止画ファイルを記録媒体１５２に記録する。
【００７９】
図示の例においては、上記の追いかけ現像を撮影と撮影の合間、再生モード、およびスリープ状態などユーザー操作待ちの状態である比較的処理負荷が小さい状態において実行する。なお、追いかけ現像はユーザー操作に限らず、制御部１６１が自動的に実行するようにしてもよい。
【００８０】
上述のような追いかけ現像の実行によって、細部を確認するための表示およびプリントアウトなど高画質な画像再生の要求に対しても、処理負荷の増加を抑えて画像再生を行うことができる。
【００８１】
前述のように、記録媒体１５２には、１回の撮影指示について静止画ファイルおよびＲＡＷファイルの組が１つ記録されている。手動又は自動によって追いかけ現像を行う場合、制御部１６１は静止画像ファイルおよびＲＡＷファイルの組について、追いかけ現像が未処理であるか否かを判定する（ステップＳ４０２）。
【００８２】
図示の例では、制御部１６１は、図３（ａ）に示すメタデータ部３０２に記録された現像ステータス３０５を参照して追いかけ現像が未処理であるか否かを判定する。例えば、現像ステータス３０５には静止画ファイルが簡易現像部１１１で処理されたか否かを識別するためのフラグが記録されており、制御部１６１は当該フラグを参照して追いかけ現像が未処理であるか否かを判定する。
【００８３】
なお、制御部１６１はＲＡＷファイル３１０の現像ステータス３１５を参照して追いかけ現像が未処理であるか否かを判定するようにしてもよく、さらには、撮影の結果得られた静止画ファイルについて現像処理の状態を示すテーブルファイルを別に備えて、当該テーブルファイルを参照して追いかけ現像が未処理であるか否かを判定するようにしてもよい。
【００８４】
追いかけ現像が処理済みとである判定すると（ステップＳ４０２において、ＮＯ）、制御部１６１はアイドル状態処理を修了する。一方、追いかけ現像が未処理であると判定すると（ステップＳ４０２において、ＹＥＳ）、制御部１６１は追いかけ現像が未処理である静止画ファイルに対応するＲＡＷファイルがバッファ部１１５にバッファリングされているか否かを判定する（ステップＳ４０３）。
【００８５】
ＲＡＷファイルがバッファリングされていないと（ステップＳ４０３において、ＮＯ）、制御部１６１の制御下で、記録再生部１５１は該当するＲＡＷファイルを記録媒体１５１から読み出してバッファ部１１５に格納する（ステップＳ４０４）。
【００８６】
なお、バッファ部１１５には静止画撮影モードの際、新しいＲＡＷ画像データ（圧縮後）から順次優先的に保持される。言い換えると、バッファ部１１５では古いＲＡＷ画像データから順に削除される。これによって、最新のＲＡＷ画像データは常にバッファ部１１５に保持されることになるので、ステップＳ４０４がスキップされる可能性が極めて高く、高速に処理を行うことができる。また、最新のＲＡＷ画像データから順に追いかけ現像を行うようにすれば、バッファ部１１５に保持されているＲＡＷ画像データから優先的に処理を行うことができるので処理を効率化することができる。
【００８７】
続いて、ＲＡＷ伸張部１１４はバッファ部１１５に格納されたＲＡＷファイルを伸張処理してＲＡＷ画像データ（伸張後ＲＡＷ画像データ）を復元する（ステップＳ４０５）。なお、ＲＡＷファイルがバッファリングされていると（ステップＳ４０３において、ＹＥＳ）、制御部１６１はＲＡＷ伸張部１１４を制御してステップＳ４０５の処理に進む。
【００８８】
伸張後ＲＡＷ画像データはスイッチ部１２１を介して高画質現像部１１２に送られる。そして、高画質現像部１１２は伸張後ＲＡＷ画像データを高画質現像処理して、第２の画像データとして出力する（ステップＳ４０６）。そして、当該第２の画像データはスイッチ部１２３を介して表示処理部１２４および静止画圧縮部１４１に送られる。
【００８９】
高画質現像部１１２は、ＲＡＷ画像データをデベイヤー処理（デモザイク処理）して、輝度および色差からなる画像信号に変換して、画像信号に含まれるノイズを除去する処理および光学的な歪を補正する処理などの所謂現像処理を行う。高画質現像部１１２によって生成される画像データの画像サイズ（画素数）は、撮像センサー部１０２からの出力である画像サイズ又はユーザー設定で指定された画像サイズであり、簡易現像で得られる画像データよりも高品質である。
【００９０】
このように、高画質現像部１１２における現像処理は簡易現像部１１１における現像処理よりも高精度であるので高画質の画像データが得られるものの、処理負荷が大きくなってしまう。よって、ここでは、高画質現像部１１２では撮影と並行したリアルタイムの現像処理を避けて、高画質現像部１１２の回路規模を小さくするとともに、消費電力を低減するようにしている。
【００９１】
続いて、制御部１６１の制御下で、静止画圧縮部１４１は第２の画像データを高能率符号化処理（静止画圧縮）して高画質の静止画ファイルを生成する（ステップＳ４０７）。そして、記録再生部１５１は高画質の静止画ファイルを記録媒体１５２に記録する（ステップＳ４０８）。記録再生部１５１による記録の後、制御部１６１はアイドル状態処理を終了する。
【００９２】
なお、ステップＳ４０８で記録媒体１５２に記録される静止画ファイルは図３（ａ）に示すファイル構造を有している。そして、メタデータ部３０２には当該静止画ファイルの元となるＲＡＷファイル（原ＲＡＷファイル）のファイル名情報３０４が記録される。さらに、メタデータ部３０２には静止画ファイルが高画質現像部１１２によって高画質現像されたことを示す現像ステータス情報３０５が記録される。また、撮影メタデータ３０６には、元のＲＡＷファイルのメタデータから抽出された評価値、被写体情報、および撮影情報が記録される。
【００９３】
高画質の静止画ファイルを記録する際には、記録再生部１５１は、原ＲＡＷファイルと同時に記録された簡易現像による静止画ファイルと同一のファイル名を高画質の静止画ファイル与えて、簡易現像による静止画ファイルに上書き記録する。つまり、簡易現像による静止画ファイルは削除されることになる。そして、記録再生部１５１は原ＲＡＷファイルについてメタデータ部３１２の現像ステータス３１５を、高画質現像済（又は追いかけ現像済）を示す情報で更新する。
【００９４】
このようにして、図示のカメラ１００では、撮影と撮影の合間、再生モードおよびスリープ状態などのユーザー操作待ち状態などの処理負荷が小さい状態の際に追いかけ現像を実行する。そして、撮影の際の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像の静止画ファイルに置き換える。また、撮影の際の簡易現像による動画ファイルもＲＡＷファイルを用いた高画質現像の動画ファイルに置き換える。
【００９５】
これによって、画像細部を確認する際の表示およびプリントアウトなど高画質の画像再生が要求される場合であっても、要求の都度現像処理を行う必要がなく、処理負荷および消費電力を低減することができる。
【００９６】
次に、図１に示すカメラ１００で行われる再生モードにおける処理について説明する。
【００９７】
図５は、図１に示すカメラ１００で行われる静止画再生モード処理を説明するためフローチャートである。なお、図示のフローチャートに係る処理は制御部１６１の制御下で行われ、制御部１６１において、内蔵するＲＯＭに格納されたプログラムをＲＡＭに展開して、ＣＰＵが実行することによって図示のフローチャートに係る処理が行われる。
【００９８】
再生モード処理を開始すると、制御部１６１はカメラ１００における処理負荷状況が低いか否かを判定する。つまり、制御部１６１はカメラ１００がアイドル状態であるか否かを判定する（ステップＳ５０１）。アイドル状態であると（ステップＳ５０１において、ＹＥＳ）、制御部１６１は再生モード処理を終了して、前述のアイドル状態処理に遷移する。例えば、再生指示などのユーザー操作を待機している状態では、処理負荷が低いので、制御部１６１は再生モード処理を終了して、前述のアイドル状態処理に遷移する。
【００９９】
負荷状況が高いと、つまり、アイドル状態でないと（ステップＳ５０１において、ＮＯ）、制御部１６１は再生される静止画ファイルについてユーザーが拡大表示指示を行っているか否かを判定する（ステップＳ５０２）。なお、アイドル状態ではない場合とは、例えば、ユーザー操作に応じて静止画再生が開始されている（再生中の状態を含む）場合などである。
【０１００】
図６は、図１に示すカメラで行われる再生モード処理における表示処理の一例を説明するための図である。そして、図６（ａ）は縮小表示（サムネイル表示）の一例を示す図であり、図６（ｂ）は図６（ａ）に示すサムネイル画像の１つを表示部全体に表示した状態を示す図である。また、図６（ｃ）は図６（ｂ）に示す画像の一部領域を拡大して示す図である。
【０１０１】
図６（ａ）において、ここでは、表示部１２５に表示された画面６００には、６つの画像６０１が縮小処理されて表示されている。つまり、画面６００には６つのサムネイル画像６０１が表示されている。そして、６つのサムネイル画像６０１のうち１つが選択されると、図６（ｂ）に示すように、画面６１０には選択されたサムネイル画像６０１が画面全体に表示される。ここでは、図６（ｂ）に示す状態を通常表示とする。
【０１０２】
さらに、通常表示において、ユーザー操作によって一部領域の拡大表示が指示されると（拡大表示指示があると）、図６（ｃ）に示すように、画面６２０には画面全体に表示された画像（通常表示）においてその一部領域を拡大した画像６２１が表示される。図６（ｃ）に示す一部領域の拡大表示は、例えば、撮影の直後にフォーカスの適否を確認する際に行われる。
【０１０３】
拡大表示などの高画質表示においては、表示部１２５に表示される画像が簡易現像による静止画ファイルによる画像であると、その画素数が不足することがある。つまり、簡易現像による静止画ファイルを用いて画像表示を行うと、解像度が低下する。
【０１０４】
よって、拡大表示指示があると（ステップＳ５０２において、ＹＥＳ）、制御部１６１は再生対象となる静止画ファイルが高画質現像部１１２で現像されたファイルであるか否かを判定する。つまり、制御部１６１は、静止画ファイルが前述の追いかけ現像処理済みであるか否かを判定することになる（ステップＳ５０３）。この判定の際には、前述のように、静止画ファイル３００のメタデータ部３０２に格納されている現像ステータス３０５などが参照されることになる。
【０１０５】
再生対象の静止画ファイルが追いかけ現像処理済みでないと（ステップＳ５０３において、ＮＯ）、制御部１６１は、当該再生対象の静止画ファイルに対応するＲＡＷファイルがバッファ部１１５にバッファリングされているか否かを判定する（ステップＳ５０４）。ＲＡＷファイルがバッファリングされていないと（ステップＳ５０４において、ＮＯ）、制御部１６１の制御下で、記録再生部１５１は該当するＲＡＷファイルを記録媒体１５１から読み出してバッファ部１１５に格納する（ステップＳ５０５）。
【０１０６】
続いて、ＲＡＷ伸張部１１４はバッファ部１１５に格納されたＲＡＷファイルを伸張処理してＲＡＷ画像データ（伸張後ＲＡＷ画像データ）を復元する（ステップＳ５０６）。そして、制御部１６１の制御下で、ＲＡＷ伸張部１１４は、伸張後ＲＡＷ画像データにおいて拡大表示指示で指定された拡大表示領域（拡大表示すべき領域をいう）を切り出して、切り出しＲＡＷ画像データを得る（ステップＳ５０７）。
【０１０７】
なお、ＲＡＷファイルがバッファリングされていると（ステップＳ５０４において、ＹＥＳ）、制御部１６１はＲＡＷ伸張部１１４を制御してステップＳ５０６の処理に進む。
【０１０８】
切り出しＲＡＷ画像データはスイッチ部１２１を介してリサイズ処理部１２２に送られる。そして、リサイズ処理部１２２は、表示部１２５の画面サイズ（例えば、画素数）に応じて、切り出しＲＡＷ画像データをリサイズ処理して、表示に適したサイズのＲＡＷ画像データ（リサイズＲＡＷ画像データ）を得る（ステップＳ５０８）。
【０１０９】
なお、表示部１２５の画面サイズに係る情報は、例えば、記録媒体１５２又はリサイズ処理部１２２に備えられたメモリ（ＲＯＭなど）に予め格納されている。
【０１１０】
また、前述したように、追いかけ現像は、撮影と並行して行われず撮影後に所謂分散処理で行われるが、追いかけ現像済みでない状態で拡大表示指示が入力されると、ＲＡＷファイルについて高画質現像が行われることになる。この結果、拡大表示指示による表示が行われるまで遅延が生じる。そこで、ステップＳ５０８におけるリサイズ処理によって現像処理に係るデータ量を削減して表示の遅延を低減する。
【０１１１】
続いて、高画質現像部１１２はリサイズＲＡＷ画像データを高画質現像処理して、第３の画像データとして出力する（ステップＳ５０９）。そして、当該第３の画像データはスイッチ部１２３を介して表示処理部１２４に送られる。
【０１１２】
再生対象の静止画ファイルが追いかけ現像処理済みであると（ステップＳ５０３において、ＹＥＳ）、制御部１６１は、当該静止画ファイルを拡大して十分な画質で表示可能であるとして、記録再生部１５１を制御して該当する静止画ファイルを記録媒体１５２から読み出す（ステップＳ５１０）。そして、制御部１６１の制御下で、静止画伸張部１４３は当該静止画ファイルを復号化処理して伸張し伸張後静止画ファイルを得る（ステップＳ５１１）。
【０１１３】
続いて、制御部１６１の制御下で、表示処理部１２４は拡大表示指示で指定された拡大表示領域を伸張後静止画ファイルから切り出して切り出し静止画ファイルを得る（ステップＳ５１２）。
【０１１４】
拡大表示指示がないと（ステップＳ５０２において、ＮＯ）、つまり、縮小表示又は等倍表示する場合には、制御部１６１は記録再生部１５１を制御して記録媒体１５２から再生対象である簡易現像処理又は高画質現像処理された静止画ファイルを読み出す（ステップＳ５１３）。そして、制御部１６１の制御下で、静止画伸張部１４３は静止画ファイルを復号化処理して伸張し伸張後静止画ファイルを得る（ステップＳ５１４）。
【０１１５】
ステップＳ５１２又はＳ５１４の処理に続いて、表示処理部１２４は、切り出し静止画ファイル又は伸張後静止画ファイルについてリサイズ処理を行って、図６（ａ）又は図（ｂ）に示す表示画像を生成する（ステップＳ５１５）。そして、ステップＳ５０９又はＳ５１５の処理に続いて、表示処理部１２４は表示部１２５に画像を表示する（ステップＳ５１６）。ステップＳ５１６の処理が行われた後、制御部１６１はステップＳ５０１の処理に戻る。
【０１１６】
このようにして、拡大表示指示があると、制御部１６１の制御下で高画質の画像が表示部１２５に表示されることになる。
【０１１７】
このように、本発明の第１の実施形態では、簡易現像によって得られる画像ファイル（つまり、画像データ）と追いかけ現像によって得られる画像データとを選択的に用いて高速表示および高画質表示を両立させることができる。そして、高画質表示を行う際に、表示対象となる画像データについて追いかけ現像が行われていないと当該画像データを表示に適した画像サイズにリサイズした後に高画質現像処理を行う。これによって、高画質表示の指示を受けてから高画質現像処理を行う場合においても画像の品質を落とすことなく、かつ現像処理に係るデータ量を削減して表示遅延を低減することができる。
【０１１８】
［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置を備えるカメラの一例について説明する。なお、第２の実施形態に係るカメラの構成は、図１に示すカメラと同様であるので説明を省略する。
【０１１９】
前述の第１の実施形態では、再生モードの際に拡大表示指示の有無に応じて、簡易現像処理で得られる画像データと高画質現像処理で得られる画像データを切り替えて表示部１２５に表示する場合について説明した。一方、第２の実施形態では、映像出力端子１２６によって接続された外部表示機器の画面サイズ（画素数）に応じて、簡易現像処理によって得られる画像データと高画質現像処理によって得られる画像データとを切り替えて外部表示機器に表示する場合について説明する。
【０１２０】
なお、第２の実施形態においては、第１の実施形態で説明した処理を含み、かつ映像出力端子１２６によって接続された外部表示機器の画素数を取得して、当該画素数に応じて表示する画像を切り替える処理が含まれる。そして、第１の実施形態と同様の処理について簡略して説明する。
【０１２１】
図７は、本発明の第２の実施形態による画像処理装置を備えるカメラで行われる再生モード処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１６１の制御下で行われ、制御部１６１において、内蔵するＲＯＭに格納されたプログラムをＲＡＭに展開して、ＣＰＵが実行することによって図示のフローチャートに係る処理が行われる。
【０１２２】
再生モード処理を開始すると、制御部１６１はカメラ１００がアイドル状態であるか否かを判定する（ステップＳ７０１）。カメラ１００がアイドル状態であると（ステップＳ５０１において、ＹＥＳ）、制御部１６１は再生モード処理を終了して、前述のアイドル状態処理に遷移する。
【０１２３】
カメラ１００がアイドル状態でないと（ステップＳ７０１において、ＮＯ）、制御部１６１は再生される静止画ファイルについてユーザーが拡大表示指示を行っているか否かを判定する（ステップＳ７０２）。ユーザーによる拡大表示指示があると（ステップＳ７０２において、ＹＥＳ）、制御部１６１は再生対象となる静止画ファイルが前述の追いかけ現像処理済みであるか否かを判定する（ステップＳ７０３）。
【０１２４】
再生対象の静止画ファイルが追いかけ現像処理済みでないと（ステップＳ７０３において、ＮＯ）、制御部１６１は、表示対象の静止画ファイルにおける拡大表示領域の画素数を取得するとともに、映像出力端子１２６によって接続された外部表示機器（図示せず）の表示画素数を取得する（ステップＳ７０４）。そして、制御部１６１は表示対象の静止画ファイルにおける拡大表示領域の画素数が外部表示機器の表示画素数（表示パネル画素数）以上であるか否かを判定する（ステップＳ７０５）。
【０１２５】
なお、簡易現像処理によって得られた画像における拡大表示領域の画素数が表示機器の画素数を超えていると、当該表示機器では簡易現像によって得られた画像において十分な画質で表現することができるので、高画質現像処理を行う必要がない。つまり、拡大表示指示のみでは、最適な表示画像を決定するのには不十分であるので、表示機器の表示画素数と大表示領域の画素数とを比較して最適な表示画像を決定するようにしている。
【０１２６】
拡大表示領域の画素数が表示パネル画素数未満であると（ステップＳ７０５において、ＮＯ）、制御部１６１は再生対象の静止画ファイルに対応するＲＡＷファイルがバッファ部１１５にバッファリングされているか否かを判定する（ステップＳ７０６）。ＲＡＷファイルがバッファリングされていないと（ステップＳ７０６において、ＮＯ）、制御部１６１の制御下で、記録再生部１５１は該当するＲＡＷファイルを記録媒体１５１から読み出してバッファ部１１５に格納する（ステップＳ７０７）。
【０１２７】
続いて、ＲＡＷ伸張部１１４はバッファ部１１５に格納されたＲＡＷファイルを伸張処理してＲＡＷ画像データ（伸張後ＲＡＷ画像データ）を復元する（ステップＳ７０８）。そして、制御部１６１の制御下で、ＲＡＷ伸張部１１４は、伸張後ＲＡＷ画像データにおいて拡大表示指示で指定された表示領域（拡大表示すべき領域をいう）を切り出して、切り出しＲＡＷ画像データを得る（ステップＳ７０９）。
【０１２８】
なお、ＲＡＷファイルがバッファリングされていると（ステップＳ７０６において、ＹＥＳ）、制御部１６１はＲＡＷ伸張部１１４を制御してステップＳ７０８の処理に進む。
【０１２９】
切り出しＲＡＷ画像データはスイッチ部１２１を介してリサイズ処理部１２２に送られる。そして、リサイズ処理部１２２は、切り出しＲＡＷ画像データを、映像出力端子１２６に接続された外部表示機器の画面サイズに応じてリサイズ処理して、表示に適したサイズのＲＡＷ画像データ（リサイズＲＡＷ画像データ）を得る（ステップＳ７１０）。
【０１３０】
続いて、高画質現像部１１２はリサイズＲＡＷ画像データを高画質現像処理して、第３の画像データとして出力する（ステップＳ７１１）。そして、当該第３の画像データはスイッチ部１２３を介して表示処理部１２４に送られる。
【０１３１】
拡大表示領域の画素数が表示パネル画素数以上であると（ステップＳ７０５において、ＹＥＳ）、制御部１６１は記録再生部１５１を制御して該当する静止画ファイルを記録媒体１５２から読み出す（ステップＳ７１２）。そして、制御部１６１の制御下で、静止画伸張部１４３は当該静止画ファイルを復号化処理して伸張し伸張後静止画ファイルを得る（ステップＳ７１３）。
【０１３２】
続いて、制御部１６１の制御下で、表示処理部１２４は拡大表示指示で指定された拡大表示領域を伸張後静止画ファイルから切り出して切り出し静止画ファイルを得る（ステップＳ７１４）。なお、再生対象の静止画ファイルが追いかけ現像処理済みであると（ステップＳ７０３において、ＹＥＳ）、制御部１６１はステップＳ７１２の処理に進む。
【０１３３】
ユーザーによる拡大表示指示がないと（ステップＳ７０２において、ＮＯ）、制御部１６１は再生対象の静止画ファイルが追いかけ現像処理済みであるか否かを判定する（ステップＳ７１５）。静止画ファイルが追いかけ現像処理済みでないと（ステップＳ７１５において、ＮＯ）、制御部１６１は表示対象の静止画ファイルにおける表示領域の画素数を取得するとともに、映像出力端子１２６によって接続された外部表示機器の表示画素数を取得する（ステップＳ７１６）。そして、制御部１６１は表示対象の静止画ファイルにおける表示領域の画素数が外部表示機器の表示画素数（表示パネル画素数）以上であるか否かを判定する（ステップＳ７１７）。
【０１３４】
ここでは、表示対象の静止画ファイルを等倍表示する際、表示領域における画素数が表示機器の画素数未満であると、当該表示機器では簡易現像処理によって得られた画像において十分な画質で表現することができないので、高画質現像処理を行う必要がある。つまり、拡大表示指示のみでは、最適な表示画像を決定するのには不十分であるので、表示機器の表示画素数と表示領域の画素数とを比較して最適な表示画像を決定するようにしている。
【０１３５】
表示領域の画素数が表示パネル画素数以上であると（ステップＳ７１７において、ＹＥＳ）、制御部１６１は記録再生部１５１を制御して該当する静止画ファイルを記録媒体１５２から読み出す（ステップＳ７１８）。そして、制御部１６１の制御下で、静止画伸張部１４３は当該静止画ファイルを復号化処理して伸張し伸張後静止画ファイルを得る（ステップＳ７１９）。
【０１３６】
ステップＳ７１４又はＳ７１９の処理に続いて、制御部１６１の制御下で、表示処理部１２４は切り出し静止画ファイル又は伸張後静止画ファイルをリサイズ処理して、外部表示機器の画面サイズ（画素数）に適した表示画像を生成する（ステップＳ７２０）。
【０１３７】
表示領域の画素数が表示パネル画素数未満であると（ステップＳ７１７において、ＮＯ）、制御部１６１は再生対象の静止画ファイルに対応するＲＡＷファイルがバッファ部１１５にバッファリングされているか否かを判定する（ステップＳ７２１）。ＲＡＷファイルがバッファリングされていないと（ステップＳ７２１において、ＮＯ）、制御部１６１の制御下で、記録再生部１５１は該当するＲＡＷファイルを記録媒体１５１から読み出してバッファ部１１５に格納する（ステップＳ７２２）。
【０１３８】
続いて、ＲＡＷ伸張部１１４はバッファ部１１５に格納されたＲＡＷファイルを伸張処理してＲＡＷ画像データ（伸張後ＲＡＷ画像データ）を復元する（ステップＳ７２３）。なお、ＲＡＷファイルがバッファリングされていると（ステップＳ７２１において、ＹＥＳ）、制御部１６１はＲＡＷ伸張部１１４を制御してステップＳ７２３の処理に進む。
【０１３９】
伸張後ＲＡＷ画像データはスイッチ部１２１を介してリサイズ処理部１２２に送られる。そして、リサイズ処理部１２２は、伸張後ＲＡＷ画像データを、映像出力端子１２６に接続された外部表示機器の画面サイズに応じてリサイズ処理して、表示に適したサイズのＲＡＷ画像データ（リサイズＲＡＷ画像データ）を得る（ステップＳ７２４）。
【０１４０】
続いて、高画質現像部１１２はリサイズＲＡＷ画像データを高画質現像処理して、第３の画像データとして出力する（ステップＳ７２５）。そして、当該第３の画像データはスイッチ部１２３を介して表示処理部１２４に送られる。
【０１４１】
ステップＳ７１１、Ｓ７２０、又はＳ７２５の処理に続いて、制御部１６１の制御下で、表示処理部１２４は映像出力端子１２６を介して静止画データを外部表示機器に送って、外部表示機器に画像を表示する（ステップＳ７２６）。その後、制御部１６１はステップＳ７０１の処理に戻る。
【０１４２】
このように、本発明の第２の実施形態では、カメラ１００に接続される表示機器の表示画素数と表示対象となる静止画ファイルの表示領域における画素数とを比較して、その比較結果に応じて簡易現像処理された画像データと高画質現像処理された画像データと選択的に切り替え表示する。この結果、不要な高画質現像処理が行われず、さらに、解像度の低い画像が外部表示機器に表示されることがなくなる。
【０１４３】
以上のように、本発明の実施形態では、処理負荷を低減しつつ表示遅延を防止してしかも高画質で画像を表示することができる。
【０１４４】
上述の説明から明らかなように、図１に示す例においては、ＲＡＷ伸張部１１４および簡易現像部１１１が第１の生成手段として機能し、ＲＡＷ伸張部１１４および高画質現像部１１２が第２の生成手段として機能する。また、ＲＡＷ伸張部１１４、リサイズ処理部１２２、および高画質現像部１１２が第３の生成手段として機能し、制御部１６１および表示処理部１２４が表示制御手段として機能する。さらに、制御部１６１は取得手段として機能する。
【０１４５】
なお、図示の例では、少なくとも制御部１６１、操作部１６２、記録媒体１５２、記録再生部１５１、バッファ部１１５、ＲＡＷ伸張部１１４、簡易現像部１１１、高画質現像部１１２、リサイズ処理部１２２、静止画伸張部１４２、表示処理部１２４、および表示部１２５が画像処理装置を構成する。
【０１４６】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１４７】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１４８】
上記の制御方法および制御プログラムの各々は、少なくとも第１の生成ステップ、第２の生成ステップ、第３の生成ステップ、および表示制御ステップを有している。
【０１４９】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１５０】
１１１  簡易現像部
１１２  高画質現像部
１１４  ＲＡＷ伸張部
１１５  バッファ部
１２２  リサイズ処理部
１２４  表示処理部
１２５  表示部
１４２  静止画伸張部
１５１  記録再生部
１６１  制御部
【図１】
2015076782.tif 000003
【図２】
2015076782.tif 000004
【図３】
2015076782.tif 000005
【図４】
2015076782.tif 000006
【図５】
2015076782.tif 000007
【図６】
2015076782.tif 000008
【図７】
2015076782.tif 000009