(57)【要約】【課題】ＲＡＷ画像を再生表示する時や編集する時に費やされる現像処理の負荷を軽減できるようにする。【解決手段】撮像装置と、外部記録装置とを具備する画像記録システムであり、前記撮像装置は、ＲＡＷ画像の画像情報を周波数帯域ごとに階層的に符号化する符号化手段と、前記階層的に符号化された画像情報を外部と送受信する通信手段と、前記階層的に符号化された画像情報のうち低域の画像情報を内部の記録媒体に記録し、前記階層的に符号化された画像情報の全ての帯域の画像情報を前記外部記録装置に記録する記録手段と、画像情報を現像する現像手段と、前記内部の記録媒体から読み出されて前記現像手段により現像された低域の画像情報を表示部に表示する表示手段と、前記外部記録装置に記録された画像情報を受信して復号する復号化手段と、前記復号化手段で復号され前記現像手段により現像された画像情報を外部表示装置に出力する映像出力手段とを有する。【選択図】図１
2016005086.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と、前記撮像装置から送信される階層的に符号化された画像情報を記録する外部記録装置とを具備する画像記録システムであって、
前記撮像装置は、
ＲＡＷ画像の画像情報を周波数帯域ごとに階層的に符号化する符号化手段と、
前記階層的に符号化された画像情報を外部と送受信する通信手段と、
前記階層的に符号化された画像情報のうち低域の画像情報を内部の記録媒体に記録し、前記階層的に符号化された画像情報の全ての帯域の画像情報を前記外部記録装置に記録する記録手段と、
画像情報を現像する現像手段と、
前記内部の記録媒体から読み出されて前記現像手段により現像された低域の画像情報を表示部に表示する表示手段と、
前記外部記録装置に記録された画像情報を受信して復号する復号化手段と、
前記復号化手段で復号され前記現像手段により現像された画像情報を外部表示装置に出力する映像出力手段とを有することを特徴とする画像記録システム。
【請求項２】
前記表示部で表示する際に使用する画像情報は、前記内部の記録媒体に記録された画像情報を使用し、
前記映像出力手段と接続する外部表示装置で表示する際には、
前記映像出力手段と接続する外部表示装置の解像度が前記内部の記録媒体に記録された画像情報より大きい場合は、前記外部記録装置の記録媒体に記録された画像情報を使用し、
前記映像出力手段と接続する外部表示装置の解像度が前記内部の記録媒体に記録された画像情報より大きくない場合は、前記内部の記録媒体に記録された画像情報を使用することを特徴とする請求項１に記載の画像記録システム。
【請求項３】
撮像装置と、前記撮像装置から送信される階層的に符号化された画像情報を記録する外部記録装置とを具備する画像記録システムであって、
前記撮像装置は、
前記画像情報を周波数帯域ごとに階層的に符号化する第１の符号化手段と、
前記階層的に符号化された画像情報のうち低域の画像情報を内部の記録媒体に記録し、前記階層的に符号化された画像情報の全ての帯域の画像情報を前記外部記録装置に記録する記録手段と、
前記画像情報を取得して撮影時に現像処理を行う第１の現像手段と、
前記第１の現像手段よりも低速で高画質な画像を得るための現像処理を行う第２の現像手段と、
前記内部の記録媒体に記録された画像情報を復号する第１の復号化手段と、
復号された前記内部の記録媒体で記録された画像情報を表示部に表示する表示手段と、
前記階層的に符号化された画像情報の全ての帯域の画像情報を外部に送受信する通信手段と、
前記第１の復号化手段で復号された画像情報を外部の表示装置に出力する映像出力手段と、
現像後、圧縮符号化された前記画像情報を復号する第２の復号化手段とを有し、
前記外部記録装置は、
前記通信手段により送信されてくる前記階層的に符号化された画像情報の全てを記録する外部記録媒体と、
前記階層的に符号化された画像情報の全てを現像する第３の現像手段と、
前記第３の現像手段で現像された画像情報を圧縮符号化する第２の符号化手段とを有することを特徴とする画像記録システム。
【請求項４】
前記表示部で表示する際に使用する画像情報は、
前記第２の現像手段での現像が完了するまでは、前記内部の記録媒体に記録された画像情報を前記第１の現像手段で現像したものを使用し、
前記第２の現像手段での現像が完了した後は、前記内部の記録媒体に記録された画像情報を前記第２の現像手段で現像したものを使用することを特徴とする請求項３に記載の画像記録システム。
【請求項５】
前記映像出力手段と接続する外部表示装置で表示する際には、
前記映像出力手段と接続する外部表示装置の解像度が前記内部の記録媒体に記録された画像情報より大きい場合は、前記第２の符号化手段で符号化した画像情報を前記第２の復号化手段で復号した画像情報を使用し、
前記映像出力手段と接続する外部表示装置の解像度が前記内部の記録媒体に記録された画像情報より小さい場合は、
前記第２の現像手段での現像が完了するまでは、前記内部の記録媒体に記録された画像情報を前記第１の現像手段で現像したものを使用し、
前記第２の現像手段での現像が完了した後は、前記内部の記録媒体に記録された画像情報を前記第２の現像手段で現像したものを使用することを特徴とする請求項３または４に記載の画像記録システム。
【請求項６】
前記撮像装置は、
ユーザーにより選択された現像パラメータを決定する現像パラメータ設定手段を有し、
現像パラメータを振って現像した画像を確認し、使用する現像パラメータを決定する際には、前記内部の記録媒体に記録された画像情報を用いて、前記第２の現像手段により現像された画像を用いることを特徴とする請求項３〜５の何れか１項に記載の画像記録システム。
【請求項７】
現像パラメータを振って現像した画像を確認し、使用する現像パラメータを決定した後は、前記第３の現像手段は、前記外部記録媒体に送信された現像パラメータと前記階層的に符号化された画像情報の全てを用いて現像し、
前記第２の符号化手段は、現像された画像情報を圧縮符号化することを特徴とする請求項３〜６の何れか１項に記載の画像記録システム。
【請求項８】
ＲＡＷ画像の画像情報に対し階層符号化を行い、符号化情報を生成する圧縮手段と、
前記階層符号化を行う時に得られる低域成分から小容量のＲＡＷ情報を生成する手段と、
前記画像情報を取得して撮影時に現像処理を行う第１の現像手段と、
前記符号化情報を記憶媒体に記憶する記憶手段と、
前記符号化情報を復号する復号手段と、
前記第１の現像手段よりも高画質な画像を得るための現像処理を行う第２の現像手段と、
前記第１の現像手段又は前記第２の現像手段によって現像処理された画像情報に係る表示画像を出力する表示手段とを有し、
前記第２の現像手段は、
前記第１の現像手段により生成された現像パラメータを現像処理に反映することを特徴とする画像記録再生装置。
【請求項９】
前記第２の現像手段は、
トリミングを実施する時にトリミング領域のみを現像することを特徴とする請求項８に記載の画像記録再生装置。
【請求項１０】
前記画像情報を分割する画像分割手段を有し、
前記画像分割手段は、
前記圧縮手段がＲＡＷ画像の画像情報に対し階層符号化を行う時に矩形領域に分割することを特徴とする請求項８または９に記載の画像記録再生装置。
【請求項１１】
トリミング編集を実施する手段を有し、
前記トリミング編集を実施する時に、トリミング部分を含む最小限の分割部分のみを伸長することを特徴とする請求項１０に記載の画像記録再生装置。
【請求項１２】
ＲＡＷ画像の画像情報に対し階層符号化を行い、符号化情報を生成する圧縮工程と、
前記階層符号化を行う時に得られる低域成分から小容量のＲＡＷ情報を生成する工程と、
前記画像情報を取得して撮影時に現像処理を行う第１の現像工程と、
前記符号化情報を記憶媒体に記憶する記憶工程と、
前記符号化情報を復号する復号工程と、
前記第１の現像工程よりも高画質な画像を得るための現像処理を行う第２の現像工程と、
前記第１の現像工程又は前記第２の現像工程において現像処理された画像情報に係る表示画像を出力する表示工程とを有し、
前記第２の現像工程は、
前記第１の現像工程において生成された現像パラメータを現像処理に反映することを特徴とする画像記録再生装置の制御方法。
【請求項１３】
ＲＡＷ画像の画像情報に対し階層符号化を行い、符号化情報を生成する圧縮工程と、
前記階層符号化を行う時に得られる低域成分から小容量のＲＡＷ情報を生成する工程と、
前記画像情報を取得して撮影時に現像処理を行う第１の現像工程と、
前記符号化情報を記憶媒体に記憶する記憶工程と、
前記符号化情報を復号する復号工程と、
前記第１の現像工程よりも高画質な画像を得るための現像処理を行う第２の現像工程と、
前記第１の現像工程又は前記第２の現像工程において現像処理された画像情報に係る表示画像を出力する表示工程とをコンピュータに実行させ、
前記第２の現像工程は、
前記第１の現像工程において生成された現像パラメータを現像処理に反映するようコンピュータを制御することを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像記録システムおよび画像記録再生装置に関し、特に、動画または静止画のＲＡＷ画像を扱うために用いて好適な技術に関する。
【背景技術】
【０００２】
従来の撮像装置では、撮像センサーによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号をＪＰＥＧなどの圧縮符号化を用いて圧縮処理し、記録媒体に記録するのが一般的である。
【０００３】
一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は、記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、主に上級者によって好んで使われている。特に、この上級者の中には、撮影後、直ちに撮像装置を用いて、ホワイトバランス、トリミングなどの編集を行うユースケースがある。
【０００４】
ＲＡＷ画像を記録する撮像装置の構成は、特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−２４４４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の通り、ＲＡＷ画像はオリジナル画像に対する補正や劣化を最低限としているため、高圧縮符号化を用いることができず、必要なデータ量が膨大になってしまう。そのため、撮像画像の記録装置に内蔵あるいは接続されている記録媒体への記録枚数が従来の高圧縮符号化を用いた記録方式に比べて大幅に少なくなってしまう。
【０００７】
また、近年の撮像装置は、撮像センサーが進化し、画像１枚あたりの画素数が大幅に増加しており、１秒あたりに連写できる画像の枚数も増える傾向にある。そのため、ＲＡＷ画像に対するデベイヤー処理や、ノイズ除去、光学歪補正など、現像処理を成すそれぞれの処理量が相乗的に増大し、撮像と並行したリアルタイムでの現像処理を行う場合、膨大な回路や消費電力が必要となっている。
【０００８】
このような撮像装置では、ディスプレイに表示するだけでも、ＲＡＷ画像を現像処理する必要がある。撮像装置を用いて編集を行う場合、この結果の良しあしをディスプレイで確認するためには、現像パラメータを変更する度に、この処理の重い現像処理を実行しなければならないという課題があった。その結果、時には、現像処理による回路の占有や消費電力上の制限などのために、充分に高画質な現像処理を実行できないことも起こり得る問題点があった。
【０００９】
一方、前述の特許文献１のように、ＲＡＷ画像を現像せずに記録する構成ならば、撮影時の現像に係る処理量は軽減されるかもしれないが、現像されていない状態で記録されるために、画像を速やかに現像し再生表示することが困難である。そのため、撮像装置内でユーザーが多様な現像パラメータを用いてＲＡＷ画像の編集を行うことが手軽にできなくなってしまう問題点があった。
本発明は前述の問題点に鑑み、ＲＡＷ画像を再生表示する時や編集する時に費やされる現像処理の負荷を軽減できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像記録システムは、撮像装置と、前記撮像装置から送信される階層的に符号化された画像情報を記録する外部記録装置とを具備する画像記録システムであって、前記撮像装置は、ＲＡＷ画像の画像情報を周波数帯域ごとに階層的に符号化する符号化手段と、前記階層的に符号化された画像情報を外部と送受信する通信手段と、前記階層的に符号化された画像情報のうち低域の画像情報を内部の記録媒体に記録し、前記階層的に符号化された画像情報の全ての帯域の画像情報を前記外部記録装置に記録する記録手段と、画像情報を現像する現像手段と、前記内部の記録媒体から読み出されて前記現像手段により現像された低域の画像情報を表示部に表示する表示手段と、前記外部記録装置に記録された画像情報を受信して復号する復号化手段と、前記復号化手段で復号され前記現像手段により現像された画像情報を外部表示装置に出力する映像出力手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ＲＡＷ画像を再生表示する時や編集する時に費やされる現像処理の負荷を軽減することが可能となり、記録装置に内蔵あるいは接続されている記録媒体への記録枚数を増やしたり、ＲＡＷ画像での編集を気軽に実施したりすることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る画像記録システムの構成例を示すブロック図である。
【図２】本発明の第１、第２の実施形態に係るウェーブレット変換を説明する図である。
【図３】第１の実施形態に係るＲＡＷファイルが記録媒体と外部記録装置に記録されるまでの動作を説明するフローチャートである。
【図４】第１の実施形態に係る再生時の動作手順の一例を説明するフローチャートである。
【図５】第２の実施形態に係る再生時の動作手順の一例を説明するフローチャートである。
【図６】第２の実施形態に係る画像記録システムの構成例を示すブロック図である。
【図７】第２の実施形態に係る試し現像の動作手順の一例を説明するフローチャートである。
【図８】第３の実施形態に係る画像記録再生装置の構成例を説明するブロック図である。
【図９】第３の実施形態に係るＲＡＷ画像の構成例を説明する図である。
【図１０】第３の実施形態に係る撮影時の処理手順の一例を示すフローチャートである。
【図１１】第３の実施形態に係る編集時の処理手順の一例を示すフローチャートである。
【図１２】第３の実施形態に係る現像時の処理手順の一例を示すフローチャートである。
【図１３】第４の実施形態に係る画像記録再生装置の構成例を説明するブロック図である。
【図１４】第４の実施形態に係るＲＡＷ画像の構成例を説明する図である。
【図１５】第４の実施形態に係るＲＡＷ画像のトリミング領域を説明する図である。
【図１６】第４の実施形態に係る撮影時の処理手順の一例を示すフローチャートである。
【図１７】第４の実施形態に係る現像時の処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
［第１の実施形態］
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
図１は、本発明の実施形態に係る画像記録システムの構成例を示すブロック図である。図１の本実施形態の画像記録システムは、撮像装置１０００、外部記録装置１１２及び外部表示装置１１３を備える。
図１において、本実施形態の撮像装置１０００は、撮像部１００と、ＲＡＷ符号化部１０１と、記録再生部１０２と、記録媒体１０３と、現像部１０４と、表示処理部１０５と、表示部１０６と、ＲＡＷ復号化部１０８とを有している。また、通信部１０７と、通信端子１１０と、映像出力端子１１１とを有し、外部記録装置１１２と、外部表示装置１１３とを具備している。
【００１４】
前述のように構成された撮像装置１０００における、撮影時の動作について図１〜図３を用いながら説明する。
撮像部１００は撮像対象となる被写体の光学像を結像し、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する。なお、本実施形態では、撮像部１００から出力される現像前の画像情報を生（未現像）の画像を意味するＲＡＷ画像と称す。
【００１５】
ＲＡＷ画像は現像部１０４にて現像処理される。具体的には、ＲＡＷ画像に対してデベイヤー処理を施し、輝度と色差から成る信号に変換して、各信号に含まれるノイズの除去、光学的な歪の補正など画像を適正化する処理を行う。なお、本実施形態における現像部１０４はリアルタイム処理で充分に高画質な現像ができるものとする。
【００１６】
現像部１０４によって現像処理された画像情報は、表示処理部１０５によって記録解像度と表示部に応じたリサイズなど、所定の表示処理を実施された後、表示部１０６にて表示される。なお、本実施形態において、表示部１０６の解像度は撮像装置１０００が撮影可能な最大解像度に対して低解像度なものであるとする。また、現像処理された画像情報は、映像出力端子１１１により、外部表示装置１１３に接続し表示してもよい。映像出力端子１１１は、例えばＨＤＭＩ（登録商標）やＳＤＩのような汎用インタフェースを含む。
【００１７】
ＲＡＷ符号化部１０１は、撮像部１００が出力したＲＡＷ画像を、ウェーブレット変換などの階層符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、記録再生部１０２にあるバッファに格納する。
【００１８】
ここで、階層符号化に用いられる変換の一方式であるウェーブレット変換について、図２のウェーブレット変換部の構成例を用いて説明する。
図２は、ＪＰＥＧ２０００でも採用されている方式であり、サブバンド分解を１レベル（１度）だけ行ったウェーブレット変換の例を説明する図である。
【００１９】
図２に示すウェーブレット変換部への入力画像２００の垂直成分に対して垂直ローパスフィルタ２０１と垂直ハイパスフィルタ２０２を用いて、入力画像２００の周波数帯域ごとに低周波成分のデータと高周波成分のデータに分割する。垂直ローパスフィルタ２０１及び垂直ハイパスフィルタ２０２を通して抽出されたデータは、ダウンサンプリング回路２０３、２０４を介して各々２：１ダウンサンプリングされる。
【００２０】
すなわち、垂直解像度が半分になったデータが各々出力される。ダウンサンプリング回路２０３、２０４から出力されたデータは水平ローパスフィルタ２０５と水平ハイパスフィルタ２０６、水平ローパスフィルタ２０７と水平ハイパスフィルタ２０８を用いて、低周波成分と高周波成分のデータに分割される。
【００２１】
更に、ダウンサンプリング回路２０９、２１０、２１１、２１２を介して各々２：１ダウンサンプリングされる。その結果、出力画像２１３を得ることができる。出力画像２１３は、前述したフィルタ処理を通してそれぞれ得られるブロックＬＬ、ブロックＨＬ、ブロックＬＨ、ブロックＨＨから構成される。なお、表記簡略化を期して、これらのブロックに関しては、以下では必要に応じてＬＬ、ＨＬ、ＬＨ、ＨＨのように記載する。
【００２２】
出力画像２１３は、ＬＬの領域では、入力画像２００の解像度を垂直、水平各々半分に縮小した画像になっている。また、ＨＨ、ＨＬ、ＬＨの領域はほとんどが０か、または小さい値であり、符号化を行うと圧縮が効き易いデータになっている。
【００２３】
符号化されたＲＡＷ画像（以下、ＲＡＷファイル）は、記録再生部１０２によって、記録媒体１０３と、通信部１０７と、通信端子１１０を介して外部記録装置１１２に記録される。記録媒体１０３は、内蔵式のメモリやハードディスク、または、着脱式のメモリカード等である。また、外部記録装置１１２は外部記録媒体として用いる、いわゆるクラウドサーバなどの外部サーバやストレージである。
【００２４】
なお、記録再生部１０２は、記録媒体１０３からＲＡＷファイルを読み出したり、通信部１０７と通信端子１１０を介してＲＡＷファイルやＪＰＥＧなど他の圧縮方式を用いた静止画ファイルを読み出したりすることもできる。
また、通信部１０７は通信端子１１０を用いて、無線通信や有線通信によりインターネットや外部機器と送受信してアクセス可能な構成を有するものである。
【００２５】
記録媒体１０３に記録されるＲＡＷファイルは、符号化されたＲＡＷ画像のうち表示部１０６で表示するのに必要な解像度（所定レベルまでの低周波成分）のサブバンドの画像情報に留めるものとする。
一方、外部記録装置１１２には全サブバンド（全レベル）の画像情報を記録するものとする。なお、特に区別する必要がある場合、表示部１０６で表示するのに必要な解像度のサブバンドの画像情報のみ記録したＲＡＷファイルをサブＲＡＷファイルと呼ぶ。また、全サブバンドの画像情報を記録したＲＡＷファイルをメインＲＡＷファイルと呼ぶ。
【００２６】
ここで、ＲＡＷファイルが記録媒体１０３と外部記録装置１１２に記録されるまでの動作を図３のフローチャートを用いてより詳細に説明する。なお、本実施形態では記録する映像の解像度が4096×2048であり、表示部１０６の解像度が2048×1024であった場合を例として挙げる。また、ＲＡＷ符号化部１０１でのウェーブレット変換でのサブバンド分解を１レベル（１度）だけ行った場合を例に挙げて説明する。
【００２７】
Ｓ３０１では、記録再生部１０２は記録再生部１０２のバッファに保持されたＲＡＷファイルのうち、表示部１０６で表示するのに必要な解像度のサブバンドの画像情報の箇所のみ読み出し、Ｓ３０２において、記録媒体１０３に記録する。ここで、表示部１０６で表示するのに必要な解像度のサブバンドとは所定レベルまでの低周波成分の画像を意味する。
なお、本実施形態の場合、表示部１０６の解像度が2048×1024であるので、記録する映像の解像度が4096×2048に対し、水平半分、垂直半分の解像度が表現できるサブバンド画像情報のみを記録できればよい。従って、その条件を満たすＬＬの領域のみが記録媒体１０３に記録される。
【００２８】
Ｓ３０３では、記録再生部１０２は記録再生部１０２のバッファに保持されたＲＡＷファイルを全て読み出し、Ｓ３０４において通信部１０７へ供給した後、Ｓ３０５において通信端子１１０を用いて外部記録装置１１２に記録される。
【００２９】
以上のように、記録動作を行うことで撮像装置１０００に内蔵された記録媒体１０３へ記録されるのは記録する映像の解像度のうち、表示部１０６で表示するのに必要な解像度のサブバンドの画像情報のみになる。これにより、撮像装置１０００に内蔵あるいは接続されている記録媒体１０３への記録枚数を増やすことができる。
【００３０】
続いて、再生時の動作方法について、図１、及び図４のフローチャートを用いながら説明する。
Ｓ４００において、ユーザーにより再生が指示されると、記録再生部１０２は記録媒体１０３あるいは外部記録装置１１２より通信端子１１０及び通信部１０７を介してＲＡＷファイルを読み出す。
【００３１】
Ｓ４０１では、ＲＡＷファイルを記録媒体１０３から読み出すか、外部記録装置１１２から読み出すかは再生画像を表示部１０６で表示するか、外部表示装置１１３で表示するかで切り替える。
【００３２】
まず、表示部１０６で表示する場合について説明する。
表示部１０６で表示する場合にはＳ４０２に進み、記録再生部１０２は記録媒体１０３からサブＲＡＷファイルを読み出し内蔵バッファに格納した後、ＲＡＷ復号化部１０８に転送する。
【００３３】
次に、Ｓ４０３では、ＲＡＷ復号化部１０８は圧縮された状態のＲＡＷファイルを復号して伸長し、現像部１０４に転送する。
その後は、Ｓ４０４において、現像部１０４は記録動作時と同様、現像処理し、表示処理部１０５は記録解像度と表示部に応じたリサイズなど所定の表示処理を施し、表示部１０６にて再生画像を表示する。
【００３４】
続いて、外部表示装置１１３で表示する場合について説明する。
外部表示装置１１３で表示する場合は、Ｓ４０５において、記録再生部１０２は外部表示装置１１３の解像度を表示部１０６の解像度と比較する。解像度が大きい場合はＳ４０６に進んで、記録再生部１０２は外部記録装置１１２から通信端子１１０及び通信部１０７を介してメインＲＡＷファイルを読み出す。
【００３５】
次に、Ｓ４０３において、ＲＡＷ復号化部１０８は圧縮された状態のメインＲＡＷファイルを復号して伸長し、現像部１０４に転送する。
その後は、Ｓ４０４において、記録動作時と同様、現像処理され、記録解像度と表示部に応じたリサイズなど所定の表示処理を施し映像出力端子１１１を介して外部表示装置１１３にて再生画像を表示する。
【００３６】
一方、外部表示装置１１３の解像度が表示部１０６の解像度より小さい場合はＳ４０７に進み、記録再生部１０２は記録媒体１０３からサブＲＡＷファイルを読み出し内蔵バッファに格納した後、ＲＡＷ復号化部１０８に転送する。
その後の動作は解像度が大きい場合と同様のため説明を省略する。
【００３７】
［第２の実施形態］
続いて、本発明の第２の実施形態について、図５から図７を用いて説明する。
図６は、本実施形態に係る画像記録システムの構成例を示すブロック図である。図６の本実施形態の画像記録システムは、撮像装置６０００、外部記録装置１１２及び外部表示装置１１３を備える。本実施形態では、現像部１０４の内部に高画質現像部６０１、簡易現像部６０２の二種の現像部を持ち、更にそれらの出力の切り替えを行うスイッチ６０３を具備する点が前述した第１の実施形態と異なっている。
【００３８】
また、静止画復号部６０４、現像パラメータ設定部６０５が追加されている点、外部記録装置１１２で現像および静止画符号化を行っている点が異なっている。それ以外の部分は前記第１の実施形態と同じである。
【００３９】
本実施形態の撮像装置６０００の撮影時の動作方法について、図６を用いながら説明する。
撮像部１００は、撮像対象となる被写体の光学像を結像し、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する。
【００４０】
ＲＡＷ画像は現像部１０４に内蔵された簡易現像部６０２、高画質現像部６０１でデベイヤー処理を施し、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの現像処理が行なわれる。また、ユーザーの選択に応じて現像パラメータを通常のものから現像パラメータ設定部６０５から設定されるものに変更し、ホワイトバランスの変更、トリミングやモノクロ化、セピア調にするなどの画像処理を行う。
【００４１】
なお、高画質現像部６０１は、簡易現像部６０２よりも各々の処理を高精度に行うものである。簡易現像部６０２よりも高画質な現像画像が得られるが、一方で、処理負荷が大きく低速になってしまう。そこで、本実施形態の高画質現像部６０１は、撮像と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように、高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。
【００４２】
他方、簡易現像部６０２は、高画質現像部６０１よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部６０２の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部６０２を用いるようにする。
【００４３】
スイッチ６０３は、ユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って切り替えられる。撮影時には、リアルタイムに撮影映像を表示部１０６に表示することが求められるため、簡易現像部６０２で現像した映像が表示処理部１０５に伝送されるようスイッチを切り替える。
【００４４】
現像部１０４に内蔵された簡易現像部６０２によって現像処理された画像情報は、表示処理部１０５によって記録解像度と表示部に応じたリサイズなど所定の表示処理が実施された後、表示部１０６にて表示される。なお、本実施形態において、表示部１０６の解像度は撮像装置６０００が撮影可能な最大解像度に対して低解像度なものであるとする。また、現像処理された画像情報は、映像出力端子１１１により、外部表示装置１１３に接続し表示してもよい。映像出力端子１１１は、例えばＨＤＭＩやＳＤＩのような汎用インタフェースを含む。
【００４５】
ＲＡＷ符号化部１０１は、撮像部１００が出力したＲＡＷ画像を、ウェーブレット変換などの階層符号化と差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、記録再生部１０２にあるバッファに格納する。
【００４６】
ＲＡＷ符号化部１０１において符号化されたＲＡＷファイルは、記録再生部１０２によって、記録媒体１０３と通信部１０７と通信端子１１０を介して外部記録装置１１２に記録される。記録媒体１０３は、内蔵式のメモリやハードディスク、または、着脱式のメモリカード等である。また、外部記録装置１１２はいわゆるクラウドサーバなどの外部サーバである。
【００４７】
なお、記録再生部１０２は、記録媒体１０３からサブＲＡＷファイルを読み出したり、通信部１０７と通信端子１１０を介してＲＡＷファイルやＪＰＥＧなど他の圧縮方式を用いた静止画ファイルを読み出したりすることもできる。
また、通信部１０７は通信端子１１０を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有するものである。
【００４８】
記録媒体１０３に記録されるＲＡＷファイルは符号化されたＲＡＷ画像のうち、表示部１０６で表示するのに必要な解像度（所定レベルまでの低周波成分）のサブバンドの画像情報に留めるものとする。一方、外部記録装置１１２には全サブバンド（全レベル）の画像情報を記録するものとする。
【００４９】
外部記録装置１１２は、伝送されてきたＲＡＷファイルに対して高精度での現像処理を行う。ここで行われる現像は、高画質現像部６０１で行われる現像と同等以上の高精度なものが行われる。また、外部記録装置１１２は撮像と並行したリアルタイムの現像に特化したものではなくともよい。また、外部記録装置１１２は現像された画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイル（静止画ファイル、または、動画ファイル）に変換する。静止画圧縮はJPEGなどを、動画圧縮にはMPEG-2、H.264、HEVC等を用いることができる。
【００５０】
続いて、再生時の動作方法について図５、図６を用いながら説明する。
Ｓ５００において、ユーザーにより再生が指示されると動作が開始する。
Ｓ５０１において、記録再生部１０２は記録媒体１０３からサブＲＡＷファイル、あるいは外部記録装置１１２より通信端子１１０及び通信部１０７を介して静止画圧縮ファイルを読み出す。なお、画像データを記録媒体１０３から読み出すか、外部記録装置１１２から読み出すかは再生画像を表示部１０６で表示するか、外部表示装置１１３で表示するかで切り替える。
【００５１】
まず、表示部１０６で表示する場合について説明する。
表示部１０６で表示する場合はＳ５０２に進み、記録再生部１０２は記録媒体１０３からサブＲＡＷファイルを読み出し内蔵バッファに格納した後、ＲＡＷ復号化部１０８に転送する。
【００５２】
次に、Ｓ５０３において、ＲＡＷ復号化部１０８は圧縮された状態のサブＲＡＷファイルを復号して伸長し、現像部１０４に転送する。現像部１０４は、内蔵された高画質現像部６０１および簡易現像部６０２で現像処理を行う。その際、表示部１０６では、高画質現像部６０１で処理された高画質現像画像を表示することが望ましいが、高画質現像部６０１はリアルタイム現像に特化していないため、以下のような処理を行う。
【００５３】
Ｓ５０４において、高画質現像部６０１で現像処理が完了済か否かを判断する。
高画質現像部６０１で現像処理が完了するまでは、Ｓ５０６において、簡易現像部６０２で現像処理にした画像を表示処理部１０５に転送する。一方、高画質現像部６０１での現像が完了したら、Ｓ５０５において、表示処理部１０５に転送する画像を高画質現像部６０１で処理したものに切り替える。
【００５４】
なお、記録媒体１０３に記録されているサブＲＡＷファイルは、符号化されたＲＡＷ画像のうち表示部１０６で表示するのに必要な解像度（所定レベルまでの低周波成分）のサブバンドの画像情報に留まっている。
【００５５】
そのため、高画質現像を行う際の処理時間を撮影時に記録する全ての解像度を現像する場合に比べ、短縮することができる。そのため、高画質現像部６０１の処理性能によってはリアルタイム処理が可能な場合もある。その際は簡易現像部６０２で現像処理した画像と高画質現像部６０１で処理した画像を切り替えて転送するのではなく初めから高画質現像部６０１で処理した画像を転送するようにしてもよい。
【００５６】
その後はＳ５０７に進み、表示処理部１０５において記録動作時と同様、記録解像度と表示部１０６に応じたリサイズなど所定の表示処理を施し、表示部１０６にて再生画像を表示する。
【００５７】
続いて、外部表示装置１１３で表示する場合について説明する。
外部表示装置１１３で表示する場合はＳ５０８において、記録再生部１０２は外部表示装置１１３の解像度を表示部１０６の解像度と比較する。そして、解像度が大きい場合はＳ５０９に進み、外部記録装置１１２から通信端子１１０及び通信部１０７を介して静止画圧縮ファイルを読み出す。
【００５８】
次に、Ｓ５１０において、静止画復号部６０４は圧縮された状態の静止画ファイルを復号して伸長し、表示処理部１０５に転送する。
その後は、Ｓ５０７において、表示処理部１０５は記録解像度と表示部１０６に応じたリサイズなど所定の表示処理を施し、映像出力端子１１１を介して外部表示装置１１３にて再生画像を表示する。
【００５９】
一方、解像度が小さい場合はＳ５１１に進み、記録再生部１０２は記録媒体１０３からサブＲＡＷファイルを読み出し内蔵バッファに格納した後、ＲＡＷ復号化部１０８に転送する。
その後の動作は、表示部１０６で表示する場合と同様のため説明を省略する。
【００６０】
なお、本実施形態では、外部記録装置１１２から再生するデータが静止画である場合を例に挙げて説明したがMPEG-2、H.264、HEVCなどの動画であってもよい。その際には、撮像装置６０００に静止画復号部６０４に加えて動画復号部を持つようにする。
【００６１】
また、静止画ファイルを予め外部記録装置１１２から通信端子１１０及び通信部１０７を介して読み出しておき、記録媒体１０３に記録しておいてもよい。この場合、記録媒体１０３に静止画ファイルを記録することになるが、メインＲＡＷファイルを記録した場合に比べ、記録容量を圧迫しないため、記録枚数に対する影響を少なくすることができる。
【００６２】
続いて、本発明の特徴の一つであるユーザー指定による試し現像処理について図６、図７を用いて説明する。
本実施形態において、ユーザー指定による現像処理とは撮影時に現像部１０４で実施する通常の現像パラメータによる現像処理では無い。例えば、ユーザーの嗜好に基づいたホワイトバランスの調整、トリミングなどの絵作りを行うために別現像パラメータを用いた現像処理を指す。
【００６３】
Ｓ７００において、ユーザーにより試し現像処理が指示されると動作が開始する。
先ず、Ｓ７０１において、記録再生部１０２は、指定された画像に対応するサブＲＡＷファイルを記録媒体１０３から読み出し、記録再生部１０２の内蔵バッファに格納した後、ＲＡＷ復号化部１０８に転送する。
【００６４】
また、Ｓ７０１の処理と同時に、Ｓ７０２において、現像パラメータ設定部６０５はユーザーが選択した現像パラメータを現像部１０４に送信する。
なお、ここでユーザーが設定する現像パラメータは、プリセットを現像パラメータ設定部６０５に内蔵していてもよいし、通信端子１１０及び通信部１０７を介して外部記録装置１１２など外部装置から受信してきてもよい。また、ユーザーが手動で細かく設定できるように構成してもよい。
【００６５】
また、ここで送信する現像パラメータは明るさ、ホワイトバランス、トリミングの範囲などを調整するためのものであり、現像結果の画像を鮮やかにする、切り出す、モノクロ化する、セピア調にするなどの画像処理を現像部１０４で行うのに用いる。
【００６６】
Ｓ７０３では、ＲＡＷ復号化部１０８は記録再生部１０２から受信した圧縮された状態のＲＡＷファイルを復号して伸長し、現像部１０４に転送する。
Ｓ７０４では、現像部１０４は内蔵した高画質現像部６０１で現像パラメータ設定部６０５から設定された現像パラメータを用いてＲＡＷ画像を現像し、表示処理部１０５に転送する。
【００６７】
Ｓ７０５では、表示処理部１０５は記録解像度と表示部１０６に応じたリサイズなど所定の表示処理を施し、表示部１０６にてユーザーが設定した現像パラメータを用いて現像した画像を表示する。
【００６８】
Ｓ７０６では、ユーザーは表示部１０６に表示された現像結果を見て、現像処理を完了するか別現像パラメータで現像処理をやり直すかを選択する。
現像処理をやり直す場合は、Ｓ７０２に戻り、現像パラメータ設定部６０５はユーザーが選択した現像パラメータを現像部１０４に送信するところから再度やり直す。
【００６９】
現像処理完了が指示された場合は、Ｓ７０７に進み、現像パラメータ設定部６０５はユーザーが選択した現像パラメータを通信端子１１０及び通信部１０７を介して外部記録装置１１２に送信する。
【００７０】
Ｓ７０８では、外部記録装置１１２は、ユーザーが現像で指定したメインＲＡＷファイルと現像パラメータ設定部６０５から送信される現像パラメータを用いて現像処理を行う。
Ｓ７０９では、外部記録装置１１２は現像された画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された符号化情報を生成して、画像ファイル（静止画ファイル、または、動画ファイル）に変換する。
【００７１】
以上のように、ユーザーが試し現像を行う際には、解像度の小さいサブＲＡＷファイルを使用することで現像処理を軽くし、ユーザーの現像処理待ち時間を短くすることができる。
一方、ユーザーが現像パラメータを確認して決定した後は、外部記録装置１１２で時間をかけて現像処理を行い、外部表示装置１１３にて再生画像の表示を行えるようにする。
【００７２】
なお、本実施形態では、メインＲＡＷファイルの現像処理を外部記録装置１１２で行ったが、撮像装置内の高画質現像部６０１で行ってもよい。その際は、撮像装置６０００内に静止画符号化部を持ち、外部記録装置１１２からメインＲＡＷファイルを受信、高画質現像部６０１で現像したデータを静止画符号化部でJPEGなどに圧縮符号化し記録媒体１０３に記録するようにする。
【００７３】
［第３の実施形態］
本発明の第３の実施形態について、図８から図１２を用いて説明する。
図８は、本実施形態に係る画像記録再生装置８０００の構成例を説明するブロック図である。
図８において、８０１はイメージセンサー、８０２はセンサー補正部、８０３はＲＡＷ圧縮部、８０４は簡易現像処理部、８０５はバッファ部、８０６はユーザー制御部、８０７はスイッチ、８０８は表示部、８０９はテレビなどの表示装置を表している。また、８１０はＲＡＷ伸長部、８１１は現像処理部、８１２は圧縮部、８１３は記録メディアを表している。
【００７４】
まず、本実施形態における撮影過程について説明する。
撮影時、レンズから入力された画像は、イメージセンサー８０１で結像される。イメージセンサー８０１で結像した画像データは、センサー補正部８０２により、センサーに起因する傷などの修復がなされる。修復処理には、イメージセンサー８０１における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。
【００７５】
本実施形態では、センサー補正部８０２から出力される画像データを、生（未現像）の画像を意味するＲＡＷ画像と称す。
ＲＡＷ圧縮部８０３は、センサー補正部８０２が出力したＲＡＷ画像を、離散ウェーブレット変換を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、記録メディア８１３に保存する。
【００７６】
離散ウェーブレット変換は、画像全体に階層的にローパスフィルタとハイパスフィルタを掛けることで低域成分と高域成分をそれぞれ低域バンド、高域バンドとして取り出す変換方式である。また、離散ウェーブレット変換の階層処理は、直前の階層の低域バンドに対してウェーブレット変換することを繰り返すことで実現できる。
【００７７】
図９は、画像９０１に対してウェーブレット変換を２回実行して解像度の小さな画像を得る過程を例に示している図である。これに、離散ウェーブレット変換を実行することで、画像９０２の高域成分と、画像９０３の低域成分を取り出すことができる。更に、画像９０３に対し、ウェーブレット変換を実行することで、画像９０４の高域成分と、画像９０５の低域成分を取り出すことができる。そして、画素数の少ないＲＡＷ画像９０１'（小容量のＲＡＷ情報）を生成する。
【００７８】
簡易現像処理部８０４は、現像後の画像サイズを、例えばＨＤ映像の２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりすることで、現像の高速処理や簡易処理を実現している。これにより、後述の現像処理部８１１と比較すると、画質は低いものの、撮影中に高速に処理を行える。
【００７９】
ＲＡＷ画像９０１'を、簡易現像処理部８０４で、バッファ部８０５に格納し、一方、現像処理を実行する。現像処理された画像データは、スイッチ８０７を介し、表示部８０８により、表示装置８０９に表示できる画像データに処理され、表示装置８０９に撮像内容が表示される。
【００８０】
次に、画像記録再生装置８０００において編集を行う場合を説明する。
編集過程では、前述したバッファ部８０５に格納されたＲＡＷ画像９０１'を用いる。ユーザー制御部８０６は、ユーザーが簡易現像処理部８０４に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。
【００８１】
例えば、ホワイトバランスを行う場合、ユーザーはユーザー制御部８０６に対し、ホワイトバランスのレベルを指定する。この際に生成された現像パラメータを、簡易現像処理部８０４に伝送する。バッファ部８０５から読み出した画像データを、簡易現像処理部８０４により、現像パラメータを加味した現像処理が実行される。
【００８２】
次に、スイッチ８０７を介し、表示部８０８により、表示装置８０９に表示できる画像データに処理され、表示装置８０９にホワイトバランス処理後の結果が表示される。このとき生成された現像パラメータは、撮影過程で記録メディア８１３に保存された画像９０１と紐付けして、同じく記録メディア８１３に保存する。このように編集時は、画素数の少ないＲＡＷ画像９０１'を用いるため、処理が比較的軽く済む。
【００８３】
次に、現像過程について説明する。
現像処理は、撮影後のアイドリング中など、撮影過程とは別のプロセスで実行される。まず、前記撮影過程で格納した圧縮ＲＡＷファイルと、前記編集実施時に生成された現像パラメータを記録メディア８１３より読み出す。ＲＡＷ伸張部８１０は、圧縮ＲＡＷファイルを、復号して伸張する。この画像データに対し、現像処理部８１１での現像処理で、記録・表示する画像に画像処理される。このとき、記録メディア８１３より読み出した現像パラメータを現像処理部８１１での現像処理に反映する。
【００８４】
現像処理部８１１で現像処理された画像データは圧縮部８１２に供給される。圧縮部８１２は、取得した画像データに対して高能率符号化処理を施し、画像ファイルを生成する。なお、圧縮部８１２は、ＪＰＥＧやＨ．２６４などの公知の技術により圧縮処理を行う。生成された画像ファイルは記録メディア８１３に保存する。
【００８５】
図１０から図１２のフローチャートを用いて本実施形態の処理手順を説明する。
まず、画像記録再生装置８０００の撮影過程について、図１０を用いて説明する。
Ｓ１０００で撮影を開始すると、Ｓ１００１において、イメージセンサー８０１により変換された電気信号に対して、センサー補正部８０２が画素の修復のための信号処理を施す。ここでは、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。
【００８６】
Ｓ１００２では、ＲＡＷ圧縮部８０３において離散ウェーブレット変換を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換する。離散ウェーブレット変換は、画像全体に階層的にローパスフィルタとハイパスフィルタを掛けることで低域成分と高域成分をそれぞれ低域バンド、高域バンドとして取り出す変換方式である。
【００８７】
また、離散ウェーブレット変換の階層処理は直前の階層の低域バンドに対してウェーブレット変換することを繰り返すことで実現できる。前述と同様、図９に示すように、画像９０１に対し、各々に離散ウェーブレット変換を繰り返すことで、画像９０４の高域成分と、画像９０５の低域成分を取り出すことができる。
【００８８】
Ｓ１００３では、ＲＡＷ圧縮部８０３は、Ｓ１００２の処理過程で生成される画像９０５の低域成分である、画素数の少ないＲＡＷ画像９０１'を生成し、バッファ部８０５に格納する。
Ｓ１００４では、簡易現像処理部８０４がＲＡＷ画像９０１'を現像処理する。簡易現像処理部８０４は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。
【００８９】
Ｓ１００５では、表示部８０８が取得した画像データから表示画像を形成し、表示装置８０９に表示する。
Ｓ１００６では、Ｓ１００２の処理を完了した画素数の多いＲＡＷ画像は、記録メディア８１３に保存し、Ｓ１００７で終了となる。
【００９０】
次に、編集過程について、図１１のフローチャートを用いて説明する。
Ｓ１１００で編集を開始すると、Ｓ１１０１で、バッファ部８０５に格納したＲＡＷ画像９０１'を読み出す。
Ｓ１１０２では、キーやボタン、タッチパネルなどの入力デバイスを用いて、行なわれるユーザー操作に従って、現像パラメータを簡易現像処理部８０４に与える。例えば、ホワイトバランスを行う場合、ユーザーはユーザー制御部８０６に対し、ホワイトバランスのレベルを指定する。この際に生成されたパラメータを現像パラメータとして、簡易現像処理部８０４に伝送する。
【００９１】
Ｓ１１０３では、簡易現像処理部８０４がＲＡＷ画像を現像処理する。簡易現像処理部８０４は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。この現像時に、Ｓ１１０２で指定した現像パラメータを反映する。Ｓ１１０３で現像処理された画像データは、表示部８０８に供給される。
【００９２】
Ｓ１１０４では、表示部８０８が取得した画像データから表示画像を形成し、表示装置８０９に表示する。Ｓ１１０３で現像処理された画像データは、再度編集を実施する際に用いるため、Ｓ１１０５で、バッファ部８０５に格納する。
【００９３】
Ｓ１１０６では、簡易現像時に生成された現像パラメータは、撮影過程で記録メディア８１３に保存された画像９０１と紐付けして、同じく記録メディア８１３に保存する。
Ｓ１１０７では、編集終了か否かを判断する。再度編集を実施する場合、Ｓ１１０７からＳ１１０１に戻る。編集を終了する場合、Ｓ１１０７を経て、Ｓ１１０８で終了となる。
【００９４】
次に、現像過程について、図１２のフローチャートを用いて説明する。
Ｓ１２００で現像を開始すると、Ｓ１２０１で、記録メディア８１３に保存した圧縮ＲＡＷファイルと、図１１のフローチャートのＳ１１０６で編集実施時に生成し、保存した現像パラメータを読み出す。
【００９５】
Ｓ１２０２では、圧縮ＲＡＷファイルを、ＲＡＷ伸張部８１０で復号して伸張する。
Ｓ１２０３では、現像処理部８１１がＳ１２０２で伸長した画像データに対し、現像処理を実施し、記録・表示する画像に画像処理する。このとき、記録メディア８１３より読み出した、現像パラメータを、現像処理に反映する。
Ｓ１２０４では、圧縮部８１２がＳ１２０３より得られた画像データに対して高能率符号化処理を施し、画像ファイルを生成する。なお、Ｓ１２０４は、ＪＰＥＧやＨ．２６４などの公知の技術により圧縮処理を行う。
【００９６】
Ｓ１２０５では、圧縮部８１２がＳ１２０４で生成した画像ファイルを記録メディア８１３に保存し、Ｓ１２０６で終了となる。
このように、画像記録再生装置８０００内で編集を実施する場合、画素数の少ない画像データを用い、その結果を現像パラメータとして保存する。そして、後から画素数の多い画像データ処理の現像処理に反映することで、編集時の処理負担を軽くすることができ、軽快な編集の実現や消費電力を抑えることができる。
【００９７】
［第４の実施形態］
本発明の第４の実施形態について、図１３から図１７を用いて説明する。
以下、図１３から図１５を参照して、画像記録再生装置８０００においてトリミングの編集、現像処理を行う場合について説明する。第３の実施形態との違いは、図１３に示すように、画像分割部１３０１の追加である。
まず、撮影過程について説明する。
撮影時、レンズから入力された画像は、イメージセンサー８０１で結像される。イメージセンサー８０１で結像した画像データは、センサー補正部８０２により、センサーに起因する傷などの修復がなされる。
【００９８】
画像分割部１３０１は、図１４において画像１４０１に示すように、符号化時に任意数の矩形領域の画像に分割する。ＲＡＷ圧縮部８０３は、センサー補正部８０２が出力したＲＡＷ画像を、離散ウェーブレット変換を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、記録メディア８１３に保存する。
【００９９】
このとき、画像分割部１３０１で、分割した画像単位で圧縮を実施する。画像１４０１に、ウェーブレット変換を２回実行して解像度の小さな画像を得る過程を例に示している。これに、離散ウェーブレット変換を実行することで、画像１４０２の高域成分と、画像１４０３の低域成分を取り出すことができる。
【０１００】
更に、画像１４０３に対し、ウェーブレット変換を実行することで、画像１４０４の高域成分と、画像１４０５の低域成分を取り出すことができる。このように生成した各々の低域成分の画像を組み合わせて、画素数の少ないＲＡＷ画像１４０１'を生成する。ＲＡＷ画像１４０１'を、簡易現像処理部８０４において、バッファ部８０５に格納し、現像処理を実行する。現像処理された画像データは、スイッチ８０７を介し、表示部８０８により、表示装置８０９に表示できる画像データに処理される。表示装置８０９に撮像内容が表示される。
【０１０１】
撮像機器において編集を行う場合、第３の実施形態と同様、バッファ部８０５に格納したＲＡＷ画像１４０１'を用いる。
ユーザーは、ユーザー制御部８０６を通じて、トリミング領域１５０１を指定することができる。この際に生成された現像パラメータを、簡易現像処理部８０４に伝送する。簡易現像処理部８０４で、現像処理された画像データは、スイッチ８０７を介し、表示部８０８により、表示装置８０９に表示できる画像データに処理され、表示装置８０９に表示される。このとき生成された現像パラメータは、撮影過程で記録メディア８１３に保存された画像１４０１と紐付けして、同じく記録メディア８１３に保存する。
【０１０２】
次に、現像過程について説明する。
まず、撮影過程で格納した圧縮ＲＡＷファイルと、編集実施時に生成された現像パラメータを記録メディア８１３より読み出す。ＲＡＷ伸張部８１０は、圧縮ＲＡＷファイルを、復号して伸張する。
【０１０３】
ここで、バッファ部８０５や記録メディア８１３に保存されている画像は、画像１４０１'や画像１４０１に示すように、ＲＡＷ圧縮部８０３の圧縮処理過程において、一画面を圧縮する画像単位数に分割したものである。つまり、画像１４０１'と画像１４０１は、同じ分割がなされている。
【０１０４】
このことを利用し、ＲＡＷ伸張部８１０において、トリミング領域１５０１の情報に、ＲＡＷ伸張過程での画像分割領域を加味し、画像１４０１の中のトリミングに該当する領域１５０２のみを伸張する。この画像データに対し、現像処理部８１１での現像処理実施時に、記録・表示する画像に画像処理される。現像処理された画像データが圧縮部８１２に供給される。圧縮部８１２は、取得した画像データに対して高能率符号化処理を施し、画像ファイルを生成する。生成された画像ファイルは記録メディア８１３に保存する。
【０１０５】
本実施形態の処理手順を図１６、図１７のフローチャートを用いて説明する。編集過程は、ユーザー制御部８０６での操作がトリミングに変わるだけであり、フローは第３の実施形態と同様であるため、省略する。
【０１０６】
まず、撮影過程について、図１６のフローチャートを用いて説明する。
Ｓ１０００で撮影を開始すると、Ｓ１００１において、センサー補正部８０２がイメージセンサー８０１により変換された電気信号に対して、画素の修復のための信号処理を施す。Ｓ１６０１で、画像分割部１３０１が画像１４０１のように、任意数の画像に分割する。
【０１０７】
Ｓ１００２では、ＲＡＷ圧縮部８０３が離散ウェーブレット変換を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換する。
このとき、図１４に示すように、Ｓ１６０１で分割した画像単位で圧縮を実施する。図１４に示すように、画像１４０１に対し、各々に離散ウェーブレット変換を繰り返すことで、画像１４０４の高域成分と、画像１４０５の低域成分を取り出すことができる。
Ｓ１００３では、Ｓ１００２の処理過程で生成される画像１４０５の低域成分のみを組み合わせた、画素数の少ないＲＡＷ画像１４０１'を生成し、バッファ部８０５に格納する。
【０１０８】
Ｓ１００４では、簡易現像処理部８０４がＲＡＷ画像１４０１'を現像処理する。
Ｓ１００５では、表示部８０８が取得した画像データから表示画像を形成し、表示装置８０９に表示する。
Ｓ１００６では、Ｓ１００２の処理を完了した画素数の多いＲＡＷファイルは、記録メディア８１３に保存し、Ｓ１００７で終了となる。
【０１０９】
次に、現像過程について、図１７のフローチャートを用いて説明する。
Ｓ１２００で現像を開始すると、Ｓ１２０１で、記録メディア８１３に保存した圧縮ＲＡＷファイルと、編集実施時に生成し、保存した現像パラメータを読み出す。
【０１１０】
Ｓ１７０１では、トリミング編集か否かを判断し、トリミング編集であれば、Ｓ１７０２でトリミング領域を抽出する。Ｓ１２０１で読み出した画像は、画像１４０１に示すように、ＲＡＷ圧縮部８０３の圧縮処理過程において、一画面を圧縮する画像単位数に分割したものである。つまり、画像１４０１'と画像１４０１は、同じ分割がなされている。
【０１１１】
このことを利用し、トリミング領域１５０１の情報に、ＲＡＷ伸張過程での画像分割領域を加味し、画像１４０１の中のトリミングに該当する領域１５０２のみを抽出する。トリミング編集でなければ、Ｓ１２０２に遷移する。
Ｓ１２０２では、ＲＡＷ伸張部８１０はトリミング部分を含む最小限の分割部分のみを伸張する。
Ｓ１２０３では、現像処理部８１１はＳ１２０２で伸長された画像データに対し、現像処理を実施し、記録・表示する画像に画像処理する。
【０１１２】
Ｓ１２０４では、Ｓ１２０３より得られた画像データは、圧縮部８１２により高能率符号化処理を施し、画像ファイルを生成する。
Ｓ１２０５では、圧縮部８１２は生成された画像ファイルを記録メディア８１３に保存し、Ｓ１２０６で終了となる。
【０１１３】
このように、撮像機器内でトリミング編集を実施する場合、第３の実施形態の画素数の少ない画像データを用い、その結果を現像パラメータとして保存する。
次に、圧縮ＲＡＷファイルを伸張する際、トリミング領域１５０１の情報に、ＲＡＷ伸張過程での画像分割領域を加味し、画像１４０１の中のトリミングに該当する領域１５０２のみを伸張する。この画像に対し現像処理を実施することで、第３の実施形態と比較し、現像領域を最小限できるため、処理負担を更に軽くすることができ、軽快な編集の実現や消費電力を抑えることができる。
【０１１４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークまたは各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１１５】
１００  撮像部
１０１  ＲＡＷ符号化部
１０２  記録再生部
１０３  記録媒体
１０４  現像部
１０５  表示処理部
１０６  表示部
１０７  通信部
１０８  ＲＡＷ復号化部
１１０  通信端子
１１１  映像出力端子
１１２  外部記録装置
１１３  外部表示装置
１０００  撮像装置
【図１】
2016005086.tif 000003
【図２】
2016005086.tif 000004
【図３】
2016005086.tif 000005
【図４】
2016005086.tif 000006
【図５】
2016005086.tif 000007
【図６】
2016005086.tif 000008
【図７】
2016005086.tif 000009
【図８】
2016005086.tif 000010
【図１０】
2016005086.tif 000011
【図１１】
2016005086.tif 000012
【図１２】
2016005086.tif 000013
【図１３】
2016005086.tif 000014
【図１６】
2016005086.tif 000015
【図１７】
2016005086.tif 000016
【図９】
2016005086.tif 000017
【図１４】
2016005086.tif 000018
【図１５】
2016005086.tif 000019