(57)【要約】【課題】ＲＡＷ画像と同時に簡易現像画像を生成し、あとから多階層処理を用いて高画質現像画像を生成する際に速やかに現像処理を行うことを可能にする。【解決手段】  被写体を撮像してＲＡＷ画像を生成する撮像手段と、前記ＲＡＷ画像を縮小して縮小ＲＡＷ画像を生成する縮小手段と、前記縮小ＲＡＷ画像を取得して撮影時に現像処理を行う第１の現像手段と、前記第１の現像手段によって現像処理された画像と前記ＲＡＷ画像を記録する記録手段と、撮影後に、前記記録手段により記録された前記第１の現像手段により現像処理された画像とＲＡＷファイルを読みだして、前記第１の現像手段よりも高画質な現像処理を行う第２の現像手段と、前記第２の現像手段の多階層処理に前記第１の現像によって現像処理された画像を利用する。【選択図】図４
2017157891.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像してＲＡＷ画像を生成する撮像手段と、
前記ＲＡＷ画像を縮小して縮小ＲＡＷ画像を生成する縮小手段と、
前記縮小ＲＡＷ画像を取得して撮影時に現像処理を行う第１の現像手段と、
前記第１の現像手段によって現像処理された画像と前記ＲＡＷ画像を記録する記録手段と、
撮影後に、前記記録手段により記録された前記第１の現像手段により現像処理された画像とＲＡＷファイルを読みだして、前記第１の現像手段よりも高画質な現像処理を行う第２の現像手段と、
前記第２の現像手段の多階層処理に前記第１の現像によって現像処理された画像を利用すること特徴とする撮像装置。
【請求項２】
被写体を撮像してＲＡＷ画像を生成する撮像手段と、
前記ＲＡＷ画像を縮小して縮小ＲＡＷ画像を生成する縮小手段と、
前記ＲＡＷ画像と前記縮小ＲＡＷ画像をそれぞれ記録する記録手段と、
撮影後に、前記記録手段により記録された前記ＲＡＷ画像を読みだして、現像処理を行う現像手段と、
前記現像手段の多階層処理に前記縮小ＲＡＷ画像を利用すること特徴とする撮像装置。
【請求項３】
前記縮小手段は、前記縮小ＲＡＷ画像のサイズが前記ＲＡＷ画像のサイズの１／ｎ（ｎ：整数）となるように縮小することを特徴とする請求項１又は請求項２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関し、特に、ＲＡＷ画像を扱う技術に関する。
【背景技術】
【０００２】
近年の撮像装置は、撮像センサーが進化し、画像１枚あたりの画素数が大幅に増加してきている。さらに、１秒あたりに連写できる画像の枚数も増える傾向にある。
【０００３】
このような状況で、高い撮影パフォーマンスを実行し、なおかつ再生画像も高速に出画可能にするため、撮影時に処理量の小さい簡易現像を行って再生容易な画像を確保しつつ、撮像センサーによって撮像された生の画像情報（以降はＲＡＷ画像と称す）からの高画質現像も可能にした撮像装置の構成が特許文献１に開示されている。また、撮像素子から読み出された画像データのノイズ低減などに多階層処理が使われることがある。
【０００４】
多階層処理を利用することで、タップ数の多いＦＩＲフィルタを用いる信号処理と比較して、回路規模の増大を伴うことなく、信号処理が実現出来る。特許文献２には、回路規模を低減してマルチレート信号処理を実現する画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１７９８５１号公報
【特許文献２】特開２０１４−１４０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されているような撮影時にＲＡＷ画像と同時に簡易現像画像を生成し、あとから高画質現像画像を生成する構成において、高画質現像画像を速やかに生成しないと高画質な再生画像を高速に出画出来ないという課題がある。また、前記高画質現像画像の生成に特許文献２に開示されているような多階層処理が使われことがあるが、この場合においても、現像画像の生成を速やかに行う必要がある。
【０００７】
本発明は、上述した課題に鑑みてなされたものであり、ＲＡＷ画像と同時に簡易現像画像を生成し、あとから多階層処理を用いて高画質現像画像を生成する際に速やかに現像処理を行うことを可能にする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る撮像装置は、
被写体を撮像してＲＡＷ画像を生成する撮像手段と、前記ＲＡＷ画像を縮小して縮小ＲＡＷ画像を生成する縮小手段と、前記縮小ＲＡＷ画像を取得して撮影時に現像処理を行う第１の現像手段と、前記第１の現像手段によって現像処理された画像と前記ＲＡＷ画像を記録する記録手段と、撮影後に、前記記録手段により記録された前記第１の現像手段により現像処理された画像とＲＡＷファイルを読みだして、前記第１の現像手段よりも高画質な現像処理を行う第２の現像手段と、前記第２の現像手段の多階層処理に前記第１の現像によって現像処理された画像を利用すること特徴とする。
【発明の効果】
【０００９】
本発明に係る撮像装置によれば、ＲＡＷ画像と同時に簡易現像画像を生成し、あとから多階層処理を用いて高画質現像画像を生成する際に速やかに現像処理を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る簡易現像時の多階層処理部の構成を示すブロック図である。
【図３】本発明の実施形態の静止画撮影モードの処理に係るフローチャートである。
【図４】第１の実施形態に係る高画質現像時の多階層処理部の構成を示すブロック図である。
【図５】本発明の実施形態のアイドル状態の処理に係るフローチャートである。
【図６】第２の実施形態に係る高画質現像時の多階層処理部の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００１２】
［実施例１］
図１は本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。
【００１３】
図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、操作に応じた動作が実行されるよう制御部１６１によって制御される。
【００１４】
表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサー部１０２上に結像する。
【００１５】
撮影時、撮像光学部１０１及び撮像センサー部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される被写体情報に基づいて、カメラ制御部１０４によって制御される。撮像センサー部１０２は、結像した被写体像を電気信号に変換する。撮像センサー部１０２によって変換された電気信号は、センサー信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサー部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。
【００１６】
センサー信号処理部１０３から出力されたＲＡＷ画像は、効率的に記録するためにＲＡＷ圧縮部１１３に供給されて圧縮を施される。また、ＲＡＷ画像は表示や再生、撮影後の高画質現像処理を効率的に行う目的からＲＡＷ縮小部１０９によってそのサイズが縮小される。
【００１７】
ＲＡＷ縮小部１０９は、入力されたＲＡＷ画像を後述する高画質現像処理の多階層処理のために１／ｎ（ｎ：整数）になるようにリサイズする。例えば、ＨＤサイズ（２００万画素相当）程度にリサイズする。以降、ＲＡＷ縮小部１０９によって縮小されたＲＡＷ画像を縮小ＲＡＷ画像と称す。縮小ＲＡＷ画像は、現像部１１０内の簡易現像部１１１へ供給され、撮影時の表示（ライブビュー）に用いるために現像処理が施される。また、縮小ＲＡＷ画像は、簡易再生或いは編集時のプロキシ、後述する高画質現像時の多階層処理に用いるためにＲＡＷ圧縮部１１３にも供給される。縮小ＲＡＷ画像は、ＲＡＷ画像同様に、効率的に記録するためにＲＡＷ圧縮部１１３によって圧縮を施されてから記録される。
【００１８】
現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。また、詳細は後述するが、内部に多階層処理部を有している。特に、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行うものである。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。
【００１９】
そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に分散処理を行うことが可能な構成になっている。他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。
【００２０】
スイッチ部１２１は、操作部１６２によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。
【００２１】
なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成であっても本発明の範疇である。現像部１１０によって現像処理された画像情報は、表示処理部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。
【００２２】
現像部１１０によって現像処理された画像情報は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像情報からフォーカス状態や露出状態などの評価値を算出する。現像部１１０によって現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。
【００２３】
現像部１１０によって現像処理された画像情報は、画像圧縮部１４１に供給される。画像圧縮部１４１は、対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイルに変換する。静止画圧縮はＪＰＥＧなどを、動画圧縮にはＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。ＲＡＷ圧縮部１１３は、センサー信号処理部１０３が出力したＲＡＷ画像のデータと、ＲＡＷ縮小部１０９からの縮小ＲＡＷ画像のデータを、それぞれウエーブレット変換や、差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷファイルに変換して、バッファ部（記憶媒体）１１５に格納する。
【００２４】
ＲＡＷファイルは、バッファ部１１５内に残しておいて再び読み出すことができるが、バッファ部１１５に格納された後、別の記録媒体に移動して記録する（バッファ部１１５から削除する）ようにしても良い。ＲＡＷファイルと、画像ファイルは、記録再生部１５１によって、記録媒体１５２に記録される。記録媒体１５２は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。
【００２５】
再生動作が開始されると、記録再生部１５１は、記録媒体１５２から、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが画像ファイルであれば、記録再生部１５１は、取得された画像ファイルを画像伸張部１４３に供給する。
【００２６】
ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読みだして、圧縮された状態のＲＡＷファイルを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷファイルは、現像部１１０内の簡易現像部１１１、高画質現像部１１２に供給される。画像伸張部１４３は、入力された静止画ファイルを復号して伸張し、再生画像として表示処理部１２２に供給する。なお、図１に示して説明した撮像装置の構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。
【００２７】
撮像装置１００は、アイドル状態を経由して、静止画や動画の撮影モードや画像再生モードに適宜切り替わって動作する。モードの遷移は、操作部１６２からのユーザー操作指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移することもあれば、制御部１６１の判断に応じて自動で遷移することもある。
【００２８】
次に、撮像装置１００の静止画撮影処理の動作について詳細に説明する。
【００２９】
図３に、本第１の実施形態の静止画撮影モードの処理に係るフローチャートを示す。
【００３０】
図３のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００３１】
図３において、静止画撮影モードの処理が開始されると（Ｓ３００）、制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ３０１）、負荷状況に応じた頻度でアイドル状態（Ｓ３２０）へ遷移し、そうでなければＳ３０２へ進む。例えば、高速連写中は処理負荷が高いため、Ｓ３２０へは遷移せず、常にＳ３０２へ進む。通常の単発の撮影を行う場合においては、第１の撮影と第２の撮影の合間に例えば半分の頻度でＳ３２０へ遷移する。
【００３２】
Ｓ３０２において、カメラ制御部１０４が、好適な条件で撮影を行うよう、撮像光学部１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。
【００３３】
Ｓ３０３において、撮像センサー部１０２によって変換された電気信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施して、ＲＡＷ画像を出力する。
【００３４】
Ｓ３０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。簡易現像部１１１は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。簡易現像部１１１は、内部にノイズ低減のために図２に示す３階層処理の多階層処理部２００を有している。多階層処理では、縮小処理を伴って画像（原画像）を複数の周波数成分の画像（縮小画像）に分離し、各縮小画像に対して信号処理を行い、原画像の大きさに拡大して再び周波数合成を行うことにより、１つの画像が生成される。
【００３５】
図２に、多階層処理部２００の構成を示すブロック図を示す。
【００３６】
図２を参照して多階層画像生成部２００における処理について説明する。
【００３７】
多階層処理部２００に入力画像データＳｉｎが入力される。Ｓｉｎは、ＲＡＷ縮小部１０９から出力された原画像データである。第１縮小部２１３は、入力された上位階層の画像から低域通過フィルタ処理とダウンサンプリング処理を実施し、特定の周波数成分を有する縮小画像を生成して出力する。第２縮小部２２３についても、同様に、第１縮小部２１３から出力された画像から縮小画像を生成して出力する。
【００３８】
第１遅延回路２０１、第２遅延回路２１１、第３遅延回路２２１は、それぞれフィルタ処理の遅延分の位置ズレを合わせるための遅延回路である。例えば、ＳＲＡＭ等の遅延ラインメモリで構成される。第１信号処理部２０２は、第１遅延回路２０１から出力された画像データに対して、ノイズ低減のフィルタ処理を行ない、さらに下位階層の画像を合成し、ノイズ低減処理した画像データＳｏｕｔを出力する。
【００３９】
第２信号処理部２１２についても、同様に、第２遅延回路２１１から出力された画像データに対して、ノイズ低減のフィルタ処理を行ない、さらに下位階層の画像を合成し、ノイズ低減処理した画像データを出力する。第３信号処理部２２２は、３階層の最下層になるため、ノイズ低減のフィルタ処理のみ行ない、ノイズ低減処理した画像データを出力する。第１拡大部２１４および第２拡大部２２４は、ノイズが低減された画像データを拡大し、上位階層の画像データと同数の画素数を有する大画像を生成する拡大画像を生成する。
【００４０】
本実施例では、多階層処理部２００について、３階層でノイズ低減処理を行う例について説明したが、多階層処理の階層数や多階層処理の処理内容について、本発明の適用はこれに限られるものではない。
【００４１】
簡易現像部１１１が行う現像処理（簡易現像）は、現像後の画像サイズを２００万画素以下程度に制限したり、ノイズ低減や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。そのため、処理時間によっては多階層処理の階層数を制限しても良い。或いは、必ずしも多階層処理を実施しなくても良い。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、現像処理時間を優先し、撮像装置１００は、高パフォーマンスの連続撮影を実現することができる。
【００４２】
簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する（Ｓ３０５）。
【００４３】
なお、評価値算出部１０５は、現像処理前の縮小ＲＡＷ画像を取得して、縮小ＲＡＷ画像から同様に評価値を算出するようにしても良い。また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。
【００４４】
認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する（Ｓ３０６）。
【００４５】
また、簡易現像部１１１で現像処理された画像情報は、表示処理部１２２に供給される。表示処理部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する（Ｓ３０７）。
【００４６】
表示部１２３による表示画像は、静止画撮影モードにおいて、ユーザーが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。さらに、表示処理部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。
【００４７】
Ｓ３０８において、制御部１６１は、ユーザーからの撮影指示の入力を判定し、撮影の指示があった場合は、Ｓ３１０へ進む。Ｓ３０８で撮影指示が無い場合は、Ｓ３０１へ戻って、撮影の準備動作とライブビュー表示を繰り返す。
【００４８】
Ｓ３０８における撮影指示に応答して、簡易現像部１１１で現像処理された画像情報が、画像圧縮部１４１に供給される。画像圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し（Ｓ３１０）、静止画ファイルを生成する。なお、画像圧縮部１４１は、ＪＰＥＧなどの公知の静止画圧縮技術を用いて圧縮処理を行う。
【００４９】
Ｓ３１１において、記録再生部１５１が静止画ファイルを記録媒体１５２に記録する。さらに、Ｓ３０８における撮影指示に応答して、ＲＡＷ圧縮部１１３が、撮影された静止画に対応するセンサー信号処理部１０３から出力されたＲＡＷ画像を取得し、ＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換する（Ｓ３１２）。ＲＡＷファイルはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されても良い。
【００５０】
ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサー信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。Ｓ３１３において、記録再生部１５１がＲＡＷファイルを記録媒体１５２に記録した後、フローはＳ３０１に遷移する。以上が、本第１の実施形態の静止画撮影モードの処理に係るフローの説明である。
【００５１】
本実施形態に係る撮像装置１００は、上述のように、静止画撮影モードにおける、撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される静止画ファイルのための現像処理を、簡易現像部１１１によって行う。
【００５２】
続いて、図３のＳ３０１で遷移するステップであるＳ３２０について、図５のフローチャートを用いて説明する。
【００５３】
図５に、本第１の実施形態のアイドル状態の処理に係るフローチャートを示す。
【００５４】
図５のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。
【００５５】
図５において、アイドル状態の処理が開始されると（Ｓ５００）、制御部１６１が、ユーザーの設定により追いかけ現像を行うか否かを判定し（Ｓ５０１）、追いかけ現像を行わない場合はＳ５０２に、追いかけ現像を行う場合はＳ５２０に遷移する。
【００５６】
Ｓ５０１で追いかけ現像を行わない場合、ユーザーからのモード設定に従って、制御部１６１が静止画撮影モードや画像再生モードの何れかのモードに遷移するか判定する（Ｓ５０２、Ｓ５０３）。Ｓ５０２の撮影モードの遷移としては、さらに静止画か動画かを判定して、動画撮影モード（図示しない）に遷移しても良い。そして、制御部１６１が、選ばれたモードの処理フローへ遷移するように制御する（Ｓ５１０、Ｓ５１１）。
【００５７】
ここで、本実施形態に係る「追いかけ現像」とは、撮影動作を終えた後、バッファ部１１５又は記録媒体１５２等に記録されたＲＡＷファイルおよび縮小ＲＡＷファイル、簡易現像処理した静止画ファイルを入力データとして、改めて高画質に現像処理を施し、高画質の表示画像や高画質の静止画ファイルを生成する処理を意味する。
【００５８】
上述したように、撮影時に生成される静止画ファイルは、簡易現像部１１１で現像されているため、画像サイズが縮小されていたり、現像処理を一部省いていたりするために、画質は限定的な品質である。撮影内容の大まかな確認としては有効であるが、画像の細部を確認したり、プリントアウトしたりする用途には十分ではない場合がある。
【００５９】
一方、静止画と同時に生成するＲＡＷファイルは、センサー信号処理部１０３から供給される画像情報を大きく損なわない高品質を有するが、現像処理前のデータであるため、表示やプリントアウトには即時対応ができず、ＲＡＷ現像のための時間を要してしまう。また、ＲＡＷはＪＰＥＧなどのように広く普及したファイルではないため、ＲＡＷファイルを扱える再生環境も限定されてしまう。
【００６０】
そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているＲＡＷファイルを読みだして、高画質現像部１１２によって高画質に現像処理を行い、生成した静止画ファイルを記録媒体１５２等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態において実行させる。追いかけ現像は手動に限らず、制御部１６１が自動に実行させるように設計すると良い。
【００６１】
このように構成することにより、その後に、細部の確認表示やプリントアウトなど、高画質な再生の要求においても、その都度余計な現像処理が発生せず、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。記録媒体１５２等には、１回の撮影指示に対して、静止画ファイルとＲＡＷファイルが１つずつの組として記録されている。手動または自動によって追いかけ現像を行う場合、制御部１６１が、各画像の組について、追いかけ現像が処理済みか未処理かを判定する（Ｓ５２０）。
【００６２】
判定の方法は、あらかじめ静止画ファイルにメタデータとして現像ステータスを設けて、このフラグから判定する方法がある。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。制御部１６１によって、追いかけ現像が処理済みと判断されれば、Ｓ５０２に遷移する。追いかけ現像が未処理の静止画があれば、Ｓ５２１に遷移する。追いかけ現像が未処理の静止画に対応するＲＡＷファイルが、バッファ部１１５にバッファリングされていれば（Ｓ５２１）、Ｓ５２３に進み、バッファリングされていなければ対応するＲＡＷファイルを記録媒体１５２等から読み出す（Ｓ５２２）。
【００６３】
バッファ部１１５は、静止画撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、追いかけ現像を実行するようにすれば、バッファに保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。
【００６４】
Ｓ５２３において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５２から読み出したＲＡＷファイルを伸張処理し、ＲＡＷ画像を復元する。
【００６５】
Ｓ５２４において、Ｓ５２３伸張処理したＲＡＷ画像に対応する簡易現像部１１１で現像処理された静止画ファイルを記録媒体１５２から読み出す。
【００６６】
Ｓ５２５において、記録再生部１５１を経由して、画像伸張部１４３で、入力された静止画ファイルを復号して伸張し、高画質現像部１１２に供給する。
【００６７】
復元されたＲＡＷ画像と静止画ファイルは、高画質現像部１１２で高画質に現像されて（Ｓ５２６）、スイッチ部１２１を経由して表示処理部１２２や画像圧縮部１４１に出力される。高画質現像部１１２は、ＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２は、内部にノイズ低減のために図４に示す３階層処理の多階層処理部４００を有している。
【００６８】
図４において、図２で説明した多階層処理部２００と同じ構成要素には同じ参照数字を付している。図４を参照して多階層画像生成部４００における処理について説明する。
【００６９】
多階層処理部４００に入力画像データＳｉｎ１、Ｓｉｎ２が入力される。Ｓｉｎ１には復元されたＲＡＷ画像データ、Ｓｉｎ２には復元された静止画データが入力される。
【００７０】
Ｓｉｎ２に入力された静止画データを、Ｓｉｎ１に入力されたＲＡＷ画像の縮小画像として利用することで、図２に示した通常の多階層処理部の構成と比較して、第１縮小部２１３の処理を削減することが可能になる。つまり、通常の多階層処理に対して、あとから多階層処理を用いて高画質現像画像を生成する際に速やかに現像処理を行うことができる。それ以外の構成ついては、図２で説明した多階層処理部２００と同じ処理なので、ここでは説明を省略する。
【００７１】
上記の説明では、Ｓｉｎ２に簡易現像した静止画ファイルを利用する例を示したが、簡易現像した静止画ファイルではなく、縮小ＲＡＷ画像を利用してもよい。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサー部１０２から読出されたサイズのまま、或いはユーザーから設定されたサイズとなり、縮小して画素数を制限された簡易現像の画像よりも格段に高品質となる。高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。
【００７２】
本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、回路規模や消費電力の増大を抑える構成となっている。
【００７３】
高画質現像部１１２で現像処理された画像情報は、画像圧縮部１４１に供給され、画像圧縮部１４１は、取得した画像情報に対して高能率符号化処理（静止画圧縮）を施し（Ｓ５２７）、高画質の静止画ファイルを生成する。なお、画像圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。
【００７４】
Ｓ５２８において、記録再生部１５１が高画質の静止画ファイルを記録媒体１５２等に記録したら、フローはＳ５０２に遷移する。なお、追いかけ現像の処理は、追いかけ現像が未処理の静止画がある場合、その画像毎に同様の処理を繰り返して実行可能である。記録再生部１５１は、高画質現像を経て、Ｓ５２８で記録される新たな静止画ファイルには、元となったＲＡＷファイルと同時に記録された簡易現像による静止画ファイルと同じファイル名を与えて、上書き記録する。すなわち簡易現像による静止画ファイルは削除される。
【００７５】
このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態のときに追いかけ現像を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルを用いた高画質現像による静止画ファイルに置き換えて行く。撮影後に多階層処理を用いて高画質現像処理をする際に、簡易現像した静止画ファイル、もしくは縮小ＲＡＷ画像を利用することで速やかに現像処理を行うことができる。
【００７６】
こうすることにより、細部の確認表示やプリントアウトなど、高画質な再生の要求が与えられた場合であっても、その都度余計な現像処理が発生せず、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。
【００７７】
［実施例２］
次に、本発明の第２の実施形態について説明する。
【００７８】
本実施形態の全体の構成は第１の実施形態と同じでよいため、共通部分については説明を省略する。
【００７９】
本実施形態が第１の実施形態と異なるのは、高画質現像部１１２の内部に有する多階層処理部における処理方法（図５のアイドル状態の処理に係るフローチャートのＳ５２６）であり、多階層処理部の構成である。高画質現像部１１２は、内部にノイズ低減のために図６に示す多階層処理部６００を有している。
【００８０】
図６において、図２で説明した多階層処理部２００と同じ構成要素には同じ参照数字を付している。図６を参照して多階層画像生成部６００における処理について説明する。
【００８１】
多階層処理部６００に入力画像データＳｉｎ１、Ｓｉｎ２が入力される。Ｓｉｎ１には復元されたＲＡＷ画像データ、Ｓｉｎ２には復元された静止画データが入力される。
【００８２】
本実施形態において、Ｓｉｎ２に入力される静止画データは、図３の静止画撮影モードの処理に係るフローチャートの簡易現像（Ｓ３０４）時に、多階層処理によりノイズ低減処理されて生成された静止画ファイルから復元された静止画データである。Ｓｉｎ２に入力された多階層処理済の静止画データを、Ｓｉｎ１に入力されたＲＡＷ画像の縮小画像として利用する。このとき、Ｓｉｎ１に入力されたＲＡＷ画像の縮小画像として、静止画データを利用することで、図２に示した通常の多階層処理部の構成と比較して、第１縮小部２１３は、第２縮小部２２３、第３遅延回路２２１、第２信号処理部２１２、第３信号処理部２２２、第２拡大部２２４の処理を削減することが可能になる。
【００８３】
したがって、Ｓｉｎ２に入力された多階層処理済の静止画サイズ以下の階層の処理を削減することが可能となり、通常の多階層処理部の構成と比較して、あとから多階層処理を用いて高画質現像画像を生成する際に速やかに現像処理を行うことができる。それ以外の構成ついては、図２で説明した多階層処理部２００と同じ処理なので、ここでは説明を省略する。撮影後に多階層処理を用いて高画質現像処理をする際に、多階層処理を実施して簡易現像した静止画ファイルを利用することで本第１の実施形態で示した処理よりもさらに速やかに現像処理を行うことができる。
【００８４】
以上、本発明の好ましい実施形態について説明したが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。
【符号の説明】
【００８５】
１００  撮像装置、１０１  撮像光学部、１０２  撮像センサー部、
１０３  センサー信号処理部、１０４  カメラ制御部、１０５  評価値算出部、
１０９  ＲＡＷ圧縮部、１１０  現像部、１１１  簡易現像部、１１２  高画質現像部、
１１３  ＲＡＷ圧縮部、１１４  ＲＡＷ伸張部、１１５  バッファ部、
１２１  スイッチ部、１２２  表示処理部、１２３  表示部、１３１  認識部、
１４１  画像圧縮部、１４３  画像伸張部、１５１  記録再生部、１５２  記録媒体
【図１】
2017157891.tif 000003
【図２】
2017157891.tif 000004
【図３】
2017157891.tif 000005
【図４】
2017157891.tif 000006
【図５】
2017157891.tif 000007
【図６】
2017157891.tif 000008