(57)【要約】【課題】ＲＡＷデータを扱う撮像装置において、撮影後の補正処理を行うため、本来必要な画角以上の領域のデータを記録する必要があり、記録媒体の容量アップの原因となっている。【解決手段】画像処理装置は、被写体像を撮像してＲＡＷ画像データを生成する撮像手段で生成されたＲＡＷ画像データを取得する画像データ取得手段と、ＲＡＷ画像データの撮影情報を取得する情報取得手段と、取得したＲＡＷ画像データおよび撮影情報に基づいて、ＲＡＷ画像データを記憶するＲＡＷ画像ファイルを生成するファイル生成手段とを備え、ファイル生成手段は、撮影情報に従って、ＲＡＷ画像ファイルに記憶するＲＡＷ画像データの領域を決定することを特徴とする。【選択図】図２
2015119403.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段で被写体像を撮像して生成されたＲＡＷ画像データを取得する画像データ取得手段と、
前記ＲＡＷ画像データの撮影情報を取得する情報取得手段と、
前記取得したＲＡＷ画像データおよび撮影情報に基づいて、前記ＲＡＷ画像データのＲＡＷ画像ファイルを生成するファイル生成手段とを備え、
前記ファイル生成手段は、前記撮影情報に従って、前記ＲＡＷ画像ファイルに記憶するＲＡＷ画像データの領域を決定することを特徴とする画像処理装置。
【請求項２】
前記撮影情報は、少なくとも前記撮像手段の手振れ量、前記被写体像のズーム倍率および被写体の動き量のうちの一つを含み、前記ファイル生成手段は、前記撮影情報と前記被写体像の撮影画角とに基づいて前記領域を決定し、前記撮影情報を前記ＲＡＷ画像ファイルのメタデータとして記憶することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像データ取得手段でＲＡＷ画像データが取得された時に、当該ＲＡＷ画像データに第１の現像処理を行って画像データを生成する第１の現像手段と、前記生成されたＲＡＷ画像ファイルに記憶されたＲＡＷ画像データに第２の現像処理を行って画像データを生成する第２の現像手段をさらに備え、前記第２の現像処理は、前記第１の現像処理よりも高画質な現像処理であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記ファイル生成手段は、前記第１の現像手段が生成した画像ファイルに基づいて画像ファイルを生成し、前記撮影情報を前記画像ファイルのメタデータとして記憶し、前記第２の現像手段は、前記生成されたＲＡＷ画像ファイルに記憶されている前記ＲＡＷ画像データに前記第２の現像処理を行って画像データを生成、前記ファイル生成手段は、前記第２の現像手段が生成した画像データの前記画像ファイルを生成することを特徴とする請求項３記載の画像処理装置。
【請求項５】
撮像手段で被写体像を撮像して生成されたＲＡＷ画像データを取得する画像データ取得ステップと、
前記ＲＡＷ画像データの撮影情報を取得する情報取得ステップと、
前記取得したＲＡＷ画像データおよび撮影情報に基づいて、前記ＲＡＷ画像データのＲＡＷ画像ファイルを生成するファイル生成ステップとを備え、
前記ファイル生成ステップは、前記撮影情報に従って、前記ＲＡＷ画像ファイルに記憶するＲＡＷ画像データの領域を決定するステップを含むことを特徴とする画像処理方法。
【請求項６】
コンピュータを、
撮像手段で被写体像を撮像して生成されたＲＡＷ画像データを取得する画像データ取得手段、
前記ＲＡＷ画像データの撮影情報を取得する情報取得手段、
前記取得したＲＡＷ画像データおよび撮影情報に基づいて、前記ＲＡＷ画像データのＲＡＷ画像ファイルを生成するファイル生成手段であり、前記撮影情報に従って、前記ＲＡＷ画像ファイルに記憶するＲＡＷ画像データの領域を決定するファイル生成手段として画像処理装置において機能させるプログラム。
【請求項７】
請求項６のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【請求項８】
コンピュータを、請求項１乃至４のいずれか１項に記載された画像処理装置の各手段として機能させるプログラム。
【請求項９】
コンピュータを、請求項１乃至４のいずれか１項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
【請求項１０】
撮影光学系で形成された被写体像を撮像してＲＡＷ画像データを生成する撮像手段と、
前記ＲＡＷ画像データの撮影情報を取得する情報取得手段と、
前記取得したＲＡＷ画像データおよび撮影情報に基づいて、前記ＲＡＷ画像データのＲＡＷ画像ファイルを生成するファイル生成手段とを備え、
前記ファイル生成手段は、前記撮影情報に従って、前記ＲＡＷ画像ファイルに記憶するＲＡＷ画像データの領域を決定することを特徴とする撮像装置。
【請求項１１】
前記撮影情報として前記撮像手段の手振れ量を検出する手段を備え、前記ファイル生成手段は、前記手振れ量と前記被写体像の撮影画角とに基づいて前記領域を決定し、前記撮影情報を前記ＲＡＷ画像ファイルのメタデータとして記憶することを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記撮影情報は、前記撮影光学系のズーム倍率であり、前記ファイル生成手段は、前記被写体の動き量と前記被写体像の撮影画角とに基づいて前記領域を決定し、前記撮影情報を前記ＲＡＷ画像ファイルのメタデータとして記憶することを特徴とする請求項１０記載の撮像装置。
【請求項１３】
前記撮影情報として被写体の動き量を検出する手段を備え、前記ファイル生成手段は、前記撮影情報と前記被写体像の撮影画角とに基づいて前記領域を決定し、前記撮影情報を前記ＲＡＷ画像ファイルのメタデータとして記憶することを特徴とする請求項１０記載の撮像装置。
【請求項１４】
前記ＲＡＷ画像データが取得された時に、当該ＲＡＷ画像データに第１の現像処理を行って画像データを生成する第１の現像手段と、前記生成されたＲＡＷ画像ファイルに記憶されたＲＡＷ画像データに第２の現像処理を行って画像データを生成する第２の現像手段をさらに備え、前記第２の現像処理は、前記第１の現像処理よりも高画質な現像処理であることを特徴とする請求項１０乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記ファイル生成手段は、前記第１の現像手段が生成した画像データに基づいて画像ファイルを生成し、前記撮影情報を前記画像ファイルのメタデータとして記憶し、前記第２の現像手段は、前記生成されたＲＡＷ画像ファイルに記憶されている前記ＲＡＷ画像データに前記第２の現像処理を行って画像データを生成し、前記ファイル生成手段は、前記第２の現像手段が生成した画像データの画像ファイルに記憶することを特徴とする請求項１４記載の撮像装置。
【請求項１６】
前記ファイル生成手段が生成する前記ＲＡＷ画像ファイルおよび前記画像ファイルを記録媒体に記録し、前記記録媒体に記録された前記ＲＡＷ画像ファイルおよび前記画像ファイルの少なくとも一つを前記記録媒体から再生する記録再生手段を備え、前記第２の現像手段は、前記記録再生手段により前記記録媒体から再生されたＲＡＷ画像ファイルに記憶されているＲＡＷ画像データに前記第２の現像処理を行うことを特徴とする請求項１５記載の撮像装置。
【請求項１７】
前記ファイル生成手段が生成する前記ＲＡＷ画像ファイルおよび前記画像ファイルを前記撮像装置の外部に送信し、前記送信されたＲＡＷ画像ファイルおよび画像ファイルの少なくとも一つを前記撮像装置の外部から受信する通信手段を備え、前記第２の現像手段は、前記通信手段で受信された前記ＲＡＷ画像ファイルに記憶されているＲＡＷ画像データに前記第２の現像処理を行うことを特徴とする請求項１５記載の撮像装置。
【請求項１８】
前記画像ファイルに記憶された画像データを表示する表示手段をさらに備え、前記表示手段は、前記第２の現像手段が、前記ＲＡＷ画像ファイルに記憶されているＲＡＷ画像データに前記第２の現像処理を行った場合は、前記第２の現像手段が生成した画像データを表示することを特徴とする請求項１６又は１７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラム並びに撮像装置に関し、特に、動画又は静止画およびそれらのＲＡＷ画像の記録を可能とする画像処理装置、画像処理方法およびプログラム並びに撮像装置に関する。
【背景技術】
【０００２】
従来の撮像装置では、撮像センサーによって撮像された生の画像信号（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）して輝度と色差から成る信号に変換し、各信号についてノイズ除去、光学的な歪補正、画像の適正化などのいわゆる現像処理を行っている。この現像処理された輝度信号及び色差信号は、圧縮符号化されて記録媒体に記録されるのが一般的である。
【０００３】
前述のように、ＲＡＷ画像を扱う撮像装置では記録に必要なデータ量が膨大となり、大容量の記録媒体が必要となる。しかし、ＲＡＷ画像の記録は、オリジナル画像に対する補正を可能とし、画質の劣化を最低限に抑え、撮影後に編集できるという利点から、上級者によって好んで使われている。例えば、撮影後に編集できる利点としては、電子式手振れ補正を、より精度の高い手振れ補正として行うことができる点がある。
【０００４】
特許文献１には、ＲＡＷ画像を記録する際、角速度センサーの出力値や出力値から算出された撮像素子の移動量などの移動量データをフレーム毎に取得して記録媒体に記録し、再生時にＲＡＷ画像を現像処理する際に利用することが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１５２６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年の撮像装置は、撮像センサーの進歩に伴い、画像１枚あたりの画素数が大幅に増加してきている。また、１秒あたりに連写できる画像の枚数も増える傾向にある。そのため、ＲＡＷ画像に対するデベイヤー処理や、ノイズ除去、光学歪補正など、現像処理を成す各処理の処理量が相乗的に増大し、撮影と並行したリアルタイムの現像処理を行うために膨大な回路や消費電力を費やしている。時には、現像処理による回路の占有や消費電力上の制限などのために、高い撮影パフォーマンスを実行できないことも起こり得る。
【０００７】
また、ＲＡＷ画像を扱う撮像装置にとっては、大容量のＣＦ、ＳＤカード等の記録媒体が必要となる。例えば、水平解像度が４０００画素相当（４Ｋ）の解像度の場合、扱うデータ量は総画素数で約１１６０万画素、有効画素数で約８３０万画素となる。
【０００８】
特許文献１のように、撮影後にＲＡＷ画像を現像処理して精度よく手振れ補正処理を実行する場合、記録時にＲＡＷ画像に加えて移動量データ（補正処理作業に必要なデータ）を記録する必要があり、更に大容量の記録媒体が必要となる。
【０００９】
さらに、撮影後に手振れ補正処理を行うため、本来必要な画角（撮影したい画角）より広い領域のデータを記録する必要があり、記録媒体の容量アップの原因となっている。
【００１０】
そこで、本発明の目的は、撮影後に手振れ補正処理を行うため、本来必要な画角以上の領域の画像データを記録媒体に記録する際に、記録媒体に記録する画像データの領域を制御する技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明によれば、画像処理装置は、被写体像を撮像してＲＡＷ画像データを生成する撮像手段で生成されたＲＡＷ画像データを取得する画像データ取得手段と、ＲＡＷ画像データの撮影情報を取得する情報取得手段と、取得したＲＡＷ画像データおよび撮影情報に基づいて、ＲＡＷ画像データを記憶するＲＡＷ画像ファイルを生成するファイル生成手段とを備え、ファイル生成手段は、撮影情報に従って、ＲＡＷ画像ファイルに記憶するＲＡＷ画像データの領域を決定することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像装置の動き（例えば、手振れ量）に従って、手振れ補正処理に不要なデータを記録媒体に保存することがなくなり、従来よりも利便性が向上したＲＡＷ画像を得ることができると共に、記録容量の増大を抑えることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施例に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施例に係る撮像装置の動画撮影モードでの動作のフローチャートを示す図である。
【図３】本発明の第１の実施例における動画ファイルとＲＡＷファイルの構成例を示す図である。
【図４】本発明の第１の実施例に係る動画撮影モードにおけるアイドル状態での動作のフローチャートを示す図である。
【図５】本発明の第１の実施例に係る撮像装置の動画再生モードでの動作のフローチャートを示す図である。
【図６】撮像装置の手振れを画像データ上で模式的に示す図である。
【図７】本発明の第１の実施例に係る静止画ファイルとＲＡＷファイルの構成例を示す図である。
【図８】撮像装置の被写体検出枠の例を示す図である。
【図９】撮像センサーに配置されるカラーセンサの配列例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
【００１５】
第１の実施例
図１は、本発明の第１の実施例に係る撮像装置の構成例を示すブロック図である。図１に示した撮像装置１００は、被写体を撮像して得られた画像データを記録媒体に記録するだけでなく、画像データを記録媒体から再生し、現像処理して表示する機能を有する。また、記録、再生又は表示などのために、画像データを外部の装置やサーバ（クラウド）等と送受信する機能も有する。従って、本発明の実施例に係る撮像装置は、画像処理装置、画像記録装置、画像再生装置、画像記録再生装置、通信装置等と表現することができる。
【００１６】
図１において、制御部１６０は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の動作を制御する。操作部１６１は、ユーザーが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。制御部１６０は、操作部１６１からの操作信号を検出し、操作に対応した動作を実行するよう撮像装置１００の各部を制御する。表示部１２５は、撮像装置１００において、撮影或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等から構成される。
【００１７】
操作部１６１によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が撮影光学系１０１を介して入力され、撮像センサー部１０２上に結像する。撮影時の撮影光学系１０１及び撮像センサー部１０２の動作は、評価値算出部１０５により取得される、絞り、フォーカス、手ぶれ等の評価値の算出結果や、認識部１３０によって抽出される被写体情報に基づいて、カメラ制御部１０４によって制御される。
【００１８】
撮像センサー部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に光電変換して画像信号を生成する。図９は、撮像センサー部１０２に配置されるカラーフィルターの一例を示し、撮像装置１００が扱う画像の画素配列に対応している。図９に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置され、２×２の４画素について見ると、赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ―配列と呼ばれる。
【００１９】
撮像センサー部１０２によって光電変換により生成された画像信号は、センサー信号処理部１０３によって画素の修復処理が施され、画像データとして出力される。この修復処理では、撮像センサー部１０２の欠落画素や信頼性の低い画素の値を、その周辺画素値を用いて補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施例では、センサー信号処理部１０３から出力される画像データを、生（未現像）の画像を意味するＲＡＷ画像と称す。
【００２０】
ＲＡＷ画像は、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とを含む。また、現像部１１０は、第１および第２の現像部からの出力を選択するスイッチ部１２１を含んでいる。簡易現像部１１１と高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差から成る信号に変換し、各信号に含まれるノイズの除去、光学的な歪の補正、画像の適正化などの所謂現像処理を行う。
【００２１】
特に、高画質現像部１１２は、簡易現像部１１１よりも各処理を高精度に行うものであり、それ故、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施例の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能なように制御される。このように高画質現像を撮影時ではなく、その後に時間をかけて行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるよう制御する。スイッチ部１１６は、操作部１６１によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って簡易現像処理または高画質現像処理を用いるかを選択するよう制御部１６０によって制御される。
【００２２】
なお、本実施例では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成例を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成であっても本発明の範疇である。
【００２３】
現像部１１０によって現像処理された画像データは、表示処理部１２０によって所定の表示処理がなされた後、表示部１２５にて表示される。また、現像処理された画像データは、映像出力端子１２２により、外部に接続された表示機器に出力されてもよい。映像出力端子１２２は、例えばＨＤＭインタフェースやＳＤインタフェースのような汎用インタフェースである。
【００２４】
現像部１１０によって現像処理された画像データは、評価値算出部１０５にも供給され、画像データからフォーカス状態や露出状態などの評価値が算出される。
【００２５】
また、現像部１１０によって現像処理された画像データは、認識部１３０にも供給される。認識部１３０は、画像データ中の被写体情報を検出及び認識する機能を有し、例えば、画像データによって表される画面内における顔を検出して顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。
【００２６】
現像部１１０によって現像処理された画像データは、静止画圧縮部１４０及び動画圧縮部１４１にも供給される。画像データを静止画として圧縮する場合は、静止画圧縮部１４０を用い、動画として圧縮する場合は、動画圧縮部１４１を用いる。静止画圧縮部１４０及び動画圧縮部１４１は、それぞれ対象となる画像データを高能率符号化（圧縮符号化）して、情報量が圧縮された画像データを生成し、画像ファイル（静止画ファイル、又は、動画ファイル）に変換する。静止画圧縮は例えばＪＰＥＧなどを、動画圧縮には例えばＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。
【００２７】
ＲＡＷ圧縮部１１３は、センサー信号処理部１０３が出力したＲＡＷ画像を、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化して、圧縮された状態のＲＡＷ画像ファイルに変換し、バッファ部（記憶媒体）１１５に格納する。ＲＡＷ画像ファイルは、バッファ部１１５内に残しておいて再び読み出すことも可能であるが、バッファ部１１５に格納された後、別の記録媒体に移して記録する（バッファ部１１５から削除する）ようにしても良い。
【００２８】
ＲＡＷファイルと上述の静止画ファイル及び動画ファイルは、記録再生部１５０によって、記録媒体１５１に記録される。記録媒体１５１は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５０は、記録媒体１５１から静止画ファイル、動画ファイル、ＲＡＷファイルを読み出すこともできる。
【００２９】
記録再生部１５０は、通信部１５２を介して、外部のストレージやサーバに、各種ファイルを書き込んだり(送信)、読み出したりする(受信)機能も有する。通信部１５２は、通信端子１５３を用いて無線通信や有線通信によりインターネットや外部機器へのアクセスを可能にする構成を有する。
【００３０】
ＲＡＷファイル等の記録再生部１５０による記録媒体１５１への記録は、ジャイロセンサー（角速度センサー）１７０の出力データに基づいて制御される。具体的には、ジャイロセンサー１７０は、撮像装置の動き（向きの変化）を検出する。該ジャイロセンサー１７０から出力されたデータは移動量算出部１７１に供給され、該移動量算出部１７１が撮影時の撮像装置の手振れ量を算出する。算出した手振れ量データに基づき、記録領域制御部１７２が手振れ補正の処理に必要な領域を算出する。そして、算出した領域に基づき、記録再生部１５０が、ＲＡＷ画像の記録領域を決定し、記録媒体１５１に記録する。なお、手振れ量は、周知の画像処理による方法で、例えば評価値算出部１０４で検出してもよい。
【００３１】
ここで、ジャイロセンサー１７０の出力データに基づいて決定されるＲＡＷ画像の記録領域の例を図６に示す。図中、破線は撮影時に手振れしていないときの画角６００、太線は、撮影時に手振れしたときの画角６０２、細線は、撮影後の補正処理に必要な領域６０４である。図中、灰色部６０６は、撮影後の補正処理に必要なＲＡＷ画像データであり、撮影領域６００（撮影画角）の外側の領域である。該撮影領域６００（画角）の外側の領域を、本来必要な撮影画角の領域６００（図中、破線）とともに記録媒体１５１に記録する。すなわち、領域６００と６０４からなる領域６０４のＲＡＷ画像データが記憶され、そのときの領域６０６の大きさが撮像装置の手振れ量から決定されている。従って、撮像装置の手振れ量に基づいて、記録されるＲＡＷ画像データのデータ量が適切に制御され、記録媒体の記録容量を必要以上に使用することを避けられる。なお、撮像センサー部の画像領域の大きさは撮影領域６００より大きい。
【００３２】
撮影後の補正処理に必要な領域である灰色部６０６の大きさは、横方向の手振れ量（移動量）ΔＨと縦方向の手振れ量（移動量）ΔＶに基づき、記録領域に対して、ΔＨ、ΔＶの大きさに応じて可変に制御される。すなわち、撮像装置の手振れ量の大きさに応じて記録媒体１５１に記録するＲＡＷ画像データ（ＲＡＷ画像ファイル）の領域を制御する。撮像装置の手振れ量が大きい場合、撮影後のＲＡＷ画像に対する補正量が大きくなるので、記録媒体１５１に記録する記録領域を広く（灰色部６０６を広く）する。また、撮像装置の手振れ量が小さい場合、撮影後のＲＡＷ画像に対する補正量が小さくなり、記録媒体１５１に記録する記録領域を狭く（灰色部６０６を小さく）する。
【００３３】
操作部１６１によって再生動作が開始されると、記録再生部１５０は、記録媒体１５１から、又は、通信部１５２を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５０は、取得したＲＡＷファイルをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５０は、取得した静止画ファイルを静止画伸張部１４２に供給する。再生対象のファイルが動画ファイルであれば、記録再生部１５０は、取得した動画ファイルを動画伸張部１４３に供給する。
【００３４】
ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷファイルを読み出し、圧縮された状態のＲＡＷファイルを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷファイルは、現像部１１０内の簡易現像部１１１、高画質現像部１１２に供給される。
【００３５】
静止画伸張部１４２は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２０に供給する。動画伸張部１４３は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２０に供給する。表示処理部１２０は、静止画再生モードであるか動画再生モードであるかに応じて、供給された再生画像を選択し、表示部１２１に供給する。
【００３６】
次に、本実施例に係る撮像装置１００の動画撮影モードにおける動作について説明する。
【００３７】
図２に、本実施例に係る撮像装置の動画撮影モードでの動作のフローチャートを示す。図２のフローチャートは、制御部１６０が各処理ブロックを制御して実行する処理動作の手順を示す。当該フローチャートの各ステップ（Ｓ）は、制御部１６０が有する不図示のメモリ（ＲＯＭ）に格納されているプログラムを同じく不図示のメモリ（ＲＡＭ）に展開して実行することにより実現される。
【００３８】
図２において、操作部１６１によって動画撮影モードの処理が開始されると（Ｓ２００）、制御部１６０が撮像装置１００の処理負荷状況が低いか否かを判定し（Ｓ２０１）、負荷状況に応じた頻度でアイドル状態（Ｓ２１３）へ遷移し、そうでなければＳ２０２へ進む。  例えば、水平解像度が４０００画素相当（４Ｋ）のように画素数の多い動画や、毎秒１２０コマ（１２０Ｐ）のようにフレームレートの高い動画が設定されているときは処理負荷が高いため、処理をＳ２１３へは遷移せず、常にＳ２０２へ進める。画素数が所定値より少なかったり、フレームレートが所定の速度より低い動画の撮影を行う設定のときは、動画の第１フレームと第２フレームの処理の合間に例えば半分の頻度でＳ２１３に遷移する。
【００３９】
Ｓ２０２において、カメラ信号制御部１０４が、好適な条件で動画撮影を行うように撮影光学系１０１や撮像センサー部１０２の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、撮影光学系１０１に含まれるレンズを移動したり、撮影画素数の指示に従って撮像センサー部１０２の読み出し領域を設定したりする。また、後述の評価値算出部１０５や認識部１３０から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御を行なる。
【００４０】
Ｓ２０３において、撮像センサー部１０２によって変換された画像信号に対して、センサー信号処理部１０３が画素の修復のための信号処理を施す（画像データ取得）。ここでは、欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする処理を行う。本実施例では、Ｓ２０３の処理を終えて、センサー信号処理部１０３から出力される画像データを、生（未現像）の動画データを意味するＲＡＷ画像データと呼ぶ。
【００４１】
Ｓ２０４において、簡易現像部１１１がＲＡＷ画像データの現像処理を行う。このとき、制御部１６０が現像部１１０内のスイッチ部１１６を切り替えて、簡易現像部１１１で現像処理された画像データを選択する。
【００４２】
簡易現像部１１１は、動画の各フレームを構成するＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）を行い、輝度と色差から成る信号に変換して、各信号に含まれるノイズの除去、光学的な歪の補正、画像の適正化などの所謂現像処理を行う。
【００４３】
ここで、簡易現像部１１１が行う動画の現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを例えばＨＤ映像の２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、例えばＨＤサイズの動画の高速撮影を小さい回路規模で少ない消費電力で実現する撮像装置１００を可能にすることができる。
【００４４】
簡易現像部１１１で現像処理された画像データは、評価値算出部１０５に供給される。評価値算出部１０５は、画像データに含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する（Ｓ２０５）。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像データを取得して、取得したＲＡＷ画像データから評価値を算出するようにしても良い。
【００４５】
また、簡易現像部１１１で現像処理された画像データは、認識部１３０にも供給される。認識部１３１は、画像データから被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像データ内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する（Ｓ２０６）。
【００４６】
さらに、簡易現像部１１１で現像処理された画像データは、表示処理部１２０にも供給される。表示処理部１２１は、取得した画像データから表示画像を形成し、表示のために表示部１２１又は外部の表示装置に出力する（Ｓ２０７）。表示部１２１による表示画像は、動画撮影モードにおいては、ユーザーが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。具体的には、動画撮影特有の使用形態として、撮影された動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても被写体を適切にフレーミングするためのライブビュー表示に用いられる。
【００４７】
なお、表示画像は、表示処理部１２０から映像出力端子１２２を経由して、外部のテレビジョンなどの他の表示装置にて表示してもよい。さらに、表示処理部１２０は、評価値算出部１０５や認識部１３０から供給される評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりする機能を有してもよい。
【００４８】
Ｓ２０８において、制御部１６０は、ユーザーからの記録の開始指示により撮影された動画が記録中（ＲＥＣ中）であるか否かを判定し、ＲＥＣ中の場合は、Ｓ２１０へ進む。Ｓ２０８でＲＥＣ中でない場合（すなわちスタンバイ中）は、Ｓ２０１へ戻って、動画の記録開始前の撮影動作とライブビュー表示を繰り返す。Ｓ２０８によって、撮影された動画のうち記録開始から記録終了までの記録対象となる動画が、フレーム単位で動画圧縮部１４１によって圧縮される（Ｓ２０９）。
【００４９】
動画の撮影と同時にマイクロフォン（不図示）によって入力された音声情報も取得されている。動画圧縮部１４１は、動画に対する音声情報に対しても圧縮処理を施す。動画圧縮部１４１は、取得した簡易現像済の動画の画像データ及び音声情報に対して高能率符号化処理（動画圧縮）を施し、動画ファイルを生成する。なお、動画圧縮部１４１は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５などの公知の動画圧縮技術を用いて圧縮処理し、ファイル生成を行う。
【００５０】
Ｓ２１０において、記録再生部１５１が動画ファイルを記録媒体１５１に記録する。
【００５１】
さらに、Ｓ２０８によって記録対象となった動画に対応する期間のＲＡＷ画像データが、センサー信号処理部１０３からＲＡＷ圧縮部１１３に供給される。ＲＡＷ圧縮部１１３は、記録対象となった動画と同じシーンを示すＲＡＷ画像データを、高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルに変換する（Ｓ２１１）。ＲＡＷファイルは、バッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像データを非圧縮の状態のままスルー出力しても良い。ＲＡＷ圧縮の有無に関わらず、本実施例では、センサー信号処理部１０３から供給される画像データを大きく損なわない、高画質ファイルとして復元可能なＲＡＷ画像ファイルを生成する。
【００５２】
Ｓ２１４では、ジャイロセンサー１７０にて撮像装置１００の動きを検出する。該ジャイロセンサー１７０にて検出した動きのデータは、Ｓ２１５において、移動量算出部１７１に供給され、該移動量算出部１７１が撮影時の撮像装置の手振れ量を算出する(情報取得)。
【００５３】
Ｓ２１６では、算出した手振れ量データに基づいて、記録領域制御部１７２が手振れ補正処理に必要な領域の大きさを算出する。そして、該算出した領域の大きさに基づいて、記録再生部１５０がＲＡＷ画像データの記録領域を決定し、記録媒体１５１に記録する。
【００５４】
Ｓ２１２では、記録再生部１５０がＲＡＷ画像ファイルを記録媒体１５１に記録した後に、処理をＳ２０１に遷移させる。なお、Ｓ２１０及びＳ２１２において、記録再生部１５０は、動画ファイル及び／又はＲＡＷファイルを、通信部１５２を介して、通信端子１５３から外部のストレージに送って、外部のストレージによって記録するようにしても良い。
【００５５】
以上が、本実施例に係る撮像装置１００での動画撮影モードの動作のフローチャートの説明である。
【００５６】
ここで、本実施例に係る動画ファイルとＲＡＷ画像ファイルの構造について説明する。図３は、本実施例に係る動画ファイル及びＲＡＷファイルの構成例を示す図である。
【００５７】
図３（ａ）に示す動画ファイル３００は、記録再生部１５０によって、例えば記録媒体１５１の所定の記録エリアに記録される。動画ファイル３００は、ヘッダ部３０１、メタデータ部３０２、圧縮データ部３０３から成り、ヘッダ部３０１には、このファイルが動画ファイルの形式であることを示す識別コードなどを含む。圧縮データ部３０３は、高能率符号化された動画と音声の圧縮データを含む。
【００５８】
メタデータ部３０２は、この動画ファイルと同時に生成されたＲＡＷ画像ファイルのファイル名の情報３０４を含み、また、この動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報３０５を含む。
【００５９】
また、動画ファイル３００は、評価値算出部１０５や認識部１３０からの評価値や被写体情報、及び撮影光学系１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ３０６を含む。また、図示していないが、同時に生成されたＲＡＷ画像ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。
【００６０】
図３（ｂ）に示すＲＡＷファイル３１０は、記録再生部１５０によって、例えば記録媒体１５１の所定の記録エリアに記録される。ＲＡＷファイル３１０は、ヘッダ部３１１、メタデータ部３１２、圧縮データ部３１３から成る。ヘッダ部３１１は、このファイルがＲＡＷ画像ファイルの形式であることを示す識別コードなどを含み、圧縮データ部３１３は、高能率符号化された動画のＲＡＷ圧縮データを含む（圧縮されていない動画のＲＡＷ画像データであっても良い）。
【００６１】
メタデータ部３１２は、このＲＡＷファイルと同時に生成された動画ファイルのファイル名の情報３１４、また、その動画ファイルが簡易現像部１１１によって簡易現像されたことを示す現像ステータスの情報３１５を含む。
【００６２】
ＲＡＷファイル３１０は、評価値算出部１０５や認識部１３０からの評価値や被写体情報、及び撮影光学系１０１や撮像センサー部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサー種別識別情報など）を含む撮影メタデータ３１６も含む。更に撮影メタデータ部３１６は、ジャイロセンサー１７０にて検出した撮像装置の動きデータに基づいて移動量算出部１７１が算出したデータを格納する。該データは、ＲＡＷ画像データに対して手振れ補正処理を施す際に参照する補正量となる。例えば、撮影後に高画質現像処理を施す場合、メタデータとして保存されている当該データに基づいて、圧縮されたＲＡＷ画像データの一部を切り出すことにより、手振れ補正処理（移動処理）を行った画像データを生成する。
【００６３】
また、図示していないが、撮影メタデータ３１６は、ＲＡＷファイルと同時に生成された動画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、同時に生成された動画ファイルそのものをメタデータ化して、メタデータ部３１２に格納しても良い。
【００６４】
上述した本実施例に係る各種ファイルの構造はその一例であり、ＤＣＦやＡＶＣＨＤ、ＭＸＦなどの標準規格に準じた構成であっても良い。
【００６５】
続いて、図２のＳ２０１から遷移するＳ２１３について、図４のフローチャートを用いて説明する。
【００６６】
図４は、本実施例に係る撮像装置１００の撮影動作モードでの動作におけるアイドル状態の動作のフローチャートを示す。図４のフローチャートは、制御部１６０によって、各処理ブロックを制御し実行される動作の処理手順を図示したものである。当該フローチャートの各ステップ（Ｓ）は、制御部１６０のＣＰＵが、制御部１６０有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開して実行することにより実現される。
【００６７】
図４において、アイドル状態の処理が開始されると（Ｓ４００）、制御部１６０が、ユーザーの設定により追いかけ現像を行うか否かを判定し（Ｓ４０１）、追いかけ現像を行わない場合はＳ４０２に、追いかけ現像を行う場合はＳ４１０に処理を遷移する。
【００６８】
Ｓ４０１で追いかけ現像を行わない場合は、制御部１６０が、ユーザーによるモード設定に従って、静止画撮影モード、静止画再生モード、動画撮影モード、動画再生モードの何れのモードに遷移するかを判定する（Ｓ４０２、Ｓ４０３、Ｓ４０４、Ｓ４０５）。その後、制御部１６０は、判定に従って選ばれたモードでの動作処理へフローを遷移するよう制御する（Ｓ４０６、Ｓ４０７、Ｓ４０８、Ｓ４０９）。
【００６９】
ここで、本実施例に係る「追いかけ現像」について説明する。「追いかけ現像」とは、撮影動作を終えた後、バッファ部１１０又は記録媒体１５１等に記録されたＲＡＷ画像ファイルをソースとして、改めて高画質の現像処理を施し、高画質の表示画像や高画質の静止画ファイルを生成する処理とする。本実施例に係る追いかけ現像の対象となるＲＡＷファイルは、静止画と動画の両方とする。本実施例によれば、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの処理負荷が比較的小さい状態のときに動画の追いかけ現像を徐々に終了させることで、簡易現像による動画ファイルが自然と高画質現像による動画ファイルに置き換わる。
【００７０】
次に、本実施例に係る撮像装置１００の動画再生モードにおける動作について説明する。
【００７１】
図５は、本実施例に係る撮像装置１００の動画再生モードでの動作のフローチャートを示す図である。図５のフローチャートは、制御部１６０によって、各処理ブロックを制御し実行される処理手順を図示したものである。当該フローチャートの各ステップ（Ｓ）は、制御部１６０のＣＰＵが、制御部１６０有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開して実行することにより実現される。
【００７２】
最初に、本動画再生モードの動作は、まだ追いかけ現像が実行されていないタイミングで発生することを想定している。本実施例では、撮影と撮影の合間や、再生モードやスリープ状態などユーザー操作待ちの、処理負荷が比較的小さい状態のときに動画の追いかけ現像を徐々に終了させることで、簡易現像による動画ファイルが自然と高画質現像による動画ファイルに置き換えられる。この置き換えが進むに従って、記録されている動画ファイルの高画質現像が発生するケースが減少して、常時速やかに高画質画像を出力できるようになる。
【００７３】
図５において、操作部１６１による指示で動画再生モードの処理が開始されると（Ｓ５００）、制御部１６０が撮像装置１００の処理負荷状況が低いか否かを判定する（Ｓ５０１）。負荷状況が高ければ、それに応じた頻度でアイドル状態（Ｓ５１０）へ遷移し、そうでなければＳ５０２へ進む。例えば、再生指示などのユーザー操作を待っている間は、処理負荷が低いため、Ｓ５１０へ遷移する。ユーザーからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合は、Ｓ５０２へ進む。
【００７４】
Ｓ５０２において、制御部１６０が、再生される動画について、ユーザーから再生の一時停止（ポーズ）の指示を受けているかどうかを判定する。Ｓ５０２で一時停止指示がなければ、制御部１６０は、動画再生を継続するために処理をＳ５０３に進める。
【００７５】
Ｓ５０３において、記録再生部１５１が、記録媒体１５１等から再生対象の動画ファイルを読み出すと、Ｓ５０４において、動画伸張部１４４が、動画ファイルを１フレームずつ復号して伸張する。次いで、Ｓ５０５において、表示処理部１２０が再生された動画の表示画像を表示部１２１へ出力し、再生された動画が表示される。
【００７６】
Ｓ５０２で一時停止指示を受けた場合は、制御部１６０が、再生及び表示中の動画を一時停止状態にするともに、一時停止されたときの停止位置のフレームを静止画として表示させるために、処理をＳ５２０へ遷移させる。一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には拡大表示の指示を受けやすいとも考えられる。そこで、本実施例では、簡易現像されている動画よりも高画質な画像の表示を提供するため、Ｓ５２０において記録再生部１５１がＲＡＷファイルの読み出しを行う。具体的には、再生中の動画ファイルに対応するＲＡＷファイルの、更に一時停止表示中の動画フレームに対応するＲＡＷ画像のフレームを、記録再生部１５１が読み出す。このとき読み出しの対象となるＲＡＷファイルが、バッファ部１１５にバッファリングされていればバッファ部１１５からＲＡＷ画像ファイルを読み出し、バッファリングされていなければ記録媒体１５１等からＲＡＷファイルを読み出す。この時、メタデータとして格納している撮像装置の移動量データに基づいて、記録再生部１５１は記録媒体１５１等からＲＡＷファイルを読み出す。
【００７７】
Ｓ５２１において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５１等から読み出したＲＡＷファイルを復号して伸張し、ＲＡＷ画像データを復元する。復元されたＲＡＷ画像データは、高画質現像部１１２で高画質に現像処理される（Ｓ５２２）。
【００７８】
撮像装置１００は、このように動画のＲＡＷファイルから高画質に現像された、一時停止表示中のフレームに対応する高画質な静止画を、新たな静止画ファイルとしてキャプチャすることも可能である。具体的には、Ｓ５２３において、制御部１６０が、静止位置の表示画像を静止画としてキャプチャするユーザー指示を受けつけたか否かを判定する。Ｓ５２３で静止画キャプチャの指示を受けつけないならば、動画のＲＡＷファイルから高画質に現像された静止画像は、制御部１６０が選択スイッチ１１６を制御することで高画質現像部１１２から表示処理部１２０に供給される。
【００７９】
Ｓ５２３で静止画キャプチャの指示を受けつけたならば、Ｓ５２２において、高画質現像部１１２により現像処理された画像データが静止画圧縮部１４０に供給される。静止画圧縮部１４０は、キャプチャによって取得した画像データに対して高能率符号化処理（静止画圧縮）を施し（Ｓ５２４）、高画質の静止画ファイルを生成する。なお、静止画圧縮部１４０は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。
【００８０】
Ｓ５２５では、記録再生部１５０が高画質の静止画ファイルを記録媒体１５１等に記録し、その後制御部１６０は、処理をＳ５０５に遷移する。
【００８１】
Ｓ５０５では、動画のＲＡＷファイルから高画質に現像された静止画像が表示処理部１２０に供給され、表示処理部１２０が高画質に現像された静止画像の表示画像を表示部１２１へ出力する。この処理によって、動画ファイルの一時停止により表示されている画像は、ＲＡＷ画像を高画質に現像した静止画の表示画像によって置き換えられる。
【００８２】
Ｓ５２４で静止画圧縮部１４０によって生成される高画質の静止画ファイルは、図７（ａ）の静止画ファイル７００の構成を有する。メタデータ部７０２は、ＲＡＷファイルのファイル名の情報７０４として、キャプチャの元となった動画のＲＡＷファイルのファイル名を格納する。また、撮影メタデータ７０６は、静止画としてキャプチャされたフレームの時刻情報を格納し、これにより動画のＲＡＷファイルの対応するフレーム位置が指し示めされる。
【００８３】
また、図３と同様に、静止画についても、動画のＲＡＷファイルに対応するフレームを静止画として抽出して、ＲＡＷファイル７００と対になる新たなＲＡＷファイル７１０（図７（ｂ））をこのとき作成しても良い。なお、Ｓ５０５の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、処理はＳ５０１に戻る。Ｓ５０１において、アイドル状態Ｓ５１０に遷移した場合は、上述した図５のフローチャートに従って処理される。
【００８４】
このように、本実施例の撮像装置１００は、撮影時に記録された動画ファイルを用いて、遅延なく容易に動画を再生することができ、一時停止状態では、ＲＡＷ画像ファイルから高画質に現像した静止画を差し替えて表示することができる。さらに、この高画質な静止画を容易に静止画ファイルとしてキャプチャすることも可能である。
【００８５】
以上が本実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。
【００８６】
以上のように、撮影時の撮像装置の手振れ量に応じてＲＡＷ画像ファイルに記憶するＲＡＷ画像の領域を適応的に制御することにより、記録媒体の容量を削減することができる。
【００８７】
第１の実施例の変形例
上述した本発明の第１の実施例の変形例について説明する。本変形例は、ＲＡＷ画像ファイルに記憶するＲＡＷ画像の領域を適応的に制御するために使用するデータとして、撮像装置の手振れ量以外の撮影情報を用いる例である。従って、以下の変形例において、撮像装置およびその動作は第１の実施例と同様であり、それらの説明は省略する。以下、本変形例で用いる撮影情報について説明する。
【００８８】
変形例１
動画ファイルおよびＲＡＷファイルにおけるメタデータ部に格納する上記撮影データとして、撮影時の光学ズームの情報を使用する。光学ズームの倍率がワイド（広角）側の場合は、撮影後のＲＡＷ画像に対する手振れ補正量は小さくなるので記録媒体１５１に記録する記録領域を狭くする。他方、光学ズームの倍率がテレ（望遠）側の場合は、撮影後のＲＡＷ画像に対する手振れ補正量は大きくなるので記録媒体１５１に記録する記録領域を広くする。
【００８９】
以上のように、撮影時の光学ズームのズーム倍率の情報に応じて記録媒体１５１に記録するＲＡＷ画像の領域を適応的に制御することにより、記録媒体１５１の記録に使用される容量を削減することが可能となる。
【００９０】
変形例２
また、撮像装置１００における被写体認識部１３０で検出、認識された被写体の動き量をメタデータ部に格納してもよい。この場合、検出された動き量に応じて記録媒体１５１に記録するＲＡＷ画像の領域を制御する。
【００９１】
被写体の動き量が大きい場合は、撮影後のＲＡＷ画像に対する手振れ補正量が大きくなるので、記録媒体１５１に記録する記録領域を広くする。また、被写体の動き量が小さい場合は、撮影後のＲＡＷ画像に対する手振れ補正量が小さくなるので、記録媒体１５１に記録する記録領域を狭くする。
【００９２】
更に撮像装置１００における被写体認識部１３０にて被写体を検出する場合、図８（ａ）に示すように、撮影画角８００内における被写体検出枠８０１に存在する被写体を検出する。動く被写体を追跡する場合、被写体検出枠８０１も被写体を検出するために撮影画角内を移動する。
【００９３】
このとき、図８（ｂ）に示すように、被写体を追跡する被写体検出枠８０１の座標、例えば、検出枠８０１の左上の座標（図中、（ｘ、ｙ））が撮影画角の外側に異動した場合、被写体検出枠の座標を含む領域８０３が撮影後の補正処理に必要な領域である。この領域８０３は、撮影領域８００より広い領域となる。撮影領域８００より広い領域を本来必要な撮影画角の領域８００とともに記録媒体１５１に記録する。また、被写体検出枠８０１の座標をメタデータ部に記録しておく。
【００９４】
以上のように、撮影時の撮影画角内に存在する被写体の状態に応じて記録媒体１５１に記録するＲＡＷ画像の領域を適応的に制御することで、記録媒体１５１の記録に使用される容量を削減することができる。
【００９５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。
【００９６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００９７】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。
【００９８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。
【００９９】
上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図１】
2015119403.tif 000003
【図２】
2015119403.tif 000004
【図３】
2015119403.tif 000005
【図４】
2015119403.tif 000006
【図５】
2015119403.tif 000007
【図６】
2015119403.tif 000008
【図７】
2015119403.tif 000009
【図８】
2015119403.tif 000010
【図９】
2015119403.tif 000011