(57)【要約】      （修正有）【課題】撮影又は画像再生の際に、抽出した被写体領域の画像に適切な輝度調整及びホワイトバランス調整を施すことができる画像再生装置又は撮像装置を提供する。【解決手段】撮像装置１は予め記録していた色情報のうちの特定被写体領域の色情報に基づいて、特定被写体領域の表示用切り出し画像信号に対し輝度調整及びホワイトバランス調整を行う。また、撮像装置は、撮影時に全画像信号から特定被写体領域を切り出し、全画像信号とは別に、独立して、切り出し画像信号の輝度調整及びホワイトバランス調整を行なう。【選択図】図１
2010147651.tif 000002
【特許請求の範囲】
【請求項１】
撮影により撮影対象の画像信号を取得する撮影手段と、
前記撮影手段により取得された前記画像信号を複数の小領域に分割し、各小領域の色情報を導出する色情報導出手段と、
前記画像信号に圧縮処理を施し圧縮画像信号を生成する圧縮処理手段と、
前記圧縮処理手段により生成された前記圧縮画像信号と前記色情報導出手段により導出された前記色情報とを関連付けて記録する関連付け手段と
を備えることを特徴とする撮像装置。
【請求項２】
撮影により取得された第１画像信号に圧縮処理が施されて生成された圧縮第１画像信号と、該圧縮第１画像信号に関連付けられた前記第１画像信号の色情報とを、記録媒体から取得する取得手段と、
前記取得手段により取得された前記圧縮第１画像信号に伸張処理を施し表示用第１画像信号を生成する伸張手段と、
前記伸張手段により生成された前記表示用第１画像信号を再生する第１再生手段と、
前記伸張手段により生成された前記表示用第１画像信号から特定被写体領域を抽出して表示用第２画像信号を生成する生成手段と、
前記色情報に基づいて前記生成手段により生成された前記表示用第２画像信号にホワイトバランス調整処理を施すホワイトバランス調整手段を備え、
前記第２再生手段は、前記輝度調整処理手段による輝度調整処理及び前記ホワイトバランス調整手段によるホワイトバランス調整処理が施された前記表示用第２画像信号を再生することを特徴とする画像再生装置。
【請求項３】
撮影により取得された第１画像信号に圧縮処理が施されて生成された圧縮第１画像信号と、該圧縮第１画像信号に関連付けられた前記第１画像信号の色情報とを、記録媒体から取得する取得手段と、
前記取得手段により取得された前記圧縮第１画像信号に伸張処理を施し表示用第１画像信号を生成する伸張手段と、
前記伸張手段により生成された前記表示用第１画像信号を再生する第１再生手段と、
前記伸張手段により生成された前記表示用第１画像信号から特定被写体領域を抽出して表示用第２画像信号を生成する生成手段と、
前記色情報に基づいて前記生成手段により生成された前記表示用第２画像信号に輝度調整処理を施す輝度調整手段と、
前記輝度調整手段により輝度調整処理が施された前記表示用第２画像信号を再生する第２再生手段と、
を備えた画像再生装置。
【請求項４】
前記色情報に基づいて前記生成手段により生成された前記表示用第２画像信号にホワイトバランス調整処理を施すホワイトバランス調整手段を備え、
前記第２再生手段は、前記輝度調整処理手段による輝度調整処理及び前記ホワイトバランス調整手段によるホワイトバランス調整処理が施された前記表示用第２画像信号を再生することを特徴とする請求項３に記載の画像再生装置。
【請求項５】
撮影により撮影対象の第１画像信号を取得する撮影手段と、
前記撮影手段により取得された前記第１画像信号にホワイトバランス調整処理、色同時化処理、及び圧縮処理を施し圧縮第１画像信号を生成する画像処理手段と、
前記第１画像信号から特定被写体領域を抽出して第２画像信号を生成する生成手段と、
前記生成手段により生成された前記第２画像信号に、前記第２画像信号が有する色情報に基づいて輝度調整処理を施す輝度調整手段と、
前記生成手段により生成された前記第２画像信号に、前記第２画像信号が有する色情報に基づいてホワイトバランス調整処理を施すホワイトバランス調整手段と、
輝度調整及びホワイトバランス調整後の前記第２画像信号に色同時化処理及び圧縮処理を施し、圧縮第２画像信号を生成する圧縮処理手段と、
前記画像処理手段により生成された前記圧縮第１画像信号と
前記圧縮処理手段により生成された前記圧縮第２画像信号とを記録する記録手段と、
を備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像から特定被写体領域のみを切り出して記録することができる撮像装置、及び再生画像から特定被写体領域のみを切り出して再生することができる画像再生装置に関するものであり、更に詳しくは切り出した特定被写体領域に輝度調整やホワイトバランス調整を行なうことができる撮像装置又は画像再生装置に関する。
【背景技術】
【０００２】
従来、デジタルビデオカメラや動画撮影可能なデジタルスチルカメラ等の動画撮影装置を用いて注目する被写体（人物等）の動画撮影を行なう場合、撮影者は、その被写体を見失って撮影し損ねないようにモニター上で被写体を確認するとともに、被写体の動きに応じて動画撮影装置を操作して撮影方向やズーム倍率を変更する必要があった。
【０００３】
従って、撮影者は撮影に集中しなければならず、注目する被写体とコミュニケーションを取りながら撮影を行なったり、或いは他のことに注意を払いながら撮影を行なったりすることは、撮影者にとって困難であった。
【０００４】
そこでかかる困難を解消するべく、次のような動画撮影装置や動画再生装置が提案されつつある。すなわち、動画撮影を行なう場合には、撮影者が注目被写体を撮影し損ねることが無いよう、出来る限り広角で撮影するとともに、注目被写体を自動的に追尾して撮影する一方、広角撮影により取得した動画像から撮影者が注目する被写体領域を抽出して、広角撮影による動画像とは別に記録することができる動画撮影装置、或いは、撮影された動画像を再生し、モニターに表示するときに、動画像から注目被写体領域のみを抽出して再生表示することができる動画再生装置が提案されつつある。
【０００５】
しかしながら、このような動画撮影装置又は動画再生装置によって得られる注目被写体領域の動画像に対する輝度やホワイトバランスの調整を、広角撮影で得られる動画像に対するのと同じように行なうと、不自然になってしまう場合があるという問題がある。
【０００６】
例えば、広角撮影時の撮影構図が屋外昼間の太陽光を光源とする白色系の建物を背景にした人物であり、該人物が日陰にいるとする。このような場合、広角で撮影される動画像は全体的に非常に明るくなるため、動画像撮影装置は、輝度が低くなるように調整し、ホワイトバランスについては、画像の大半を占める白色系の建物が所定の白さで表示されるように調整する。
【０００７】
しかしながら、注目被写体領域の動画像（この場合、人物がいる日陰部分の領域に当たる。）に対して広角撮影による動画像と同様の輝度調整やホワイトバランス調整を行なうと、非常に不自然な動画像となってしまうという問題がある。
【０００８】
また、上述した動画撮影のみならず、静止画撮影を行う場合についても同様の問題が起こり得る。
【０００９】
尚、下記特許文献１には、電子ズーム時でもホワイトバランスが適正に行われる手法が開示されている。かかる手法によると、まず、１つの基準画像データの全体領域を複数のエリアに分割し、該エリアでそれぞれ特徴検出を行う。そして前記画像データの全体領域内から電子ズームを行う領域を選定し、電子ズーム領域に含まれるエリアの特徴検出結果のみを用いてホワイトバランス処理を施す手法と、全エリアにおける特徴検出結果を用いて電子ズーム領域のホワイトバランス制御を行う手法が開示されている。しかしながら、かかる手法では上記問題を解決することはできない。
【特許文献１】特開2004-64676号
【発明の開示】
【発明が解決しようとする課題】
【００１０】
そこで本願発明は、上記課題に鑑みて為されたものであり、撮影された動画像又は静止画像を再生する場合に、その動画像又は静止画像から注目する被写体領域を抽出して再生することができる画像再生装置であって、抽出した被写体領域の動画像又は静止画像に対して適切な輝度調整、及びホワイトバランス調整を施すことができる画像再生装置、ならびに動画像又は静止画像撮影のときに、広角撮影で撮影された撮影対象全体の画像から注目する被写体領域を抽出して、広角撮影による全体画像とは別に記録することができる撮像装置であって、抽出した被写体領域の画像に対して適切な輝度調整、及びホワイトバランス調整を施すことができる画像撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本願の第１発明に係る撮像装置は、撮影により撮影対象の画像信号を取得する撮影手段と、前記撮影手段により取得された前記画像信号から色情報を導出する色情報導出手段と、前記画像信号に圧縮処理を施し圧縮画像信号を生成する圧縮処理手段と、前記圧縮処理手段により生成された前記圧縮画像信号と前記色情報導出手段により導出された前記全体色情報とを関連付けて記録する関連付け手段とを備え、前記色情報導出手段は、前記撮影手段により取得された前記画像信号を複数の小領域に分割し、各小領域の色情報を小領域色情報として導出するとともに、全ての小領域色情報を前記全体色情報とすることを特徴とする。
本願の第１発明によると、撮像装置が、圧縮画像信号を複数の小領域に分割し、各小領域の圧縮処理前の小領域色情報を導出するとともに、全ての小領域色情報を全体色情報として圧縮画像信号と関連付けて記録する。従って、圧縮画像信号の伸張後の画像信号から特定被写体領域を抽出して再生する場合において、特定被写体領域に対応する小領域色情報を利用して、特定被写体領域に輝度調整及びホワイトバランス調整を施すことができる。これにより、特定被写体領域に対する輝度調整及びホワイトバランス調整を、撮影対象の画像信号全体に対する輝度調整やホワイトバランス調整から独立して行なうことができ、特定被写体領域に適した調整が可能となる。
【００１２】
本願の第２発明に係る画像再生装置は、撮影により取得された第１画像信号に圧縮処理が施されて生成された圧縮第１画像信号と、圧縮第１画像信号に関連付けられた第１画像信号の全体色情報とを、記録媒体から取得する取得手段と、取得手段により取得された圧縮第１画像信号に伸張処理を施し表示用第１画像信号を生成する伸張手段と、伸張手段により生成された表示用第１画像信号を再生する第１再生手段と、伸張手段により生成された前記表示用第１画像信号から特定被写体領域を抽出して表示用第２画像信号を生成する生成手段と、前記色情報に基づいて前記生成手段により生成された前記表示用第２画像信号にホワイトバランス調整処理を施すホワイトバランス調整手段を備え、前記第２再生手段は、前記輝度調整処理手段による輝度調整処理及び前記ホワイトバランス調整手段によるホワイトバランス調整処理が施された前記表示用第２画像信号を再生することを特徴とする。
【００１３】
本願の第３発明に係る画像再生装置によると、取得手段が、圧縮第１画像信号と圧縮第１画像信号に関連付けられた第１画像信号の全体色情報とを、記録媒体から取得する。
【００１４】
よって、ホワイトバランス調整手段は、全体色情報のうち表示用第２画像信号に対応する小領域の色情報を利用して表示用第２画像信号に輝度調整処理を施すことができる。
【００１５】
従って、本願の第２発明に係る画像再生装置は、特定被写体領域の表示用第２画像信号に対し、表示用第１画像信号から独立して、ホワイトバランス調整処理を施すことができ、特定被写体領域に適したホワイトバランス調整を行なうことができる。
【００１６】
本願の第３発明に係る画像再生装置は、撮影により取得された第１画像信号に圧縮処理が施されて生成された圧縮第１画像信号と、圧縮第１画像信号に関連付けられた第１画像信号の色情報とを、記録媒体から取得する取得手段と、取得手段により取得された圧縮第１画像信号に伸張処理を施し表示用第１画像信号を生成する伸張手段と、伸張手段により生成された表示用第１画像信号を再生する第１再生手段と、伸張手段により生成された表示用第１画像信号から特定被写体領域を抽出して表示用第２画像信号を生成する生成手段と、色情報に基づいて生成手段により生成された表示用第２画像信号に輝度調整処理を施す輝度調整手段と、輝度調整手段により輝度調整処理が施された表示用第２画像信号を再生する第２再生手段とを備えている。
本願の第３発明に係る画像再生装置によると、取得手段が、圧縮第１画像信号と圧縮第１画像信号に関連付けられた第１画像信号の色情報とを、記録媒体から取得する。
よって、輝度調整手段は、色情報のうち表示用第２画像信号に対応する小領域の色情報を利用して表示用第２画像信号に輝度調整処理を施すことができる。
【００１７】
従って、本願の第３発明に係る画像再生装置は、特定被写体領域の表示用第２画像信号に対し、表示用第１画像信号から独立して、輝度調整処理を施すことができ、特定被写体領域に適した輝度調整を行なうことができる。
【００１８】
本願の第４発明に係る画像再生装置では、第３発明に係る画像再生装置が、さらに、色情報に基づいて生成手段により生成された表示用第２画像信号にホワイトバランス調整処理を施すホワイトバランス調整手段を備え、第２再生手段が、輝度調整処理手段による輝度調整処理及びホワイトバランス調整手段によるホワイトバランス調整処理が施された表示用第２画像信号を再生することを特徴とする。
【００１９】
本願の第４発明に係る画像再生装置よると、ホワイトバランス調整手段は、色情報のうち表示用第２画像信号に対応する色情報を利用して表示用第２画像信号にホワイトバランス調整処理を施す。
【００２０】
従って、本願の第４発明に係る画像再生装置は、特定被写体領域の表示用第２画像信号に対し、表示用第１画像信号から独立して、輝度調整処理及びホワイトバランス調整処理を施すことができ、特定被写体領域に適した輝度調整及びホワイトバランス調整を行なうことができる。
【００２１】
本願の第５発明に係る撮像装置は、撮影により撮影対象の第１画像信号を取得する撮影手段と、撮影手段により取得された第１画像信号にホワイトバランス調整処理、色同時化処理、及び圧縮処理を施し圧縮第１画像信号を生成する画像処理手段と、第１画像信号から特定被写体領域を抽出して第２画像信号を生成する生成手段と、生成手段により生成された第２画像信号に、第２画像信号が有する色情報に基づいて輝度調整処理を施す輝度調整手段と、生成手段により生成された第２画像信号に、第２画像信号が有する色情報に基づいてホワイトバランス調整処理を施すホワイトバランス調整手段と、輝度調整及びホワイトバランス調整後の第２画像信号に色同時化処理及び圧縮処理を施し、圧縮第２画像信号を生成する圧縮処理手段と、画像処理手段により生成された圧縮第１画像信号と圧縮処理手段により生成された圧縮第２画像信号とを記録する記録手段とを備える。
【００２２】
本願の第５発明に係る撮像装置よると、撮影時に第２画像信号を取得することができるとともに、第２画像信号が保有する色情報に基づいて第２画像信号に輝度調整処理及びホワイトバランス調整処理を施すことができる。
従って、輝度調整手段及びホワイトバランス調整手段は、第１画像信号から独立して、第２画像信号に輝度調整処理及びホワイトバランス調整処理を施すことができる。これにより、特定被写体領域に適した輝度調整及びホワイトバランス調整を行なうことができる。
【発明の効果】
【００２３】
本願発明によると、撮影された動画像又は静止画像を再生する場合に、その動画像又は静止画像から注目する被写体領域を抽出して再生することができる画像再生装置であって、抽出した被写体領域の動画像又は静止画像に対して適切な輝度調整、及びホワイトバランス調整を施すことができる画像再生装置、ならびに動画像又は静止画像撮影のときに、広角撮影で撮影された撮影対象全体の画像から注目する被写体領域を抽出して、広角撮影による全体画像とは別に記録することができる撮像装置であって、抽出した被写体領域の画像に対して適切な輝度調整、及びホワイトバランス調整を施すことができる画像撮像装置を提供することができる。
【００２４】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。
【００２５】
ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２６】
＜第１実施形態＞
本発明の第１実施形態について、図面を参照して説明する。尚、以下では、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置を例に挙げて説明する。撮像装置は、少なくとも動画撮影又は静止画撮影のいずれか一方が可能なものであり、撮影画像を再生できるものであればよい。
【００２７】
尚、本願においては、「撮像」と「撮影」を同義で使用する。
【００２８】
*************************************************************************
全体構成の説明
*************************************************************************
図１は、第１実施形態に係る撮像装置１の内部構成の概略を示すブロック図である。
【００２９】
図１において、撮像装置１は、焦点距離を一定の範囲内で自由に変更できるズームレンズ、被写体の光学像を撮像素子に結像させるフォーカスレンズ、露出の制御を行う絞り、及び入射される光をフレーム周期でアナログ電気信号に変換するＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子からなる撮像部２、撮像部２から出力されるアナログ電気信号である画像信号を必要に応じて増幅すると共に増幅された画像信号をデジタル画像信号に変換し出力するＡＦＥ（Analog Front End）３と、ＡＦＥ３から出力されるデジタル画像信号を一時的に記録するメモリ４を備えている。
【００３０】
撮像装置１は、メモリ４から出力される画像信号からＡＦ（Automatic Focus）評価値を算出するＡＦ評価値算出部５と、ＡＥ(Automatic Exposure)評価値を算出するＡＥ評価値算出部６と、ＡＷＢ（Automatic White Balance）評価値及び画像信号に含まれる色情報を算出するＡＷＢ評価値算出部７と、ＡＷＢ評価値算出部７からのＡＷＢ評価値に基づいてメモリ４から出力される画像信号に対してホワイトバランス調整を施すＷＢ調整部８を備えている。
【００３１】
撮像装置１は、ＷＢ調整部８から出力される画像信号に対し色補間処理を施すことにより色同時化処理（色分離処理ともいう。）を行う色同時化処理部９と、画像信号が静止画を撮影したものである場合はＪＰＥＧ（Joint Photographic Experts Group）方式、動画を撮影したものである場合はＭＰＥＧ（Moving Picture Experts Group）方式などにより該画像信号に圧縮符号化処理を施し、圧縮画像信号を生成する圧縮処理部１０と、圧縮画像信号とＡＷＢ評価値算出部７から出力される色情報とを関連付けて拡張圧縮画像信号を生成し、出力する関連付け処理部１１と、関連付け処理部１１から出力される拡張圧縮画像信号を一時的に記憶するメモリ１２と、メモリ１２を介して該拡張圧縮画像信号を記録する記録媒体１３を備えている。メモリ５及びメモリ１２としては、例えば、ＶＲＡＭ（Video Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、或いはＳＤＲＡＭ（Synchronous DRAM）などの一般的に用いられているメモリが使用される。また、記録媒体１３としては、例えばフラッシュメモリなどの撮像装置１に内蔵される内部記録媒体、或いはＳＤメモリカードやメモリスティック（登録商標）などの撮像装置１への取り付け・取り外しが自在な外部記録媒体が使用される。
【００３２】
撮像装置１は、記録媒体１３から拡張圧縮画像信号を読み出し、伸張処理等を施して表示用画像信号を出力する画像再生処理部１４を備えている。画像再生処理部１４は、後述のように表示用画像信号から特定被写体領域を切り出した表示用切り出し画像信号の生成及び出力も行なう。
【００３３】
撮像装置１は、画像再生処理部１４から出力される表示用画像信号、表示用切り出し画像信号に基づく画像、又は撮像装置１が撮影待機状態（プレビューモード）にあるときに色同時化処理部９から出力される画像信号に基づく、いわゆるプレビュー画像をリアルタイムで表示する画像表示部１５を備えている。
【００３４】
さらに、撮像装置１は、撮影用のシャッターボタンを含むユーザからの指示を入力する操作部１６と、操作部１６から入力される指示等を受け付けるとともに、撮像装置１内の各ブロックの駆動動作（例えば、レンズの駆動や絞りの開口量の調節など。）を制御するＣＰＵ（Central Processing Unit）１７と、ＣＰＵ１７による各ブロックの動作制御のための各プログラムを記録するとともに該プログラム実行時に発生するデータの一時保管を行うメモリ（図示せず。）を備えている。
【００３５】
図２は、撮像部２の内部構成の概略を示すブロック図である。
【００３６】
撮像部２は、焦点距離を一定の範囲内で変更し、被写体の撮影倍率を調整するズームレンズ２１、及び被写体に対してピントを合わせるためのフォーカスレンズ２２を含む複数枚のレンズを備えて構成される光学系２３と、光学系２３を透過する光量を調節する絞り２４と、ＣＣＤ又はＣＭＯＳセンサなどの撮像素子２５と、ズームレンズ２１及びフォーカスレンズ２２の移動、並びに絞り２４の開口量の調節を実現するためのモータ等から構成されるドライバ２６を備えている。尚、ズームレンズ２１、フォーカスレンズ２２の配置は反対でも構わない。
【００３７】
************************************************************************
撮像素子２５、カラーフィルタ、画像信号の定義の説明
*************************************************************************
撮像素子２５は、縦方向と横方向に等間隔で碁盤目状に並べられた複数の受光画素（例えば、数十万〜数千万画素）から構成される。そして、各受光画素の前面にはカラーフィルタが配置されている。
【００３８】
図３（ａ）は、撮像素子２５の一部領域を示した図であり、４×４＝１６個の受光画素を示している。各受光画素は、入射される光を電気信号に変換して出力する。この電気信号が受光画素の画素信号に当たる。
【００３９】
図３（ｂ）は、撮像素子２５の前面に配置されるカラーフィルタの配列の一部を示した図であり、４×４＝１６枚のカラーフィルタの配列を示している。図３（ｂ）に示される配列は、一般にベイヤー配列と呼ばれる。カラーフィルタの種類は、入射される光の赤成分（Ｒ成分）のみを透過させる赤フィルタ（Ｒフィルタ）と、光の緑成分（Ｇ成分）のみを透過させる緑フィルタ（Ｇフィルタ）と、光の青成分（Ｂ成分）のみを透過させる青フィルタ（Ｂフィルタ）の３種類である。
【００４０】
図３（ｃ）は、撮像素子２５の一部領域である４×４＝１６個の受光画素から出力される画素信号の配列を示している。
【００４１】
図３（ｂ）のカラーフィルタＦ１（Ｂフィルタ）が図３（ａ）の受光画素Ｐ１の前面に配置され、図３（ｃ）の画素信号Ｓ１が、受光画素Ｐ１から出力される画素信号である。従って、画素信号Ｓ１は、カラーフィルタＦ１を透過して受光画素Ｐ１に入射される光のＢ成分の画素信号である。
【００４２】
図３（ｂ）のカラーフィルタＦ２〜１６、図３（ａ）の受光画素Ｐ２〜１６、及び図３（ｃ）の画素信号Ｓ２〜１６の間にも、カラーフィルタＦ１、受光画素Ｐ１、及び画素信号Ｓ１と同様の対応関係が存在する。
【００４３】
従って、撮像装置１では、
カラーフィルタが前面に配置された撮像素子２５の各受光画素は、入射される光のＲ、Ｇ又はＢ成分を画素信号に変換して出力する。
【００４４】
以下では、Ｒ、Ｇ、及びＢフィルタに対応する受光画素それぞれから出力される光のＲ、Ｇ及びＢ成分の画素信号を、それぞれ「Ｒ信号」、「Ｇ信号」、及び「Ｂ信号」と記載する。そして
Ｒ、Ｇ、及びＢ信号の複数の集まりを画像信号と記載する。
【００４５】
尚、ＷＢ調整部８に入力される前の画像信号はいわゆるＲＡＷデータとも呼ばれる。
【００４６】
従って、メモリ４には、必要に応じて増幅され、デジタル化された撮像素子２５から出力されるＲＡＷデータが格納されることとなる。
【００４７】
以下では、画像信号は、図３（ｄ）に示すように、複数の画素信号が、縦方向と横方向に等間隔で碁盤目状に並べられて構成されているものとする。
【００４８】
また、色同時化処理部９は、Ｒ、Ｇ、及びＢ信号からなる画像信号に色補間処理を施すことにより、撮像素子２５の各受光画素から出力される一組の（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。
即ち、色同時化処理前は、各受光画素からの画素信号はＲ、Ｇ、及びＢ信号のいずれかであるが、色同時化処理後は、各受光画素からＲ、Ｇ及びＢ信号の３つの画素信号の組が出力されることとなる
以下では、色同時化後の画像信号は、図３（ｅ）に示すように複数の（Ｒ，Ｇ，Ｂ）の組が縦方向と横方向に等間隔で碁盤目状に並べられて構成されているものとする。
【００４９】
圧縮処理部１０は、圧縮処理の過程で、色同時化処理部９から出力される（Ｒ，Ｇ，Ｂ）の組からなる画像信号を（Ｙ，Ｃｂ，Ｃｒ）の組からなる信号に変換する。ここで、Ｙは輝度信号、Ｃｂ及びＣｒは色差信号を表す。
このようにして、圧縮処理部１０は、圧縮処理の過程で色同時化処理部９からの画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）からなる信号に変換したのち圧縮処理を施す。
【００５０】
以下では、このようなＹＣｂＣｒ形式に変換された信号を表示用画像信号と記載する。
【００５１】
従って、
圧縮処理部１０から出力される圧縮画像信号は、表示用画像信号が圧縮されたものである。
【００５２】
以下では、表示用画像信号は、図３（ｆ）に示すように複数の（Ｙ，Ｃｂ，Ｃｒ）の組が縦方向と横方向に等間隔で碁盤目状に並べられて構成されているものとする。
【００５３】
尚、図３（ａ）及び（ｂ）では、１枚のＲ、Ｇ又はＢフィルタが１つの受光画素に１対１に対応して配置されているが、１枚のＲ、Ｇ又はＢフィルタを複数の受光素子に対応するように配置することも可能である。
【００５４】
*************************************************************************
ＡＦ評価値算出部５の説明
*************************************************************************
ＡＦ評価値算出部５は、メモリ４から出力される画像信号をｎ（ｎは正の整数）個の小領域に分割するとともに、予め設定された位置にあるｍ（ｍ≦ｎ）個の小領域からなる領域をＡＦ評価領域とする。なお、各小領域には、複数のＲ、Ｇ、及びＢ信号が配列されている。
【００５５】
ＡＦ評価値算出部５は、ＡＦ評価領域からの画像信号にＨＰＦ（High Pass Filter）処理を施して高域成分を抽出し、ＡＦ評価値としてＣＰＵ１７へ出力する。
【００５６】
図４は、メモリ４からの画像信号を、例えば、８×８＝６４個の所定サイズの小領域に分割した図を示している。
【００５７】
図４において、領域１００は６４個の小領域からなる画像信号の全領域を、領域１０１は４×４＝１６個の小領域からなる領域１００の一部領域を、領域１０２は領域１００から領域１０１を除いた領域を示している。
【００５８】
ＡＦ評価値算出部５は、メモリ４からの画像信号を図４の領域１００のように小領域に分割するとともに、領域１０１をＡＦ評価領域とする。そして、当該ＡＦ評価領域の画像信号のうち、Ｇ信号のみからなる信号に、例えば、カットオフ周波数が６００ＫＨｚのＨＰＦ処理を施し、ＨＰＦ処理後のＧ信号の積算値の絶対値を算出する。ＡＦ評価値算出部５は、算出値をＡＦ評価値としてＣＰＵ１７へ出力する。
【００５９】
ＣＰＵ１７は、ＡＦ評価値算出部５から出力されたＡＦ評価値に基づき、所謂山登り法により、ＡＦ評価値が最大となるように、図２に示すドライバ２６を介してフォーカスレンズ２２の位置を調整する。これにより、撮像装置１は、ＡＦ評価領域の画像に含まれる被写体にピントが合った画像信号を取得することができる。
【００６０】
*************************************************************************
ＡＥ評価値算出部６の説明
*************************************************************************
ＡＥ評価値算出部６は、ＡＦ評価値算出部５と同様に、メモリ４から出力される画像信号をｎ（ｎは正の整数）個の小領域に分割するとともに、予め設定された位置にあるｍ（ｍ≦ｎ）個の小領域からなる領域をＡＥ評価領域とする。
【００６１】
ＡＥ評価値算出部６は、まず、ｎ（ｎは正の整数）個の各小領域について、各小領域に含まれるＲ、Ｇ及びＢ信号をそれぞれ積算し、算出した積算値に基づいて、下記式（１）により、ｎ個の各小領域の輝度信号を算出する。
【００６２】
Ｙ＝０．２９９Ｒｔ＋０．５８７Ｇｔ＋０．１１４Ｂｔ      （１）
尚、Ｒｔ、Ｇｔ、Ｂｔは各小領域のＲ、Ｇ、Ｂ信号それぞれの積算値を示す。
【００６３】
ＡＥ評価値算出部６は、ＡＥ評価領域に属する各小領域の輝度信号に対して重みｗ１を乗じ、ＡＥ評価領域以外の領域に属する各小領域の輝度信号に対して重みｗ２を乗じる。このようにして重みｗ１又はｗ２が乗じられたｎ個の各小領域の輝度信号の積算値の絶対値を算出し、算出値をＡＥ評価値としてＣＰＵ１７及びＡＷＢ評価値算出部７へ出力する。
【００６４】
図４において、ＡＥ評価値算出部６は、例えば、メモリ４からの画像信号を領域１００のように６４個の小領域に分割するとともに、小領域１６個からなる領域１０１をＡＥ評価領域とする。
【００６５】
ＡＥ評価値算出部６は、領域１００の６４個の各小領域のＲｔ、Ｇｔ、及びＢｔに基づいて上記式（１）により各小領域の輝度信号Ｙを算出する。
【００６６】
次に、ＡＥ評価領域に属する小領域（１６個）の各輝度信号に対して重みｗ１を乗じ、ＡＥ評価領域以外の領域１０２に属する小領域（４８個）の各輝度信号に対して重みｗ２を乗じる。そして、このようにして重みｗ１又はｗ２が乗じられた６４個の輝度信号の積算値の絶対値を算出し、これをＡＥ評価値としてＣＰＵ１７及びＡＷＢ評価値算出部７へ出力する。
【００６７】
ＣＰＵ１７は、ＡＥ評価値算出部６から出力されたＡＥ評価値が所定の目標値に近づくように、ドライバ２６を介して絞り２４、或いはＡＦＥ３における増幅率（ゲイン）を調整する。
【００６８】
ここで、例えば、ＡＥ評価領域の重みｗ１、領域Ｃの重みｗ２を、ｗ１＝１．０、ｗ２＝０．２と設定することにより、ＡＥ評価領域の明るさ（輝度）に重きを置いた調整が為されることとなる。
【００６９】
*************************************************************************
ＡＷＢ評価値算出部７、ＷＢ調整部８の説明
*************************************************************************
ＡＷＢ評価値算出部７は、ＡＦ評価値算出部５或いはＡＥ評価値算出部６と同様に、メモリ４から出力される画像信号を分割してｎ（ｎは正の整数）個の小領域に分割する。そして、各小領域についてＲ、Ｇ及びＢ信号それぞれの積算値Ｒｔ、Ｇｔ及びＢｔを算出し、ＲｔとＧｔとの比、Ｒｔ／Ｇｔ、及びＢｔとＧｔとの比Ｂｔ／Ｇｔを算出する。ＡＷＢ評価値算出部７は、ｎ個の各小領域のＢｔ／Ｇｔ及びＲｔ／Ｇｔ、並びにＡＥ評価値算出部６からのＡＥ評価値に基づいて、各小領域の画像信号がどのような光源下で撮影され取得された画像信号であるかを推定する。
【００７０】
そして、推定されたそれぞれの光源の度数に基づいて、撮影時の光源を決定するとともに、予め設定されているその光源に応じたＲ、Ｇ及びＢ信号それぞれに対するホワイトバランス調整値をＡＷＢ評価値としてＷＢ調整部８へ出力する。
【００７１】
ＡＷＢ評価値算出部７は、また、ｎ個の各小領域について算出したＲ、Ｇ及びＢ信号それぞれの積算値Ｒｔ、Ｇｔ、及びＢｔと各小領域を特定する座標等の情報とを合わせて色情報とし、関連付け処理部１１へ出力する。
【００７２】
図４において、ＡＷＢ評価値算出部８は、例えば、メモリ４からの画像信号を領域１００のように８×８＝６４個の小領域に分割する。
【００７３】
そして、６４個の各小領域について、上述のようにＲｔ／Ｇｔ、及びＢｔ／Ｇｔを算出する。
【００７４】
ＡＷＢ評価値算出部７は、例えば、ＡＥ評価値が所定値以上で、或る小領域において、Ｂｔ／Ｇｔ＝０．６、Ｒｔ／Ｇｔ＝１．２であれば、その小領域からの画像信号は“昼白色蛍光灯”の下で撮影され取得された画像信号であると推定する。
【００７５】
ＡＷＢ評価値算出部７は、推定された光源を基準光源とし、該基準光源の色が所定の色になるような、Ｒ、Ｇ及びＢ信号それぞれに対するホワイトバランス調整のためのホワイトバランス調整値を算出しＷＢ調整部８へ出力する。
【００７６】
また、ＡＷＢ評価値算出部７は、小領域についてのＲｔ、Ｇｔ及びＢｔと当該小領域の座標とを合わせてその小領域の色情報とし、６４個全ての小領域の色情報を関連付け処理部１１へ出力する。
【００７７】
ＷＢ調整部８は、ＡＷＢ評価値算出部７から出力されたホワイトバランス調整値を、メモリ４からの画像信号のＲ、Ｇ、及びＢ信号それぞれに乗算することにより、メモリ４からの画像信号のＲ、Ｇ、及びＢ信号のホワイトバランス調整を行う。そして、ホワイトバランス調整後の画像信号を色同時化処理部９へ出力する。
【００７８】
*************************************************************************
圧縮処理部１０の説明
*************************************************************************
圧縮処理部１０は、色同時化処理部９から出力される画像信号が静止画像に基づくものである場合はＪＰＥＧ方式で、動画像に基づくものである場合にはＭＰＥＧ方式で圧縮処理を行う。
【００７９】
ＪＰＥＧ方式及びＭＰＥＧ方式の画像圧縮アルゴリズムは、画像信号をＹＣｂＣｒ形式の表示用画像信号に変換し、表示用画像信号のデータ容量を小さくするために画像信号から色に関する情報（Ｃｂ、Ｃｒ）の一部を間引いて圧縮処理を行う。このため、ＪＰＥＧ方式及びＭＰＥＧ方式で圧縮された画像信号を伸張して表示用画像信号を生成したとしても、色に関する情報の一部は失われてしまっている。
【００８０】
従って、かかる失われた色に関する情報を補うべく、撮像装置１は、圧縮処理により生成される圧縮画像信号とこの圧縮画像信号が圧縮前及び色同時化前に有していた色情報を関連づけて記録する。
【００８１】
*************************************************************************
関連付け処理部１１の説明
*************************************************************************
関連付け処理部１１は、圧縮処理部１０からの圧縮画像信号とＡＷＢ評価値算出部７からの色情報とを、関連付けてメモリ１２に格納するとともに記録媒体１３に記録する。
【００８２】
関連付け処理部１１は、圧縮画像信号と色情報との関連付け処理の一つとして、例えば、両者を合成して一つの拡張圧縮画像信号を生成する合成処理を採用することができる。
【００８３】
図５（ａ）は、関連付け処理部１１から出力される拡張圧縮画像信号の構成を示している。
【００８４】
図５（ａ）において、拡張圧縮画像信号２００は、ヘッダ情報２０１、圧縮処理部１０から出力される圧縮画像信号２０２、及びＡＷＢ評価値算出部７から出力される色情報２０３から構成されている。
【００８５】
ヘッダ情報２０１には、拡張圧縮画像信号２００のデータ構造に関する情報、圧縮画像信号２０２に関する情報、及び色情報２０３に関する情報等が含まれている。
【００８６】
拡張圧縮画像信号２００のデータ構造に関する情報には、ヘッダ情報２０１、圧縮画像信号２０２、及び色情報２０３それぞれのデータサイズや拡張圧縮画像信号２００内での配置等の情報が含まれる。
【００８７】
圧縮画像信号２０２に関する情報には、圧縮方式、撮影時のＩＳＯ（International Organization for Standardization）感度、焦点距離、ホワイトバランス調整時に基準とした光源情報等からなる撮影条件情報、圧縮前及び色同時化前の画像信号がｎ個の小領域に分割されていること、及びその小領域のサイズ等の情報が含まれている。
【００８８】
色情報２０３に関する情報には、色情報が、ｎ個の小領域に分割された圧縮前及び色同時化前の画像信号における各小領域を特定する情報と各小領域におけるＲ、Ｇ及びＢ信号それぞれの積算値からなること等が含まれている。
【００８９】
メモリ１２には、関連付け処理部１１で生成された拡張圧縮画像信号２００が格納され、記録媒体１３にも拡張圧縮画像信号２００が画像データとして記録される。
【００９０】
*************************************************************************
画像再生処理部１４の全体構成の説明
*************************************************************************
画像再生処理部１４は、ＣＰＵ１７から画像再生を指示する制御信号が入力されると、記録媒体１３に格納されている動画像又は静止画像の拡張圧縮画像信号２００（図５（ａ））の再生を行なう。
【００９１】
図６は、画像再生処理部１４の構成の概略を示すブロック図である。
【００９２】
画像再生処理部１４は、記録媒体１３に格納された拡張圧縮画像信号２００に含まれる圧縮画像信号２０２を伸張して後述の表示用画像信号６０２を生成する伸張処理部３０を備えている。伸張処理部３０は、また、拡張圧縮画像信号２００から後述の拡張表示用画像信号３００を生成して後述のマルチプレクサ３６、特定被写体検出部３１、及び画像切り出し処理部３２へ出力する。尚、伸張処理部３０により伸張される表示用画像信号３０２と圧縮処理前及び色同時化後の画像信号とはデータ形式やデータサイズが異なるが、共に同じ画像を表わすものである。
【００９３】
図５（ｂ）は、伸張処理部３０が出力する拡張表示用画像信号３００のデータ構造を示している。拡張表示用画像信号３００は、ヘッダ情報３０１、伸張処理部３０によって伸張される表示用画像信号３０２、及びＡＷＢ評価値算出部７から出力される色情報２０３から構成されている。ヘッダ情報３０１は、伸張処理部３０によって、図５（ａ）の拡張圧縮画像信号２００のヘッダ情報２０１が適宜更新されたものである。
【００９４】
また、画像再生処理部１４は、伸張処理部３０により伸張された表示用画像信号３０２から特定被写体を含む特定被写体領域を検出する特定被写体検出部３１、特定被写体検出部３１により検出された特定被写体領域を表示用画像信号３０２から切り出して後述の表示用切り出し画像信号４０２を生成するとともに、拡張表示用切り出し画像信号４００を生成し出力する画像切り出し処理部３２を備えている。
【００９５】
図５（ｃ）は、画像切り出し処理部３２から出力される拡張表示用切り出し画像信号４００のデータ構造を示している。拡張表示用切り出し画像信号４００は、ヘッダ情報４０１、画像切り出し処理部３２によって切り出される表示用切り出し画像信号４０２、及びＡＷＢ評価値算出部７から出力される色情報２０３から構成されている。
【００９６】
ヘッダ情報４０１は、図５（ｂ）の拡張表示用画像信号３００のヘッダ情報３０１が適宜更新されたものである。
【００９７】
また、画像再生処理部１４は、表示用切り出し画像信号４０２の明るさ（輝度）を調整する輝度調整部３３、表示用切り出し画像信号４０２のホワイトバランスを調整するＷＢ調整部３４と、表示用切り出し画像信号４０２が画像表示部１５により適切な大きさの画像として表示されるように、表示用切り出し画像信号４０２に拡大処理を施す拡大処理部３５と、伸張処理部３０から出力される拡張表示用画像信号３００、又は画像拡大処理部３５から出力される拡張表示用切り出し画像信号４００のいずれかを選択して画像表示部１５へ出力するマルチプレクサ３６からなる。
【００９８】
*************************************************************************
特定被写体検出部３１の説明
*************************************************************************
特定被写体検出部３１は、拡張表示用画像信号３００のヘッダ情報３０１に含まれる圧縮前及び色同時化前の画像信号の分割領域数および分割後の小領域のサイズを参照し、表示用画像信号３０２を、ＡＦ評価値算出部５、ＡＥ評価値算出部６、又はＡＷＢ評価値算出部７と同様に、ｎ個の小領域に分割する。
【００９９】
特定被写体検出部３１は、表示用画像信号３０２から特定被写体を検出するとともに、特定被写体が含まれる特定被写体領域を複数の小領域からなる矩形領域として設定する。このとき、特定被写体検出部３１は、後述の画像拡大処理部３５による拡大処理の縦方向と横方向の拡大率が等しくなるように、特定被写体領域を設定する。
【０１００】
特定被写体検出部３１は、特定被写体領域を構成する小領域を特定するための情報を後述の画像切り出し処理部３２へ出力する。
【０１０１】
図７は、特定被写体検出部３１による特定被写体の検出及び特定被写体領域の設定を説明するための図である。尚、図７は、表示用画像信号３０２の画像を示しており、更に、特定被写体が特定人物である場合を示している。
【０１０２】
特定被写体検出部３１は、拡張表示用画像信号３００のヘッダ情報３０１に含まれる圧縮前及び色同時化前の画像信号の分割数８×８＝６４個、及び小領域のサイズを参照し、表示用画像信号３０２を、８×８＝６４個の小領域からなる領域５００に分割する。
【０１０３】
特定被写体検出部３１は、領域５００から特定人物５０１の顔部分５０２を検出するとともに、
検出した顔部分５０２の大きさから、その顔の下に続く胴体部分５０３の大きさを推定する。そして、複数の小領域からなる特定人物５０１の領域５０４を設定する。図７では、領域５０４は、特定人物５０１を含む５（縦）×５（横）＝２５個の小領域によって構成される。
【０１０４】
次に、特定被写体検出部３１は、
検出した特定人物５０１の領域５０４が、後述する画像拡大処理部３５による拡大処理の縦方向と横方向の拡大率が等しくなるように、特定人物５０１の領域５０４を含む特定人物領域（特定被写体領域）５０５を設定する。
【０１０５】
尚、図７では、後述の画像拡大処理部３５が、特定人物領域５０５が領域５００と同じサイズとなるように、特定人物領域５０５に拡大処理を施す場合を示している。
【０１０６】
従って、特定人物領域５０５は５×５＝２５個の小領域からなり、８×８＝６４個の小領域からなる領域５００を縦方向及び横方向に均等に縮小した領域となっている。
【０１０７】
特定被写体検出部３１は、特定人物領域５０５を構成する２５個の各小領域を特定する情報として、各小領域の座標を画像切り出し処理部３２に出力する。
【０１０８】
尚、表示用画像信号３０２に含まれる人物の顔部分を検出する手法として様々な手法が知られており、特定被写体検出部３１は何れの手法をも採用可能である。典型的には例えば、図７において、表示用画像信号３０２に設定された着目領域（小領域単位で構成されなくてもよい。）の表示用画像信号と所定の画像サイズ（小領域単位で構成されなくてもよい。）を有する予め登録されている特定人物５０１の顔部分５０２の表示用画像信号とを対比して両表示用画像信号の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否か（着目領域が顔領域であるか否か）を検出する。表示用画像信号３０２において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域内の表示用画像信号と特定人物５０１の顔部分５０２の表示用画像信号とが対比されて、再度、両表示用画像信号の類似度が判定され、同様の検出が行われる。このように、着目領域は、例えば表示用画像信号３０２の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、表示用画像信号３０２を一定割合で縮小し、縮小後の表示用画像信号３０２に対して、同様の顔検出処理を行う。このような処理を繰り返すことにより、表示用画像信号３０２から任意の大きさの顔を検出することができる。
【０１０９】
*************************************************************************
画像切り出し部３２の説明
*************************************************************************
画像切り出し部３２は、特定被写体検出部３１から出力される特定被写体領域を構成する複数の小領域それぞれを特定する情報に基づいて、図５（ｂ）の表示用画像信号３０２から特定被写体領域を切り出し、表示用切り出し画像信号４０２を生成するとともに、ヘッダ情報３０１に特定被写体領域を構成する小領域を特定する情報を加えてヘッダ情報４０１を生成する。そして、ヘッダ情報４０１、表示用切り出し画像信号４０２、及び色情報２０３からなる拡張表示用切り出し画像信号４００を生成し、輝度調整部３３へ出力する。
【０１１０】
図７において、特定被写体検出部３１から、特定被人物領域５０５を構成する１００個の小領域それぞれの座標が出力されると、画像切り出し部３２は、領域５００から、特定人物領域５０５を構成する５×５＝２５個の小領域を切り出し、表示用切り出し画像信号４０２を生成するとともに、ヘッダ情報３０１に表示用切り出し画像信号４０２を構成する２５個の小領域を特定する情報として各小領域の座標を加えてヘッダ情報４０１とする。そして、ヘッダ情報４０１、表示用切り出し画像信号４０２、及び色情報２０３からなる拡張表示用切り出し画像信号４００を生成し、輝度調整部３３へ出力する。
【０１１１】
*************************************************************************
輝度調整部３３の説明
*************************************************************************
上記したように拡張表示用切り出し画像信号４００（図５（ｃ））のヘッダ情報４０１には、表示用切り出し画像信号４０２を構成する各小領域を特定する情報が含まれている。
【０１１２】
また、色情報２０３には、圧縮前及び色同時化前の表示用画像信号３０２の各小領域を特定する情報及び各小領域のＲｔ、Ｇｔ、及びＢｔが含まれている。
【０１１３】
したがって、輝度調整部３３は、表示用切り出し画像信号４０２を構成する各小領域を特定する情報に基づいて、色情報２０３から当該各小領域のＲｔ、Ｇｔ、及びＢｔを抽出する。
【０１１４】
輝度調整部３３は、表示用切り出し画像信号４０２を構成する各小領域について、上記式（１）により、各小領域の輝度信号Ｙを算出する。
【０１１５】
輝度調整部３３は、各小領域の輝度信号Ｙの積算値（総和）を輝度評価値として算出するとともに、当該輝度評価値が所定の目標値に近づくように表示用切り出し画像信号４０２の輝度を画像処理により調整する。
【０１１６】
そして、輝度調整部３３は、算出した輝度評価値、及び輝度調整後の表示用切り出し画像信号４０２を含む拡張表示用切り出し画像信号４００をＷＢ調整部３４へ出力する。
【０１１７】
*************************************************************************
ＷＢ調整部３４、画像拡大処理部３５の説明
*************************************************************************
ＷＢ調整部３４は、輝度調整部３３からの輝度調整処理が施された表示用切り出し画像信号４０２に対してホワイトバランス調整を行う。
【０１１８】
ＷＢ調整部３４は、輝度調整部３３と同様に、表示用切り出し画像信号４０２を構成する各小領域のＲｔ、Ｇｔ、及びＢｔを色情報２０３から抽出するとともに、Ｒｔ／Ｇｔ、及びＢｔ／Ｇｔを算出する。
【０１１９】
そして、ＷＢ調整部３４は、各小領域のＢｔ／Ｇｔ及びＲｔ／Ｇｔ、並びに輝度調整部３３から出力される輝度評価値に基づいて、各小領域がどのような光源下で撮影されたかを推定するとともに、推定された光源の度数に基づいて、表示用切り出し画像信号４０２の光源を決定する。
【０１２０】
そして、ＷＢ調整部３４は、予め設定されているこの光源に応じたＲ、Ｇ、及びＢ信号それぞれに対するホワイトバランス調整値を表示用切り出し画像信号４０２のＲ、Ｇ、及びＢ信号それぞれに乗算することにより、表示用切り出し画像信号４０２のホワイトバランス調整を行う。
【０１２１】
ＷＢ調整部３４は、ホワイトバランス調整後の表示用切り出し画像信号４０２を含む拡張表示用切り出し画像信号４００を画像拡大処理部３５へ出力する。
【０１２２】
画像拡大処理部３５は、ＷＢ調整部３４からの表示用切り出し画像信号４０２に対して、例えば、ＮＴＳＣフォーマット等の所定のフォーマットに適合するように拡大処理を施し、拡大処理が施された表示用切り出し画像信号４０２を含む拡張表示用切り出し画像信号４００をマルチプレクサ３６へ出力する。
【０１２３】
*************************************************************************
マルチプレクサ３６、画像表示部１５の説明
*************************************************************************
マルチプレクサ３６は、ＣＰＵ１６からの切り出し画像再生を指示する制御信号、又は全体画像再生を指示する制御信号の入力に応じて、輝度調整、ホワイトバランス調整、及び拡大処理が為された拡張表示用切り出し画像信号４００又は、拡張表示用画像信号３００のいずれかを選択し、画像表示部１５へ出力する。
【０１２４】
画像表示部１５はマルチプレクサ３６から出力される輝度調整、ホワイトバランス調整、及び拡大処理が為された拡張表示用切り出し画像信号４００、又は拡張表示用画像信号３００から、表示用切り出し画像信号４０２、又は表示用画像信号３０２を抽出して表示する。
【０１２５】
*************************************************************************
撮像装置１の撮影モード及び再生モードにおける全体動作の説明
*************************************************************************
撮像装置１は、撮影モードと再生モードの２つの動作モードを備えている。撮像装置１の動作モードが撮影モードであって、操作部１６からユーザにより動画像又は静止画像の画像記録操作（録画操作）がなされていない場合（プレビューモード）、撮像装置１は、撮像部２からフレーム周期でプレビュー画像用の画像信号を出力するとともに、図１の各ブロックで必要な処理を施し、色同時化処理部９から出力するプレビュー画像用の画像信号に基づくプレビュー画像を画像表示部１５に表示する。このとき、プレビュー画像用の画像信号は記録媒体１３には記録されない。
【０１２６】
撮像装置１は、撮影モードで操作部１６からユーザにより動画像の録画操作が為されると、撮像部２からフレーム周期で動画像記録用の画像信号を出力するとともに、図１の各ブロックで必要な処理を施して拡張圧縮画像信号２００を生成し、順次、記録媒体１３に記録する。また、色同時化処理部９から出力する動画像記録用の画像信号に基づく動画像を画像表示部１５に表示する。
【０１２７】
撮像装置１は、撮影モードで静止画像の録画操作が為されると、撮像部２から静止画像記録用の画像信号を出力するとともに、図１の各ブロックで必要な処理を施し、拡張圧縮画像信号２００を生成するとともに記録媒体１３に記録する。また、色同時化処理部９から出力する静止画象記録用の画像信号に基づく静止画像を表示部１５に表示する。
【０１２８】
撮像装置１は、再生モードで操作部１６から動画像又は静止画像の全体領域の再生操作が為されると、記録媒体１３に格納されている圧縮画像信号２０２（図５（ａ））を伸張処理部３０により伸張して表示用画像信号３０２とし、これに基づく画像を画像表示部１５に表示する。尚、動画像又は静止画像の全体領域については、撮影時に輝度調整及びホワイトバランス調整が為されている。
【０１２９】
一方、操作部１６から特定被写体領域の再生操作が為されると、撮像装置１は、拡張表示用切り出し画像信号４００の色情報２０３に基づいて、表示用切り出し画像信号４０２に対して輝度調整及びホワイトバランス調整を行い、これに基づく画像を画像表示部１５に表示する。
【０１３０】
*************************************************************************
撮影動作のフローチャート
*************************************************************************
次に、操作部１６（図１）から動画像又は静止画像の画像記録操作が為された場合の撮像装置１の動作について説明する。図８は、撮像装置１が記録動作を行うときの一連の処理の流れを示すフローチャートである。
【０１３１】
ステップＳ１００では、ユーザから操作部１６に対して電源オン及び撮影モードの設定操作が為されると、撮像装置１は、起動するとともに撮影待機状態（プレビューモード）となる。
【０１３２】
ステップＳ１０１では、撮像装置１は、撮像部２からフレーム周期でプレビュー画像用の画像信号を取得し、ＡＦＥ３を経てメモリ４に格納する。
【０１３３】
ステップＳ１０２では、ＡＦ評価値算出部５及びＡＥ評価値算出部６それぞれが、メモリ４に格納された画像信号からＡＦ評価値、ＡＥ評価値を算出しＣＰＵ１７へ出力する。ＣＰＵ１７は、ＡＦ評価値及びＡＥ評価値に基づいて、撮像部２を調整する。
【０１３４】
ＡＷＢ評価値算出部７は、メモリ４に格納された画像信号をｎ個の小領域に分割し、各小領域におけるＲ、Ｇ及びＢ信号それぞれの積算値Ｒｔ、Ｇｔ、及びＢｔを算出する。そして、各小領域のＲｔ、Ｇｔ、及びＢｔ、並びにＡＥ評価値に基づいて各小領域の光源を推定し、推定された光源のうち度数の最も多い光源を画像信号全体の光源とする。そして、予め設定されているこの光源に対するホワイトバランス調整値をＷＢ調整部８へ出力する。ＷＢ調整部８は、ＡＷＢ評価値算出部７から出力されるホワイトバランス調整値に基づいて、メモリ４からの画像信号にホワイトバランス調整処理を施す。
【０１３５】
ステップＳ１０３では、色同時化処理部９が、色補間処理により撮像素子２５（図２）の各受光画素が出力するＲ、Ｇ、及びＢ信号を生成し、圧縮処理部１０へ出力する。
【０１３６】
ステップ１０４では、画像表示部１５が、色同時化処理部９から出力される画像信号に基づく画像を表示する。
【０１３７】
ステップＳ１０５では、ＣＰＵ１７が、操作部１６から画像記録操作が為されたか否かを判断し、画像記録操作が為されたと判断すると、撮像装置１は、プレビューモードから画像記録モードへ移行し、ステップＳ１０６へ進む。画像記録操作が為されていないと判断すると、撮像装置１は、ステップＳ１０１へ戻り、プレビューモードを継続する。
【０１３８】
ステップＳ１０６では、撮像装置１は、撮像部２からフレーム周期で記録用画像信号を取得し、ＡＦＥ３を経てメモリ４に格納する。
【０１３９】
ステップＳ１０７では、ＣＰＵ１７が、ステップＳ１０２と同様に、ＡＦ評価値及びＡＥ評価値に基づいて、撮像部２及を調整する。
【０１４０】
また、ＡＷＢ評価値算出部７が、ステップＳ１０２と同様に、ホワイトバランス調整値を導出しＷＢ調整部８へ出力する。
【０１４１】
ＷＢ調整部８は、ＡＷＢ評価値算出部７から出力されるホワイトバランス調整値に基づいて、メモリ４からの画像信号にホワイトバランス処理を施す。
【０１４２】
ＡＷＢ評価値算出部７は、更に、画像信号のｎ個の各小領域におけるＲ、Ｇ及びＢ信号それぞれの積算値Ｒｔ、Ｇｔ、及びＢｔと各小領域を特定する情報とを併せて色情報とし、関連付け処理部１１へ出力する。
【０１４３】
ステップＳ１０８では、色同時化処理部９が、色補間処理により撮像素子２５（図２）の各受光画素が出力するＲ、Ｇ、及びＢ信号を生成し、圧縮処理部１０へ出力する。
【０１４４】
圧縮処理部１０は、色同時化処理部９から出力される画像信号のデータ形式を変更して表示用画像信号を生成する。そして、当該表示用画像信号に圧縮処理を施すことにより圧縮画像信号を生成し、関連付け処理部１１へ出力する。
【０１４５】
ステップＳ１０９では、関連付け処理部１１が、圧縮画像信号とＡＷＢ評価値算出部７からの色情報とを合成して拡張圧縮画像信号２００（図５（ａ））を生成し、メモリ１２へ格納するとともに記録媒体１３にも記録する。
【０１４６】
ステップＳ１１０では、ＣＰＵ１７が、操作部１６から画像記録終了操作（録画終了操作）がなされたかどうかを判断し、画像記録終了操作が為されたと判断すると、撮像装置１は、画像記録モードからプレビューモードへ移行し、ステップＳ１１１へ進む。画像記録終了操作が為されていないと判断すると、ステップＳ１０６へ戻り、画像記録モードを継続する。
【０１４７】
ステップＳ１１１では、ＣＰＵ１７が、操作部１６から撮影モードの終了操作が為されたかどうかを判断し、終了操作が為された場合には、撮影を終了し、一連の処理を終了する。終了操作が為されていない場合にはステップＳ１０１へ戻り、プレビューモードを継続する。
【０１４８】
*************************************************************************
再生動作のフローチャート
*************************************************************************
次に、操作部１６（図１）から動画像又は静止画像の画像再生操作が為された場合の撮像装置１の動作について説明する。図９は、撮像装置１が画像再生動作を行うときの一連の処理の流れを示すフローチャートである。
【０１４９】
ステップＳ２００では、操作部１６に対して電源オン及び再生モードの設定操作が為されると、撮像装置４０は、起動するとともに再生待機状態となる。
【０１５０】
ステップＳ２０１では、ＣＰＵ１７が、操作部１６から画像再生操作が為されたかどうかを判断し、画像再生操作が為されたと判断すると、ステップＳ２０２へ進み、画像再生操作が為されていないと判断すると、再生待機状態を継続する。
【０１５１】
ステップＳ２０２では、撮像装置１は、記録媒体１３に記録されている画像データ（拡張圧縮画像信号２００（図５（ａ）））をメモリ１２へ読み込む。
【０１５２】
ステップＳ２０３では、伸張処理部３０（図６）が、メモリ１２に読み込まれた拡張圧縮画像信号２００に伸張処理を施し拡張表示用画像信号３００（図５（ｂ））を生成し、マルチプレクサ３６、特定被写体検出部３１及び画像切り出し処理部３２へ出力する。
【０１５３】
ステップＳ２０４では、ＣＰＵ１７が、操作部１６から特定被写体領域を再生する操作が為されたかどうかを判断し、特定被写体領域を再生する操作が為されたと判断すると、ステップＳ２０６へ進み、特定被写体領域を再生する操作が為されていない、即ち、全体領域を再生する操作が為されていると判断すると、ステップＳ２０５へ進む。
【０１５４】
ステップＳ２０６では、画像切り出し処理部３２が、特定被写体検出部３１から出力される特定被写体領域を特定する情報に基づいて、特定被写体領域を切り出し、拡張表示用切り出し画像信号４００を生成し、輝度調整部３３に出力する。
【０１５５】
ステップＳ２０６では、輝度調整部３３が、画像切り出し処理部３２から出力される拡張表示用切り出し画像信号４００に含まれる色情報２０３に基づいて、表示用切り出し画像信号４０２に輝度調整を施し、輝度調整が施された表示用切り出し画像信号４０２を含む拡張表示用切り出し画像信号４００をＷＢ調整部３４へ出力する。
【０１５６】
ＷＢ調整部３４は、輝度調整部３３から出力される拡張表示用切り出し画像信号４００に含まれる色情報２０３に基づいて、表示用切り出し画像信号４０２のホワイトバランス調整を行い、ホワイトバランス調整が施された表示用切り出し画像信号４０２を含む拡張表示用切り出し画像信号４００を画像拡大処理部３５へ出力する。
【０１５７】
ステップＳ２０８では、拡大処理部３５が、ＷＢ調整部３５から出力される拡張表示用切り出し画像信号４００に含まれる表示用切り出し画像信号４０２に対し、例えば、ＮＴＳＣフォーマット等の所定のフォーマットに適合するように拡大処理を施し、マルチプレクサ３６へ出力する。
【０１５８】
マルチプレクサ３６は、画像拡大処理部３５から出力される拡張表示用切り出し画像信号４００を選択し、画像表示部１５へ出力する。
【０１５９】
画像表示部１５は、拡張表示用切り出し画像信号４００から拡大された表示用切り出し画像信号４０２を抽出し、これに対応する画像を表示する。
【０１６０】
ステップＳ２０５では、マルチプレクサ３６は、伸張処理部３０から出力される拡張表示用画像信号３００を選択し、画像表示部１５へ出力する。
【０１６１】
画像表示部１５は、拡張表示用画像信号３００から表示用画像信号３０２を抽出し、これに対応する画像を表示する。
【０１６２】
ステップＳ２０９では、ＣＰＵ１７が、操作部１６から再生終了操作が為されたかどうかを判断し、再生終了操作が為されたと判断すると、ステップＳ２１０へ進み、再生終了操作が為されていないと判断すると、ステップＳ２０２へ戻り再生モードを継続する。
【０１６３】
ステップＳ２１０では、ＣＰＵ１７が、操作部１６から再生モードの終了操作が為されたかどうかを判断し、終了操作が為されたと判断すると、一連の処理を終了する。終了操作が為されていないと判断するとステップＳ２１１へ進む。
【０１６４】
ステップＳ２１１では、操作部１６から次の画像データ（拡張圧縮画像信号２００（図５（ａ）））が指定されると、撮像装置１は、指定された画像データを再生するべくステップＳ２０２へ戻る。
【０１６５】
以上に述べたように、撮像装置１は、撮影時にメモリ４から出力される画像信号から色情報を抽出する。そしてこの色情報とこの色情報が抽出された画像信号の圧縮画像信号を併せて拡張圧縮画像信号２００として記録媒体に記録する。
【０１６６】
撮像装置１は、記録媒体に記録された拡張圧縮画像信号２００に含まれる圧縮画像信号２０２を伸張して表示用画像信号３０２を生成し、その全体領域の画像を再生表示する他、表示用画像信号３０２から特定被写体領域のみを切り出して表示用切り出し画像信号４０２を生成し、その画像、即ち特定被写体領域の画像を再生表示することができる。
【０１６７】
この場合、撮像装置１は、予め記録していた色情報のうちの特定被写体領域の色情報に基づいて、特定被写体領域の画像に対し輝度調整、及びホワイトバランス調整を行うことができる。
【０１６８】
これにより、撮像装置１は、全体領域の画像に対する輝度調整及びホワイトバランス調整から独立して、特定被写体領域の画像に対して輝度調整及びホワイトバランス調整を行うことができる。
【０１６９】
*************************************************************************
変形例
*************************************************************************
上記の第１実施形態では、メモリ４から出力される画像信号におけるｎ個の各小領域について算出したＲ、Ｇ及びＢ信号それぞれの積算値Ｒｔ、Ｇｔ、及びＢｔと各小領域を特定する情報とを合わせたものを色情報としているが、これに限られるものではない。
【０１７０】
例えば、Ｒｔ、Ｇｔ、及びＢｔに基づいて上記式（１）から算出したｎ個の各領域の輝度値、各小領域を特定する情報を合わせたものなどを色情報としてもよい。
【０１７１】
また、上記の第１実施形態では、メモリ４から出力される画像信号をｎ（ｎは正の整数）個の小領域に分割している。分割領域数ｎを大きくすると色情報のデータサイズが大きくなるため、メモリ１２や記録媒体１３の容量を大きくしなければならない。しかしながら、分割領域数ｎを大きくすると小領域のサイズが小さくなるため、輝度調整部３４は、重みを置く領域を設定して輝度調整を行なう場合には、より細かくその領域を設定できるため、精度よく切り出し画像の輝度調整を行なうことができる。
【０１７２】
また、ＷＢ調整部３４は、精度よく切り出し画像信号の光源を決定することができるため精度よく切り出し画像のホワイトバランス調整を行なうことができる。
【０１７３】
従って、撮像装置１では、表示用切り出し画像信号に基づく切り出し画像に要求される画質等に応じて、分割領域数ｎを可変とすることとしてもよい。
【０１７４】
また、上記の第１実施形態では、関連付け処理の一つとして、圧縮処理部１０から出力される圧縮画像信号とＡＷＢ評価値算出部７から出力される色情報との合成処理を採用しているが、これに限られるものではない。
【０１７５】
例えば、圧縮画像信号のヘッダ領域とこれに対応する色情報色情報のヘッダ領域に互いに関連することを示す関連付け情報を加えることとしてもよい。このようにすることで、圧縮画像信号と色情報とが、メモリ１２或いは記録媒体１３の異なる領域に別々に格納或いは記録されたとしても、一方から他方を検出することができる。
【０１７６】
また、上記の第１実施形態では、特定被写体検出部３１は、特定被写体領域を矩形領域として設定しているが、これに限られず、円形や楕円形として設定することとしてもよい。
【０１７７】
*************************************************************************
第２実施形態
*************************************************************************
＜第２実施形態＞
次に、本発明の第２実施形態について、図面を参照して説明する。
【０１７８】
*************************************************************************
全体構成の説明
*************************************************************************
図１０は、本発明の第２実施形態に係る撮像装置４０の内部構成の概略を示すブロック図である。
【０１７９】
図１０において、図１と同一の番号を付している部位は、第１実施形態の場合と同一の機能を有し、同一の動作を行なう部位である。従って、その機能及び動作の説明は省略する。
【０１８０】
図１０において、撮像装置４０は、撮像部２、ＡＦＥ３、メモリ４、ＡＦ評価値算出部５、ＡＥ評価値算出部６、ＷＢ調整部８、色同時化処理部９、圧縮処理部１０、メモリ１２、記録媒体１３、画像表示部１５、操作部１６、及びＣＰＵ１７を備えている。
【０１８１】
撮像装置４０は、第１実施形態におけるＡＷＢ評価値算出部７と同一の機能を有し、ほぼ同一の動作を行うＡＷＢ評価値算出部４１を備えている。動作の相違点は、ＡＷＢ評価値算出部４１が、ｎ個の各小領域についての色情報を、後述の関連付け処理部４３へ出力しない点である。
【０１８２】
撮像装置４０は、メモリ４からの画像信号（以下、全画像信号と記載する。）から特定被写体領域を切り出すとともに、切り出した画像信号（以下、切り出し画像信号と記載する。）に対し、輝度調整処理、ホワイトバランス調整処理、色同時化処理、及び圧縮処理を施す特定被写体切り出し部４２を備えている。
【０１８３】
特定被写体切り出し部４２は、圧縮した切り出し画像信号（以下、圧縮切り出し画像信号と記載する。）を後述の関連付け処理部４３へ出力する。
【０１８４】
撮像装置４０は、圧縮処理部１０から出力される全画像信号の圧縮画像信号（以下、圧縮全画像信号と記載する。）と特定被写体切り出し部４２から出力される圧縮切り出し画像信号とを関連付けてメモリ１２に格納する関連付け処理部４３を備えている。関連付け処理部４３により関連付け処理が施された圧縮全画像信号と圧縮切り出し画像信号とはメモリ１２を介して記録媒体１３に記録される。
【０１８５】
撮像装置４０は、記録媒体１３から圧縮全画像信号又は圧縮切り出し画像信号を読み出し、伸張処理等を施して表示用の全画像信号（以下、表示用全画像信号と記載する。）又は表示用の切り出し画像信号（以下、表示用切り出し画像信号と記載する。）を生成し、画像表示部１５へ出力する画像再生処理部４４を備えている。
【０１８６】
*************************************************************************
特定被写体切り出し部４２の説明
*************************************************************************
図１１は、特定被写体切り出し部４２の内部構成の概略を示すブロック図である。
特定被写体切り出し部４２は、メモリ４からの全画像信号から特定被写体を検出するとともに特定被写体を含む特定被写体領域を設定し、その位置情報を出力する特定被写体検出部５０、特定被写体検出部５０から出力される特定被写体領域の位置情報に基づいて、メモリ４からの全画像信号から特定被写体領域を切り出し、切り出し画像信号を生成する画像切り出し処理部５１、画像切り出し処理部５１から出力される切り出し画像信号に輝度調整処理を施す輝度調整部５２、輝度調整部５２から出力される切り出し画像信号にホワイトバランス調整処理を施すＷＢ調整部５３、ＷＢ調整部５３から出力される切り出し画像信号に色補間による色同時化処理を施す色同時化処理部５４、及び色同時化処理部５４から出力される切り出し画像信号に圧縮処理を施し、圧縮切り出し画像信号を生成する圧縮処理部５５を備えている。
*************************************************************************
特定被写体検出部５０の説明
*************************************************************************
特定被写体検出部５０は、メモリ４からの全画像信号から特定被写体を検出するとともに、特定被写体が含まれる所定サイズの特定被写体領域を矩形領域として設定する。このとき、特定被写体検出部５０は、後述の画像拡大処理部６５による拡大処理の縦方向と横方向の拡大率が等しくなるように、特定被写体領域を設定する。
【０１８７】
そして、特定被写体検出部５０は、設定した特定被写体領域の位置情報を後述の画像切り出し処理部５１へ出力する。
【０１８８】
図１２は、特定被写体検出部５０による特定被写体の検出、及び特定被写体領域の設定を説明するための図である。尚、図１２は、メモリ４からの全画像信号の画像を示しており、更に、特定被写体が特定人物である場合を示している。
【０１８９】
特定被写体検出部５０は、全画像信号の領域６００から特定人物６０１の顔部分６０２を検出するとともに、検出した顔部分６０２の大きさから、その顔の下に続く胴体部分６０３の大きさを推定する。そして、特定人物６０１の領域６０４を設定する。  次に、特定被写体検出部５０は、検出した特定人物６０１の領域６０４が、後述する画像拡大処理部６５による拡大処理における縦方向と横方向の拡大率が等しくなるように、特定人物６０１の領域６０４を含む特定人物領域（特定被写体領域）６０５を設定する。
【０１９０】
尚、図１２では、後述の画像拡大処理部６５が、特定人物領域６０５が全画像信号の領域６００と同じサイズとなるように、特定人物領域６０５に拡大処理を行う場合を示している。
【０１９１】
従って、特定人物領域６０５は、全画像信号の領域６００を縦方向及び横方向に均等に縮小した領域となっている。
【０１９２】
特定被写体検出部５０は、特定人物領域６０５の位置情報として、例えば、特定人物領域６０５の４つの頂点の座標を画像切り出し処理部５１に出力する。
【０１９３】
尚、全画像信号６００に含まれる人物の顔部分を検出する手法としては第１実施形態の特定被写体検出部３１により用いられる手法を採用することができる。
【０１９４】
*************************************************************************
画像切り出し処理部５１の説明
*************************************************************************
画像切り出し処理部５１は、特定被写体検出部５０から出力される特定被写体領域の位置情報に基づいて、メモリ４からの全画像信号から特定被写体領域を切り出し、切り出し画像信号を生成する。
【０１９５】
図１２において、画像切り出し処理部５１は、特定被写体検出部５０から出力される特定人物領域６０５の４つの頂点の座標に基づいて、特定人物領域６０５を切り出し、切り出し画像信号として輝度調整部５２へ出力する。
【０１９６】
尚、以下では、特定人物領域６０５を切り出し画像信号６０５と記載する。
【０１９７】
*************************************************************************
輝度調整部５２の説明
*************************************************************************
輝度調整部５２は、第１実施形態のＡＥ評価値算出部６と同様の処理により、切り出し画像信号をｐ個（ｐは正の整数）の微小領域に分割する。そして、予め設定された位置にあるｑ（ｑ≦ｐ）個の微小領域からなる領域を輝度評価領域とする。
【０１９８】
輝度調整部５２は、ｐ個の各微小領域について輝度信号を算出するとともに、輝度評価領域に属する各微小領域の輝度信号に対して重みｗ３を乗じ、輝度評価領域以外の領域に属する各微小領域の輝度信号に対して重みｗ４を乗じる。
【０１９９】
このようにして重みｗ３又はｗ４が乗じられたｐ個の微小領域の輝度信号の積算値の絶対値を輝度評価値として算出する。
【０２００】
輝度調整部５２は、算出した輝度評価値が所定の目標値となるように、切り出し画像信号に輝度調整処理を施すとともに、ＷＢ調整部５３に出力する。
【０２０１】
図１３は、図１２の全画像信号の領域６００から画像切り出し処理部５１によって切り出された切り出し画像信号６０５（特定人物領域６０５）を示す図である。
【０２０２】
図１３において、輝度調整部５２は、切り出し画像信号６０５を８×８＝６４個の微小領域に分割するとともに、微小領域８（縦）×３（横）＝２４個からなる領域６０６を輝度評価領域とする。
【０２０３】
輝度調整部５２は、６４個の各微小領域について輝度信号Ｙを算出する。
【０２０４】
次に、輝度評価領域に属する微小領域（２４個）の輝度信号に対して重みｗ３を乗じ、輝度評価領域以外の領域に属する各小領域（４０個）の輝度信号に対して重みｗ４を乗じる。そして、このようにして重みｗ３又はｗ４が乗じられた６４個の輝度信号の積算値の絶対値を算出し、これを輝度評価値とする。
【０２０５】
輝度調整部５２は、輝度評価値が所定の目標値に近づくように、切り出し画像信号の輝度を調整するとともに輝度評価値をＷＢ調整部５３に出力する。
【０２０６】
*************************************************************************
ＷＢ調整部５３の説明
*************************************************************************
ＷＢ調整部５３は、輝度調整部５２と同様に、切り出し画像信号をｐ個（ｐは正の整数）の微小領域に分割する。
【０２０７】
そして、第１実施形態におけるＡＷＢ評価値算出部７と同様の処理により、各微小領域毎にＲ、Ｇ及びＢ信号それぞれの積算値Ｒｓ、Ｇｓ及びＢｓを算出する。そして、ＲｓとＧｓとの比、Ｒｓ／Ｇｓ、及びＢｓとＧｓとの比、Ｂｓ／Ｇｓを算出する。ＷＢ調整部５３は、ｐ個の各微小領域のＢｓ／Ｇｓ及びＲｓ／Ｇｓ、並びに輝度調整部５３からの輝度評価値に基づいて、各微小領域の画像信号がどのような光源下で撮影され取得された画像信号であるかを推定する。
【０２０８】
そして、推定された光源の度数に基づいて、撮影時の光源を決定するとともに、予め設定されているその光源に応じたＲ、Ｇ及びＢ信号それぞれに対するホワイトバランス調整値を導出する。
【０２０９】
・  ＷＢ調整部５３は、切り出し画像信号のＲ、Ｇ、及びＢ信号それぞれにホワイトバランス調整値を乗算し、乗算後の切り出し画像信号を色同時化処理部５４へ出力する。
【０２１０】
図１３において、ＷＢ調整部５３は、例えば、切り出し画像信号６０５を８×８＝６４個の微小領域に分割するとともに、Ｒｓ／Ｇｓ、及びＢｓ／Ｇｓを算出する。
【０２１１】
ＷＢ調整部５３は、算出したＲｓ／Ｇｓ、Ｂｓ／Ｇｓ、及び輝度評価値に基づいて各微小領域の光源を推定し、推定された光源のうち最も度数の多い光源を切り出し画像信号６０５の光源とする。
【０２１２】
ＷＢ調整部５３は、決定した光源について予め設定されているＲ、Ｇ、及びＢ信号それぞれに対するホワイトバランス調整値を、切り出し画像信号６０５のＲ、Ｇ、及びＢ信号それぞれに乗算し、乗算後の切り出し画像信号６０５を色同時化処理部５４へ出力する。
尚、切り出し画像信号の分割領域数ｐ個と第１実施形態のＡＥ評価値算出部６における全画像信号の分割領域数ｎ個とは等しくても構わず、輝度評価領域の分割領域数ｑ個と第１実施形態のＡＥ評価値算出部６におけるＡＥ評価領域の分割領域数ｍ個とは等しくても構わない。そして、全画像信号の分割領域である小領域と切り出し画像信号の分割領域である微小領域とはその大きさが等しくても構わない。
【０２１３】
分割領域数ｐを大きくすると微小領域のサイズが小さくなるため、輝度調整部５２は、より細かく輝度評価領域を設定できるため、精度よく切り出し画像信号の輝度調整を行なうことができる。
【０２１４】
また、ＷＢ調整部５３は、精度よく切り出し画像信号の光源を決定することができるため、精度よくホワイトバランス調整を行なうことができる。
【０２１５】
従って、撮像装置４０では、切り出し画像信号に基づく切り出し画像に要求される画質等に応じて、分割領域数ｐを可変とすることとしてもよい。
【０２１６】
*************************************************************************
色同時化処理部５４、圧縮処理部５５の説明
*************************************************************************
色同時化処理部５４は、第１実施形態における色同時化処理部９と同様の処理により、ＷＢ調整部５３から出力される切り出し画像信号に色同時化処理を施し、圧縮処理部５５へ出力する。
【０２１７】
圧縮処理部５５は、第１実施形態における圧縮処理部１０と同様の処理により、色同時化処理が施された切り出し画像信号に圧縮処理を施すことにより、圧縮切り出し画像信号を生成し関連付け処理部４３へ出力する。
【０２１８】
*************************************************************************
関連付け処理部４３の説明
*************************************************************************
関連付け処理部４３は、圧縮処理部１０から出力される圧縮全画像信号と特定被写体切り出し部４２から出力される圧縮切り出し画像信号とを、関連付けてメモリ１２に格納するとともに、記録媒体１３に記録する。
【０２１９】
関連付け処理部４３は、関連付け処理として、例えば、圧縮全画像信号と圧縮切り出し画像信号とを合成して一つにする合成処理、或いは、圧縮全画像信号と圧縮切り出し画像信号とが互いに関連することを示す関連付け情報を両者に加える処理等を採用することができる。
【０２２０】
尚、互いに関連付けられる圧縮全画像信号と圧縮切り出し画像信号との間には、圧縮切り出し画像信号に基づく切り出し画像信号が圧縮全画像信号に基づく全画像信号から切り出されたものである、という関係が存在する。
【０２２１】
*************************************************************************
画像再生処理部４４の全体構成の説明
*************************************************************************
上述したように、圧縮切り出し画像信号と圧縮全画像信号が、互いに関連付けられて記録媒体１３に記録されている。
【０２２２】
撮像装置４０のユーザは、操作部１６への操作により、切り出し画像信号の画像（以下、切り出し画像と記載する。）、又は全画像信号の画像（以下、全画像と記載する。）を選択して再生することができる。
【０２２３】
画像再生処理部４４は、ＣＰＵ１７から全画像又は切り出し画像の再生を指示する制御信号が入力されると、記録媒体１３に格納されている動画像又は静止画像の圧縮全画像信号又は圧縮切り出し画像信号に伸張処理等を施して再生する。
【０２２４】
図１４は、画像再生処理部４４の構成の概略を示すブロック図である。
【０２２５】
画像再生処理部４４は、記録媒体１３からメモリ１２を経て圧縮全画像信号又は圧縮切り出し画像信号のいずれかを選択して出力する画像選択処理部６１、画像選択処理部６１から圧縮全画像信号が出力される場合に圧縮全画像信号に伸張処理を施し、表示用全画像信号を生成する伸張処理部６２、画像選択処理部６１から圧縮切り出し画像信号が出力される場合に圧縮切り出し画像信号に伸張処理を施し、表示用切り出し画像信号を生成する伸張処理部６３、伸張処理部６３から出力される表示用切り出し画像信号に対し、例えば、ＮＴＳＣフォーマット等の表示形式に適合するように拡大処理を施す拡大処理部６４、及び伸張処理部６２から出力される表示用全画像信号、又は拡大処理部６４から出力される拡大された表示用切り出し画像信号のいずれかを選択し出力するマルチプレクサ６５を備えている。
【０２２６】
*************************************************************************
画像選択処理部６１の説明
*************************************************************************
画像選択処理部６１は、操作部１６を介してＣＰＵ１７から全画像の再生指示を受けると、メモリ１２を介して記録媒体１３に記録されている圧縮全画像信号を読み出し、伸張処理部６２へ出力する。
【０２２７】
操作部１６を介してＣＰＵ１７から切り出し画像の再生指示を受けると、メモリ１２を介して記録媒体１３に記録されている圧縮切り出し画像信号を読み出し、伸張処理部６３へ出力する。
【０２２８】
画像選択処理部６１は、メモリ１２より圧縮全画像信号を順次読み出して伸張処理部６２に出力している間に、切り出し画像の再生指示を受けると、その圧縮全画像信号に関連付けられている圧縮切り出し画像信号の読み出しに切り替えるとともに、読み出した圧縮切り出し画像信号を伸張処理部６３へ出力する。尚、逆の場合も同様である。
【０２２９】
関連付け処理部４３による関連付け処理が、圧縮全画像信号と圧縮切り出し画像信号とを合成し圧縮画像信号を生成する処理の場合は、画像処理選択部６１は、ＣＰＵ１７からの指示に従って、合成された圧縮画像信号からいずれかを選択して出力する。
【０２３０】
関連付け処理が、圧縮全画像信号と圧縮切り出し画像信号に共通の関連付け情報を付け加える処理の場合、例えば、全画像の再生中に切り出し画像の再生指示を受けると、画像選択処理部６１は、圧縮全画像信号に加えられた関連付け情報と同じ関連付け情報をもつ圧縮切り出し画像信号を記録媒体１３から読み出し、伸張処理部６３へ出力する。
【０２３１】
*************************************************************************
マルチプレクサ６５の説明
*************************************************************************
マルチプレクサ６５は、操作部１６を介してＣＰＵ１７から全画像の再生指示を受けると、伸張処理部６２から出力される表示用全画像信号を出力する。
【０２３２】
一方、切り出し画像の指示をうけると、拡大処理部６４から出力される拡大された表示用切り出し画像信号を出力する。
【０２３３】
*************************************************************************
撮像装置４０の撮影モード及び再生モードにおける全体動作の説明
*************************************************************************
撮像装置４０は、第１実施形態の撮像装置１と同様に、撮影モードと再生モードの２つの動作モードを備えている。撮像装置４０の動作モードが撮影モードであって、操作部１６から動画像又は静止画像の画像記録操作が為されていない場合（プレビューモード）、撮像装置４０は、撮像部２からフレーム周期でプレビュー画像用の全画像信号を出力するとともに、図１０の各ブロックで必要な処理を施し、色同時化処理部９から出力するプレビュー画像用の全画像信号に基づくプレビュー画像を画像表示部１５に表示する。
【０２３４】
尚、プレビューモードでは、撮像装置４０は、プレビュー画像用の全画像信号の記録媒体１３への記録は行なわない。メモリ４から出力されるプレビュー画像用の全画像信号に対し、特定被写体切り出し部４２による特定被写体領域の切り出し処理も行なわない。
【０２３５】
撮像装置４０は、撮影モードで操作部１６からユーザにより動画像の録画操作が為されると、撮像部２からフレーム周期で動画像記録用の全画像信号を出力するとともに、図１０の各ブロックで必要な処理を施して圧縮全画像信号を生成し、順次、記録媒体１３に記録する。このとき、色同時化処理部９から出力する動画像記録用全画像信号に基づく動画像を画像表示部１５に表示する。
【０２３６】
また、撮像装置４０は、特定被写体切り出し部４２により、全画像信号から特定被写体領域を切り出し、切り出し画像信号を生成する。そして、切り出し画像信号に対し、全画像信号とは別に、輝度調整、ホワイトバランス調整、色同時化処理、及び圧縮処理を施すことにより圧縮切り出し画像信号を生成し、記録媒体１３に記録する。
【０２３７】
撮像装置４０は、圧縮全画像信号と圧縮切り出し画像信号を記録媒体１３に記録する際、両者を互いに関連付けて記録する。
【０２３８】
また、撮像装置４０は、撮影モードで静止画像の録画操作が為された場合も動画像の録画操作が為された場合と同様に、圧縮全画像信号及び圧縮切り出し信号を生成し、両者を関連付けて記録媒体１３に記録する。このとき、色同時化処理部９から出力する静止画像記録用の全画像信号に基づく静止画像を画像表示部１５に表示する。
【０２３９】
撮像装置４０が再生モードのとき、ユーザは、操作部１６から全画像再生、又は切り出し画像再生を指示することができる。
【０２４０】
操作部１６から全画像再生操作が為されると、撮像装置４０は、記録媒体１３に格納されている圧縮全画像信号を読み出し、これに基づく全画像を画像表示部１５に表示する。
【０２４１】
操作部１６から切り出し画像再生操作が為されると、撮像装置４０は、記録媒体１３に格納されている圧縮切り出し画像信号を読み出し、これに基づく切り出し画像を画像表示部１５に表示する。
【０２４２】
撮像装置４０が、例えば、画像表示部１５に全画像を再生表示しているときに、操作部１６から切り出し画像再生操作が為されると、撮像装置４０は、全画像の再生表示に替えて、その全画像の圧縮全画像信号と関連付けられている圧縮切り出し画像信号を記録媒体１３から読み出し、これに基づく切り出し画像を再生表示する。
【０２４３】
圧縮切り出し画像信号と圧縮全画像信号が合成されている場合は、圧縮切り出し画像信号を選択し、これに基づく切り出し画像を再生表示する。
【０２４４】
尚、切り出し画像に対する輝度調整及びホワイトバランス調整は、既に撮影時に施されているため、第１実施形態の場合と異なり、再生時には切り出し画像に対する輝度調整及びホワイトバランス調整は行なわれない。
【０２４５】
*************************************************************************
撮像装置４０の撮影動作のフローチャート
*************************************************************************
次に、操作部１６（図１）から動画像又は静止画像の画像記録操作が為された場合の撮像装置４０の動作について説明する。図１５は、撮像装置４０が記録動作を行うときの一連の処理の流れを示すフローチャートである。
【０２４６】
ステップＳ３００では、ユーザから操作部１６に対して電源オン及び撮影モードの設定操作が為されると、撮像装置４０は、起動するとともに撮影待機状態（プレビューモード）となる。
【０２４７】
ステップＳ３０１では、撮像装置４０は、撮像部２からフレーム周期でプレビュー画像用の画像信号を取得するとともにメモリ４に格納する。
【０２４８】
ステップＳ３０２では、ＡＦ評価値算出部５、及びＡＥ評価値算出部６それぞれが、メモリ４からの全画像信号からＡＦ評価値、ＡＥ評価値を算出しＣＰＵ１７へ出力する。ＣＰＵ１７は、ＡＦ評価値及びＡＥ評価値に基づいて、撮像部２を調整する。
【０２４９】
ＡＷＢ評価値算出部４１は、メモリ４からの全画像信号をｎ個の小領域に分割し、各小領域におけるＲ、Ｇ及びＢ信号それぞれの積算値Ｒｔ、Ｇｔ、及びＢｔを算出する。そして、各小領域のＲｔ、Ｇｔ、及びＢｔ、並びにＡＥ評価値に基づいて各小領域の光源を推定し、推定された光源のうち度数の最も多い光源を全画像信号の光源とする。そして、予め設定されているこの光源に対するホワイトバランス調整値をＷＢ調整部８へ出力する。ＷＢ調整部８は、ＡＷＢ評価値算出部４１から出力されるホワイトバランス調整値に基づいて、メモリ４からの全画像信号にホワイトバランス処理を施す。
【０２５０】
ステップＳ３０３では、色同時化処理部９が、色補間処理により撮像素子２５（図２）の各受光画素が出力するＲ、Ｇ、及びＢ信号を生成し、圧縮処理部１０へ出力する
ステップＳ３０４では、画像表示部１５が、色同時化処理部９から出力される画像信号に基づく画像を表示する。
【０２５１】
ステップＳ３０５では、ＣＰＵ１７が、操作部１６から画像記録操作が為されたか否かを判断し、画像記録操作が為されたと判断すると、撮像装置４０は、プレビューモードから画像記録モードへ移行し、ステップＳ３０６へ進む。画像記録操作が為されていないと判断すると、撮像装置４０は、ステップＳ３０１へ戻り、プレビューモードを継続する。
【０２５２】
ステップＳ３０６では、撮像装置４０は、撮像部２からフレーム周期で記録用画像信号を取得するとともに、ＡＦＥ３を経てメモリ４に格納する。
【０２５３】
ステップＳ３０７では、ＣＰＵ１７が、ＡＦ評価値及びＡＥ評価値に基づいて、撮像部２を調整する。
【０２５４】
ステップＳ３０８では、特定被写体切り出し処理部４２が、全画像信号から特定被写体領域を切り出すことにより切り出し画像信号を生成する。そして、これに圧縮処理を施し、圧縮切り出し画像信号を生成し関連付け処理部４３へ出力する。
【０２５５】
ステップＳ３０９では、ＡＷＢ評価値算出部４１が、ステップＳ３０２と同様に、ホワイトバランス調整値を導出しＷＢ調整部８へ出力する。ＷＢ調整部８は、ＡＷＢ評価値算出部４１から出力されるホワイトバランス調整値に基づいて、メモリ４からの全画像信号にホワイトバランス調整処理を施す。
【０２５６】
また、色同時化処理部９が、ＷＢ調整部８から出力された全画像信号に色補間処理を施し、撮像素子２５（図２）の各受光画素が出力するＲ、Ｇ、及びＢ信号を生成し、圧縮処理部１０へ出力する。
【０２５７】
圧縮処理部１０は、色同時化処理部９から出力される画像信号のデータ形式を変更して表示用全画像信号を生成するとともに、当該表示用全画像信号に圧縮処理を施し、圧縮全画像信号を生成し、関連付け処理部４３へ出力する。
【０２５８】
ステップＳ３１０では、関連付け処理部４３が、圧縮処理部１０からの圧縮全画像信号と特定被写体切り出し部４２からの圧縮切り出し画像信号とを関連付け、メモリ１２に格納するとともに、記録媒体１３に記録する。
【０２５９】
ステップＳ３１１では、ＣＰＵ１７が、操作部１６から画像記録終了操作（録画終了操作）が為されたか否かを判断し、画像記録終了操作が為されたと判断すると、撮像装置１は、画像記録モードからプレビューモードへ移行し、ステップＳ３１２へ進む。画像記録終了操作が為されていないと判断すると、ステップＳ３０６へ戻り、画像記録モードを継続する。
【０２６０】
ステップＳ３１２では、ＣＰＵ１７が、操作部１６から撮影モードの終了操作が為されたかどうかを判断し、終了操作が為された場合には、撮影を終了し、一連の処理を終了する。終了操作が為されていない場合にはステップＳ３０１へ戻り、プレビューモードを継続する。
【０２６１】
*************************************************************************
Ｓ３０８の切り出し処理のフローチャート
*************************************************************************
次に、図１５におけるステップＳ３０８の切り出し処理の動作について説明する。  図１６は、撮像装置４０の特定被写体切り出し部４２が切り出し処理を行うときの一連の処理の流れを示すフローチャートである。
【０２６２】
ステップＳ４００では、特定被写体検出部５０が、メモリ４からの全画像信号から特定被写体を検出するとともに特定被写体領域を設定し、その位置情報を画像切り出し部５１へ出力する。
【０２６３】
ステップＳ４０１では、画像切り出し処理部５１が、特定被写体検出部５０からの特定被写体領域の位置情報に基づいて、メモリ４からの全画像信号から特定被写体領域を切り出し、切り出し画像信号として輝度調整部５２へ出力する。
【０２６４】
ステップＳ４０２では、輝度調整部５２が、画像切り出し処理部５１から出力される切り出し画像信号を複数の微小領域に分割し、各微小領域について輝度信号を算出する。
【０２６５】
そして、算出した各微小領域の輝度信号の積算値を輝度評価値とし、これが所定の目標値に近づくように輝度調整を施す。また、輝度調整部５２は、算出した輝度評価値をＷＢ調整部５３へ出力する。
【０２６６】
ステップＳ４０３では、ＷＢ調整部５３が、輝度調整部５２から出力される切り出し画像信号を、輝度調整部５２と同様に複数の微小領域に分割し、各微小領域についてＲ、Ｇ及びＢ信号それぞれの積算値を算出する。
【０２６７】
そして、かかる積算値と輝度調整部５２からの輝度評価値に基づいて、各微小領域の光源を推定する。推定された光源の度数が最も多い光源を切り出し画像信号の光源とし、決定した光源について予め設定されているＲ、Ｇ、及びＢ信号それぞれに対するホワイトバランス調整値を、切り出し画像信号のＲ、Ｇ、及びＢ信号それぞれに乗算し、乗算後の切り出し画像信号を色同時化処理部５４へ出力する。
【０２６８】
ステップＳ４０４では、ＷＢ調整部５３から出力される切り出し画像信号に色同時化処理を施し、圧縮処理部５５へ出力する。
【０２６９】
圧縮処理部５５は、色同時化処理が為された切り出し画像信号に圧縮処理を施し、圧縮切り出し画像信号を生成し関連付け処理部４３へ出力する。
【０２７０】
*************************************************************************
撮像装置４０の再生動作のフローチャート
*************************************************************************
次に、操作部１６（図１）から動画像又は静止画像の画像再生操作が為された場合の撮像装置４０の動作について説明する。図１７は、撮像装置４０が画像再生動作を行うときの一連の処理の流れを示すフローチャートである。
【０２７１】
ステップＳ５００では、操作部１６に対して電源オン及び再生モードの設定操作が為されると、撮像装置４０は、起動するとともに再生待機状態となる。
【０２７２】
ステップＳ５０１では、ＣＰＵ１７が、操作部１６から画像再生操作が為されたかどうかを判断し、画像再生操作が為されたと判断すると、ステップＳ５０２へ進み、画像再生操作が為されていないと判断すると、再生待機状態を継続する。
【０２７３】
ステップＳ５０２では、ＣＰＵ１７が、操作部１６から切り出し画像の再生操作が為されたかどうかを判断し、切り出し画像の再生操作が為されたと判断すると、ステップＳ５０３へ進み、切り出し画像の再生操作が為されていない、即ち、全画像の再生操作が為されていると判断すると、ステップＳ５０６へ進む。
【０２７４】
ステップＳ５０３では、撮像装置４０の画像選択処理部６１が、記録媒体１３に記録されている圧縮切り出し画像信号をメモリ１２へ読み込み、伸張処理部６３へ出力する。
【０２７５】
尚、前回、撮像装置４０が全画像を再生していた場合は、全画像に対応する全画像信号に関連付けられている圧縮切り出し画像信号を記録媒体１３から抽出しメモリ１２へ読み込み、伸張処理部６３へ出力する。
【０２７６】
尚、関連付け処理部４３による関連付け処理が、圧縮全画像信号と圧縮切り出し画像信号とを合成して一つにする合成処理である場合は、画像選択処理部６１は、既にメモリ１２に読み込まれている圧縮切り出し画像信号を選択し出力する。
【０２７７】
ステップＳ５０４では、伸張処理部６３（図１４）が、画像選択処理部６１からの圧縮切り出し画像信号に伸張処理を施し、表示用切り出し画像信号を生成し、拡大処理部６４へ出力する。
【０２７８】
拡大処理部６４は、伸張処理部６３からの表示用切り出し画像信号に対し、例えば、ＮＴＳＣフォーマット等の所定のフォーマットに適合するように拡大処理を施し、マルチプレクサ６５へ出力する。
【０２７９】
ステップＳ５０５では、マルチプレクサ６５は、拡大処理部６４から出力される拡大処理が施された表示用切り出し画像信号を選択し、画像表示部１５へ出力する。そして、画像表示部１５が、マルチプレクサ６５から出力される表示用切り出し画像信号に基づく切り出し画像を表示する。
【０２８０】
ステップＳ５０６では、撮像装置４０の画像選択処理部６１が、記録媒体１３に記録されている圧縮全画像信号をメモリ１２へ読み込み、伸張処理部６２へ出力する。。
【０２８１】
尚、前回、撮像装置４０が切り出し画像を再生していた場合は、切り出し画像に対応する切り出し画像信号に関連付けられている圧縮全画像信号を記録媒体１３から抽出しメモリ１２へ読み込み、伸張処理部６２へ出力する。
【０２８２】
尚、関連付け処理部４３による関連付け処理が、圧縮全画像信号と圧縮切り出し画像信号とを合成して一つにする合成処理である場合は、画像選択処理部６１は、既にメモリ１２に読み込まれている圧縮全画像信号を選択し出力する。
【０２８３】
ステップＳ５０７では、伸張処理部６２（図１４）が、画像選択処理部６１からの圧縮全画像信号に伸張処理を施し表示用全画像信号を生成し、マルチプレクサ６５へ出力する。
【０２８４】
ステップＳ５０８では、画像表示部１５が、マルチプレクサ６５から出力される全画像信号に基づく全画像を表示する。
【０２８５】
ステップＳ５０９では、ＣＰＵ１７が、操作部１６から再生終了操作が為されたかどうかを判断し、再生終了操作が為されたと判断すると、ステップＳ５１０へ進み、再生終了操作が為されていないと判断すると、ステップＳ５０２へ戻り再生を継続する。
【０２８６】
ステップＳ５１０では、ＣＰＵ１７が、操作部１６から再生モードの終了操作が為されたかどうかを判断し、終了操作が為されたと判断すると、一連の処理を終了する。終了操作が為されていないと判断するとステップＳ５１１へ進む。
【０２８７】
ステップＳ５１１では、操作部１６から次の画像データが指定されると、撮像装置４０は、指定された画像データを再生するべくステップＳ５０２へ戻る。
【０２８８】
以上に述べたように、本発明の第２実施形態によると、撮像装置４０は、撮影時に撮像部２によって取得される全画像信号から特定被写体領域を切り出し、切り出し画像信号を生成する。そして、全画像信号に対して輝度調整及びホワイトバランス調整を行なうとともに、全画像信号とは別に、独立して、切り出し画像信号の輝度調整及びホワイトバランス調整を行なう。
【０２８９】
これにより、全画像に対しては全画像信号が有する色情報に基づいて輝度調整及びホワイトバランス調整を行なうことができ、切り出し画像に対しては、切り出し画像信号のみが有する色情報に基づいて輝度調整及びホワイトバランス調整を行なうことができる。これにより、全画像には全画像に適した輝度調整及びホワイトバランス調整を、切り出し画像には切り出し画像に適した輝度調整及びホワイトバランス調整を、それぞれ独立に施すことができる。
【０２９０】
撮像装置４０は、また、圧縮全画像信号と圧縮切り出し画像信号を関連付けて記録媒体１３に記録する。
【０２９１】
これにより、全画像再生中に、その全画像から切り出した切り出し画像の再生に切り替える場合、或いはその逆の場合に、再生処理を一旦終了させることなく切り替えることができる。
【０２９２】
*************************************************************************
変形例
*************************************************************************
上記第２実施形態では、特定被写体検出部５０は、全画像信号から特定被写体領域を矩形領域として設定しているが、これに限られず、円形や楕円形として設定することとしてもよい。
【０２９３】
上記第１、第２実施形態における像装置１又は撮像装置４０は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。
【０２９４】
特に、図１、図２、図６、図１０、及び図１１の撮撮像装置１や撮像装置４０内で実行される各ブロックの画像処理や光学系を駆動するための処理は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
【図面の簡単な説明】
【０２９５】
【図１】本発明の第１実施形態に係る撮像装置１の全体構成図である。
【図２】図１の撮像部２の内部構成図である。
【図３】カラーフィルタ、受光画素、画素信号、及び画像信号の配列の例を示す図である。
【図４】画像信号の領域分割の例を示す図である。
【図５】図１の関連付け処理部１１、図６の伸長処理部３０、及び画像切り出し処理部３２のそれぞれにより生成される信号のデータ構造の例である。
【図６】図１の画像再生処理部１４の内部構成図である。
【図７】図１の特定被写体検出部３１による特定被写体検出の動作例を示す図である。
【図８】図１の撮像装置１による撮影手順例を示すフローチャートである。
【図９】図１の撮像装置１による記録媒体１３に記録されている拡張圧縮画像信号の再生手順例を示すフローチャートである。
【図１０】本発明の第２実施形態に係る撮像装置４０の全体構成図である。
【図１１】図１０の特定被写体切り出し部４２の内部構成図である。
【図１２】図１１の特定被写体検出部４２による特定被写体検出の動作例を示す図である。
【図１３】図１１の輝度調整部５２及びＷＢ調整部５３による輝度調整及びホワイトバランス調整の動作例を示す図である。
【図１４】図１０の画像再生処理部４４の内部構成図である。
【図１５】図１０の撮像装置４０による撮影手順例を示すフローチャートである。
【図１６】図１０の特定被写体切り出し部４２による切り出し処理の手順例を示すフローチャートである。
【図１７】図１０の撮像装置４０による記録媒体１３に記録されている圧縮全画像信号又は圧縮切り出し画像信号の再生手順例を示すフローチャートである。
【符号の説明】
【０２９６】
６  ＡＥ評価値算出部
７  ＡＷＢ評価値算出部
８  ＷＢ調整部
１４  画像再生処理部
３１  特定被写体検出部
３２  画像切り出し処理部
３３  輝度調整部
３４  ＷＢ調整部 
【図１】
2010147651.tif 000003
【図２】
2010147651.tif 000004
【図３】
2010147651.tif 000005
【図４】
2010147651.tif 000006
【図５】
2010147651.tif 000007
【図６】
2010147651.tif 000008
【図７】
2010147651.tif 000009
【図８】
2010147651.tif 000010
【図９】
2010147651.tif 000011
【図１０】
2010147651.tif 000012
【図１１】
2010147651.tif 000013
【図１２】
2010147651.tif 000014
【図１３】
2010147651.tif 000015
【図１４】
2010147651.tif 000016
【図１５】
2010147651.tif 000017
【図１６】
2010147651.tif 000018
【図１７】
2010147651.tif 000019