(57)【要約】【課題】主画像と副画像とを同時記録可能な撮像装置において、主画像と副画像とを高画質で再生可能な撮像装置を提供すること。【解決手段】動画記録時に、撮像素子１０２で得られた画像データの全範囲から主画像データが生成され、撮像素子１０２で得られた画像データの注目領域が切り出されて副画像データが生成される。主画像データと副画像データとは記録媒体１１７に記録される。この主画像データと副画像データとの関連を示すフレーム関連情報がフレーム関連情報生成部１１５において生成され、生成されたフレーム関連情報も記録媒体１１７に記録される。主画像データと副画像データとの同時再生時に、フレーム関連情報に従って副画像データが主画像データ上のサイズとなるようにリサイズされ、リサイズされた副画像データと主画像データとが合成されて表示部１２０に表示される。【選択図】図１
2013232869.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系によって結像された被写体像から画像データを生成する撮像素子と、
前記撮像素子で生成された画像データの全体を所定のサイズに縮小して主画像データを生成する第１のリサイズ部と、
前記画像データにおける１つ以上の注視領域を決定する注視領域決定部と、
前記注視領域決定部で決定された注視領域の画像データを、前記撮像素子で生成された画像データから切り出し、該切り出した画像データを所定サイズにリサイズして副画像データを生成する第２のリサイズ部と、
前記主画像データと前記副画像データとを記録する記録部と、
前記記録部に記録された前記主画像データと前記副画像データのリサイズ率及び前記注視領域の位置情報を含むフレーム関連情報を生成し、該生成したフレーム関連情報を前記記録部に記録するフレーム関連情報生成部と、
前記記録部に記録された前記主画像データと前記副画像データとを同時再生する制御をする制御部と、
前記制御部によって同時再生される前記主画像データと前記副画像データとのうち、前記副画像データを前記フレーム関連情報に従ってリサイズする第３のリサイズ部と、
前記主画像データと前記第３のリサイズ部によってリサイズされた副画像データとを合成して合成画像データを生成する画像合成部と、
前記画像合成部によって生成された合成画像データに対応した画像を表示する表示部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記副画像データの画素位置に応じた前記主画像データとの合成割合を算出する合成割合算出部をさらに具備し、
前記画像合成部は、前記合成割合に応じて前記同時再生される前記主画像データと前記副画像データとを合成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
第１のリサイズ部で生成された主画像データと前記第２のリサイズ部で生成された副画像データとに対して異なる画像処理パラメータに従って画像処理を施す画像処理部と、
前記同時再生される前記主画像データと前記副画像データの画像処理パラメータが一致するように前記副画像データの画像処理パラメータを調整する画質調整部と、
をさらに具備することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記主画像データと副画像データとは、前記撮像素子の撮像フレーム毎に生成される動画像データであることを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画角の全体の画像と一部の領域の画像とを同時記録することが出来る撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラや監視カメラ等の撮像装置において、１台の撮像装置を用いて撮影画角の全体の動画像と撮影画角内の一部の領域の動画像を同時記録できるようにした技術が提案されている。このような技術をデジタルカメラに適用することにより、例えば子供の運動会のシーンを撮影する際に、子供の参加している競技全体の画像を記録すると同時に、子供の拡大画像を記録することが可能である。また、このような技術を監視カメラに適用することにより、広い範囲の画像を記録しつつ、不審人物の拡大画像を記録することが可能である。
【０００３】
この他、例えば、特許文献１は、撮像素子で撮影した画像全体を主画像としてメモリに一時記憶し、また注視領域画像を副画像としてメモリに一時記憶し、それぞれを圧縮保存することで、複数の画角の画像を１台の撮像装置で記録することを可能としている。また、この様な、全体画像（主画像）と注目している注視画像（副画像）を同時に撮影することが可能な撮像装置において、再生時は、主画像として圧縮保存されたデータを伸張して表示している。さらには、副画像のエリアに枠を表示させる。または、画像を分割して副画像も同時表示する方法も提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２９０８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
動画像の記録は、非常に大きな画像データを、限られた記録容量を有する記録媒体に保存するため、通常、高い圧縮率で圧縮して保存する。一般に、高圧縮率で画像を記録すると、画質が劣化する。この画質の劣化は、再生中の動画像を静止させた場合や大画面に表示させた場合に特に目立つこととなる。特に、複数領域の動画像を記録する場合には、より高い圧縮率での圧縮が必要となるので画質の劣化の度合いが大きくなり易い。このため、主画像と副画像とを高画質で再生することが困難である。
【０００６】
本発明は、前記の事情に鑑みてなされたものであり、主画像と副画像とを同時記録可能な撮像装置において、主画像と副画像とを高画質で再生可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記の目的を達成するために、本発明の一態様の撮像装置は、撮像光学系によって結像された被写体像から画像データを生成する撮像素子と、前記撮像素子で生成された画像データの全体を所定のサイズに縮小して主画像データを生成する第１のリサイズ部と、前記画像データにおける１つ以上の注視領域を決定する注視領域決定部と、前記注視領域検出部で決定された注視領域の画像データを、前記撮像素子で生成された画像データから切り出し、該切り出した画像データを所定サイズにリサイズして副画像データを生成する第２のリサイズ部と、前記主画像データと前記副画像データとを記録する記録部と、前記記録部に記録された前記主画像データと前記副画像データのリサイズ率及び前記注視領域の位置情報を含むフレーム関連情報を生成し、該生成したフレーム関連情報を前記記録部に記録するフレーム関連情報生成部と、前記記録部に記録された前記主画像データと前記副画像データとを同時再生する制御をする制御部と、前記制御部によって同時再生される前記主画像データと前記副画像データとのうち、前記副画像データを前記フレーム関連情報に従ってリサイズする第３のリサイズ部と、前記主画像データと前記第３のリサイズ部によってリサイズされた副画像データとを合成して合成画像データを生成する画像合成部と、前記画像合成部によって生成された合成画像データに対応した画像を表示する表示部と、を具備することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、主画像と副画像とを同時記録可能な撮像装置において、主画像と副画像とを高画質で再生可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る撮像装置の構成を示すブロック図である。
【図２】自動で注視領域を決定する場合の注視領域決定部の構成例を示す図である。
【図３】合成割合算出部の構成例を示す図である。
【図４】画像合成部による画像合成について説明するための図である。
【図５】本発明の一実施形態の変形例に係る撮像装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る撮像装置の構成を示すブロック図である。図１に示す撮像装置は、光学系１０１と、撮像素子１０２と、リサイズ部１０３と、切り出し・リサイズ部１０４と、ＡＥ・ＡＷＢ・ＡＦ情報収集部１０５と、注視領域決定部１０６と、ＡＥ・ＡＦ制御部１０７と、メモリ１０８と、制御部１０９と、操作部１１０と、画像処理部１１１と、圧縮・伸張処理部１１２と、画像処理部１１３と、圧縮・伸張処理部１１４と、フレーム関連情報生成部１１５と、関連情報生成部１１６と、記録媒体１１７と、合成割合算出部１１８と、画像合成部１１９と、表示部１２０と、ＯＳＤ生成部１２１と、画質調整部１２２と、を有している。
【００１１】
光学系１０１は、被写体像を撮像素子１０２に結像させる。この光学系１０１は、フォーカス光学系やズーム光学系等の複数のレンズ群を有していて良い。また、光学系１０１は、絞りを有していて良い。
【００１２】
撮像素子１０２は、画素としての光電変換素子が２次元状に形成された受光面に、モザイク状のカラーフィルタが貼り付けられて構成されている。この撮像素子１０２は、光学系１０１により結像された被写体像をアナログ映像信号に変換する。また、撮像素子１０２は、デジタル変換器を有し、被写体像に対応したアナログ映像信号を、デジタル信号としての画像データに変換して出力する。
【００１３】
第１のリサイズ部として機能するリサイズ部１０３は、撮像素子１０２から出力された画像データの全体の解像度を変換するリサイズ処理（縮小処理）を行う。リサイズ部１０３で得られたリサイズ後の画像データは、主画像として用いられる。なお、前述したように、撮像素子１０２からはモザイク状のカラーフィルタを通した画像データが得られる。このため、画像データの各画素は、カラーフィルタの配列に対応した１つの色成分を有している。リサイズ部１０３は、同色間での補間処理によってリサイズ処理を行う。したがって、リサイズ後の画像データの各画素も、カラーフィルタの配列に対応した１つの色成分を有している。
【００１４】
第２のリサイズ部として機能する切り出し・リサイズ部１０４は、撮像素子１０２から出力された画像データのうち、注視領域決定部１０６で決定された注視領域の画像データを切り出す。そして、リサイズ部１０３は、切り出した注視領域の画像データの解像度を変換するリサイズ処理（縮小処理）を行う。切り出し・リサイズ部１０４で得られたリサイズ後の画像データは、副画像として用いられる。
【００１５】
ＡＥ/ＡＷＢ/ＡＦ情報収集部１０５は、リサイズ部１０３及び１０４からそれぞれ出力された画像データの所定領域毎に、画像データの色毎の積算値を算出する。この色毎の積算値は、ＡＥ（自動露出制御）のための被写体輝度の評価に用いられるとともに、ＡＷＢ（自動ホワイトバランス）のためのホワイトバランスゲイン値の算出に用いられる。また、ＡＥ/ＡＷＢ/ＡＦ情報収集部１０５は、リサイズ部１０３及び１０４からそれぞれ出力された画像データの所定領域毎に、画像データの高周波成分の積算値を算出する。この高周波成分の積算値は、ＡＦ（自動焦点制御）のためのコントラストの評価に用いられる。なお、ＡＥ/ＡＷＢ/ＡＦ情報収集部１０５は、リサイズ前の画像データを用いて画像データの所定領域毎に、画像データの色毎の積算値を算出しても良い。
【００１６】
注視領域決定部１０６は、撮像素子１０２から出力された画像データのうち、副画像データとして用いる注視領域を決定する。注視領域決定部１０６の詳細については、後で詳しく説明する。
【００１７】
ＡＥ・ＡＦ制御部１０７は、ＡＥ制御及びＡＦ制御を行う。ＡＥ制御において、ＡＥ・ＡＦ制御部１０７は、ＡＥ/ＡＷＢ/ＡＦ情報収集部１０５で収集された色毎の画像データの積算値によって被写体輝度を評価し、この評価の結果から、例えば被写体の輝度が適正となるように、光学系１０１に含まれる絞りの開放量及び撮像素子１０２の露光時間を制御する。また、ＡＦ制御において、ＡＥ・ＡＦ制御部１０７は、ＡＥ/ＡＷＢ/ＡＦ情報収集部１０５で収集された画像データの高周波成分の積算値によって被写体のコントラストを評価し、この評価の結果から、例えば被写体の領域のコントラストが最大となるように光学系１０１に含まれるフォーカス光学系の位置を制御する。なお、この例では、被写体のコントラストを元に光学系１０１を合焦させているが、被写体までの距離を検出するセンサを用いて光学系１０１を合焦させる制御をしても良い。
【００１８】
メモリ１０８は、図１に示す撮像装置の各ブロックで処理された各種のデータを一時的に記憶する。メモリ１０８は、例えばＤＲＡＭによって構成されている。
【００１９】
制御部１０９は、図１に示す撮像装置の各ブロックの動作を制御する。この制御部１０９は、操作部１１０からの指示に応じて、各ブロックの動作モードや設定の変更、処理の開始や停止といった制御を行う。また、本実施形態における制御部１０９は、動画記録時における主画像データと副画像データの同時記録の制御及び動画再生時における主画像データと副画像データの同時再生の制御をする。
【００２０】
操作部１１０は、例えばボタンやタッチパネルといった、ユーザが操作可能な各種の操作部材である。本実施形態においては、操作部１１０の操作により、ユーザが注視領域を設定することが可能である。
【００２１】
画像処理部１１１は、リサイズ部１０３で生成された主画像データに対し、予め設定された画像処理パラメータに従って各種の画像処理を施す。この画像処理としては、ホワイトバランス補正、デモザイク、色変換、階調変換等のカラー画像化処理、及び明るさ補正、色調補正、輪郭強調等の画質改善処理が含まれる。また、本実施形態における画像処理部１１１は、主画像データの再生時に、主画像データをリサイズするリサイズ部１１１ａを有している。
【００２２】
圧縮・伸張処理部１１２は、記録時には、画像処理部１１１で画像処理された主画像データを、予め設定された所定のサイズに圧縮する。また、圧縮・伸張処理部１１２は、再生時には、記録媒体１１７に記録された圧縮済みの主画像データを伸張する。
【００２３】
画像処理部１１３は、切り出し・リサイズ部１０４で生成された副画像データに対し、予め設定された画像処理パラメータに従って各種の画像処理を施す。この画像処理としては、ホワイトバランス補正、デモザイク、色変換、階調変換等のカラー画像化処理、及び明るさ補正、色調補正、輪郭強調等の画質改善処理が含まれる。なお、画像処理部１１３による画像処理は、画像処理部１１１による画像処理と異なる画像処理パラメータ（異なる明るさ補正量、異なるホワイトバランスゲイン値、異なるカラーマトリックス等）を用いても良い。また、本実施形態における画像処理部１１３は、副画像データの再生時に、フレーム関連情報に従って副画像データをリサイズするリサイズ部１１３ａを有している。リサイズ部１１３ａが、第３のリサイズ部として機能する。
【００２４】
圧縮・伸張処理部１１４は、記録時には、画像処理部１１３で画像処理された副画像データを、予め設定された所定のサイズに圧縮する。また、圧縮・伸張処理部１１４は、再生時には、記録媒体１１７に記録された圧縮済みの副画像データを伸張する。
【００２５】
フレーム関連情報生成部１１５は、記録媒体１１７に記録される主画像ファイルと副画像ファイルとの関連情報、同時記録を開始したフレームの情報、また、必要に応じて主画像データと副画像データのそれぞれの画像処理パラメータ情報を含むフレーム関連情報を生成する。
【００２６】
関連情報生成部１１６は、主画像データと副画像データとの関連情報として、注視領域決定部１０６で決定された注視領域の位置情報を生成する。
【００２７】
記録媒体１１７は、圧縮・伸張処理部１１２で生成された主画像の圧縮画像データと圧縮・伸張処理部１１４で生成された副画像の圧縮画像データとを動画像ファイルとして記録する記録部である。主画像の圧縮画像データと副画像の圧縮画像データとは１つの動画像ファイルに記録しても良いし、別個の動画像ファイルに記録しても良い。また、記録媒体１１７は、フレーム関連情報生成部１１５で生成されたフレーム関連情報も記録する。
【００２８】
合成割合算出部１１８は、主画像データと副画像データとの同時再生の際の主画像データに対する副画像データの合成割合を算出する。この合成割合算出部１１８の詳細については、後で詳しく説明する。
【００２９】
画像合成部１１９は、合成割合算出部１１８で算出された合成割合に従って、主画像データに副画像データを合成して合成画像データを生成する。
【００３０】
表示部１２０は、例えば液晶ディスプレイであり、制御部１０９の制御に従って、各種の画像を表示する。
【００３１】
ＯＳＤ生成部１２１は、メニュー等のＯＳＤ（On Screen Display）画像を生成する。ＯＳＤ生成部１２１で生成されたＯＳＤ画像は、必要に応じて表示部１２０の表示画像に重畳される。
【００３２】
画質調整部１２２は、画像合成部１１９において主画像データに副画像データを合成する際、両者の画像処理パラメータが異なる場合に、副画像の画像処理パラメータを主画像の画像処理パラメータに合せる処理を行う。
【００３３】
次に、本実施形態の撮像装置の動作について説明する。以下、動画記録時と動画再生時の動作について説明する。しかしながら、本実施形態の撮像装置は、静止画の記録及び再生も可能である。
【００３４】
まず、動画記録時の動作について説明する。ここで説明する動画記録は、主画像データと副画像データとを同時記録するものである。しかしながら、本実施形態の撮像装置は、主画像データと副画像データの何れか一方を記録することも可能である。
【００３５】
動画記録に際し、注視領域決定部１０６により、注視領域が決定される。注視領域決定部１０６は、手動又は自動で注視領域を決定する。
【００３６】
手動で注視領域を決定する場合、ユーザは、操作部１１０を操作して、表示部１２０に表示されるライブビュー画像内の任意の領域を指定する。ユーザにより、領域が指定されると、この領域の位置情報が注視領域決定部１０６により取得される。これにより、注視領域が決定される。
【００３７】
自動で注視領域を決定する場合、例えば図２に示すように注視領域決定部１０６を構成する。図２の注視領域決定部１０６は、顔検出を利用して注視領域を決定するものである。
【００３８】
図２に示す注視領域決定部１０６は、顔検出部２１１と、人物領域推定部２１２と、注視領域算出部２１３と、動きベクトル検出部２１４とを有している。
【００３９】
顔検出部２１１は、リサイズ部１０３で得られた主画像データ又は画像処理部１１１で画像処理された主画像データにおける、顔の領域を検出する。顔の検出手法は、特徴量マッチング等の周知の手法を用いることができる。また、顔検出部２１１に個人別の顔の特徴量を予め記憶させておくことにより、特定の個人の顔を検出するようにしても良い。
【００４０】
人物領域推定部２１２は、顔検出部２１１によって検出された顔領域の情報から、人物の領域を推定する。例えば、顔領域の中心を基準とする予め定めた範囲を人物領域とする。この予め定めた範囲は、顔領域の大きさやカメラから顔までの距離情報に応じて補正することが望ましい。
【００４１】
注視領域算出部２１３は、人物領域推定部２１２によって推定された人物領域に従って注視領域を算出する。注視領域と人物領域とは一致させても良いし、人物領域をユーザからの指示に応じて補正した領域を注視領域としても良い。
【００４２】
動きベクトル検出部２１４は、リサイズ部１０３で得られた主画像データ又は画像処理部１１１で画像処理された主画像データにおける、人物領域の動きベクトルを算出する。注視領域算出部２１３は、顔検出部２１１による顔検出が不能であった場合に、動きベクトルから人物領域の位置を推定し、注視領域の位置情報を更新する。
【００４３】
注視領域決定部１０６により、注視領域が決定されると、関連情報生成部１１６において注視領域の位置情報を示す関連情報が生成される。この関連情報は、メモリ１０８に記憶される。
【００４４】
ユーザにより、動画像の記録開始が指示されると、ＡＥ制御が行われて絞りの開放量と撮像素子１０２の露光時間が設定されるとともに、ＡＦ制御が行われて被写体に合焦するようにフォーカス光学系が駆動される。
【００４５】
ＡＥ制御及びＡＦ制御の後、所定の撮像フレームレートで撮像素子１０２の動作が開始され、それぞれの撮像フレームにおいて、撮像素子１０２で得られた画像データがリサイズ部１０３と切り出し・リサイズ部１０４とに出力される。リサイズ部１０３では、撮像素子１０２で得られた全画角の画像データが予め定められた記録サイズに従ってリサイズされ、リサイズ後の画像データが、主画像データとしてメモリ１０８に記憶される。切り出し・リサイズ部１０４では、撮像素子１０２で得られた全画角の画像データのうちの注視領域の画像データが切り出され、切り出された注視領域の画像データが予め定められた記録サイズに従ってリサイズされ、リサイズ後の画像データが、副画像データとしてメモリ１０８に記憶される。ここで、主画像データ及び副画像データの記録サイズは、ユーザが任意に設定できるようにしても良い。
【００４６】
メモリ１０８に記憶された主画像データは、画像処理部１１１において予め定められた画像処理パラメータで画像処理される。そして、画像処理された主画像データは、圧縮・伸張処理部１１２で圧縮される。また、メモリ１０８に記憶された副画像データは、画像処理部１１３において予め定められた画像処理パラメータで画像処理される。そして、画像処理された副画像データは、圧縮・伸張処理部１１４で圧縮される。
【００４７】
続いて、フレーム関連情報生成部１１５においてフレーム関連情報が生成される。フレーム関連情報は、以下の情報を有している。
同時記録した副画像データの数  
対応する副画像データのフレームを特定するための情報  
副画像データの切り出し位置  
副画像データのリサイズ率
【００４８】
なお、副画像データの切り出し位置は、関連情報生成部１１６において生成された注視領域の位置情報を用いて良い。
また、対応する副画像データのフレームを特定するための情報とは、例えば副画像データを切り出したフレームのフレーム番号、又はこのフレームを含むＧＯＰ（Group Of Pictures）の先頭アドレスとこの先頭アドレスから該当フレームまでのフレーム数である。主画像データと副画像データのＧＯＰの構成を同じとし、ＧＯＰ毎に切り出し位置やリサイズ率を同じとする事で、フレーム関連情報のデータサイズを削減することができる。
【００４９】
副画像データのリサイズ率については、切り出し・リサイズ部１０４におけるリサイズ率を固定倍率とすることによって省略可能である。
【００５０】
また、フレーム関連情報のデータサイズを削減する別の手法として、フレーム関連情報を可逆圧縮しても良い。
【００５１】
副画像を単独で鑑賞するために、主画像データと異なる画像処理パラメータで副画像データを画像処理する場合があり得る。主画像データと副画像データとで異なる画像処理パラメータで画像処理がされている場合、主画像データに副画像データを合成して再生すると、主画像データと副画像データの境界位置における画像処理パラメータの差異により、合成画像を鑑賞したユーザに違和感を与える可能性がある。
【００５２】
主画像データと副画像データとの画像処理パラメータの差異を無くすための手法として、例えば副画像データを画像処理前の状態に戻してから、主画像データと同一の画像処理パラメータで再度の画像処理を施す手法が考えられる。このような再度の画像処理を施すために、フレーム関連情報として、主画像データの画像処理パラメータと副画像データの画像処理パラメータとをさらに持たせておくことが望ましい。この画像処理パラメータは、例えば以下の情報を含む。  
明るさ補正量  
階調補正特性情報  
輪郭強調量  
カラーマトリックス係数
また、副画像データに対する逆画像処理が困難な場合は、副画像データに対する画像処理はせずに或いは一部の処理を残し、副画像データを単独で再生する時に必要な画像処理を施すようにすれば良い。
【００５３】
ユーザにより、動画像の記録終了が指示されると、主画像データと副画像データとが動画像ファイルとして記録媒体１１７に記録される。前述したように、主画像データと副画像データとは、１つの動画像ファイルに記録しても良いし、別個の動画像ファイルに記録しても良い。また、フレーム関連情報も記録媒体１１７に記録される。フレーム関連情報は、主画像ファイル及び副画像ファイルの何れか又は両方のヘッダ情報に記録しておくようにしても良いし、主画像ファイル及び副画像ファイルとは別個のファイルに記録しても良い。
【００５４】
次に、動画再生時の動作について説明する。ここで説明する動画再生は、主画像データと副画像データとを同時再生するものである。しかしながら、本実施形態の撮像装置は、主画像データと副画像データの何れか一方を再生することも可能である。
【００５５】
ユーザにより、ある主画像データを含む動画ファイルの再生が指示されると、制御部１０９により、対応する動画像ファイルが記録媒体１１７から読み出される。読み出された動画像ファイルに記録された主画像データは、圧縮・伸張処理部１１２において伸張される。その後、伸張された主画像データは、画像処理部１１１において表示用にリサイズされる。画像処理された主画像データは、メモリ１０８に記憶される。
【００５６】
また、読み出された動画像ファイルに対応するフレーム関連情報が記録媒体１１７に記録されている場合には、このフレーム関連情報が読み出される。このフレーム関連情報により、対応する副画像データを含む動画ファイルが記録媒体１１７に記録されていることが識別されると、制御部１０９により、対応する副画像データを含む動画像ファイルが記録媒体１１７から読み出される。読み出された動画像ファイルに記録された副画像データは、圧縮・伸張処理部１１４において伸張される。その後、伸張された副画像データは、画像処理部１１３において、フレーム関連情報として記録されたリサイズ率の情報と副画像データの切り出し位置の情報とに従って、副画像データは、主画像データ上でのサイズとなるようにリサイズされる。
【００５７】
さらに、主画像データと副画像データとで画像処理パラメータが異なる場合には、画質調整部１２２において、副画像データの画像処理パラメータが主画像データの画像処理パラメータと一致するように再度の画像処理が施される。具体的には、フレーム関連情報として読み出された副画像データの画像処理パラメータに従って逆画像処理が施され、画像処理前の副画像データが生成される。この画像処理前の副画像データに対して主画像データの画像処理パラメータを用いての画像処理が施される。このような処理の後、副画像データは、メモリ１０８に記憶される。
【００５８】
主画像データと副画像データとがメモリ１０８に記憶されると、合成割合算出部１１８において合成割合が算出される。そして、画像合成部１１９により、合成割合算出部１１８で算出された合成割合に従って、主画像データと副画像データとが合成される。
【００５９】
画像合成部１１９によって主画像データと副画像データとが合成されると、画像合成により生成された合成画像データが表示部１２０に入力され、表示部１２０には、合成画像データに対応した画像が再生される。
【００６０】
図３は、合成割合算出部１１８の構成例を示す図である。図３に示す合成割合算出部１１８は、座標カウンタ３１１と、水平境界距離算出部３１２、３１７、３２２と、垂直境界距離算出部３１３、３１８、３２３と、重み算出部３１４、３１５、３１９、３２０、３２４、３２５と、最小値検出部（ＭＩＮ）３１６、３２１、３２６と、領域判定部３２７と、領域外マスク３２８と、最大値検出部（ＭＡＸ）３２９と、乗算部３３０と、を有している。図３の合成割合算出部１１８は、画像合成部１１９が２つまでの副画像データを合成できる場合の構成例を示している。ここでは、２つの副画像データをそれぞれ副画像データＡ、副画像データＢとする。
【００６１】
座標カウンタ３１１は、画像合成部１１９に入力される画像データの座標（画素位置）をカウントするためのカウンタである。
【００６２】
水平境界距離算出部３１２は、領域情報に従って、副画像データＡと副画像データＢとの境界からの副画像データＡ内の水平方向距離を算出する。水平境界距離算出部３１７は、領域情報に従って、主画像データと副画像データＡとの境界からの副画像データＡ内の水平方向距離を算出する。水平境界距離算出部３２２は、領域情報に従って、主画像データと副画像データＢとの境界からの副画像データＢ内の水平方向距離を算出する。ここで、領域情報とは、合成するそれぞれの副画像データの左右端のＸ座標及び上下端のＹ座標である。
【００６３】
垂直境界距離算出部３１３は、領域情報に従って、副画像データＡと副画像データＢとの副画像データＡ内の垂直境界からの距離を算出する。垂直境界距離算出部３１８は、領域情報に従って、主画像データと副画像データＡとの副画像データＡ内の垂直境界からの距離を算出する。垂直境界距離算出部３２３は、領域情報に従って、主画像データと副画像データＢとの副画像データＢ内の垂直境界からの距離を算出する。
【００６４】
重み算出部３１４、３１９、３２４は、それぞれ、水平境界距離算出部３１２、３１７、３２２で算出された水平境界からの距離に応じた重み係数を算出する。重み算出部３１５、３２０、３２５は、それぞれ、垂直境界距離算出部３１３、３１８、３２３で算出された垂直境界からの距離に応じた重み係数を算出する。
【００６５】
ＭＩＮ３１６は、重み算出部３１４で算出された重み係数と重み算出部３１５で算出された重み係数とのうちの小さいほうを出力する。ＭＩＮ３２１は、重み算出部３１９で算出された重み係数と重み算出部３２０で算出された重み係数とのうちの何れか小さいほうを出力する。ＭＩＮ３２６は、重み算出部３２４で算出された重み係数と重み算出部３２５で算出された重み係数とのうちの何れか小さいほうを出力する。
【００６６】
領域判定部３２７は、座標カウンタ３１１のカウンタ値と領域情報とから、画像合成部１１９に入力された画像データの画素位置が、副画像データＡの合成領域に含まれるか、副画像データＢの合成領域に含まれるかを判定する。
【００６７】
領域外マスク３２８は、ＭＩＮ３１６から出力された重み係数を、領域判定部３２７の判定結果に応じてマスクして、副画像データＡ用と副画像データＢ用の重み係数を出力する。
【００６８】
ＭＡＸ３２９は、ＭＩＮ３２１から出力された重み係数とＭＩＮ３２６から出力された重み係数のうちの大きいほうを出力する。
【００６９】
乗算部３３０は、領域外マスク３２８から出力された重み副画像データＡ用、Ｂ用の係数とＭＡＸ３２９から出力された重み係数との積をとり、それぞれの画像データの合成割合として画像合成部１１９に出力する。
【００７０】
図４を参照して画像合成部１１９による画像合成について具体的に説明する。図４の例は、主画像データに合成する副画像データが２個である場合を例に説明する。例として、図４（ａ）に示すように、主画像データ４０１に、副画像データＡ４０２及び副画像データＢ４０３を合成するものとする。ここで、副画像データＡ４０２は、副画像データＢ４０３よりも高画質であるとする。また、図４（ａ）に示すように、副画像データＡ４０２の合成領域の左端のＸ座標をＸＡ１、右端のＸ座標をＸＡ２、上端のＹ座標をＹＡ１、下端のＹ座標ＹＡ２とする。また、副画像データＢ４０３の合成領域の左端のＸ座標をＸＢ１、右端のＸ座標をＸＢ２、上端のＹ座標をＹＢ１、下端のＹ座標をＹＢ２とする。
【００７１】
画像合成部１１９には、画像データ（主画像データ、副画像データＡ、副画像データＢ）が入力される。画像合成部１１９に１画素分の画像データが入力されるのと同期して、座標カウンタ３１１がカウントアップする。座標カウンタ３１１のカウンタ値より、領域判定部３２７において、画像合成部１１９に入力された画像データの画素位置が、副画像データＡ４０２の合成領域に含まれているか、副画像データＢ４０３の合成領域に含まれているか、副画像データＡ４０２と副画像データＢ４０３の両方の合成領域に含まれているか、副画像データＡ４０２と副画像データＢ４０３の何れの合成領域にも含まれていないかが判定される。
【００７２】
ここで、座標カウンタ３１１のカウンタ値（画像合成部１１９に入力された画像データの画素位置に対応する）を（Ｘ，Ｙ）とする。（Ｘ，Ｙ）は、例えば左上端の画素位置を（０，０）とし、右方向をＸの正方向、下方向をＹの正方向とする。
【００７３】
図４（ａ）に示すように、カウンタ値（Ｘ，Ｙ）が、ＸＡ１≦Ｘ≦ＸＡ２且つＹＡ１≦Ｙ≦ＹＡ２の条件を満たすときには、画像合成部１１９に入力された画像データの画素位置が、副画像データＡ４０２の合成領域に含まれている。カウンタ値（Ｘ，Ｙ）が、ＸＢ１≦Ｘ≦ＸＢ２且つＹＢ１≦Ｙ≦ＹＢ２の条件を満たすときには、画像合成部１１９に入力された画像データの画素位置が、副画像データＢ４０３の合成領域に含まれている。カウンタ値（Ｘ，Ｙ）が、両方の条件を満たすときには、画像合成部１１９に入力された画像データの画素位置が、副画像データＡ４０２の合成領域と副画像データＢ４０３の両方の合成領域に含まれている。カウンタ値（Ｘ，Ｙ）が、何れの条件も満たさないときには、画像合成部１１９に入力された画像データの画素位置が、副画像データＡ４０２の合成領域と副画像データＢ４０３の何れの合成領域にも含まれていない。
【００７４】
水平境界距離算出部３１２は、以下の（式１）に従って、副画像データＡ４０２と副画像データＢ４０３との境界からの水平方向距離Ｘｄ１を算出する。また、垂直境界距離算出部３１３は、以下の（式２）に従って、副画像データＡ４０２と副画像データＢ４０３との境界からの垂直方向距離Ｙｄ１を算出する。  
Ｘｄ１＝ｍｉｎ（Ｘ−ＸＡ１，ＸＡ２−Ｘ）                    （式１）  
Ｙｄ１＝ｍｉｎ（Ｙ−ＹＡ１，ＹＡ２−Ｙ）                    （式２）  
ここで、（式１）及び（式２）において副画像データＡ４０２の領域情報を用いているのは、副画像データＡ４０２のほうが副画像データＢ４０３よりも高画質のためである。言い換えれば、本実施形態では、より高画質の副画像データの合成の優先順位を高くする。そして、優先順位の低い副画像データにおける合成領域内に存在する、優先順位の低い副画像データと優先順位の高い副画像データとの境界からの距離に応じた重みを算出する。副画像データＢ４０３のほうが副画像データＡ４０２よりも高画質である場合には、（式１）及び（式２）の領域情報を副画像データＢ４０３の領域情報に置き換える。
【００７５】
水平境界距離算出部３１７は、以下の（式３）に従って、主画像データ４０１と副画像データＡ４０２との境界からの水平方向距離Ｘｄ２を算出する。また、垂直境界距離算出部３１８は、以下の（式４）に従って、主画像データ４０１と副画像データＡ４０２との境界からの垂直方向距離Ｙｄ２を算出する。  
Ｘｄ２＝ｍｉｎ（Ｘ−ＸＡ１，ＸＡ２−Ｘ）                    （式３）  
Ｙｄ２＝ｍｉｎ（Ｙ−ＹＡ１，ＹＡ２−Ｙ）                    （式４）  
水平境界距離算出部３２２は、以下の（式５）に従って、主画像データ４０１と副画像データＢ４０３との境界からの水平方向距離Ｘｄ３を算出する。また、垂直境界距離算出部３２３は、以下の（式６）に従って、主画像データ４０１と副画像データＢ４０３との境界からの垂直方向距離Ｙｄ２を算出する。  
Ｘｄ３＝ｍｉｎ（Ｘ−ＸＢ１，ＸＢ２−Ｘ）                    （式５）  
Ｙｄ３＝ｍｉｎ（Ｙ−ＹＢ１，ＹＢ２−Ｙ）                    （式６）  
【００７６】
重み算出部３１４、３１９、３２４は、水平境界距離算出部３１２、３１７、３２２から入力される水平方向距離Ｘｄｎ（ｎ＝１，２，３）から、以下の（式７）に従って水平方向の重み係数Ａｈｎを算出する。重み算出部３１５、３２０、３２５は、垂直境界距離算出部３１３、３１８、３２３から入力される垂直方向距離Ｙｄｎ（ｎ＝１，２，３）から、以下の（式８）に従って垂直方向の重み係数Ａｖｎを算出する。  
Ａｈｎ＝ｍｉｎ（ｍａｘ（Ｘｄｎ×ＳＬＰ，０），１）          （式７）  
Ａｖｎ＝ｍｉｎ（ｍａｘ（Ｙｄｎ×ＳＬＰ，０），１）          （式８）  
本実施形態における重み係数は、混合領域の幅に応じて０〜１の範囲で決定する。混合領域は、合成する画像データ間の画質変化を吸収するための領域であって、画像データの合成の際の重み係数を、境界からの距離に応じて変える領域である。例えば１０画素の間を混合領域とする場合は、（式７）、（式８）の係数ＳＬＰを、ＳＬＰ＝１/１０（１/混合領域の画素数）とする。この場合、境界の位置から１０画素をかけて画像データが変化する。
【００７７】
ＭＩＮ３１６、３２１、３２６は、水平方向の重み係数Ａｈｎと垂直方向との重み係数Ａｖｎとから、総合重み係数Ａｔｎを算出する。総合重み係数Ａｔｎは、垂直方向の重み係数と水平方向の重み係数の小さいほうである。（式９）に総合重み係数Ａｔｎ（ｎ＝１、２、３）の算出式の例を示す。  
Ａｔｎ＝ｍｉｎ（Ａｈｎ，Ａｖｎ）                          （式９）
ＭＩＮ３１６から出力される総合重み係数Ａｔ１は、図４（ｂ）に示す副画像データＡ４０２と副画像データＢ４０３との境界に設けられる混合領域４０２ａにおける重み係数を算出するための係数である。後段の領域外マスク３２８で副画像データＡ、Ｂ間の重み係数が算出される。詳細については、後で詳しく説明する。ＭＩＮ３２１から出力される総合重み係数Ａｔ２は、図４（ｃ）に示す主画像データ４０１と副画像データＡ４０２との境界に設けられる混合領域４０２ｂにおける重み係数である。ＭＩＮ３２６から出力される総合重み係数Ａｔ３は、図４（ｃ）に示す主画像データ４０１と副画像データＢ４０３との境界に設けられる混合領域４０３ｂにおける重み係数である。
【００７８】
ＭＩＮ３１６で得られた総合重み係数Ａｔ１は、領域外マスク３２８に入力される。領域外マスク３２８は、領域判定部３２７により、画像合成部１１９に入力された画像データの画素位置に応じて、この重み係数を加工して、副画像データＡ用、Ｂ用の重み係数を出力する。
副画像データＡ用の重み係数は次のようにして生成される。領域判定部３２７により、副画像データＡ４０２と副画像データＢ４０３の両方の合成領域内と判定された場合はＡｔ１を、副画像データＡ４０２のみの合成領域内と判定された場合は１を、副画像データＡ４０２の合成領域外と判定された場合は０を、副画像データＡの重み係数（Ａｔ４ａ）として、乗算部３３０に出力する。この重み係数の様子を図４（ｄ）及び図４（ｅ）に示す。（白い程重みが大きく、黒い程重みが小さい事を示す）また、副画像データＢ用の重み係数は、領域判定部３２７により、副画像データＢ４０３領域内と判定された場合は、（１−Ａｔ１）を、領域外と判定された場合は０を、副画像データＢの重み係数（Ａｔ４ｂ）として乗算部３３０に出力する。この重み係数の様子を図４（ｄ）及び図４（ｆ）に示す。
【００７９】
ＭＡＸ３２９は、ＭＩＮ３２１で得られた総合重み係数Ａｔ２とＭＩＮ３２６で得られた総合重み係数Ａｔ３とのうちの大きいほうを乗算部３３０に出力する。即ち、図４（ｃ）に示す混合領域４０２ｂと混合領域４０３ｂとの重なる領域においては値の大きいほうの総合重み係数を用いる。
【００８０】
乗算部３３０は、領域外マスク３２８から出力された総合重み係数Ａｔ４ａ、Ａｔ４ｂとＭＡＸ３２９から出力された総合重み係数との積を合成割合Ａｔａ、Ａｔｂとして画像合成部１１９に出力する。
【００８１】
画像合成部１１９は、合成割合算出部１１８から入力された合成割合Ａｔａ、Ａｔｂに従って主画像データ４０１、副画像データＡ４０２、副画像データＢ４０３を合成する。画像合成部１１９に入力された主画像データの画素データをＭ１、副画像データＡの画素データをＳ１、副画像データＢの画素データをＳ２とすると、画像合成部１１９は、合成後の画像データにおける位置（Ｘ，Ｙ）の画素データＱを、（式１０）に示すようにして生成する。  
Ｑ＝Ａｔａ×Ｓ１＋Ａｔｂ×Ｓ２＋（１−Ａｔａ−Ａｔｂ）×Ｍ１        
（式１０）
（式１０）に示すようにして、主画像データ４０１と、副画像データＡ４０２、副画像データＢ４０３とを重み付けして合成することにより、主画像データ４０１と副画像データＡ４０２との境界、主画像データ４０１と副画像データＢ４０３との境界、副画像データＡ４０２副画像データＢ４０３との境界における急激な画質の変化を抑制することが可能である。
【００８２】
ここで、前述した例では、合成割合を単純な乗算で求めたが、２次以上の関数式から求めても良い。また、前述した例では、画像データ間の境界からの距離に応じて合成割合を算出する例を示したが、副画像データの中心位置からの距離に応じて合成割合を算出しても良い。また、前述した例では水平方向の重み係数と垂直方向らの重み係数との最小値、即ち入力された画像データの画素位置に対してより近い方向の重み係数を合成割合として採用している。これに限らず、水平方向の重み係数と垂直方向らの重み係数との平均や２乗平均等により合成割合を求めても良い。
【００８３】
また、前述の例では、主画像データと２つの副画像データとを同時に再生する例を説明している。しかしながら、主画像データと同時に再生する副画像データの数は、２つに限るものではない。もし、副画像データＣが有り、副画像データＣのほうが副画像データＢよりも優先順位が低ければ、副画像データＣの合成領域内での副画像データＢの境界からの距離に応じた重みをさらに算出する。また、副画像データＣの合成領域中に副画像データＡと副画像データＢと境界がある場合は、副画像データＡの合成割合の残りを副画像データＢ、副画像データＣの合成割合で分け合う。副画像データＡの境界から算出した合成割合をＡａ、副画像データＢの境界から算出した合成割合をＡｂとすると、主画像データを除外した副画像データＡ、Ｂ、Ｃの合成割合は、以下の（式１１）により得られる。
副画像データＡの合成割合：Ａａ  
副画像データＢの合成割合：Ａｂ×（１−Ａａ）  
副画像データＣの合成割合：１−Ａｂ×（１−Ａａ）
となる。
【００８４】
以上説明したように、本実施形態によれば、主画像データと副画像データとを同時に記録及び同時に再生が可能な撮像装置において、画像記録時において、副画像データを高い縮小率で記録しても、画像再生時において、フレーム関連情報に従って、副画像データを主画像データに対応したサイズとなるようにリサイズすることにより、記録容量を少なくしつつ、副画像データを高画質に再生することが可能である。
【００８５】
また、主画像データと副画像データとの境界、副画像データ同士の境界においては、画像データに重みを付けて合成することにより、画像データ間の急激な画質の変化を抑えてユーザに違和感を与えないようにすることが出来る。
【００８６】
ここで、前述の実施形態では、主画像データと副画像データとのそれぞれに対して画像処理部と圧縮・伸張処理部と設け、両画像データを並列して処理する例を示している。しかしながら、図５に示すように、画像処理部と圧縮・伸張処理部とを１つ設け、時分割で主画像データと副画像データの処理をするように撮像装置を構成しても良い。
【００８７】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００８８】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００８９】
１０１…光学系、１０２…撮像素子、１０３…リサイズ部、１０４…切り出し・リサイズ部、１０５…ＡＥ・ＡＦ・ＡＷＢ情報収集部、１０６…注視領域決定部、１０７…制御部、１０８…メモリ、１０９…制御部、１１０…操作部、１１１…画像処理部、１１２…圧縮・伸張処理部、１１３…画像処理部、１１４…圧縮・伸張処理部、１１５…フレーム関連情報生成部、１１６…関連情報生成部、１１７…記録媒体、１１８…合成割合算出部、１１９…画像合成部、１２０…表示部、１２１…ＯＳＤ生成部、１２２…画質調整部
【図１】
2013232869.tif 000003
【図２】
2013232869.tif 000004
【図３】
2013232869.tif 000005
【図４】
2013232869.tif 000006
【図５】
2013232869.tif 000007