(57)【要約】【課題】回路規模の増大や高速動作可能な撮像素子を必要とせずに、構図内の複数の領域の画像を同時に取得可能な撮像装置を提供すること。【解決手段】ユーザによって設定された注目領域に対し、状態管理部６によって管理されている情報と撮像条件管理部７によって管理されている情報とをもとに、記憶部８に入出力される画像データの帯域が記憶部の処理帯域の範囲内であるかが帯域判定部５によって判定される。この判定の結果に従って、領域設定部４の設定が変更され、変更された設定に従って切出制御部３によって構図全体の画像データから注目領域の画像データが切り出され、構図全体の画像データと注目領域の画像データとがそれぞれ処理される。【選択図】図１
2013232706.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して構図全体の画像データを得る撮像部と、
前記撮像部で得られた構図全体の画像データの中で注目領域を設定する領域設定部と、
前記領域設定部で設定された注目領域の画像データを、前記構図全体の画像データから切り出す切出制御部と、
前記構図全体の画像データと前記注目領域の画像データとを記憶する記憶部と、
前記記憶部に必要とされる帯域の情報を、当該撮像装置の動作状態毎に管理する状態管理部と、
前記構図全体の画像データ及び前記注目領域の画像データの帯域に関連する撮像条件情報を管理する撮像条件管理部と、
前記記憶部に入出力される画像データの帯域が前記記憶部の処理帯域の範囲内であるかを判定する帯域判定部と、
を具備し、
前記帯域判定部は、前記状態管理部によって管理されている情報と前記撮像条件管理部によって管理されている情報とをもとに前記判定を行い、該判定の結果に従って前記領域設定部の設定を変更することを特徴とする撮像装置。
【請求項２】
前記帯域判定部は、
複数の異なる帯域の振り分け条件毎に、前記状態管理部によって管理されている情報と前記撮像条件管理部によって管理されている情報とを用いて、前記記憶部に入出力される画像データの帯域と前記記憶部の処理帯域とを算出する帯域算出部と、
前記複数の異なる帯域の振り分け条件毎に算出された前記記憶部に入出力される画像データの帯域と前記記憶部の処理帯域とを比較する帯域比較部と、
前記比較の結果をもとに、前記領域設定部の設定をする判定部と、
を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記構図全体の画像データをリサイズする第一のリサイズ部と、
前記注目領域の画像データをリサイズする第二のリサイズ部と、
前記帯域判定部の判定の結果に応じて前記第一のリサイズ部におけるリサイズ率と前記第二のリサイズ部におけるリサイズ率とを制御する画像入力制御部と、
をさらに具備することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記帯域判定部は、前記状態管理部によって管理されている情報と前記撮像条件管理部によって管理されている情報とをもとに前記判定を行い、該判定の結果に従って前記画像入力制御部におけるリサイズ率の設定をするリサイズ設定部を有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記領域設定部は、撮像フレーム毎に、予め定められた複数の注目領域のうちの異なる注目領域を設定し、
前記撮像フレーム毎に不足する注目領域の画像データを補間するフレーム補間部をさらに具備することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記フレーム補間部は、補間する注目領域の画像データを含む撮像フレームに対し、時間的に前後する撮像フレームにおける注目領域の画像データから補間を行うことを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つの撮像素子から得られる画像から、複数の画像を同時に取得することができる撮像装置に関する。
【背景技術】
【０００２】
撮像装置は、被写体の像をＣＣＤやＣＭＯＳに代表される撮像素子によって取得し、取得した被写体の像に基づく画像を、表示したり、記録したりするものである。撮像装置としては、例えばデジタルカメラが知られている。近年のデジタルカメラの中には、構図全体の画像と構図内の１つの注目被写体の画像とを同時に得ることが可能なものもある。このような画像の同時取得動作は、例えば構図全体の画像から注目被写体の領域を切り出すことで実現できる。
【０００３】
また、この種の同時取得動作に関する技術として、構図内の複数の注目被写体の画像を同時取得するための技術が、例えば特許文献１において提案されている。特許文献１は、運動会等の撮影シーンにおいて、高速のフレームレートで撮像素子を動作させ、高速フレームレートで動作する撮像素子から得られる画像の任意の領域を読み出すことにより、複数の注目被写体の画像を取得できるようにしている。また、より単純な手法として、１つの撮像フレーム内で複数の領域を同一フレーム時間内で読み出し、読み出した領域を並列処理するという手法も考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２９０８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術は、高速のフレームレートで動作でき且つ任意の領域から信号の読み出しが可能な撮像素子の利用を前提としている。つまり、特許文献１の技術は、取得したい領域毎に撮像フレームを割り当て、それぞれの撮像フレームで異なる領域からの信号を読み出すものであり、記録したい領域の数が増えるとそれに応じて高速のフレームレートでの動作が必要となる。また、内部の処理を並列にした場合には、領域の数だけ回路規模が大きくなり、コストや消費電力の増大につながる。
【０００６】
本発明は、この点に着目してなされたものであり、回路規模の増大や高速動作可能な撮像素子を必要とせずに、構図内の複数の領域の画像を同時に取得可能な撮像装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記の目的を達成するために、本発明の一態様の撮像装置は、被写体を撮像して構図全体の画像データを得る撮像部と、前記撮像部で得られた構図全体の画像データの中で注目領域を設定する領域設定部と、前記領域設定部で設定された注目領域の画像データを、前記構図全体の画像データから切り出す切出制御部と、前記構図全体の画像データと前記注目領域の画像データとを記憶する記憶部と、前記記憶部に必要とされる帯域の情報を、当該撮像装置の動作状態毎に管理する状態管理部と、前記構図全体の画像データ及び前記注目領域の画像データの帯域に関連する撮像条件情報を管理する撮像条件管理部と、前記記憶部に入出力される画像データの帯域が前記記憶部の処理帯域の範囲内であるかを判定する帯域判定部と、を具備し、前記帯域判定部は、前記状態管理部によって管理されている情報と前記撮像条件管理部によって管理されている情報とをもとに前記判定を行い、該判定の結果に従って前記領域設定部の設定を変更することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、回路規模の増大や高速動作可能な撮像素子を必要とせずに、構図内の複数の領域の画像を同時に取得可能な撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態における帯域判定部の内部の機能ブロック図である。
【図３】本発明の各実施形態の撮像装置の動作について示すフローチャートである。
【図４】本発明の第１の実施形態における帯域判定の制御を示すフローチャートである。
【図５】状態管理部に記憶される帯域のテーブルデータの例を示す図である。
【図６】図６（ａ）は記憶部の帯域が帯域Ａにある場合の例を示す図であり、図６（ｂ）は記憶部の帯域が帯域Ｂにある場合の例を示す図である。
【図７】図７（ａ）は帯域Ｂの振り分け条件を満たす場合の撮像フレームを時系列に並べて示した図であり、図７（ｂ）は注目領域１の画像データの補間方法の例を示す図である。
【図８】本発明の第２の実施形態に係る撮像装置の概略構成を示すブロック図である。
【図９】本発明の第２の実施形態における帯域判定部の内部の機能ブロック図である。
【図１０】本発明の第２の実施形態における帯域判定の制御を示すフローチャートである。
【図１１】記憶部が帯域Ｃ内にある場合の例を示す図である。
【図１２】図１２（ａ）は帯域Ｃの振り分け条件を満たす場合の撮像フレームを時系列に並べて示した図であり、図１２（ｂ）は構図全体の画像データの補間方法の例を示す図であり、図１２（ｃ）は注目領域１の画像データの補間方法の例を示す図であり、図１２（ｄ）は注目領域２の画像データの補間方法の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。  
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。図１に示す撮像装置は、例えばデジタルカメラへの適用例を示している。また、以下の説明においては動画像の記録時の処理を例示するが、本実施形態の撮像装置は、静止画像が記録可能であっても良い。
【００１１】
図１に示す撮像装置は、撮像部１と、第一のリサイズ部２と、切出制御部３と、領域設定部４と、帯域判定部５と、状態管理部６と、撮像条件管理部７と、記憶部８と、フレーム補間部９と、画像処理部１０と、記録部１１と、表示部１２と、操作部１３と、を有している。
【００１２】
撮像部１は、単一又は複数のレンズを有してなる光学系と、ＣＣＤ素子やＣＭＯＳ素子等を有してなる撮像素子と、撮像素子からの画像信号に対して各種のアナログ処理を施すアナログ処理部と、アナログ処理された画像信号をデジタル信号としての画像データに変換するＡ／Ｄ変換部と、を有している。この撮像部１は、被写体を撮像し、被写体に係る構図全体の画像データを生成する。
【００１３】
第一のリサイズ部２は、撮像部１で生成された構図全体の画像データを、画像処理部１０における画像処理に必要なサイズにリサイズ（例えば縮小）する。
【００１４】
切出制御部３は、撮像部１で生成された構図全体の画像データの中から、領域設定部４によって設定された注目領域の画像データを切り出す。
【００１５】
領域設定部４は、ユーザによる操作部１３の操作及び帯域判定部５の判定結果に応じて、構図全体の画像データの中で注目領域を設定する。
【００１６】
帯域判定部５は、状態管理部６によって管理されている情報と、撮像条件管理部７によって管理されている情報とに基づき、記憶部８に入出力される画像データの帯域が記憶部８の処理帯域の範囲内であるかを判定する。帯域判定部５の詳細については後述する。
【００１７】
状態管理部６は、本撮像装置の動作状態に応じた帯域の情報を管理する。ここで、本実施形態における帯域とは、１秒当たりの入出力データ量（ｂｐｓ）である。状態管理部６では、例えば複数の動作ユースケースに応じた設計上の入出力データ量を、テーブルデータとして管理している。
【００１８】
撮像条件管理部７は、画像データを取得する際の撮像条件に応じた帯域の情報を管理する。ここでの撮像条件は、画像データの帯域を変化させ得る条件であって、例えば撮像素子の撮像フレームレート、画像データのサイズが含まれる。
【００１９】
記憶部８は、第一のリサイズ部２でリサイズされた画像データ又は切出制御部３で切り出された画像データを一時的に記憶する。記憶部８は、例えばＤＲＡＭによって構成されている。なお、記憶部８は、第一のリサイズ部２でリサイズされた画像データと、切出制御部３で切り出された画像データの両方を一時的に記憶することもある。
【００２０】
フレーム補間部９は、本実施形態における動画記録の際に不足する画像データを補間により生成する。
【００２１】
画像処理部１０は、記憶部８に記憶された画像データに対し、表示や記録等の用途に応じた画像処理を施す。この画像処理としては、例えばＹＣ変換処理、ノイズ低減処理、歪補正処理、圧縮処理が含まれる。ＹＣ変換処理は、撮像素子を介して得られる画像データを、輝度データ（Ｙ）と色差データ（Ｃ）とに分離する処理である。ノイズ低減処理は、画像データに重畳されるノイズ成分を低減させる処理である。歪補正処理は、光学系の収差等によって画像データに発生する歪みを補正する処理である。圧縮処理は、ＹＣデータをＭＰＥＧ方式等の周知の動画圧縮方式によって圧縮する処理である。
【００２２】
記録部１１は、画像処理部１０による画像処理によって得られた圧縮データを、動画像ファイルとしてメモリカード等の記録媒体に記録する。
【００２３】
表示部１２は、画像処理部１０による画像処理によって得られたＹＣデータを用いて、被写体の画像を表示する。また、表示部１２は、撮像装置の動作状態、撮像条件等を設定するためのメニュー画面も表示する。
【００２４】
操作部１３は、タッチパネルやボタン等の入力デバイスである。操作部１３は、ユーザが、注目領域、撮像装置の動作状態、撮像条件等を設定するための操作部としても機能する。
【００２５】
図２は、第１の実施形態における帯域判定部５の内部の機能ブロック図である。帯域判定部５は、複数の帯域算出部（図２の例では第一の帯域算出部５ａと第二の帯域算出部５ｂとの２つ）と、帯域比較部５ｃと、判定部５ｄと、を有している。
【００２６】
第一の帯域算出部５ａは、状態管理部６で管理された情報と撮像条件管理部７で管理された情報とに応じて、帯域Ａの振り分け条件で振り分けをするために必要な帯域を算出する。ここで算出される帯域は、記憶部８の処理帯域と、記憶部８に入出力される画像データの帯域である。
【００２７】
第二の帯域算出部５ｂは、状態管理部６で管理された情報と撮像条件管理部７で管理された情報とに応じて、帯域Ｂの振り分け条件で振り分けをするために必要な帯域を算出する。ここで算出される帯域は、記憶部８の処理帯域と、記憶部８に入出力される画像データの帯域である。ただし、帯域Ｂの振り分け条件は、帯域Ａの振り分け条件とは異なる。
【００２８】
帯域比較部５ｃは、第一の帯域算出部５ａで算出された帯域に従って、記憶部８の処理帯域と帯域Ａとを比較する。また、帯域比較部５ｃは、第二の帯域算出部５ｂで算出された帯域に従って、記憶部８の処理帯域と帯域Ｂとを比較する。
【００２９】
判定部５ｄは、帯域比較部５ｃでの比較結果に従って記憶部８の処理帯域を振り分け、この振り分けに従って領域設定部４の設定を行う。
【００３０】
次に、本発明の第１の実施形態に係る撮像装置の動作について説明する。図３は、本発明の各実施形態の撮像装置の動作について示すフローチャートである。図３に示すフローチャートは、動画記録時の動作を主に示したフローチャートである。
【００３１】
動画記録の開始前、構図全体の画像が表示部１２に表示される（Ｓ１００）。この動作の際、撮像部１を介して得られた画像データは、第一のリサイズ部２に入力され、表示部１２の画面サイズに応じてリサイズされた後、記憶部８に記憶される。この記憶部８に記憶された画像データは、画像処理部１０によって画像処理された後、記憶部８に記憶される。この記憶部８に記憶された画像処理後の画像データが表示部１２によって読み出され、表示部１２に構図全体の画像が表示される。このような一連の処理を繰り返し行うことにより、ユーザは、動画撮影時の構図の確認等を行うことが可能である。
【００３２】
構図全体の画像の表示後、ユーザの操作部１３の操作により、撮像装置の動作状態の１つである、複数記録モードが選択されたか否かが判定される（Ｓ１０１）。ステップＳ１０１において、複数記録モードが選択されたとき、表示部１２の画面上の所定領域（例えば、中央領域や顔領域）を囲む枠が、予め設定してある大きさで表示される（Ｓ１０２）。
【００３３】
枠表示の後、帯域判定部５によって帯域判定が行われる（Ｓ１０３）。帯域判定の詳細については後で詳しく説明する。帯域判定の後、構図全体の画像データと表示された枠内の領域の画像データとを処理できるか否かが帯域判定部５によって判定される（Ｓ１０４）。
【００３４】
Ｓ１０４において、処理可能であると帯域判定部５によって判定されたとき、ユーザの操作部１３の操作により、表示部１２に表示されている枠が、ユーザが注目領域としたい被写体上に移動される（Ｓ１０５）。枠の移動終了後、ユーザの操作部１３の操作により、枠の追加が指示されたか否かが判定される（Ｓ１０６）。
【００３５】
Ｓ１０６において、枠の追加が指示されたとき、処理がＳ１０２に戻る。この場合には、次の枠が表示され、次の注目領域の設定が可能となる。また、枠の追加が指示されていないとき、動画記録が開始される。このとき、構図全体の画像データと領域設定部４によって設定された注目領域の画像データとが例えばそれぞれ１つの画像ファイルとして記録部１１に記録される（Ｓ１０７）。
【００３６】
また、Ｓ１０１において複数記録モードが選択されていないとき、動画記録が開始される。このとき、構図全体の画像データが１つの画像ファイルとして記録部１１に記録される（Ｓ１０８）。
【００３７】
次に、帯域判定について説明する。図４は、第１の実施形態における帯域判定の制御を示すフローチャートである。帯域判定が開始されると、構図全体の画像データのデータ量、及び枠内の注目領域の画像データのデータ量がそれぞれ算出される（Ｓ２００）。構図全体の画像データのデータ量は、例えば撮像条件（画像の記録サイズ等）に応じて設定される。また、注目領域の画像データのデータ量は、撮像条件と構図全体に対するサイズとによって決定される。
【００３８】
それぞれの画像データのデータ量が算出された後、帯域比較部５ｃにより、帯域比較が行われる（Ｓ２０１）。第１の実施形態の帯域比較においては、記憶部８の処理帯域と帯域Ａとの比較、帯域と帯域Ｂとの比較が行われる。第１の実施形態の帯域比較の詳細については後で詳しく説明する。
【００３９】
Ｓ２０１の帯域比較の後、判定部５ｄにより、記憶部８の処理帯域が帯域Ａ内であるか否かが判定される（Ｓ２０２）。Ｓ２０２において、記憶部８の処理帯域が帯域Ａ内であるとき、判定部５ｄにより、撮像フレーム毎に、ユーザによって設定された注目領域を設定するように領域設定部４に対して指示がされる（Ｓ２０３）。
【００４０】
Ｓ２０２において、記憶部８の処理帯域が帯域Ａ内でないとき、判定部５ｄにより、記憶部８の処理帯域が帯域Ｂ内であるか否かが判定される（Ｓ２０４）。Ｓ２０４において、記憶部８の処理帯域が帯域Ｂ内であるとき、判定部５ｄにより、撮像フレーム毎に、ユーザによって設定された注目領域のうちの異なる注目領域を設定するように領域設定部４に対して指示がされる（Ｓ２０５）。
【００４１】
Ｓ２０４において、記憶部８の処理帯域が帯域Ｂ内でないときには、枠の変更指示が行われる（Ｓ２０６）。枠の変更指示とは、注目領域の画像データの帯域を減らすことをユーザに促す処理である。この枠の変更指示としては、例えば枠のサイズを小さくするか又は枠の数を減らすかをユーザに促す表示が考えられる。変更指示は、表示による手法に限らず、例えば振動で伝える手法でも良い。また、予め処理可能な枠（注目領域）のサイズが設定されているのであれば、そのサイズに枠を表示し直してユーザに通知し、枠の移動からやり直させるようにしても良い。
【００４２】
以下、Ｓ２０１の帯域比較について詳しく説明する。なお、ここでは説明を簡単にするため、ユーザにより、２つの注目領域が設定された場合について説明する。便宜上、２つの注目領域をそれぞれ、注目領域１、注目領域２と名付ける。
【００４３】
帯域比較が開始されると、第一の帯域算出部５ａにより、帯域Ａの振り分け条件で振り分けを行うため必要な帯域が算出される。また、第二の帯域算出部５ｂにより、帯域Ｂの振り分け条件で振り分けを行うため必要な帯域が算出される。これらの算出された帯域は、帯域比較部５ｃに入力される。
【００４４】
本実施形態では、以下の（式１）の条件を満たすときに、記憶部８の処理帯域が帯域Ａ内であるとする。また、以下の（式２）の条件を満たすときに、記憶部８の処理帯域が帯域Ｂ内であるとする。なお、説明を簡単にするため、（式１）及び（式２）においては、ＣＰＵアクセス等の記憶部８への帯域の影響の小さい要因については省いている。より正確に判定を行うためには、ＣＰＵアクセス等に要する帯域を（式１）及び（式２）の左辺に加算してから判定を行う。  
α＋β＋γ＜ｚ                                            （式１）
α＋β＜ｚ且つα＋γ＜ｚ                                  （式２）
（式１）及び（式２）に示す帯域αは、構図全体の画像データの帯域である。また、帯域βは、注目領域１の画像データの帯域である。また、帯域γは、注目領域２の画像データの帯域である。さらに、帯域ｚは、記憶部８の帯域ｗから、画像処理部１０との間の画像データの入出力に要する帯域ｖ１と、フレーム補間部９との間の画像データの入出力に要する帯域ｖ２と、表示部１２との間の画像データ（ＹＣデータ）の入出力に要する帯域ｖ３と、記録部１１との間の画像データ（圧縮データ）の入出力に要する帯域ｖ４とを除いた帯域である。本実施形態では、帯域ｚを、記憶部８の処理帯域として扱う。
【００４５】
第一の帯域算出部５ａは、（式１）に示す帯域αとβとγの和及び帯域ｚを算出する。また、第二の帯域算出部５ｂは、（式２）に示す帯域αとβの和、帯域αとγの和、及び帯域ｚを算出する。
【００４６】
以下、（式１）及び（式２）に示す各帯域の算出方法について説明する。
【００４７】
帯域ｚは、以下の（式３）によって表される。  
ｚ＝ｗ−（ｖ１＋ｖ２＋ｖ３＋ｖ４）                        （式３）
帯域ｗを求める方法は、計算で求める方法、設計や検証で撮像装置の構成をモデリングしてシミュレーションで値を得る方法がある。ここでは、計算で求める方法を示す。説明のため、記憶部８がＤＲＡＭで構成されているものとする。記憶部８がＤＲＡＭで構成されているとすると、帯域幅、即ち外部データ転送レート［ｂｐｓ］を以下の（式４）から計算できる。  
帯域幅［bps］＝メモリーバス幅［bit］×データレート［1/s］  （式４）
ここで、ＤＲＡＭの場合、バースト長等のアクセスの方法や、コマンドを入力してからデータが出力されるまでのレイテンシ、リフレッシュ動作等、利用するデバイスや撮像装置を構成する設計仕様により動作効率が変わる。したがって、（式４）の結果に動作効率を乗算したものが帯域ｗとなる。
【００４８】
帯域ｖ１は、状態管理部６に記憶されたユースケース毎のデータの入出力量のテーブルデータから取得できる。このユースケースは、撮像装置の動作状態に対応するものである。例えば、ＹＣ変換処理、ノイズ低減処理、歪補正処理、圧縮処理の４つの画像処理に対し、次の３つのユースケースを考える。  
１．ＹＣ変換処理→歪補正処理→圧縮処理  
２．ＹＣ変換処理→ノイズ低減処理→圧縮処理  
３．ＹＣ変換処理→ノイズ低減処理→歪補正処理→圧縮処理
状態管理部６には、図５で示すような、画像サイズとユースケースとに応じた帯域ｕ１〜ｕ９が記憶されている。Ｓ２０１の比較においては、ユーザが選択した動作状態に応じてｕ１〜ｕ９の何れかを帯域ｖ１として取得する。ここで、図５は、３つのユースケース、３つの画像サイズに応じた９つの帯域を記憶させる例を示しているが、状態管理部６に記憶させる帯域の数は、９つに限るものではない。
【００４９】
帯域ｖ２、ｖ３、ｖ４は、ユーザにより設定された又は撮像装置に予め設定されている撮像条件に応じて撮像条件管理部７で管理されている画像サイズやフレームレートから、次の（式５）に示すようにして算出する。
【００５０】
帯域[bps]＝画像データ量×ビット深さ×フレームレート        （式５）
また、帯域α、β、γも（式５）と同様に算出できる。例えば、構図全体のリサイズ後の画像データのサイズを水平Ｈ１画素×垂直Ｖ１画素とし、１画素を表現するビット深さをＢ１とし、フレームレートをＦ１とすると、帯域αは、以下の（式６）で求めることが可能である。  
α＝Ｈ１×Ｖ１×Ｂ１×Ｆ１                                （式６）
設計によっては、例えば画像データ間の隙間を減らすパッキングを行い、効率を向上させる方法もある。撮像装置の実現方法により適切な計算方法を使うことが望ましい。
【００５１】
図６（ａ）は、記憶部８の処理帯域である帯域ｚが帯域Ａ内にある場合の例である。記憶部８の処理帯域が帯域Ａ内にある場合、それぞれの撮像フレーム内で、構図全体の画像データと、注目領域１の画像データと、注目領域２の画像データとの並列処理が可能である。即ち、ある撮像フレームにおいては、構図全体の画像データ５０ａと、注目領域１の画像データ５１ａと、注目領域２の画像データ５２ａとを同時に記憶部８に記憶させ、これらの画像データを並列処理できる。また、この撮像フレームと別の撮像フレームにおいては、構図全体の画像データ５０ｂと、注目領域１の画像データ５１ｂと、注目領域２の画像データ５２ｂとを同時に記憶部８に記憶させて並列処理できる。したがって、記憶部８の処理帯域が、帯域Ａ内にある場合には、撮像フレーム毎に、構図全体の画像データから、注目領域１の画像データと注目領域２の画像データとを切り出して、構図全体の画像データと注目領域１の画像データと注目領域２の画像データとを並列処理する。
【００５２】
図６（ｂ）は、記憶部８の処理帯域が帯域Ｂ内にある場合の例である。記憶部８の処理帯域が帯域Ｂ内にある場合、それぞれの撮像フレーム内での、構図全体の画像データと、注目領域１の画像データと、注目領域２の画像データとの並列処理が不能である。一方で、それぞれの撮像フレーム内で、構図全体の画像データと、注目領域１の画像データ及び注目領域２の画像データの何れか一方との並列処理が可能である。即ち、ある撮像フレームにおいては、構図全体の画像データ５０ａと注目領域１の画像データ５１ａとを同時に記憶部８に記憶させて並列処理できる。また、この撮像フレームと別の撮像フレームにおいては、構図全体の画像データ５０ｂと注目領域２の画像データ５２ｂとを同時に記憶部８に記憶させて並列処理できる。したがって、記憶部８の処理帯域が帯域Ｂ内にある場合には、撮像フレーム毎に、異なる注目領域の画像データを読み出して構図全体の画像データとともに並列処理する。このような図６（ｂ）の例は、図６（ａ）の例と比べて、同じ撮像フレーム内の注目領域数を減らすことにより、同一撮像フレーム内で必要とされる帯域を少なくすることができる。
【００５３】
ここで、図６（ｂ）の例では、動画のフレームレートよりも遅いフレームレートで画像データが更新されると、それぞれの撮像フレーム間で注目領域１の画像データと注目領域２の画像データとの何れかが不足することとなる。この不足した画像データは、フレーム補間部９による補間によって生成する。
【００５４】
図７を参照して補間の方法を説明する。図７（ａ）は、帯域Ｂの振り分け条件を満たす場合の撮像フレームを時系列に並べて示した図である。図７（ａ）に示すように、時刻ｔ１、ｔ３、ｔ５においては、構図全体の画像データ５０ａ、５０ｃ、５０ｅから、注目領域１の画像データ５１ａ、５１ｃ、５１ｅをそれぞれ切り出し、注目領域２の画像データについては切り出さない。一方、時刻ｔ２、ｔ４においては、構図全体の画像データ５０ｂ、５０ｄから、注目領域２の画像データ５２ｂ、５２ｄをそれぞれ切り出し、注目領域１の画像データについては切り出さない。この場合、時刻ｔ１、ｔ３、ｔ５においては、注目領域２の画像データが不足し、時刻ｔ２、ｔ４においては、注目領域１の画像データが不足する。
【００５５】
したがって、図７（ｂ）に示すように、時刻ｔ１の注目領域１の画像データ５１ａと時刻ｔ３の注目領域１の画像データ５１ｃとからその間の時刻ｔ２の画像データ５１ｂを補間し、時刻ｔ３の注目領域１の画像データ５１ｃと時刻ｔ５の注目領域１の画像データ５１ｅとからその間の時刻ｔ４の画像データ５１ｄを補間する。補間は、単純な線形補間で良い。線形補間を用いた場合、画像データ５１ｂは、画像データ５１ａと画像データ５１ｃとの平均の画像データとなる。また、画像データ５１ｄは、画像データ５１ｃと画像データ５１ｅとの平均の画像データとなる。なお、補間方法は、線形補間に限るものではない。また、図７（ｂ）は、注目領域１の画像データの補間方法を示しているが、注目領域２の画像データについても同様に、前後の時刻の画像データから補間することが可能である。また、本実施形態では、補間する注目領域の画像データを含む撮像フレームに対し、時間的に１つ前の撮像フレームにおける注目領域の画像データと、時間的に１つ後の撮像フレームにおける注目領域の画像データから補間を行ったが、補間する注目領域の画像データを含む撮像フレームに対し、時間的に３つ前の撮像フレームにおける注目領域の画像データと、時間的に３つ後の撮像フレームにおける注目領域の画像データから補間をしても良い。
【００５６】
以上説明したように、本実施形態によれば、撮像装置の動作状態や撮像条件に応じて算出される帯域により、ユーザによって設定された注目領域の画像データと構図全体の画像データとの並列処理が可能であるかを判定し、並列処理が可能なときには、撮像フレーム毎に構図全体の画像データとユーザによって設定された注目領域の画像データとを並列処理するようにしている。また、ユーザによって設定された注目領域の画像データと構図全体の画像データとの並列処理が不能である場合には、注目領域の画像データの数を減らしての並列処理が可能であるかを判定し、並列処理が可能なときには、撮像フレーム毎に異なる注目領域の画像データと構図全体の画像データとを並列処理するようにしている。これにより、高速な任意読み出しの可能な撮像素子が不要である。また、単純にパラレル構成にして回路規模を増大することなく、構図全体の画像データと注目領域の画像データとの複数記録を実現することができる。
【００５７】
また、本実施形態は、撮像フレーム毎に撮像素子から読み出す画像信号の一部を抜き出すのではなく、デジタル処理によって注目領域の画像データを切り出すものである。このため、撮像装置を構成する回路の性能向上とともに、複数記録できる注目領域の数を増やすことが可能である。
【００５８】
ここで、前述の実施形態の帯域判定においては、ユーザによって設定された注目領域の数を２つとしている。しかしながら、ユーザによって設定可能な注目領域の数は２つには限定されない。ユーザによって３つ以上の注目領域が設定された場合には、前述の（式１）、（式２）において、３つ目以降の注目領域の画像データの帯域を考慮すれば良いだけである。例えば、３つの注目領域が設定されたとすると、（式１）、（式２）を、３つ目の注目領域の画像データの帯域δを含む以下の（式７）、（式８）、に変更すれば良い。  
α＋β＋γ＋δ＜ｚ                                            （式７）
α＋β＜ｚ且つα＋γ＜ｚ且つα＋δ＜ｚ                        （式８）
また、注目領域が３つの場合には、以下の（式９）を満たす場合にも帯域Ｂ内であると判定することができる。（式９）の条件を満たす場合には、構図全体の画像データから２つの注目領域の画像データを同時に切り出して処理することが可能である。  
α＋β＋γ＜ｚ且つα＋β＋δ＜ｚ                              （式９）
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態は、帯域の振り分け条件が２つである。これに対し、第２の実施形態は、帯域の振り分け条件が３つである。
【００５９】
以下、第１の実施形態と異なる部分を説明する。図８は、本発明の第２の実施形態に係る撮像装置の概略構成を示すブロック図である。第２の実施形態に係る撮像装置は、図１で示した撮像装置の構成に加えて、第二のリサイズ部１４と、画像入力制御部１５と、を有している。
【００６０】
第二のリサイズ部１４は、切出制御部３によって切り出された注目領域の画像データをリサイズ（例えば縮小）する。
【００６１】
画像入力制御部１５は、帯域判定部５からの指示に従って、第一のリサイズ部２と第二のリサイズ部１４とのリサイズ率をそれぞれ制御する。
【００６２】
図９は、第２の実施形態における帯域判定部５の内部の機能ブロック図である。第２の実施形態に係る帯域判定部５は、図１で示した帯域判定部５の構成に加えて、第三の帯域算出部５ｅと、リサイズ設定部５ｆと、を有している。
【００６３】
第三の帯域算出部５ｅは、状態管理部６で管理された情報と撮像条件管理部７で管理された情報とに応じて、帯域Ｃの振り分け条件で振り分けをするために必要な帯域を算出する。帯域Ｃの振り分け条件は、帯域Ａ及び帯域Ｂの振り分け条件の何れとも異なる条件である。
【００６４】
帯域比較部５ｃは、第一の帯域算出部５ａで算出された帯域に従って、記憶部８の処理帯域と帯域Ａとを比較する。また、帯域比較部５ｃは、第二の帯域算出部５ｂで算出された帯域に従って、記憶部８の処理帯域と帯域Ｂとを比較する。さらに、帯域比較部５ｃは、第三の帯域算出部５ｅで算出された帯域に従って、記憶部８の処理帯域と帯域Ｃとを比較する。
【００６５】
リサイズ設定部５ｆは、判定部５ｄからの指示に応じて構図全体の画像データ及び注目領域の画像データのリサイズ率を設定し、設定したリサイズ率を画像入力制御部１５に指示する。
【００６６】
図１０は、第２の実施形態における帯域判定の制御を示すフローチャートである。帯域判定が開始されると、構図全体の画像データのデータ量、及び枠内の注目画像データのデータ量がそれぞれ算出される（Ｓ３００）。これらのデータ量の算出手法は、第１の実施形態と同様である。
【００６７】
それぞれの画像データのデータ量が算出された後、帯域比較部５ｃにより、帯域比較が行われる（Ｓ３０１）。第２の実施形態の帯域比較においては、記憶部８の処理帯域である帯域ｚと帯域Ａとの比較、帯域ｚと帯域Ｂとの比較、帯域ｚと帯域Ｃとの比較が行われる。第２の実施形態の帯域比較の詳細については後で詳しく説明する。
【００６８】
Ｓ３０１の帯域比較の後、判定部５ｄにより、記憶部８の処理帯域である帯域ｚが帯域Ａ内であるか否かが判定される（Ｓ３０２）。Ｓ３０２において、記憶部８の処理帯域である帯域ｚが帯域Ａ内であるとき、判定部５ｄにより、撮像フレーム毎に、ユーザによって設定された注目領域を設定するように領域設定部４に対して指示がされる（Ｓ３０３）。
【００６９】
Ｓ３０２において、記憶部８の処理帯域である帯域ｚが帯域Ａ内でないとき、判定部５ｄにより、帯域ｚが帯域Ｂ内であるか否かが判定される（Ｓ３０４）。Ｓ３０４において、記憶部８の処理帯域である帯域ｚが帯域Ｂ内であるとき、判定部５ｄにより、撮像フレーム毎に、ユーザによって設定された注目領域のうちの異なる注目領域を設定するように領域設定部４に対して指示がされる（Ｓ３０５）。
【００７０】
Ｓ３０４において、記憶部８の処理帯域である帯域ｚが帯域Ｂ内でないとき、判定部５ｄにより、帯域ｚが帯域Ｃ内であるか否かが判定される（Ｓ３０６）。Ｓ３０６において、記憶部８の処理帯域である帯域ｚが帯域Ｃ内であるとき、判定部５ｄにより、撮像フレーム毎に、ユーザによって設定された注目領域のうちの異なる注目領域を設定するように領域設定部４に対して指示がされるとともに、画像データのデータ量（サイズ）を小さくするようにリサイズ設定部５ｆに対して指示がされる（Ｓ３０７）。
【００７１】
Ｓ３０６において、記憶部８の処理帯域である帯域ｚが帯域Ｃ内でないときには、枠の変更指示が行われる（Ｓ３０８）。枠の変更指示は、第１の実施形態と同様である。
【００７２】
以下、Ｓ３０１の帯域比較について詳しく説明する。なお、ここでは説明を簡単にするため、ユーザにより、２つの注目領域が設定された場合について説明する。便宜上、２つの注目領域をそれぞれ、注目領域１、注目領域２と名付ける。
【００７３】
帯域比較が開始されると、第一の帯域算出部５ａにより、帯域Ａの振り分け条件で振り分けを行うため必要な帯域が算出される。また、第二の帯域算出部５ｂにより、帯域Ｂの振り分け条件で振り分けを行うため必要な帯域が算出される。また、第三の帯域算出部５ｅにより、帯域Ｃの振り分け条件で振り分けを行うため必要な帯域が算出される。これらの算出された帯域は、帯域比較部５ｃに入力される。
【００７４】
帯域Ａと帯域Ｂとは、第１の実施形態で説明したものと同様であるので説明を省略する。本実施形態では、例えば以下の（式１０）の条件を満たすときに、記憶部８の処理帯域である帯域ｚが帯域Ｃ内であるとする。
【００７５】
α１＞α２                                                
β１＞β２                                                
α１＋β１＜ｚ                                        
α２＋β２＋γ２＜ｚ                                      （式１０）
α１、β１は、それぞれ、ある撮像フレームにおける、リサイズ後の構図全体の画像データの帯域、リサイズ後の注目領域１の画像データの帯域を示す。α２、β２、γ２は、それぞれ、ある撮像フレームとは別の撮像フレームおける、リサイズ後の構図全体の画像データの帯域、リサイズ後の注目領域１の画像データの帯域、リサイズ後の注目領域２の画像データの帯域を示す。即ち、（式１０）は、リサイズによって画像データの帯域を小さくすることにより、複数の画像データの並列処理が可能であるかを判定していることになる。したがって、帯域Ｃの条件は、（式１０）で示したものに限らず、画像データのリサイズ率を変化させることにより、ｚを超えない範囲で構図全体の画像データと並列処理する注目領域の画像データの数を増減することが可能である。
【００７６】
図１１は、記憶部８の処理帯域である帯域ｚが帯域Ｃ内にある場合の例である。記憶部８の処理帯域が帯域Ｃ内にある場合、ある撮像フレームにおいては、リサイズ後の構図全体の画像データ５０ａと、リサイズ後の注目領域１の画像データ５１ａとの並列処理が可能である。また、別の撮像フレームにおいては、リサイズ後の構図全体の画像データ（画像データ５０ａよりよりも縮小されている）５０ｂと、リサイズ後の注目領域１の画像データ（画像データ５１ａよりも縮小されている）５１ｂと、リサイズ後の注目領域２の画像データ５２ｂとの並列処理が可能である。このように、記憶部８の処理帯域である帯域ｚが、帯域Ｃ内にあるときには、構図全体の画像のデータ量及び注目領域の画像データのデータ量を撮像フレーム毎で変えることにより、並列処理できる注目領域の数を多くする。
【００７７】
ここで、図１１の例においても、動画のフレームレートよりも遅いフレームレートで画像データが更新されると、撮像フレーム間で注目領域の画像データが不足する場合がある。このような不足した画像データは、フレーム補間部９による補間によって生成する。
【００７８】
図１２を参照して補間の方法を説明する。図１２（ａ）は、図１１の撮像フレームを時系列に並べたものである。
【００７９】
図１２（ｂ）は、構図全体の画像データの補間を示している。ここで、図１２（ｂ）の構図全体の画像データ中の２つの矩形は、撮像フレーム内での被写体の移動を表し、また、２つの矩形の間の矢印は、動きベクトルを表している。
【００８０】
ここで、構図全体の画像データ５０ａの帯域α１が構図全体の画像データ５０ｂの帯域α２より大きいとすると、時刻ｔ２、ｔ４の画像データをそのまま補間に使うと動画として不自然になる。したがって、時刻ｔ１、ｔ３及び時刻ｔ３、ｔ５の構図全体の画像データ５０ａ、５０ｃ、５０ｅを用いて、その間の時刻ｔ２、ｔ４の構図全体の画像データ５０ｂ、５０ｄを補間する。この補間も線形補間を用いても良いし、線形補間以外の補間を用いても良い。また、補間の際、時刻ｔ２、ｔ４の構図全体の画像データの動きベクトルを利用し、生成する補間データの精度を上げることができる。
【００８１】
構図全体の画像データを補間した後で、注目画像データを補間する。図１２（ｃ）は、注目領域１の画像データの補間を示している。構図全体の画像データの補間のときと同様に、注目領域１の画像データの帯域β1が注目領域１の画像データの帯域量β２より大きいとすると、帯域の少ない撮像フレームである時刻ｔ２、ｔ４における注目領域１の画像データ５１ｂ、５１ｄを、その前後の撮像フレームである時刻ｔ１、ｔ３、ｔ５における注目領域１の画像データ５１ａ、５１ｂ、５１ｅから補間して生成する。動きベクトルを使って精度を上げることができる点は、構図全体の画像データの場合と同様である。
【００８２】
図１２（ｄ）は、注目領域２の画像データの補間を示している。注目領域１とは異なり、注目領域２の画像データは、時刻ｔ１、ｔ３、ｔ５で切り出ししない。したがって、時刻ｔ２における注目領域２の画像データ５２ｂと時刻ｔ４における注目領域２の画像データ５２ｄとから補間して時刻ｔ３における注目領域２の画像データ５２ｃを生成する。動きベクトルを使って精度を上げることができる点は、構図全体の画像データの場合と同様である。また、時刻ｔ１における注目領域２の画像データ５２ａ及び時刻ｔ５における注目領域２の画像データ５２ｅは、図示していない前後の撮像フレームの画像データから補間する。
【００８３】
以上説明したように、本実施形態では、撮像フレーム毎に注目領域の切り出し数を変える処理と、リサイズ処理とを併用するようにしている。これにより、第１の実施形態で説明した効果に加えて、ユーザに対して枠の変更指示をすることとなる可能性を第１の実施形態に比べて低減することができる。
【００８４】
ここで、第２の実施形態では、記憶部８の処理帯域を３つ条件で振り分ける例を示しているが、記憶部８の処理できる帯域の範囲内となる帯域の組合せであれば、必ずしも帯域を３つの条件で振り分ける必要はない。例えば、４つ以上の条件で振り分けるようにしても良い。
【００８５】
以上実施形態に基づいて本発明を説明したが、本発明は前述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００８６】
また、以上の説明では、注目領域をユーザが設定する方法を示したが、注目領域を自動設定するようにしても良い。例えば、構図全体の画像データの中の被写体（例えば顏）を認識し、この認識した被写体を含む領域を注目領域として設定するようにしても良い。この際、認識された被写体の数が多く、記憶部８の処理帯域を超える場合には、例えば、構図全体における中心に近い被写体を優先して選択する等することによって、画像データの帯域を減らすようにしても良い。
【００８７】
また、同一の注目領域を複数記録すると処理帯域を消費してしまう。したがって、構図全体の中の同一の領域が注目領域として設定された場合にはこれらを１つの注目領域とみなすようにして１つ分の画像データのみを記録するようにしても良い。また、注目領域が予め設定したマージンの範囲で重なる場合も１つの注目領域とみなすようにしても良い。例えば、設定された注目領域に重なっていて、周囲のいずれかの方向に１０画素ずれている領域等は、同一の注目領域であるとみなして良い。
【００８８】
また、注目領域を設定するための枠の表示は適宜変更できる。例えば枠に色を付けるようにしても良いし、注目領域の選択の前後で枠の色を変えても良い。さらには、枠を点滅させたり、枠に沿って点線を動かしたりしても良い。
【００８９】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００９０】
１…撮像部、２…第一のリサイズ部、３…切出制御部、４…領域設定部、５…帯域判定部、５ａ…第一の帯域算出部、５ｂ…第二の帯域算出部、５ｃ…帯域比較部、５ｄ…判定部、５ｅ…第三の帯域算出部、５ｆ…リサイズ設定部、６…状態管理部、７…撮像条件管理部、８…記憶部、９…フレーム補間部、１０…画像処理部、１１…記録部、１２…表示部、１３…操作部、１４…第二のリサイズ部、１５…画像入力制御部
【図１】
2013232706.tif 000003
【図２】
2013232706.tif 000004
【図３】
2013232706.tif 000005
【図４】
2013232706.tif 000006
【図５】
2013232706.tif 000007
【図６】
2013232706.tif 000008
【図７】
2013232706.tif 000009
【図８】
2013232706.tif 000010
【図９】
2013232706.tif 000011
【図１０】
2013232706.tif 000012
【図１１】
2013232706.tif 000013
【図１２】
2013232706.tif 000014