(57)【要約】【課題】記憶媒体を有効に使用可能とし、記憶媒体に対するアクセス効率を向上させることを課題とする。【解決手段】被写体検出部（１０５）は撮影画像から被写体の画像領域を検出し、システム制御部（１１２）とアドレス制御部（１０８）は、メモリ（１０６）に対して撮影画像のデータが書き込まれる際には、所定の規則のアドレスマッピングに基づいて撮影画像のデータをメモリ（１０６）に配置し、メモリ（１０６）から被写体の画像領域のデータが読み出される際には、被写体の画像領域の形状に応じて所定の規則のアドレスマッピングを補正する。【選択図】図１
2017174312.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像から被写体の画像領域を検出する検出手段と、
記憶媒体に対して撮影画像のデータが書き込まれる際には、所定の規則のアドレスマッピングに基づいて、前記撮影画像のデータを前記記憶媒体に配置する制御手段と、を有し、
前記制御手段は、前記記憶媒体から前記被写体の画像領域のデータが読み出される際には、前記検出された被写体の画像領域の形状に応じて前記所定の規則のアドレスマッピングを制御することを特徴とするアクセス制御装置。
【請求項２】
前記記憶媒体は、複数のバンクに分けられて、バンクごとにロウとカラムが設定されており、バンクアドレスとロウアドレスとカラムアドレスの三次元アドレスの指定によりアクセスされ、
前記撮影画像のデータが書き込まれる際の前記所定の規則のアドレスマッピングは、同一のロウアドレスの領域内に各バンクの同一のカラムアドレスを集約して配置し、前記各バンクの同一のカラムアドレスは水平方向が第１画素数で垂直方向が第２画素数となされたブロックの各画素に対するカラムアドレスとなされており、
前記制御手段は、前記所定の規則のアドレスマッピングに応じた前記三次元アドレスにより、前記記憶媒体の各バンクのデータ領域内に、撮影画像の画素データを順次配置することを特徴とする請求項１に記載のアクセス制御装置。
【請求項３】
前記制御手段は、前記記憶媒体から前記被写体の画像領域のデータが読み出される際、前記検出された被写体の画像領域の形状に応じて、前記カラムアドレスの前記ブロックの第１画素数と第２画素数との比率を変更する制御を行うことを特徴とする請求項２に記載のアクセス制御装置。
【請求項４】
前記制御手段は、前記記憶媒体から前記被写体の画像領域のデータが読み出される際、前記被写体の画像領域の形状が水平方向に長い形状である場合には、前記カラムアドレスの前記ブロックの前記第１画素数を大きくし、前記第２の画素数を小さくして前記比率を変更することを特徴とする請求項３に記載のアクセス制御装置。
【請求項５】
前記制御手段は、前記記憶媒体から前記被写体の画像領域のデータが読み出される際、前記被写体の画像領域の形状が垂直方向に長い形状である場合には、前記カラムアドレスの前記ブロックの前記第１画素数を小さくし、前記第２画素数を大きくして前記比率を変更することを特徴とする請求項３に記載のアクセス制御装置。
【請求項６】
前記制御手段は、前記記憶媒体から前記被写体の画像領域のデータが読み出される際、前記検出された被写体の画像領域の形状に応じて、同一のロウアドレスの領域内に集約する各バンクの同一のカラムアドレスのブロック数を変更することを特徴とする請求項２に記載のアクセス制御装置。
【請求項７】
前記制御手段は、
前記所定の規則のアドレスマッピングを生成する生成手段と、
前記検出された被写体の画像領域の形状に応じて前記所定の規則のアドレスマッピングを補正する補正手段と、
前記所定の規則のアドレスマッピング又は前記補正されたアドレスマッピングに基づいて前記記憶媒体にアクセスするアクセス手段と、を有することを特徴とする請求項１乃至６の何れか１項に記載のアクセス制御装置。
【請求項８】
前記検出手段は、撮影画像から被写体に応じた矩形の前記画像領域を検出することを特徴とする請求項１乃至７の何れか１項に記載のアクセス制御装置。
【請求項９】
前記被写体の画像領域から前記被写体の特徴を検出し、前記検出した特徴に基づいて前記被写体に対する認識処理を行う認識手段を有し、
前記制御手段は、前記認識手段による前記被写体の特徴検出と前記認識処理に用いられる前記画像領域のデータの読み出しがなされる際に、前記被写体の画像領域の形状に応じて前記所定の規則のアドレスマッピングを制御することを特徴とする請求項１乃至８の何れか１項に記載のアクセス制御装置。
【請求項１０】
撮影画像から被写体の画像領域を検出し、記憶媒体に対して撮影画像のデータが書き込まれる際には、所定の規則のアドレスマッピングに基づいて前記撮影画像のデータを前記記憶媒体に配置し、前記記憶媒体から前記被写体の画像領域のデータが読み出される際には、前記検出された被写体の画像領域の形状に応じて前記所定の規則のアドレスマッピングを制御することを特徴とするアクセス制御装置のアクセス制御方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載のアクセス制御装置の各手段として機能させるためのプログラム。
【請求項１２】
画像を撮影する撮影手段と、
請求項１乃至９の何れか１項に記載のアクセス制御装置と、
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶媒体に対するアクセスを制御するアクセス制御装置、アクセス制御方法、プログラム、及び撮像装置に関する。
【背景技術】
【０００２】
近年のデジタルカメラやデジタルビデオカメラのような撮像システムは、撮像素子を動画処理部と静止画処理部とで共有し、また、メモリについても動画処理部と静止画処理部とで共有している。その結果、高解像度の画像データ処理を高速化する場合、撮像システム内部で共有するメモリへのアクセスの際の転送帯域が非常に広帯域となっている。また、各処理部で共有するメモリの構成やメモリに対するアクセスの方法によって転送効率は異なり、処理過程でのアクセスの仕方によってはメモリアクセスの許容帯域を越えてしまい、撮像システムとして破綻をきたす場合がある。特に被写体検出処理や被写体認識処理の際には、処理過程でのメモリに対するアクセス効率が低下し、それが連写性能等を劣化させる要因となっている。
【０００３】
特許文献１には、容量の異なるバンクＡとバンクＢで構成されたメモリに対するアクセス制御により、撮像システムの破綻を回避する技術の一例が開示されている。特許文献１に記載のメモリ制御方法では、容量の大きいバンクＢをインターリーブ領域とノンインターリーブ領域に分け、インターリーブ領域がアクセスされる場合は、バンクＡ，Ｂ間でインターリーブがなされる。
【０００４】
また、特許文献２には、画像データを画像メモリに書き込み／読み出しする際、必要に応じて画像サイズを選ぶことにより、画像メモリへのアクセス時の帯域を抑制する手法が開示されている。特許文献２に記載の撮像装置では、画像メモリを例えばバンク０とバンク１に分ける。そして、撮像装置は、信号処理によって使用する画像サイズ（解像度）が異なる場合、バンク０には時刻Ｔの画像に対して画像サイズを変えた複数の画像を書き込み、バンク１には時刻Ｔ＋１の画像に対して画像サイズを変えた複数の画像を書き込む。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−８１４５３号公報
【特許文献２】特開２００９−２５２１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮像システムでは、例えば物体の検出、認識、認証等の処理が行われる場合、メモリ内の１枚の撮影フレームの矩形領域を複数走査して、その撮影フレームから矩形領域を切り出すように読み出す。そして、その読み出した矩形領域に対して様々な処理が行われる。また、メモリから読み出される矩形領域は、その形状が様々であることも多い。このように、メモリから様々な形状の矩形領域のデータを読み出す場合、メモリ使用効率が低下し、メモリアクセスの転送帯域が圧迫されることになる。
【０００７】
メモリ転送帯域の圧迫を回避するために、前述した特許文献１に記載の技術を用いることも考えられるが、メモリから読み出す矩形領域の形状が様々である場合には、インターリーブ領域の最適化ができず、メモリを有効に使用できなくなる。また、特許文献２に記載の技術の場合は、同一時刻の画像が同一バンク内に存在することになり、同一撮影フレームの画像内の複数の矩形領域に対して処理を行う場合には、インターリーブのアクセスができず、メモリに対するアクセス効率が低下する。
【０００８】
そこで、本発明は、メモリ等の記憶媒体を有効に使用可能とし、記憶媒体に対するアクセス効率を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮影画像から被写体の画像領域を検出し、記憶媒体に対して撮影画像のデータが書き込まれる際には、所定の規則のアドレスマッピングに基づいて撮影画像のデータを記憶媒体に配置し、記憶媒体から被写体の画像領域のデータが読み出される際には、被写体の画像領域の形状に応じて所定の規則のアドレスマッピングを制御することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、メモリ等の記憶媒体を有効に使用可能となり、記憶媒体に対するアクセス効率を向上させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施形態の撮像装置の概略構成を示す図である。
【図２】メモリのアドレスマッピングの説明に用いる図である。
【図３】図２の例に対するメモリアクセスのタイムチャート例を示す図である。
【図４】矩形領域が他のロウアドレス領域に広がった例の説明に用いる図である。
【図５】図４の例に対するメモリアクセスのタイムチャート例を示す図である。
【図６】メモリのアドレスマッピング変更の説明に用いる図である。
【図７】横長の矩形領域に応じて補正されたアドレスマッピングの例を示す図である。
【図８】システム制御部による制御のフローチャートである。
【図９】縦長の矩形領域に応じて補正されたアドレスマッピングの例を示す図である。
【図１０】メモリのアドレスマッピングの他の補正例の説明に用いる図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
＜撮像装置の構成例＞
図１は、本発明実施形態のアクセス制御装置の一適用例であるデジタルカメラやデジタルビデオカメラ等の撮像装置の全体構成例を示す図である。
【００１３】
フォーカスレンズ１０１は、被写体等の光像を、ＣＭＯＳ等の撮像センサ１０２の撮像面上に結像させる。撮像センサ１０２から出力される撮影フレームごとの撮像信号は、ＡＦＥ部１０３に送られる。ＡＦＥ部１０３は、撮像センサ１０２と後段の信号処理部１０４との間のインターフェース部であり、撮影フレームごとのアナログ撮像信号をデジタルデータ（以下、画像データと表記する。）に変換し、信号処理部１０４と被写体検出部１０５に出力する。信号処理部１０４は、撮影フレームごとの画像データに対して各種信号処理を行う。信号処理部１０４による信号処理後の画像データは、メモリコントローラ１０７によりメモリ１０６に格納される。
【００１４】
メモリコントローラ１０７は、メモリ１０６に対するアクセスを制御して、画像データの書き込みと読み出しを行う。メモリ１０６は、本実施形態における記憶媒体の一例であり、ＤＲＡＭ等からなる。撮像装置の各部は、メモリ１０６を共有（シェア）しており、メモリ１０６及びメモリコントローラ１０７を介してデータの受け渡しを行っている。詳細は後述するが、本実施形態の場合、メモリ１０６には複数のバンクが設定され、メモリインターリーブによるアクセス制御が可能となされている。メモリコントローラ１０７は、バンク、ロウ、カラムの三次元のアドレスを指定することで、メモリ１０６へのアクセスを行う。
【００１５】
被写体検出部１０５は、撮影フレームの画像から被写体の矩形の画像領域（以下、矩形領域とする。）を検出し、その矩形領域の形状を示す情報と、撮影フレームの画像内における矩形領域の位置情報とを、システム制御部１１２に出力する。被写体検出部１０５は、撮影画像から被写体の画像領域を検出する、本実施形態における検出手段の一例である。
【００１６】
システム制御部１１２は、撮像装置全体を制御する。システム制御部１１２と後述するアドレス補正部１０８とメモリコントローラ１０７とは、本実施形態における制御手段を構成している。システム制御部１１２は、メモリコントローラ１０７がメモリ１０６へアクセスする際に用いる、バンク、ロウ、カラムの三次元のアドレスマッピングを生成する。撮影フレームの画像データをメモリ１０６に格納する場合、システム制御部１１２は、撮影フレームの画像データをメモリ１０６内に所定の規則で配置するような、バンク、ロウ、カラムの三次元のアドレスマッピングを生成する。バンク、ロウ、カラムの三次元のアドレスマッピングの詳細については後述する。
【００１７】
また、システム制御部１１２は、メモリ１０６から撮影フレームの画像データが読み出される際には、被写体検出部１０５が検出した被写体の矩形領域の形状を示す情報と位置情報に基づいて、アドレスマッピングを補正するかどうか評価する。被写体の矩形領域の形状を示す情報と位置情報に基づくアドレスマッピング補正を行うかどうかの評価の詳細については後述する。そして、システム制御部１１２は、アドレスマッピング補正の要否の評価結果と、画像データの書き込みの際に使用したアドレスマッピングと、被写体の矩形領域の形状を示す情報及び矩形領域の位置情報とを、アドレス補正部１０８に送る。
【００１８】
アドレス補正部１０８は、アドレスマッピング補正の要否の評価結果が、アドレスマッピングの補正が不要であることを示す評価結果である場合には、画像データの書き込みの際に使用したアドレスマッピングを、メモリコントローラ１０７に送る。したがってこの場合、メモリコントローラ１０７は、画像データの書き込みの際に使用したアドレスマッピングを基に、メモリ１０６から画像データの読み出しを行う。
【００１９】
一方、評価結果がアドレスマッピング補正要の評価結果である場合、アドレス補正部１０８は、被写体の矩形領域の形状を示す情報と矩形領域の位置情報とに基づいてアドレスマッピングを補正して、メモリコントローラ１０７に送る。したがってこの場合、メモリコントローラ１０７は、それ以前の書き込みの際に使用したアドレスマッピングをアドレス補正部１０８が補正した後のアドレスマッピングを基に、メモリ１０６から画像データの読み出しを行う。また、次の撮影フレームの画像データがメモリ１０６に格納される際には、その補正後のアドレスマッピングを基にした書き込みが行われる。アドレス補正部１０８によるアドレスマッピングの補正の詳細については後述する。
【００２０】
メモリ１０６から画像データが読み出される場合の一例として、特徴検出部１０９は、システム制御部１１２から被写体の位置情報を取得し、メモリコントローラ１０７を介してメモリ１０６から被写体の矩形領域のデータを読み出す。例えば、被写体が人間である場合、特徴検出部１０９は、人間の被写体の矩形領域から例えば顔内の部位（耳、目、鼻、口等）の領域のデータを抽出して、認識・認証部１１０に送る。認識・認証部１１０は、特徴検出部１０９が抽出した領域の解析を行い、顔が例えば笑顔であるかどうかや、顔による個人の特定等を行う。被写体は人間以外であってもよく、この場合、特徴検出部１０９はメモリ１０６から読み出された被写体領域のデータから例えば色や形状等の特徴を抽出し、認識・認証部１１０ではそれら抽出されたデータに基づいて被写体の認識等を行う。図１の例では、特徴検出部１０９と認識・認証部１１０により被写体認識部が形成されており、この被写体認識部は、被写体の画像領域から特徴を検出して、その特徴に基づいて被写体に対する認識処理を行う、本実施形態における認識手段の一例である。
【００２１】
表示記録部１１１は、画像データを表示したり、記録したりする。表示記録部１１１は、メモリコントローラ１０７を介して、メモリ１０６から画像データを読み出し、不図示の記録媒体へ記録し、不図示の表示装置に画像を表示する。また、表示記録部１１１は、例えば撮影画像の表示を行う場合には、その撮影画像内の被写体を指示する枠の表示を行ってもよい。
【００２２】
＜メモリのアドレスマッピングとアドレス補正の評価＞
以下、メモリ１０６から撮影フレームの画像データが読み出される際の、被写体の矩形領域の形状を示す情報と位置情報に基づくアドレスマッピングの補正要否の評価と、アドレスマッピング補正について説明する。
【００２３】
ここで、本実施形態のような撮像装置において、撮影時に行われる信号処理には、信号処理部１０４による信号処理の他に、特徴検出部１０９による特徴検出や認識・認証部１１０による認識・認証処理等も行われる。具体的には、特徴検出や認識・認証処理の際には、メモリ１０６内の撮影フレームの画像を複数走査し、被写体の矩形領域を検出して、その矩形領域を切り出す（メモリ１０６から読み出す）ことが行われる。そして、その切り出した矩形領域を用いて特徴検出や認識・認証処理が行われる。また、特徴検出や認識・認証処理として、人の被写体の矩形領域を扱う場合には、その人の矩形領域内から、さらに顔や顔内の各部位の矩形領域を抽出して、それら顔や各部位に対する認識・認証等が行われることも多い。さらに、被写体は人や顔等に限らず、他の物の場合もあり、この場合、人以外の他の被写体の矩形領域を抽出し、その被写体の矩形領域について特徴検出や認識・認証処理等が行われる。このため、矩形領域は、様々な形状になる可能性があり、この場合、メモリ１０６に対するアクセスも、それら様々な形状の矩形領域に対応して行われることになる。
【００２４】
一方、メモリ１０６へのアクセスの際には、メモリ１０６に設定された複数のバンクに対するメモリインターリーブによるアクセス制御を行うことで、メモリ１０６の転送帯域が広帯域になるのを抑制することが望まれる。しかしながら、例えばメモリアクセスの際のアドレスマッピングが、書き込みと読み出しの何れにおいてもロウやカラム等のアドレスが固定されていた場合、インターリーブ領域の最適化ができず、メモリ１０６を有効に使用できなくなる。
【００２５】
＜メモリアクセスとアドレスマッピング＞
以下、メモリ１０６に対するアクセスとアドレスマッピングについて説明する。図２は、メモリ１０６へのアクセスの際に使用されるアドレスマッピングの一例を示している。ここでは、記載を簡略にするため、メモリ１０６は単にメモリとのみ表記する。
【００２６】
メモリは、例えば８バンク構成となされており、バンクごとにロウとカラムが設定され、一バンクあたり５１２カラム、８１９２ロウとなされておいる。メモリへのアクセスは、各バンクのバンクアドレスとロウアドレスとカラムアドレスの三次元アドレスを指定することにより行われる。メモリに対して画像データが書き込まれる際のアドレスマッピングは、同一のロウアドレスの領域内に各バンクの同一のカラムアドレスを集約して配置するようなアドレスマッピングとなされている。ただし、同一のロウアドレスの領域内に配置される各バンクの同一のカラムアドレスは、各バンク内における水平方向が第１画素数で垂直方向が第２画素数のブロックの各画素に対するカラムアドレスとなされている。以下の説明では、水平方向の第１画素数をＮ（Ｎは１以上の自然数）、垂直方向の第２画素数をＭ（Ｍは１以上の自然数）とし、ブロックをＮ×Ｍ画素と表記する。そして、メモリ内の同一バンクアドレスのデータ領域内には、撮影フレームの画素データが順次配置される。図２の例の場合、Ｒｏｗで示したロウアドレス領域はバンクＢ０〜Ｂ７の同一のロウアドレスＲｏｗに対応した領域であり、そのロウアドレス領域（Ｒｏｗ）内にはバンクＢ０〜Ｂ７に配置されたＮ×Ｍ画素に対するカラムアドレスのデータが配置される。同様に、図２のＲｏｗ＋１のロウアドレス領域はバンクＢ０〜Ｂ７の同一のロウアドレスＲｏｗ＋１の領域であり、そのロウアドレス領域（Ｒｏｗ＋１）内にはバンクＢ０〜Ｂ７に配置されたＮ×Ｍ画素に対するカラムアドレスのデータが配置される。他のバンクについても同様である。なお、図２の例の場合、カラムアドレスにおける前述のＮ×Ｍ画素は３２×１６（＝５１２）画素となっている。
【００２７】
ここで、図２の例において、図中の点線で示される領域２００は、メモリ内に書き込まれた撮影フレーム画像内の或る被写体の矩形領域をアドレスマップ上に示した領域であるとする。
【００２８】
図３は、メモリ内の矩形領域が図２のアドレスマップ上に示した領域２００に対応している場合に、その矩形領域の画像データをメモリから読み出す際のメモリアクセス（リードアクセス）のタイムチャートを示している。なお、図３に示したようなメモリアクセスは、図２に示したアドレスマッピングに基づいて、メモリコントローラ１０７により行われる。図３に示すように、メモリに対するアクセスでは、先ず、Ａｃｔｉｖｅコマンド（ＡＣＴ）が発行されて、バンクＢ０〜Ｂ７のバンクアドレス、及び、各バンクのロウアドレス（Ｒｏｗ０〜Ｒｏｗ７）の指定が行われる。その後、Ｒｅａｄ／Ｗｒｉｔｅコマンド（Ｒ／Ｗ）が発行され、各バンクの各カラムアドレス（ｃｏｌ１〜ｃｏｌ７）の指定が行われる。Ｒｅａｄ／ＷｒｉｔｅコマンドがＲｅａｄコマンドである場合には、メモリの各バンクＢ０〜Ｂ７からＮ×Ｍ画素のデータ（Ｄａｔａ０，Ｄａｔａ１，・・・）が読み出される。
【００２９】
ここで、例えばメモリアクセスの際のアドレスマッピングのロウアドレスとカラムアドレスの配置が固定されていた場合において、例えば図４に示すように、或る被写体の矩形領域がアドレスマップ上の図中点線で示す領域４００になっているとする。図４の領域４００は、図２の領域２００よりも横長の領域となっており、アドレスマッピングのロウアドレス領域（Ｒｏｗ）を超えて隣のロウアドレス領域（Ｒｏｗ＋１）の二つのバンクＢ０とＢ４のカラムアドレスにまで広がった領域になっているとする。このような場合、インターリーブ領域の最適化ができず、メモリ１０６を有効に使用できなくなる。
【００３０】
図５は、アドレスマッピングのロウアドレスとカラムアドレスの配置が固定されている場合に、被写体の矩形領域がアドレスマップ上で図４に示したような水平方向に長い横長の領域４００になっている場合のメモリリードアクセスのタイムチャートである。この例の場合、図５に示すように、前述の図３の例と同様に、先ず、Ａｃｔｉｖｅコマンド（ＡＣＴ）が発行されて、各バンクＢ０〜Ｂ７のバンクアドレス、及び、各バンドのロウアドレス（Ｒｏｗ０〜Ｒｏｗ７）の指定が行われる。その後、Ｒｅａｄ／Ｗｒｉｔｅコマンド（Ｒ／Ｗ）のＲｅａｄコマンドが発行され、各バンクの各カラムアドレス（ｃｏｌ１〜ｃｏｌ７）が指定されると、メモリの各バンクＢ０〜Ｂ７からＮ×Ｍ画素のデータ（Ｄａｔａ０，Ｄａｔａ１，・・）が読み出される。
【００３１】
ただし、図４に示した横長の領域４００は、前述したようにロウアドレス領域（Ｒｏｗ）だけでなくロウアドレス領域（Ｒｏｗ＋１）にも広がった領域となっている。このため、図５のメモリアクセスでは、更に、ロウアドレス領域（Ｒｏｗ＋１）のバンクＢ０とバンクＢ４に対するリードアクセスが行われることになる。このようにリードアクセスがロウアドレス領域（Ｒｏｗ）から次のロウアドレス領域（Ｒｏｗ＋１）に切り替わる場合には、プリチャージコマンド（Ｐｒｅ）が発行される。その後、所定時間が経過してから、Ａｃｔｉｖｅコマンド（ＡＣＴ）が発行され、前述同様にバンク及びロウアドレスが指定され、更にＲｅａｄコマンドの発行と各バンクの各カラムアドレスの指定が行われてデータが読み出される。このように、異なるロウアドレス領域に対するアクセスがなされる場合には、プリチャージコマンド（Ｐｒｅ）が発行され、所定時間経過後に、再度Ａｃｔｉｖｅコマンド（ＡＣＴ）が発行されることになり、メモリのアクセス効率が低下する。
【００３２】
このようなことから、システム制御部１１２は、メモリ１０６から被写体の矩形領域のデータの読み出しがなされる際には、被写体検出部１０５で検出した被写体の矩形領域の形状と位置情報とに基づいて、アドレスマッピングの補正の要否を評価する。そして、アドレスの補正が必要であると評価した場合、システム制御部１１２は、アドレス補正部１０８にその評価結果と、被写体の矩形領域の形状と位置情報を送る。アドレス補正部１０８は、アドレス補正が必要である旨の評価結果を受け取った場合、被写体の矩形領域の形状及び位置情報を基に、アドレスマッピングを補正する。具体的には、アドレス補正部１０８は、被写体の矩形領域がアドレスマップ上で同一ロウアドレス領域内に収まるように、メモリマッピングのカラムアドレスのＮ×Ｍ画素構成におけるＮとＭの比率を変更するようにアドレスマッピングを補正する。なお、本実施形態において、ＮとＭの比率を変更する際には、各バンクのデータ量が変化しないように、同一バンクアドレスに対応した同一カラムアドレスにおけるＮ×Ｍ画素の合計画素数が５１２となる関係を維持するようになされる。これにより、本実施形態では、メモリ１０６におけるインターリーブ領域の最適化を実現してインターリーブアクセスを可能とし、メモリ１０６の有効利用とメモリ１０６に対するアクセス効率の向上を可能にしている。
【００３３】
図６は、撮像装置における撮像センサ１０２の撮像からメモリ１０６への書き込み、被写体検出部１０５による被写体検出、メモリ１０６に対するメモリマッピングの補正の概要を示すタイムチャートである。
【００３４】
図６に示すように、撮像装置は、例えば垂直同期信号（ＶＤ）のパルスＰ０により、撮像センサ１０２から撮影フレームＦ０の画像データが読み出されて、前述の図２で説明したようなメモリマッピング６００によりメモリ１０６への書き込みが行われる。また、このとき、被写体検出部１０５は、撮影フレームＦ０から被写体を検出して、その被写体の矩形領域の形状と位置情報を取得して、システム制御部１１２に送る。システム制御部１１２は、被写体の矩形領域の形状と位置情報に基づいて、アドレスマッピングの補正の要否を評価して、その補正結果と、被写体の矩形領域の形状と位置情報を、アドレス補正部１０８に送る。
【００３５】
ここで、矩形領域が例えば前述の図４で示したような横長になってロウアドレス領域を超えるためにアドレスマッピングの補正が必要であると評価されたとする。この場合、アドレス補正部１０８は、撮影フレームＦ０の際のアドレスマッピング６００を、次の垂直同期信号（ＶＤ）のパルスＰ１による撮影フレームＦ１では、図６のアドレスマッピング６０１のように補正する。アドレスマッピング６００が前述の図２に示したようなアドレスマッピングであったとすると、図６のアドレスマッピング６０１は、カラムアドレスのＮ×Ｍ画素構成におけるＮとＭの比率が変更されたものとなされる。撮影フレームＦ１以降は、画像データの書き込みがなされる際には、変更されたアドレスマッピング６１による書き込みがなされる。
【００３６】
図７は、図６に示した補正後のアドレスマッピング６０１を拡大した図であり、図中の点線で示す領域７００は前述の図４で示したのと同様の横長の領域４００である。これら図６及び図７の場合、補正されたアドレスマッピング６０１は、前述のアドレスマッピング６００と比較すると、カラムアドレスのＮが大きく、Ｍが小さく変更されたものとなっている。なお、図７の例の場合、Ｎは１２８、Ｍは４に変更されており、Ｎ×Ｍは５１２となっている。この図７に示すように、補正された後のアドレスマッピング６０１の場合、横長の領域７００（４００）が前述の図５のように異なるロウアドレス領域にまで広がることなく、一つの同一ロウアドレス領域内に収まっている。したがって、この補正されたアドレスマッピング６０１が用いられた場合、メモリ１０６のアクセスの際には、領域７００についてインターリーブアクセスが可能となる。
【００３７】
このように、本実施形態では、撮影フレームの画像から検出された被写体領域に基づく矩形領域の形状と位置情報に基づいて、メモリのアドレスマッピングを変更している。これにより、異なるロウアドレス領域に対するアクセスの発生を無くすことができ、プリチャージコマンド（Ｐｒｅ）の発行と再度のＡｃｔｉｖｅコマンド（ＡＣＴ）の発行が行われるのを防ぐことができる。したがって、メモリのインターリーブアクセスが可能となり、メモリ１０６の有効利用と、メモリ１０６に対するアクセス効率の向上が可能となる。
【００３８】
＜撮像装置における処理の流れ＞
図８は、本実施形態の撮像装置において、電源オン（ＯＮ）からメモリアドレスマッピングの補正が行われるまでの各処理をシステム制御部１１２が制御する際のフローチャートである。図８のフローチャートの各処理は、本実施形態に係るプログラムを例えばＣＰＵが実行することにより実現されてもよい。図８のフローチャートの処理は、電源オンの後、撮影が開始されることでスタートする。以下の説明では、図８の各処理のステップＳ２０１〜ステップＳ２１７を、Ｓ２０１〜Ｓ２１７と略記する。
【００３９】
システム制御部１１２は、Ｓ２０１において、撮像装置の電源がオンされるとＳ２０２に処理を進める。Ｓ２０２では、システム制御部１１２は、撮像装置の垂直同期信号（ＶＤ）のパルスが検出できたか否か判断し、垂直同期信号（ＶＤ）のパルスを検出した場合、Ｓ２０３、Ｓ２０７、Ｓ２１１に処理を進める。これらＳ２０３以降、Ｓ２０７以降、Ｓ２１１以降の各処理により得られる情報は、必要に応じて他の処理で利用可能となされている。
【００４０】
Ｓ２０３は信号処理部１０４により行われる処理である。Ｓ２０３では、信号処理部１０４は、撮像センサ１０２からＡＦＥ部１０３を介して供給された撮影フレームの画像データに対して各種信号処理を行う。Ｓ２０３の後、システム制御部１１２は、Ｓ２０４に処理を進める。
【００４１】
Ｓ２０４では、システム制御部１１２は、被写体検出部１０５における被写体検出機能のオン／オフ（ＯＮ／ＯＦＦ）を判定する。システム制御部１１２は、Ｓ２０４において、被写体検出機能がオンであると判定した場合にはＳ２０５に処理を進め、被写体検出機能がオフであると判定した場合にはＳ２０６に処理を進める。
【００４２】
Ｓ２０５では、システム制御部１１２は、後述するＳ２０９で被写体検出部１０５を制御して撮影フレームから被写体を検出させてメモリ等に記憶されている被写体の矩形領域の形状と位置情報（座標情報）を取得する。Ｓ２０５の後、システム制御部１１２は、Ｓ２０６に処理を進める。
【００４３】
Ｓ２０６では、システム制御部１１２は、信号処理部１０４による信号処理後の撮影フレームの画像データを、メモリコントローラ１０７を介してメモリ１０６に書き込ませる。このとき、メモリ１０６へのデータ書き込みは、例えば前述の図２で説明したようなメモリマッピングに基づいて行われる。Ｓ２０６の後、システム制御部１１２は、Ｓ２０２に処理を戻し、垂直同期信号（ＶＤ）の次のパルスの検出を行って次の撮影フレームに対する処理に進む。
【００４４】
Ｓ２０７の処理に進んだ場合、システム制御部１１２は、メモリ１０６に書き込み済みの撮影フレームの画像データがある場合には、その撮影フレームの画像データを、メモリコントローラ１０７を介してメモリ１０６から読み出させる。Ｓ２０７の後、システム制御部１１２は、Ｓ２０８の処理を進める。
【００４５】
Ｓ２０８では、システム制御部１１２は、表示記録部１１１を制御して、メモリ１０６から読み出された撮像フレームの画像データの記録や表示を行わせる。Ｓ２０８の後、システム制御部１１２は、Ｓ２０２に処理を戻し、垂直同期信号（ＶＤ）の次のパルスの検出を行って次の撮影フレームに対する処理に進む。
【００４６】
Ｓ２１１の処理に進んだ場合、システム制御部１１２は、被写体検出部１０５における被写体検出機能のオン／オフを判定する。システム制御部１１２は、Ｓ２１１において、被写体検出機能がオンであると判定した場合にはＳ２１２に処理を進め、被写体検出機能がオフであると判定した場合にはＳ２１１の判定処理を繰り返す。
【００４７】
Ｓ２１２では、システム制御部１１２は、特徴検出部１０９及び認識・認証部１１０からなる被写体認識部の機能のオン／オフを判定する。システム制御部１１２は、Ｓ２１２において、被写体認識部の機能がオンであると判定した場合にはＳ２１３に処理を進め、被写体認識部の機能がオフであると判定した場合にはＳ２０９に処理を進める。
【００４８】
Ｓ２１３では、システム制御部１１２は、前述のＳ２０５により撮影フレームの画像から検出された矩形領域の形状と座標に基づいて、前述したようなアドレス補正の要否評価を行う。Ｓ２１３の後、システム制御部１１２は、Ｓ２１４に処理を進める。
【００４９】
Ｓ２１４では、システム制御部１１２は、Ｓ２１３でアドレス補正が必要であると評価されている場合には、アドレス補正部１０８を制御して、前述したように、被写体の矩形領域の形状に応じたアドレスマッピングの補正を行わせる。Ｓ２０４の後、システム制御部１１２は、Ｓ２１５に処理を進める。
【００５０】
Ｓ２１５では、システム制御部１１２は、アドレス補正部１０８を介したアドレスマッピングに基づいてメモリコントローラ１０７によるメモリ１０６の読み出し制御を行わせる。Ｓ２１５の後、システム制御部１１２は、Ｓ２１６に処理を進める。
【００５１】
Ｓ２１６では、システム制御部１１２は、被写体認識部の特徴検出部１０９を制御し、メモリ１０６から読み出された矩形領域の特徴を検出させる。Ｓ２１６の後、システム制御部１１２は、Ｓ２１７に処理を進める。Ｓ２１７では、システム制御部１１２は、被写体認識部の認識・認証部１１０を制御して、特徴検出部１０９にて検出された特徴に基づく認識・認証処理を行わせる。Ｓ２１７の後、システム制御部１１２は、Ｓ２１０に処理を進める。
【００５２】
また、Ｓ２０９の処理に進んだ場合、システム制御部１１２は、被写体検出部１０５を制御して、撮影フレームの画像の被写体検出処理を行わせた後、Ｓ２１０に処理を進める。Ｓ２１０では、システム制御部１１２は、Ｓ２１０で検出された被写体の矩形領域の情報、Ｓ２１７の処理で得られた認識・認証結果の情報に基づいて、例えば撮影、表示、記録のパラメータを適応的に制御する。これら撮影、表示、記録のパラメータの適応制御は公知の処理であるため、その説明は省略する。Ｓ２１０の後、システム制御部１１２は、Ｓ２０２に処理を戻す。
【００５３】
＜メモリマッピングの他の変更例＞
図９はメモリマッピングの他の補正例を示す図である。図９の例は、メモリ１０６内に書き込まれた撮影フレーム画像内の或る被写体の矩形領域をアドレスマップ上に示した領域が、図中の点線で示される垂直方向に長い縦長の領域９００であった場合の補正後のアドレスマッピングを示している。図９のアドレスマッピング９００は、図２に示したアドレスマッピングと比較すると、カラムアドレスのＮを小さくし、Ｍを大きくするような補正がなされた例である。なお、図９の例の場合、Ｎは４、Ｍは１２８に変更され、Ｎ×Ｍ＝５１２である。この図９の例においても、図中点線で示す領域９００は同一のロウアドレス領域内に収まっているため、メモリアクセスのインターリーブが可能である。
【００５４】
図１０は、更に他の補正例のメモリマッピングを示す図である。図１０の例は、メモリ１０６内に書き込まれた撮影フレーム画像内の或る被写体の矩形領域をアドレスマップ上に示した領域が、図中の点線で示される領域１０００であった場合の補正後のアドレスマッピングを示している。図１０のアドレスマッピング１０００は、同一ロウアドレス領域内に集約する同一カラムアドレスのＮ×Ｍ画素構成のブロック数を増やす例である。この図１０の例の場合、８バンクＢ０〜Ｂ７の同一カラムアドレスのＮ×Ｍ画素構成が１６×１６画素構成となされ、それと同様の８バンクＢ０〜Ｂ７の同一カラムアドレスのＮ×Ｍ画素構成を同一ロウアドレス領域内に集約して配置している。図１０の例の場合、同一ロウアドレス内において、同一バンクアドレスに対応した同一カラムアドレスはＮ×Ｍ（１６×１６）のブロックが二つで画素数の合計は５１２となっている。この図１０の例においても、図中点線で示す領域１０００は、同一のロウアドレス領域内に収まるため、メモリアクセスのインターリーブが可能である。図１０の場合、矩形領域１０００のうち上段の２列の８個のブロックが先頭ブロックからまずバンクＢ０〜Ｂ７の同一ロウアドレスに書き込まれる。引き続き、下段の２列の８個のブロックが、上段のブロックと同じロウアドレスのバンクＢ０〜Ｂ７に書き込まれる。
【００５５】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５６】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５７】
１０２  センサ、１０４  信号処理部、１０５  被写体検出部、１０６  メモリ、１０７  メモリコントローラ、１０８  アドレス補正部、１０９  特徴検出部、１１０  認識・認証部、１１２  システム制御部
【図１】
2017174312.tif 000003
【図２】
2017174312.tif 000004
【図３】
2017174312.tif 000005
【図４】
2017174312.tif 000006
【図５】
2017174312.tif 000007
【図６】
2017174312.tif 000008
【図７】
2017174312.tif 000009
【図８】
2017174312.tif 000010
【図９】
2017174312.tif 000011
【図１０】
2017174312.tif 000012