(57)【要約】【課題】被写体検出結果に応じて適応的にアドレスマップをすることにより、ＤＲＡＭ使用容量を最小限に抑える。【解決手段】映像処理をする画像処理部と、処理過程の複数のフレームを格納するDRAMメモリと、フレーム内座標をＤＲＡＭメモリアドレスへ変換するアドレス制御部と、アドレス制御方法を切り替えるアドレス変換切り替え部からなり、アドレス制御部は、処理画角の水平サイズとＤＲＡM物理アドレスを同期させる第１のアドレス変換と、処理画角内スキャンの順番にＤＲＡＭアドレスへ配置する第２のアドレス変換をもち、アドレス計算切り替え部は、処理フレームごとに撮影状況に応じて第１もしくは第２のアドレス変換を切り替える。【選択図】図１
2017157881.tif 000002
【特許請求の範囲】
【請求項１】
映像処理をする画像処理部と、
処理過程の複数のフレームを格納するDRAMメモリと、
フレーム内座標をＤＲＡＭメモリアドレスへ変換するアドレス制御部と、
アドレス制御方法を切り替えるアドレス変換切り替え部からなり、
アドレス制御部は、
処理画角の水平サイズとＤＲＡM物理アドレスを同期させる第１のアドレス変換と、
処理画角内スキャンの順番にＤＲＡＭアドレスへ配置する第２のアドレス変換をもち、
アドレス計算切り替え部は、
処理フレームごとに撮影状況に応じて第１もしくは第２のアドレス変換を切り替えることを特徴とする撮像装置。
【請求項２】
前記画像処理部は、処理画角内の所定領域を解析対象とする画像解析手段を有し、前記アドレス制御部は前記画像解析手段が行う解析の結果に応じて第１もしくは第２のアドレス変換を切り替えることを特徴とする特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、処理画角内の所定領域を解析対象とする画像解析手段を有し、前記被写体解析手段は、映像データ内の顔位置を検出する顔検出手段もしくは顔検出位置に基づき、さらに顔内の部位を解析する顔認識手段からなり、前記アドレス制御部は、前記顔検出手段及び、顔認識手段による解析の結果に応じて第１もしくは第２のアドレス変換を切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記画像処理部は、処理画角内の所定領域を解析対象とする画像解析手段を有し、前記被写体解析手段は、映像データ内の顔位置を検出する顔検出手段もしくは顔検出位置に基づき、さらに顔内の部位を解析する顔認識手段からなり前記アドレス制御部は、顔検出手段もしくは顔認識手段による評価結果により、検出に要するアクセス量が所定値以上であるか否かを判別し所定値以上の時のみ、第１のアドレス変換に切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記評価結果は検出された顔の数であることを特徴とする特徴とする請求項４に記載の撮像装置。
【請求項６】
前記評価結果は検出された顔の角度であることを特徴とする特徴とする請求項４に記載の撮像装置。
【請求項７】
前記評価結果は検出された顔か否かの信頼度であることを特徴とする特徴とする請求項４に記載の撮像装置。
【請求項８】
前記評価結果は被写体が主被写体であるか否かであることを特徴とする特徴とする請求項４に記載の撮像装置。
【請求項９】
前記画像処理部は、処理画角内の所定領域を解析対象とする画像解析手段を有し、前記アドレス制御部は前記画像解析手段が稼働するときのみ第１のアドレス変換へ切り替えることを特徴とする特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラは、高解像度処理・高速化によりシステム内部で共有するメモリへのアクセスが非常に広帯域である。共有するメモリ容量も大規模化しているが、連写性能や動画画質等の向上のため、その使用率も高い。
【０００３】
特許文献１には、モードによる使用容量により、メモリのマッピングを制御し、活性化されるバンクを最小限にする提案がされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2006-109224号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタルカメラ、デジタルビデオカメラでは被写体を検出し、フォーカス等の適応的な制御を行なうことが一般化している。被写体検出処理時のメモリアクセスは、処理対象フレーム内の検出対象の複数限定領域を繰り返しアクセスするという特徴がある。このアクセスはＤＲＡMのバンク、ロウ、カラムの３次元のアドレスと、フレームの画角の同期をとらないと帯域が著しく劣化する。ただし、アドレス同期をとるとメモリ使用容量の面での効率がおちるというデメリットが発生する。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明に係る撮像装置は、  
映像処理をする画像処理部と、処理過程の複数のフレームを格納するDRAMメモリと、フレーム内座標をＤＲＡＭメモリアドレスへ変換するアドレス制御部と、アドレス制御方法を切り替えるアドレス変換切り替え部とからなり、
アドレス制御部は、
処理画角の水平サイズとＤＲＡM物理アドレスを同期させる第１のアドレス変換と、
処理画角内スキャンの順番にＤＲＡＭアドレスへ配置する第２のアドレス変換をもち、
アドレス計算切り替え部は、
処理フレームごとに撮影状況に応じて第１もしくは第２のアドレス変換を切り替えることを特徴とする。
【発明の効果】
【０００７】
本発明に係る撮像装置によれば、被写体検出結果に応じて適応的にアドレスマップをすることにより、ＤＲＡＭ使用容量を最小限に抑えることが可能になる。
【図面の簡単な説明】
【０００８】
【図１】システム構成図である。
【図２】画像フレームマッピングの基本イメージである。
【図３】第２のアドレスマッピングイメージである。
【図４】第１のアドレスマッピングイメージである。
【図５】ＤＲＡＭ使用容量の図である。
【図６】実施例１のフローチャートである。
【図７】実施例２のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の好適な形態を説明する。
【００１０】
［実施例１］
図１は本発明実施形態の全体構成である。
【００１１】
撮影された映像は、レンズ101で結像され、センサ113へ入射される。センサ113では、光電変換を行なわれAFE 102へ入力される。AFE 102ではデジタル映像データへ変換され、ＤＲＡＭ107へ格納される。被写体解析処理103は、格納された映像データから顔等の被写体検出及び認識を行い。解析結果をメモリマップ制御回路108とシステム制御手段109へ供給する。現像処理104は格納された映像データにアクセスして、ＮＲ処理等の画質制御を行う。
【００１２】
被写体解析処理103及び現像処理103はＤＲＡＭアドレス空間の中に現像処理用フレーム領域を確保し、そこに複数枚の画像フレームを配置して、中間処理画像格納を行う。現像処理後のデータは表示処理105を経て表示され、記録処理106を経て外部メディアへ記録される。表示処理105、記録処理106はＤＲＡＭアドレス空間に記録処理フレーム領域を確保してそこに複数枚の画像フレームを配置してアクセスを行う。メモリマップ制御回路103は被写体解析結果に応じて,DRAMアドレス空間における画像フレームの配置方法を適応的に制御する。システム制御手段109は被写体解析結果に応じて、フォーカス、ホワイトバランス処理パラメータ、または記録処理時の動き探索処理へのパラメータを供給する。
【００１３】
図２はＤＲＡＭアドレス空間における、画像フレーム配置の基本イメージである。
【００１４】
201はＤＲＡＭのアドレス空間を示している。アドレスはバンク(Bank)、ロウ(Row)、カラム(COL)の３次元で構成される。本実施例はJEDEC準拠の1Gbit LPDDR2 S4の構成である。ロウ 0〜8191の縦軸、カラム0〜512(×4Byte)の横軸からなるバンクが８個水平方向に並んで構成される。202はアドレス空間内に確保された画像フレーム領域である。フレームのオフセット(Frame Offset)アドレスから、203の画像フレームイメージのHsize×Vsizeの容量だけ確保される。203の画像フレーム内に被写体(204,205)がある場合、その検出処理のために、その領域が繰り返しアクセスされる。
【００１５】
図３は202の画像フレーム領域内のDRAMアドレスと、画像フレーム画角の、第２のマッピングに基づく対応である。
【００１６】
オフセットアドレスから水平ラインを画像上部から敷き詰めていく。これはＤＲＡＭのアドレスと同期をとる必要がないので、複数のフレームを配置する際に小容量になる。ただし、画像内の所定領域（検出枠）をアクセスする際の転送帯域の効率はよくない。
【００１７】
図４は202の画像フレーム領域内のDRAMアドレスと、画像フレーム画角の、第１のマッピングに基づく対応となる。
【００１８】
ロウアドレスが等しいものをROW Unitとよばれる（点線）単位に固める。Row Unit内はさらにバンクアドレスが等しいものを並べる。バンクアドレス及び、ロウアドレスが等しいデータは128Byte×16Lineの単位で固められる。フレームの画角はRow Unit単位になるので、水平サイズは512Byte、垂直サイズは32Line単位になる。またフレームごとのオフセットはRow Unitトータルサイズ16,384kByte単位での設定となる。従って、複数フレームをこのフォーマットで配置した場合は、大容量を占有することになる。ただし、画像内の所定領域（検出枠）をアクセスする際の転送帯域の効率は良い。
【００１９】
図５は各マッピング方法にした場合、領域分布を示したものである。
【００２０】
第２のマッピングを適応すれば画像解析処理で共有する現像処理用フレーム領域が大きく(501)、第１のマッピングを適用すれば画像解析処理で共有する現像処理用フレーム領域は小さくなる(502)。501は帯域面で良いので被写体検出精度を向上させることが可能である。502は被写体検出に割り当てる容量が小さいので、他処理（例えば連写時のストリーム領域）に割り当てることも可能である。
【００２１】
図６は処理全体のフローチャートである。電源ＯＮ及びライブビュー(601)移行後、被写体分析(602)を所定周期で行う。
【００２２】
被写体分析の内訳は被写体（例えば顔）の数分析(602_1)、検出角度分析(602_2)、検出信頼性分析（602_3）、主被写体分析(602_4)を経て、次フレーム処理に要するＤＲＡMへのアクセスを算出する。静止画単写時は撮影トリガ、動画、連写時は同期信号検出(603)後、分析によるアクセス量が所定値を越えていればアドレス計算をマッピング１(605)、下回っていればマッピング２(606)に設定する。このマッピングに基づき複数のフレーム各々へのオフセットを設定し(611)、現像処理(607)、被写体検出・認識処理(608)、表示処理(609)、記録処理(610)を行う。
【００２３】
［実施例２］
図１は本発明実施形態の全体構成である。
【００２４】
撮影された映像は、レンズ101で結像され、センサ113へ入射される。センサ113では、光電変換を行なわれAFE 102へ入力される。AFE 102ではデジタル映像データへ変換され、ＤＲＡＭ107へ格納される。被写体解析処理103は、格納された映像データから顔等の被写体検出及び認識を行い。解析結果をメモリマップ制御回路108とシステム制御手段109へ供給する。現像処理104は格納された映像データにアクセスして、ＮＲ処理等の画質制御を行う。被写体解析処理103及び現像処理103はＤＲＡＭアドレス空間の中に現像処理用フレーム領域を確保し、そこに複数枚の画像フレームを配置して、中間処理画像格納を行う。
【００２５】
現像処理後のデータは表示処理105を経て表示され、記録処理106を経て外部メディアへ記録される。表示処理105、記録処理106はＤＲＡＭアドレス空間に記録処理フレーム領域を確保してそこに複数枚の画像フレームを配置してアクセスを行う。メモリマップ制御回路103は被写体解析結果に応じて,DRAMアドレス空間における画像フレームの配置方法を適応的に制御する。システム制御手段109は被写体解析結果に応じて、フォーカス、ホワイトバランス処理パラメータ、または記録処理時の動き探索処理へのパラメータを供給する。
【００２６】
図２はＤＲＡＭアドレス空間における、画像フレーム配置の基本イメージである。
【００２７】
201はＤＲＡＭのアドレス空間を示している。アドレスはバンク(Bank)、ロウ(Row)、カラム(COL)の３次元で構成される。本実施例はJEDEC準拠の1Gbit LPDDR2 S4の構成である。ロウ 0〜8191の縦軸、カラム0〜512(×4Byte)の横軸からなるバンクが８個水平方向に並んで構成される。202はアドレス空間内に確保された画像フレーム領域である。フレームのオフセット(Frame Offset)アドレスから、203の画像フレームイメージのHsize×Vsizeの容量だけ確保される。203の画像フレーム内に被写体(204,205)がある場合、その検出処理のために、その領域が繰り返しアクセスされる。
【００２８】
図３は202の画像フレーム領域内のDRAMアドレスと、画像フレーム画角の、第２のマッピングに基づく対応である。
【００２９】
オフセットアドレスから水平ラインを画像上部から敷き詰めていく。これはＤＲＡＭのアドレスと同期をとる必要がないので、複数のフレームを配置する際に小容量になる。ただし、画像内の所定領域（検出枠）をアクセスする際の転送帯域の効率はよくない。
【００３０】
図４は202の画像フレーム領域内のDRAMアドレスと、画像フレーム画角の、第１のマッピングに基づく対応となる。
【００３１】
ロウアドレスが等しいものをROW Unitとよばれる（点線）単位に固める。Row Unit内はさらにバンクアドレスが等しいものを並べる。バンクアドレス及び、ロウアドレスが等しいデータは128Byte×16Lineの単位で固められる。フレームの画角はRow Unit単位になるので、水平サイズは512Byte、垂直サイズは32Line単位になる。またフレームごとのオフセットはRow Unitトータルサイズ16,384kByte単位での設定となる。従って、複数フレームをこのフォーマットで配置した場合は、大容量を占有することになる。ただし、画像内の所定領域（検出枠）をアクセスする際の転送帯域の効率は良い。
【００３２】
図５は各マッピング方法にした場合、領域分布を示したものである。
【００３３】
第２のマッピングを適応すれば画像解析処理で共有する現像処理用フレーム領域が大きく(501)、第１のマッピングを適用すれば画像解析処理で共有する現像処理用フレーム領域は小さくなる(502)。501は帯域面で良いので被写体検出精度を向上させることが可能である。502は被写体検出に割り当てる容量が小さいので、他処理（例えば連写時のストリーム領域）に割り当てることも可能である。
【００３４】
図７は処理全体のフローチャートである。
【００３５】
電源ＯＮ及びライブビュー(701)移行後、被写体検出処理有無を選択する(702)。被写体分析を行うのであればアドレス計算をマッピング１(703)、しなければマッピング２(704)に設定する。このマッピングに基づき複数のフレーム各々へのオフセットを設定し(705)、静止画単写時は撮影トリガ、動画、連写時は同期信号検出(707)後、現像処理(708)、被写体検出・認識処理(709)、表示処理(710)、記録処理(711)を行う。
【符号の説明】
【００３６】
101  レンズ、113  センサ、102  AFE、107  ＤＲＡＭ、103  被写体解析処理、
108  メモリマップ制御回路、109  システム制御手段、104  現像処理
【図１】
2017157881.tif 000003
【図２】
2017157881.tif 000004
【図３】
2017157881.tif 000005
【図４】
2017157881.tif 000006
【図５】
2017157881.tif 000007
【図６】
2017157881.tif 000008
【図７】
2017157881.tif 000009