(57)【要約】【課題】求められる処理画素数が多くなっても、ラインメモリの容量を減らすことができる映像データ処理装置を得る。【解決手段】画像メモリ１は、メモリ制御部２によって、１画面分の映像データが格納される。信号処理部４は、Ｎ×Ｍタップの信号処理を行う。信号処理部４が処理対象とするデータを格納するためのワークメモリ３は、少なくともＮ×Ｍタップ分の容量を有し、メモリ制御部２によって、画像メモリ１からのデータが書き込まれる。【選択図】図１
2012049786.tif 000002
【特許請求の範囲】
【請求項１】
１画面分の映像データを格納する画像メモリと、
Ｎ×Ｍ（Ｎ及びＭは任意の整数）タップの信号処理を行う信号処理部と、
前記信号処理部が処理対象とするデータを格納するための少なくともＮ×Ｍタップ分の容量を有するワークメモリと、
前記画像メモリから前記ワークメモリへのデータ書き込みを制御するメモリ制御部とを備えた映像データ処理装置。
【請求項２】
メモリ制御部は、画像メモリからのデータ読み出しを任意の位置から開始することを特徴とする請求項１記載の映像データ処理装置。
【請求項３】
メモリ制御部は、画像メモリにおける画面内の位置に応じて、水平方向及び垂直方向の読み出し位置を決定することを特徴とする請求項１または請求項２記載の映像データ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等における映像データの処理を行う映像データ処理装置に関するものである。
【背景技術】
【０００２】
レンズと撮像デバイス及び信号処理部からなる撮像装置等においては、信号処理部に搭載される、例えば、ＦＩＲフィルタの必要なタップ数に応じた一次データ保持用のラインメモリを必要とする。これは、撮像デバイスから出力されるラスターデータを保持しておき、保持されたデータを信号処理部で所望の処理を行うためである。このラインメモリの容量は、処理すべき水平画素数と、垂直のタップ数（若しくは現ラインを使用するときには垂直タップ数−１）を掛け合わせた画素数分必要である。従って、近年のデジタルカメラに求められる高画素化に対応する撮像装置を構成する場合は、ラインメモリの容量が大きくなり、回路規模が肥大化するという問題がある。従来、このようなラインメモリの小容量化に関する技術として、例えば特許文献１に示されているものがあった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２２１５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来装置では、画面を１／ｎ分割しその水平画素数分のラインメモリを有する構成となっているため、ラインメモリを減らすためには、分割数を大きくする必要があるが、分割量が増えるため処理速度が遅くなる問題が生じる。逆にいえば、処理速度を速くするためには、分割数を小さくする必要があり、ラインメモリの容量を減らすことができない。
【０００５】
この発明は上記のような課題を解決するためになされたもので、求められる処理画素数が多くなっても、ラインメモリの容量を減らすことができる映像データ処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る映像データ処理装置は、１画面分の映像データを格納する画像メモリと、Ｎ×Ｍ（Ｎ及びＭは任意の整数）タップの信号処理を行う信号処理部と、信号処理部が処理対象とするデータを格納するための少なくともＮ×Ｍタップ分の容量を有するワークメモリと、画像メモリからワークメモリへのデータ書き込みを制御するメモリ制御部とを備えたものである。
【発明の効果】
【０００７】
この発明の映像データ処理装置は、ワークメモリの容量を、少なくとも、信号処理部のＮ×Ｍタップ分の容量としたので、求められる処理画素数が多くなっても、ラインメモリの容量を減らすことができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１による映像データ処理装置を示す構成図である。
【図２】この発明の実施の形態１による映像データ処理装置におけるメモリ制御部の構成図である。
【図３】この発明の実施の形態１による映像データ処理装置のワークメモリの構成図である。
【図４】この発明の実施の形態１による映像データ処理装置のワークメモリへのデータ書き込み制御を示す説明図である。
【図５】この発明の実施の形態１による映像データ処理装置の画像メモリからワークメモリへのデータ転送を示す説明図である。
【図６】この発明の実施の形態２による映像データ処理装置のワークメモリへのデータ書き込み制御を示す説明図である。
【図７】この発明の実施の形態２による映像データ処理装置の画像メモリからワークメモリへのデータ転送を示す説明図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１による映像データ処理装置を示す構成図である。
図１に示す映像データ処理装置は、画像メモリ１、メモリ制御部２、ワークメモリ３、信号処理部４を備える。画像メモリ１は、ＳＤＲＡＭ等で構成され、映像データ１画面分のデータを格納するメモリである。メモリ制御部２は、図示しないカメラのレンズ等を介して取得された映像データを入力（データ入力）し、これを画像メモリ１に書き込み制御すると共に、画像メモリ１に格納されたデータを読み出してワークメモリ３への書き込み制御を行う制御部である。
【００１０】
図２は、メモリ制御部２の詳細を示す構成図である。
メモリ制御部２は、アドレス制御部５とデータ調停部６とを有している。アドレス制御部５は、画像メモリ１のアドレスを制御する。画像メモリ１への書き込み時には、データ入力とそれに同期した信号を用いて画像メモリ１に順次データを書き込むようにアドレスを制御する。画像メモリ１から読み出す場合には、書き込んだデータのアドレス情報に基づいてそのデータ位置を記憶しておき、後述するデータの読み出し位置に合わせたアドレスを生成する。データ調停部６は、データ入力と画像メモリ１からデータの調停を行い、ワークメモリ３への出力制御を行う。画像メモリ１へのデータ出力は、データ入力の同期信号を監視してそれがアクティブであれば、画像メモリ１へデータを出力する。画像メモリ１からの読み出し時には読み出しデータをワークメモリ３へ出力する。
【００１１】
ワークメモリ３は、信号処理部４が処理対象とするデータを格納するための少なくともＮ×Ｍタップ分の容量を有するメモリであり、その構成を図３に示す。なお、Ｎ及びＭは任意の整数である。
ワークメモリ３は、フリップフロップなどのメモリセル７が水平方向にＮ個、垂直方向にＭ個、総数Ｎ×Ｍ個の構成になっており、一行分は、例えばシフトレジスタの構成のように、メモリ制御部２からのデータを順次、次のメモリセルにデータを転送可能な構造である。各メモリセル７は、それぞれのデータを信号処理部４へ出力する。また、メモリ制御部２から一行分のメモリセル群にデータを選択的に入力できるセレクタ８を有する。
【００１２】
信号処理部４は、エッジ強調などの処理に用いられる畳み込み積分のフィルタ部から成る。水平：Ｎ×垂直：Ｍのタップから構成される。下式は、このフィルタ演算の畳み込み演算の一例である。入力データＤＩに対して重み付け係数ｋを用いて演算し、スケール値Ｄｅｖによって処理データＤを得る。これらの係数値などは、予め与えておくか固定の値として演算器の構成をなしても良い。
2012049786.tif 000003
フィルタは、演算対象データすなわち出力すべきデータの周辺データを参照することで所望の処理結果を得る。
画素データに重み付け係数を乗算することで処理を行う。従って、この信号処理部４に必要なデータは、Ｎ×Ｍ個の映像データである。
【００１３】
次に動作について説明する。
図示しないカメラなどからの映像データ信号は、メモリ制御部２に入力される。メモリ制御部２はこのデータを画像メモリ１に出力し、データは画像メモリ１に蓄えられる。メモリ制御部２は、データ蓄積が終了した後に画像メモリ１からデータを読み出しワークメモリ３に出力する。
メモリ制御部２は、まず始めに、映像データの左上を原点（１，１）とするデータを画像メモリ１から読み出す。図４はこのときのワークメモリ３をＮ×Ｍ＝５×５として模式的に示したものである。図４（ａ）に示すように、原点（１，１）のデータから矢示Ａの方向に向かってデータを画像メモリ１から読み出し、ワークメモリ３の中のメモリセル７に順次収納していく。一行分のメモリセルへの転送が終了すると、セレクタ８（図３参照）を次の行に切り替える。データの転送としては、図４（ａ）の矢示Ｂのように次の行の先頭のメモリセル７に収納される動作となる。
【００１４】
このようにして、Ｍ行・Ｎ列までのメモリセルを画像メモリ１のデータで埋めていく。ワークメモリ３のデータ転送が終わると、信号処理部４の処理に必要なデータがすべて揃うため、信号処理部４は、図４（ａ）のデータＤＡの演算結果として出力する。
【００１５】
上記の動作が終了すると、メモリ制御部２は、図４（ｂ）の円で示した位置に相当する画像メモリ１のデータを読み出す。座標で示すと（１，６）のデータを読み出して１行目のメモリセルに収納する。セレクタ８を切り替えることにより、次行のメモリセルに収納する。このようにして座標（６，６）までのワークメモリ３までの転送が終了すると、図４（ｂ）のデータＤＢの結果が信号処理部４で演算され出力される。
【００１６】
図５は、１画面における、画像メモリ１からワークメモリ３へのデータ転送を示したものである。前述したように、画像メモリ１からのデータの読み出し位置（座標）をずらしながら水平方向のデータを出力していく。水平方向のデータ出力が終了すると、メモリ制御部２は垂直方向にずらしたデータを画像メモリ１から読み出してワークメモリ３へ出力する。このようにして、１画面の信号処理を行い撮像処理出力として得る。
【００１７】
このようにして、信号処理部４で必要なワークメモリの構成と、外部メモリからの読み出し制御を行うことで、従来のように１ライン分のワークメモリ（ラインメモリ）を必要とせず、その容量を最小限の構成にすることができ、回路規模の小さい撮像装置を得ることが出来る。また、回路規模が小さいことにより動作時の消費電力の低減効果も得られる。さらに、複数画面を用いた映像合成時にも境目がない画像を生成することができる。
【００１８】
なお、上記の実施の形態では、信号処理部４の処理としてフィルタを示したが、周辺画素の参照を必要とする信号処理全般に適用可能である。また、１画面の信号処理順は垂直方向から生成しても良い。
【００１９】
以上のように、実施の形態１の映像データ処理装置によれば、１画面分の映像データを格納する画像メモリと、Ｎ×Ｍタップの信号処理を行う信号処理部と、信号処理部が処理対象とするデータを格納するための少なくともＮ×Ｍタップ分の容量を有するワークメモリと、画像メモリからワークメモリへのデータ書き込みを制御するメモリ制御部とを備えたので、求められる処理画素数が多くなっても、ラインメモリの容量を減らすことができる。
【００２０】
実施の形態２．
上記実施の形態１では、次の出力データを得るために、画像メモリ１からの読み出しデータを水平方向或いは垂直方向に一つずらした座標位置のデータをワークメモリ３に転送するものであったが、実施の形態２では、画像メモリ１からのデータ読み出しを任意の位置から開始し、かつ、画像メモリ１における画面内の位置に応じて、水平方向及び垂直方向の読み出し位置を決定するようにしたものである。
【００２１】
図面上の構成は、実施の形態１における図１〜図３と同様であるため、これらの図を用いて説明する。実施の形態２では、図６（ａ）に示すように、メモリ制御部２に、第一に必要となる画素位置に対応する読み出しデータの座標を任意の位置、例えば（１，１０）から開始できるように設定しておく。この設定に際しては、メモリ制御部２に図示しないＣＰＵ、或いは、ＲＯＭなどから設定すればよい。
【００２２】
この場合の出力データＡ′が得られた次の段階では、図６（ｂ）に示すようにワークメモリ３内に収納されるデータの端位置を座標（２，１１）となるように画像メモリ１から読み出す。具体的には、画像メモリ１のアドレスを水平方向に＋１、垂直方向に−１となるようにメモリ制御部２内で演算を行う。
このようにして、図６（ｂ）に示すＢ′のデータを得る。
【００２３】
１画面の走査を図７に示すように順次行う。画面中央から右画面になると、メモリ制御部２は画像メモリ１のアドレスを垂直方向に＋１ずつ加算し、画面の下になると垂直方向に＋１、さらに右画面になると、垂直方向に−１となるように制御する。すなわち、メモリ制御部２は、画像メモリ１における画面内の位置に応じて、水平方向及び垂直方向の読み出し位置を決定する。
このことにより、例えば、撮像レンズの光学歪みが補正された出力が得られる。
【００２４】
上記のように、画像メモリ１からの読み出しデータをメモリ制御部２により任意の位置から順にできるような構成にしたため、簡易な構成と小ワークメモリにより、光学歪み補正処理を実行することができ、より高品質な映像データの撮像装置を得ることができる。
【００２５】
上記の例では、光学歪みとしたが、撮像レンズの色収差補正や、任意の位置からのデータを画像メモリ１から読み出すことによって、映像データの拡大・縮小・回転を小規模な構成で行うことも可能である。
【００２６】
以上のように、実施の形態２の映像データ処理装置によれば、メモリ制御部は、画像メモリからのデータ読み出しを任意の位置から開始するようにしたので、種々の信号処理に対応させることができる。
【００２７】
また、実施の形態２の映像データ処理装置によれば、メモリ制御部は、画像メモリにおける画面内の位置に応じて、水平方向及び垂直方向の読み出し位置を決定するようにしたので、映像データの補正や変形といった信号処理にも対応させることができる。
【００２８】
なお、本願発明は、その発明の精神の範囲内において、各実施の形態の自由な組合せ、あるいは変形が可能である。
【符号の説明】
【００２９】
１  画像メモリ、２  メモリ制御部、３  ワークメモリ、４  信号処理部、５  アドレス制御部、６  データ調停部、７  メモリセル、８  セレクタ。
【図１】
2012049786.tif 000004
【図２】
2012049786.tif 000005
【図３】
2012049786.tif 000006
【図４】
2012049786.tif 000007
【図５】
2012049786.tif 000008
【図６】
2012049786.tif 000009
【図７】
2012049786.tif 000010