(57)【要約】【課題】ＣＰＵでの制御なしに細かい分割画像処理を可能にした画像処理装置を提供する。【解決手段】前処理した１ラインの画像データのＤＲＡＭ２への転送毎にライン終了信号を、１フレームの転送毎にフレーム終了信号を送出するプリプロセス部１と、フレーム終了信号でカウンタ番号を生成するカウンタ番号生成器１１からの出力で制御される第１のセレクタ１２を介してライン終了信号をカウントするカウンタ１３と、カウンタ出力選択レジスタ１５で制御される第２のセレクタ１４を介して出力されるカウント値と画像処理開始ライン数レジスタ２１に設定された画像処理に必要なライン数とを比較しウェイト信号を出力する比較器２２と、ウェイト信号に応じて読み出しＤＭＡ回路２４と書き込みＤＭＡ回路８へ処理開始トリガを送出するコントローラ２３と、画像処理開始ライン数レジスタに次処理の開始ライン数を設定する加算器２５とで画像処理装置を構成する。【選択図】        図１
2005012494.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像データをメモリに格納し、格納された前記画像データに対して画像処理を施す画像処理装置であって、
前記撮像された画像データを前記メモリに格納するのに同期して、ブロック単位の画像データのデータ終了を示すブロックデータ終了信号を出力する画像データ格納制御部と、
前記ブロックデータ終了信号に基づいて前記撮像された画像データの前記メモリへの格納量を計数する格納量計数部と、該格納量計数部で計数された格納量に基づいて、前記画像処理の処理進行を制御する処理進行制御部とからなる画像処理部とを有することを特徴とする画像処理装置。
【請求項２】
前記ブロックデータ終了信号は、１ライン分の画像データがメモリに格納終了したことを示すライン終了信号であることを特徴とする請求項１に係る画像処理装置。
【請求項３】
前記ブロックデータ終了信号は、１ライン分の画像データがメモリに格納終了したことを示すライン終了信号と、１フレーム分の画像データがメモリに格納終了したことを示すフレーム終了信号とからなることを特徴とする請求項１に係る画像処理装置。
【請求項４】
前記格納量計数部は、前記ライン終了信号をカウントする１つ又は複数のカウンタを備えたことを特徴とする請求項２に係る画像処理装置。
【請求項５】
前記格納量計数部は、前記ライン終了信号をカウントする１つ又は複数のカウンタを備えたことを特徴とする請求項３に係る画像処理装置。
【請求項６】
前記格納量計数部は、静止画撮影時には１つのカウンタを使用し、動画撮影時には複数のカウンタをフレーム毎に順次切り換え使用するように構成されていることを特徴とする請求項５に係る画像処理装置。
【請求項７】
前記格納量計数部は、更に前記フレーム終了信号を入力してカウントし、前記カウンタのうち使用するカウンタを指示するためのカウンタ番号を生成して出力するカウンタ番号生成器と、前記カウンタ番号の指示に基づいてカウンタを選択し、前記ライン終了信号を選択されたカウンタに入力する第１のセレクタと、前記カウンタの出力のうちから１つをカウント値として選択する第２のセレクタとを備えたことを特徴とする請求項６に係る画像処理装置。
【請求項８】
前記第２のセレクタは、ＣＰＵにより設定されるカウンタ出力選択レジスタの出力に基づいて制御されるように構成されていることを特徴とする請求項７に係る画像処理装置。
【請求項９】
前記処理進行制御部は、前記カウント値と画像処理に必要な画像データ量とを比較して、画像処理の進行を制御することを特徴とする請求項４又は５に係る画像処理装置。
【請求項１０】
前記処理進行制御部は、更に前記画像処理に必要な画像ライン数を保持する画像処理開始ライン数レジスタと、前記カウント値と前記画像処理に必要な画像ライン数とを比較し、前記カウント値が前記画像処理に必要な画像ライン数より小さい場合にウェイト信号を発生する比較器と、画像処理した画像データの量に応じて前記画像処理開始ライン数レジスタを更新する画像処理開始ライン数レジスタ更新手段とを備え、前記ウェイト信号に基づき画像処理の進行を制御することを特徴とする請求項９に係る画像処理装置。
【請求項１１】
前記画像処理開始ライン数レジスタ更新手段は、前記メモリに格納されたデータを読み出すメモリ読み出し手段と、該メモリ読み出し手段により読み出されたデータと前記画像処理開始ライン数レジスタの出力である画像処理に必要な画像ライン数を加算して、加算されたデータを前記画像処理開始ライン数レジスタに書き戻す累積手段とを備えたことを特徴とする請求項１０に係る画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、撮像された画像データをメモリに格納し、格納された画像データに対して画像処理を施す画像処理装置に関する。
【０００２】
【従来の技術】
【特許文献１】特開２０００−２３６４６０号公報
【０００３】
一般に、撮像された画像データに対して画像処理を行う画像処理装置としては、図３の（Ａ）に示すような構成のものが知られている。図３の（Ａ）において、１０１  はＣＣＤ等の撮像素子で、該撮像素子１０１  で取得された画像データは、プリプロセス部１０２  において、前処理として簡易なＷＢ処理、ＯＢ減算、ニー等の簡単な処理が行われ、次いで画像処理部１０３  でＹＣ画像生成やリサイズ等の本来の画像処理を行った後に、表示部１０４  を通してＴＦＴモニタ等に出力するように構成されている。なお、１０５  は各部を制御するＣＰＵである。
【０００４】
ところで、このように構成されている画像処理装置においては、撮像素子１０１で生成される撮像データのクロックレートと画像処理部１０３  における処理動作クロックと表示部１０４  の表示動作クロックレートは、一般的に異なる。したがって、上記構成の画像処理装置のように、撮像素子で取り込んだ撮像データを直接連続的に画像処理を行って表示する構成をとる場合には、直接的に処理を行うため、撮像してから表示されるまでのタイムラグは低減できるものの、一般に空間的なフィルタ処理が行われる画像処理を実現するためには巨大なラインメモリが必要となり、回路規模が増大するという問題点がある。
【０００５】
これに対して、図３の（Ｂ）に示すように、ＤＲＡＭ１０６  を設け、撮像素子１０１  で取り込みプリプロセス部１０２  で処理した画像データを一旦ＤＲＡＭ１０６  に格納し、ＤＲＡＭ１０６  から画像データを読み出して、画像処理部１０３  や表示部１０４へ転送して、画像処理や表示動作を行うように構成したものが、例えば特開２０００−２３６４６０号公報（特許文献１）に開示されていて知られている。
【０００６】
このようにＤＲＡＭ１０６  を設けて画像データを一旦格納する場合、画像処理部１０３  や表示部１０４  の処理開始タイミングの調整は、ＣＰＵ１０５  により行われ、１フレーム単位でタイミング調整を行う場合は、図４の（Ａ）に示す手順で処理される。すなわち、プリプロセス部１０２  を介してＤＲＡＭ１０６  へ画像データの取り込みを開始し、１フレームの画像データの取り込みが完了すると、プリプロセス部１０２  はＣＰＵ１０５  に対して割り込みでＤＲＡＭ１０６  への取り込み完了を通知する。ＣＰＵ１０５  が割り込みを受け、ＤＲＡＭ１０６  への画像データの取り込み完了を確認すると、画像処理部１０３  での処理を開始させる。そして、画像処理部１０３による画像処理が完了すると、同様に画像処理の完了を割り込みでＣＰＵに通知し、これにより表示部１０４  が画像処理済みのデータを読み出して表示するようになっている。
【０００７】
このように、ＤＲＡＭ１０６  が１フレーム分の画像データを格納させた後に画像処理を行わせる制御手法を用いた場合、巨大なラインメモリは不要となり、またＣＰＵ１０５  に対する負荷が軽いが、撮像から表示までのタイムラグが大きくなるという問題がある。
【０００８】
このような問題を解決するため、図４の（Ｂ）に示すように、画像データの画像処理単位を分割し、その分割された画像処理単位でタイミング調整を行う手法が、最近用いられている。
【０００９】
すなわち、この画像処理の制御手法による手順は、まずプリプロセス部１０２  を介してＤＲＡＭ１０６  に画像データの取り込みを開始すると、ＣＰＵ１０５  は画像データの格納量を監視する。そして、画像処理に必要な何ラインかの画像データが格納されたことをＣＰＵ１０５  が確認すると、画像処理部１０３  を起動し、画像処理を行う。画像処理部１０３  での前記所定の画像データの処理が完了すると、ＣＰＵ１０５  に対して割り込みで通知する。ＣＰＵ１０５  が前記割り込み通知を受けると、プリプロセス部１０２  がＤＲＡＭ１０６  に格納した画像データ量を再度チェックする。そして、次の画像処理に必要なデータがＤＲＡＭ１０６  に格納されたのを検知した後、画像処理部１０３  を再起動し処理を開始させる。以後この処理手順を繰り返して１フレームの処理を行う。
【００１０】
そして、このような分割画像処理を行うことにより、１フレーム分の画像処理の完了を待たずに、分割処理した画像データを表示部へ転送することができ、１フレームの画像処理の途中から表示動作を開始することが可能となる。これにより、巨大なラインメモリを必要とせずに、且つ撮像開始から表示までのタイムラグを低減しながら画像処理を行うことが可能となる。
【００１１】
【発明が解決しようとする課題】
上記分割画像処理手法を用いることにより、上記のように撮像から表示までのタイムラグを低減することは可能となるが、この手法に用いると、分割画像処理に伴いＣＰＵの画像処理に対する監視制御動作が多大となり、装置全体を制御しているＣＰＵに対する負荷が重くなってしまうという問題点がある。
【００１２】
本発明は、従来の分割画像処理を行う画像処理装置における上記問題点を解消するためになされたもので、ＣＰＵでの制御なしに、小規模の回路構成で細かい分割画像処理を行えるようにした画像処理装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、撮像された画像データをメモリに格納し、格納された前記画像データに対して画像処理を施す画像処理装置であって、前記撮像された画像データを前記メモリに格納するのに同期して、ブロック単位の画像データのデータ終了を示すブロックデータ終了信号を出力する画像データ格納制御部と、前記ブロックデータ終了信号に基づいて前記撮像された画像データの前記メモリへの格納量を計数する格納量計数部と、該格納量計数部で計数された格納量に基づいて、前記画像処理の処理進行を制御する処理進行制御部とからなる画像処理部とを有することを特徴とするものである。
【００１４】
このように構成された画像処理装置においては、ＣＰＵによる制御なしに、メモリに格納された画像データ量に追従して画像処理を行うことができ、したがってＣＰＵに負荷をかけることなく、撮影画像表示のタイムラグを抑えることが可能となる。
【００１５】
請求項２に係る発明は、請求項１に係る画像処理装置において、前記ブロックデータ終了信号は、１ライン分の画像データがメモリに格納終了したことを示すライン終了信号であることを特徴とするものであり、また請求項３に係る発明は、請求項１に係る画像処理装置において、前記ブロックデータ終了信号は、１ライン分の画像データがメモリに格納終了したことを示すライン終了信号と、１フレーム分の画像データがメモリに格納終了したことを示すフレーム終了信号とからなることを特徴とするものであり、また請求項４に係る発明は、請求項２に係る画像処理装置において、前記格納量計数部は、前記ライン終了信号をカウントする１つ又は複数のカウンタを備えたことを特徴とするものであり、また請求項５に係る発明は、請求項３に係る画像処理装置において、前記格納量計数部は、前記ライン終了信号をカウントする１つ又は複数のカウンタを備えたことを特徴とするものであり、また請求項６に係る発明は、請求項５に係る画像処理装置において、前記格納量計数部は、静止画撮影時には１つのカウンタを使用し、動画撮影時には複数のカウンタをフレーム毎に順次切り換え使用するように構成されていることを特徴とするものである。
【００１６】
このように構成された画像処理装置においては、メモリに格納された画像データ量をライン単位で検知することができ、これにより細かな単位の画像データ量に追従して画像処理を行うことができる。
【００１７】
請求項７に係る発明は、請求項６に係る画像処理装置において、前記格納量計数部は、更に前記フレーム終了信号を入力してカウントし、前記カウンタのうち使用するカウンタを指示するためのカウンタ番号を生成して出力するカウンタ番号生成器と、前記カウンタ番号の指示に基づいてカウンタを選択し、前記ライン終了信号を選択されたカウンタに入力する第１のセレクタと、前記カウンタの出力のうちから１つをカウント値として選択する第２のセレクタとを備えたことを特徴とするものであり、また請求項８に係る発明は、請求項７に係る画像処理装置において、前記第２のセレクタは、ＣＰＵにより設定されるカウンタ出力選択レジスタの出力に基づいて制御されるように構成されていることを特徴とするものである。
【００１８】
このように構成された画像処理装置においては、複数連続したフレームに対してライン数を欠落することなく、メモリに格納された画像データ量をライン単位で検知することができる。
【００１９】
請求項９に係る発明は、請求項４又は５に係る画像処理装置において、前記処理進行制御部は、前記カウント値と画像処理に必要な画像データ量とを比較して、画像処理の進行を制御することを特徴とするものであり、また請求項１０に係る発明は、請求項９に係る画像処理装置において、前記処理進行制御部は、更に前記画像処理に必要な画像ライン数を保持する画像処理開始ライン数レジスタと、前記カウント値と前記画像処理に必要な画像ライン数とを比較し、前記カウント値が前記画像処理に必要な画像ライン数より小さい場合にウェイト信号を発生する比較器と、画像処理した画像データの量に応じて前記画像処理開始ライン数レジスタを更新する画像処理開始ライン数レジスタ更新手段とを備え、前記ウェイト信号に基づき画像処理の進行を制御することを特徴とするものである。
【００２０】
このように構成された画像処理装置においては、処理進行制御部が画像処理に必要な画像データがメモリに格納されるまで画像処理の進行を待たせることができ、細かな単位の画像処理を効率的に行うことが可能となる。
【００２１】
請求項１１に係る発明は、請求項１０に係る画像処理装置において、前記画像処理開始ライン数レジスタ更新手段は、前記メモリに格納されたデータを読み出すメモリ読み出し手段と、該メモリ読み出し手段により読み出されたデータと前記画像処理開始ライン数レジスタの出力である画像処理に必要な画像ライン数を加算して、加算されたデータを前記画像処理開始ライン数レジスタに書き戻す累積手段とを備えたことを特徴とするものである。
【００２２】
このように構成された画像処理装置においては、各画像処理単位毎に任意のライン数の画像データがメモリに格納されるまで、画像処理の進行を待たせることができ、画像処理の進行を効率的に行うことが可能となる。
【００２３】
【発明の実施の形態】
次に、実施の形態について説明する。図１は本発明に係る画像処理装置の実施の形態の要部を示すブロック構成図であり、この画像処理装置を撮像装置に適用した場合の撮像素子、表示部、更にはＣＰＵの図示を省略している。図１において、１はプリプロセス部で、ＣＣＤ等の撮像素子で取得した画像データを前処理し、前処理した１ラインの画像データをＤＲＡＭ２へ転送完了する毎に、ライン終了信号を出力し、１フレームの画像データをＤＲＡＭ２へ転送完了する毎に、フレーム終了信号を出力するように構成されている。
【００２４】
図１において、３は画像処理部で、格納量計数部４と、処理進行制御部５と、第１，第２，・・・処理回路６，７と、書き込みＤＭＡ回路８とを備えている。格納量計数部４は、フレーム終了信号によりカウンタ番号を生成するカウンタ番号生成器１１と、ライン終了信号をカウントする複数のカウンタ（図示例ではカウンタＡ，カウンタＢ，カウンタＣ）１３と、ライン終了信号をカウンタ番号生成器１１からのカウンタ番号に対応したカウンタ１３へ出力させるための第１のセレクタ１２と、ＣＰＵにより設定されるカウンタ出力選択レジスタ１５と、該カウンタ出力選択レジスタ１５のレジスタ値に応じて複数のカウンタ１３のカウンタ値を選択出力するための第２のセレクタ１４とを備えている。
【００２５】
処理進行制御部５は、画像処理開始ライン数レジスタ２１と、該画像処理開始ライン数レジスタ２１のレジスタ値と第２のセレクタ１４を介して選択出力されたカウンタ１３のカウント値とを比較してウェイト信号を生成出力する比較器２２と、該比較器２２からのウェイト信号の値と現在の画像処理状態に基づいて、画像処理のために読み出しＤＭＡ回路２４へ入力する処理開始トリガ１と書き込みＤＭＡ回路８へ入力する処理開始トリガ２とを発生するコントローラ２３と、該コントローラ２３を介して出力される加算値と画像処理開始ライン数レジスタ２１のレジスタ値とを加算して、該画像処理開始ライン数レジスタ２１に次の画像処理の画像処理開始ライン数を設定するための加算器２５とで構成されている。
【００２６】
次に、このように構成されている画像処理装置の動作を、図２に示すタイミングチャートを参照しながら説明する。画像処理部３は、最初に起動されるときには、比較器２２からのウェイト信号がＨレベルで、画像処理の進行はウェイト状態になっている。撮像が開始され、プリプロセス部１から１ライン分の画像データがＤＲＡＭ２に格納される都度、ライン終了信号が出力され、第１のセレクタ１２を介してカウンタＡによりカウントされる。カウンタのカウント数は、プリプロセス部１からＤＲＡＭ２に格納されたライン数に対応する。そして、プリプロセス部１から１フレーム分の画像データがＤＲＡＭ２に格納されるとフレーム終了信号が出力され、カウンタ番号生成器１１へ入力する。これにより、カウンタ番号生成器１１からはカウンタ番号（図示例ではカウンタ番号Ｂ）が出力され、第１のセレクタ１２が制御されて、次のフレームのライン終了信号はカウンタＢによりカウントされ、以降フレーム毎に使用するカウンタが循環されるようになっている。なお、図２のタイミングチャートでは、カウンタ番号が出力されてカウンタＢでライン終了信号がカウントされる態様を主に図示している。
【００２７】
次に、別途ＣＰＵから設定されるカウント出力選択レジスタ１５のレジスタ値（図示例ではレジスタ値Ｂ）に応じて、第２のセレクタ１４によりカウンタのカウント値（図示例ではカウンタＢのカウント値）が選択され、処理進行制御部５の比較器２２へ出力される。このとき、画像処理開始ライン数レジスタ２１には、１回の画像処理について画像処理部３が必要とするライン数（必要ライン数：図示例では１０ライン）が設定されている。そこで、画像処理開始ライン数レジスタ２１で設定されている必要ライン数と、格納量計数部４のカウンタ１３から出力されるカウント値とが比較器２２で比較され、カウンタ１３のカウント値が必要ライン数以下であれば、比較器２２はＨレベルのウェイト信号を出力し、画像処理の開始をウェイトさせる。
【００２８】
カウンタ１３のカウント値が必要ライン数以上に達すると、画像処理が可能となるので、比較器２２からのウェイト信号がＬレベルとなり、ウェイト状態が解除される。そして、コントローラ２３から、処理進行制御部５内の読み出しＤＭＡ回路２４と画像処理部３内の書き込みＤＭＡ回路８に対して、それらの転送動作の開始を与える処理開始トリガ１と処理開始トリガ２を、それぞれ送出し、画像処理を開始する。すなわち、読み出しＤＭＡ回路２４を介してＤＲＡＭ２から画像データを読み出して、第１，第２の処理回路６，７でＹＣ画像生成やリサイズ等の所定の画像処理を行い、画像処理済みの画像データを書き込みＤＭＡ回路８を介してＤＲＡＭ２へ格納する。また、この画像処理の開始と同時に、次に詳述する画像処理開始ライン数レジスタ２１のレジスタ値を更新する。画像処理が完了、つまり所定ライン数（ここでは１０ライン）のＤＭＡ転送が完了すると、画像処理部はウェイト状態となる。
【００２９】
画像処理開始ライン数レジスタ２１のレジスタ値の更新は、次の画像処理で必要になるライン数（ここでは１０ライン）を現在のレジスタ値（必要ライン数）に加算器２５で累積することによりなされる。加算するライン数の設定方法としては、予めＤＲＡＭ２上に各画像処理単位毎に加算する値を展開しておき、この加算値を読み出しＤＭＡ回路２４を介して読み出し、コントローラ２３を経由して加算器２５で累積加算するようにしている。なお、画像処理開始ライン数レジスタ２１のレジスタ値の更新は、上記手法に限定されず、例えば加算値をＣＰＵから設定し、画像処理毎にその加算値を累積するというような手法を用いることも可能である。
【００３０】
以上のようにして、順次次の画像処理で必要となるライン数を累積加算して、分割された各画像処理が繰り返し実行することにより、１フレームの画像処理が完了する。この際、各分割画像（ここでは１０ライン）の画像処理が終了する毎に、分割処理した画像データを表示部へ転送し、表示動作を開始させ、タイムラグを抑えた表示を行うことができる。なお、静止画のように１フレームの画像処理を行う場合は、単一のカウンタを繰り返して用いればよい。
【００３１】
一方、動画などの場合のように、連続して次のフレームの画像処理を行う場合は、フレーム終了信号によりカウンタ番号生成器１１から、次のカウンタ番号（図示例ではカウンタ番号Ｃ）が出力され、これにより第１のセレクタ１２を介してカウンタＣによりライン終了信号がカウントされる。これに対応して、カウンタ出力選択レジスタ１５のレジスタ値を、第２のセレクタ１４によりカウンタＣのカウント値を選択して出力するように設定する。これと同時に、画像処理開始ライン数レジスタ２１を初期設定して、再度同様な処理を続行する。このようにして、連続するフレームの画像処理を、ライン数を欠落することなく順次実行することができる。
【００３２】
以上のように、本実施の形態に係る画像処理装置は、図３の（Ｂ）に示した従来の画像処理装置における画像処理と同様な処理手順で、１フレームの画像データを分割して、分割された画像データ単位で画像処理を行うようにしたものであるが、従来の画像処理装置とは異なり、図３の（Ｂ）に示した処理態様を、ＣＰＵの制御なしに、ハードウエアで実行できるように上記独特の構成で画像処理装置を構成した点に特徴をもつものであり、ＣＰＵの制御なしに、細かい単位のプリプロセス部の出力に追従して画像処理を可能とし、その結果、巨大なラインメモリを必要とせず、且つＣＰＵに負荷をかけることなく、撮影画像の表示のタイムラグなども抑えることができる。
【００３３】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、ＣＰＵによる制御なしに、メモリに格納された画像データ量に追従して画像処理を行うことができ、したがってＣＰＵに負荷をかけることなく、撮影画像表示のタイムラグを抑えることができる。また請求項２〜６に係る発明によれば、メモリに格納された画像データ量をライン単位で検知できるので、細かな単位の画像データ量に追従して画像処理を行うことができる。また請求項７及び８に係る発明にによれば、複数連続したフレームに対してライン数を欠落することなく、メモリに格納された画像データ量をライン単位で検知することが可能となる。また請求項９及び１０に係る発明にによれば、処理進行制御部が画像処理に必要な画像データがメモリに格納されるまで画像処理の進行を待たせることができ、細かな単位の画像処理を効率的に行うことが可能となる。また請求項１１に係る発明によれば、各画像処理単位毎に任意のライン数の画像データがメモリに格納されるまで、画像処理の進行を待たせることができ、画像処理の進行を効率的に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の実施の形態の主要部を示すブロック図である。
【図２】図１に示した実施の形態の動作を説明するためのタイミングチャートである。
【図３】従来の画像処理装置の構成例を示すブロック図である。
【図４】図３の（Ｂ）に示した従来の画像処理装置の動作例を説明するためのタイミングチャートである。
【符号の説明】
１  プリプロセス部
２  ＤＲＡＭ
３  画像処理部
４  格納量計数部
５  処理進行制御部
６  第１の処理回路
７  第２の処理回路
８  書き込みＤＭＡ回路
１１  カウンタ番号生成器
１２  第１のセレクタ
１３  カウンタ
１４  第２のセレクタ
１５  カウンタ出力選択レジスタ
２１  画像処理開始ライン数レジスタ
２２  比較器
２３  コントローラ
２４  読み出しＤＭＡ回路
２５  加算器
【図１】
2005012494.tif 000003
【図２】
2005012494.tif 000004
【図３】
2005012494.tif 000005
【図４】
2005012494.tif 000006