(57)【要約】【課題】  画像処理速度を向上させ、対象物の存在を高速に検知する。【解決手段】  ライン間隔拡張手段１１は、画像信号のフレーム処理を行った場合、リアルタイムに処理するためにフレームを間引いた際に、画像信号のラインの間隔をフレームを間引いた数だけ拡張する。フレーム処理としては、１フレーム全体の画像を対象とした処理を行う。画像処理手段１２ａ〜１２ｎは、間隔が拡張されたラインのライン処理をパイプライン制御で行う。ライン処理としては、画面の１水平ラインの画像信号を対象とした処理を行う。【選択図】  図１
2005011380.tif 000002
【特許請求の範囲】
【請求項１】
画像信号をリアルタイムで処理する画像処理装置において、
前記画像信号のフレーム処理を行った場合、リアルタイムに処理するためにフレームを間引いた際に、前記画像信号のラインの間隔を前記フレームを間引いた数だけ拡張するライン間隔拡張手段と、
間隔が拡張された前記ラインのライン処理をパイプライン制御で行う複数の画像処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記ライン間隔拡張手段は、ダブルバッファ構造のフレームメモリで前記画像信号を格納した後、前記ラインの間隔を拡張して出力することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記ライン間隔拡張手段は、１フレームを格納できるＦＩＦＯで前記画像信号を格納した後、前記ラインの間隔を拡張して出力することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記ライン処理と前記フレーム処理を複合して行うことを特徴とする請求項１記載の画像処理装置。
【請求項５】
画像信号を処理する画像処理装置において、
前記画像信号を分割する画像信号分割手段と、
分割された前記画像信号の一方を画像処理して、第１の分割処理信号を生成する第１の分割処理信号生成手段と、
分割された前記画像信号の他方を画像処理して、第２の分割処理信号を生成する第２の分割処理信号生成手段と、
一方が前記第１の分割処理信号を格納している場合は、他方が格納済みの前記第１の分割処理信号を出力するダブルバッファ構造の第１の分割処理信号格納手段と、
一方が前記第２の分割処理信号を格納している場合は、他方が格納済みの前記第２の分割処理信号を出力するダブルバッファ構造の第２の分割処理信号格納手段と、
前記第１及び第２の分割処理信号格納手段から出力された出力信号をハードウェアで合成してフォーマット変換を行うフォーマット変換手段と、
を有することを特徴とする画像処理装置。
【請求項６】
前記フォーマット変換手段は、前記第１及び第２の分割処理信号格納手段のいずれか一方からの前記出力信号をライン毎に出力することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記フォーマット変換手段は、前記第１及び第２の分割処理信号格納手段のいずれか一方からの前記出力信号に対し、奇数ラインを出力した後に偶数ラインを出力して、前記フォーマット変換を行うことを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記フォーマット変換手段は、前記第１の分割処理信号格納手段からの前記出力信号と、前記第２の分割処理信号格納手段からの前記出力信号と、をライン毎に交互に出力して、前記フォーマット変換を行うことを特徴とする請求項５記載の画像処理装置。
【請求項９】
前記フォーマット変換手段は、前記第１の分割処理信号格納手段からの前記出力信号をライン毎に出力した後、前記第２の分割処理信号格納手段からの前記出力信号をライン毎に出力して、前記フォーマット変換を行うことを特徴とする請求項５記載の画像処理装置。
【請求項１０】
前記フォーマット変換手段は、前記第１及び第２の分割処理信号格納手段の両方からの前記出力信号に対し、奇数ラインを出力した後に偶数ラインを出力して、前記フォーマット変換を行うことを特徴とする請求項５記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に画像信号をリアルタイムに処理して対象物の存在を検知し、画像認識を行う画像処理装置に関する。
【背景技術】
【０００２】
画像認識技術は、ＣＣＤカメラ等で撮像された画像から対象物の存在を検知し、その画像内容を解析する技術である。
ＩＴＳ（Intelligent Transport Systems:高速道路交通システム）では、道路上の車両停止の検知や落下物の検知等に、画像認識技術を利用している。
【０００３】
また、電力設備の短絡・地絡の事故検知、さらにはゴミ焼却場の火災検知等、幅広い分野で利用されている。
一方、画像認識を行うアルゴリズムとしては、例えば、背景画像を記憶しておき、一定周期で入力する画像との差分から物体を検知する背景差分、画像から特徴事項を抽出して物体を検知する特徴抽出等、その他多様なアルゴリズムがある。
【０００４】
一般に画像認識技術では、これらアルゴリズムの内容が大きい場合、１つの画像処理プロセッサでは処理できないので、フレーム単位に間引きを行った後、フレーム単位のパイプライン制御を行って処理速度を上げている。
【０００５】
また、処理速度を上げるために、プロセッサでは、画像データの入力／出力及び画像認識の処理に対して、同時に並列処理を行っている。さらに、画像処理アルゴリズムは、画像をいくつかに分割し、通常は分散処理されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記のような従来のパイプライン制御は、未処理データが処理済みデータに変換されるまでに、複数のプロセッサによる時間的遅れを生じながら処理結果が連続して得られるので、遅延時間が発生する。
【０００７】
この遅延時間は、プロセッサの接続段数に比例して大きくなるため、高速で動く画像から早い事象を検知する際には問題となる。
例えば、ＩＴＳで開発が進められているドライバを介さない無人自動運転では、事故防止のために落下物や異常事態を、事象が発生してから即座に検知しなければならない。このように車載の画像認識では、高速検知は必須である。
【０００８】
さらに、従来のアルゴリズム分散処理では、分散処理後、画像を合成する際にデータ転送能力の低いシリアル通信ポートが使われていたために、リアルタイム（１／３０秒）の合成ができず、高速検知の障害となっていた。
【０００９】
本発明はこのような点に鑑みてなされたものであり、画像処理速度を向上させ、対象物の存在を高速に検知する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明では上記課題を解決するために、図１に示すような画像信号をリアルタイムで処理する画像処理装置１において、画像信号のフレーム処理を行った場合、リアルタイムに処理するためにフレームを間引いた際に、画像信号のラインの間隔をフレームを間引いた数だけ拡張するライン間隔拡張手段１１と、間隔が拡張されたラインのライン処理をパイプライン制御で行う複数の画像処理手段１２ａ〜１２ｎと、を有することを特徴とする画像処理装置１が提供される。
【００１１】
ここで、ライン間隔拡張手段１１は、画像信号のフレーム処理を行った場合、リアルタイムに処理するためにフレームを間引いた際に、画像信号のラインの間隔をフレームを間引いた数だけ拡張する。画像処理手段１２ａ〜１２ｎは、間隔が拡張されたラインのライン処理をパイプライン制御で行う。
【００１２】
さらに、図１６に示すような画像信号を処理する画像処理装置４において、画像信号を分割する画像信号分割手段４１と、分割された画像信号の一方を画像処理して、第１の分割処理信号Ｄａを生成する第１の分割処理信号生成手段４２ａと、分割された画像信号の他方を画像処理して、第２の分割処理信号Ｄｂを生成する第２の分割処理信号生成手段４２ｂと、一方が第１の分割処理信号Ｄａを格納している場合は、他方が格納済みの第１の分割処理信号Ｄａを出力するダブルバッファ構造の第１の分割処理信号格納手段４３ａと、一方が第２の分割処理信号Ｄｂを格納している場合は、他方が格納済みの第２の分割処理信号Ｄｂを出力するダブルバッファ構造の第２の分割処理信号格納手段４３ｂと、第１及び第２の分割処理信号格納手段４３ａ、４３ｂから出力された出力信号Ｄａ１、Ｄｂ１をハードウェアで合成してフォーマット変換を行うフォーマット変換手段４４と、を有することを特徴とする画像処理装置４が提供される。
【００１３】
ここで、画像信号分割手段４１は、画像信号を分割する。第１の分割処理信号生成手段４２ａは、分割された画像信号の一方を画像処理して、第１の分割処理信号Ｄａを生成する。第２の分割処理信号生成手段４２ｂは、分割された画像信号の他方を画像処理して、第２の分割処理信号Ｄｂを生成する。第１の分割処理信号格納手段４３ａは、一方が第１の分割処理信号Ｄａを格納している場合は、他方が格納済みの第１の分割処理信号Ｄａを出力するダブルバッファ構造で構成される。第２の分割処理信号格納手段４３ｂは、一方が第２の分割処理信号Ｄｂを格納している場合は、他方が格納済みの第２の分割処理信号Ｄｂを出力するダブルバッファ構造で構成される。フォーマット変換手段４４は、第１及び第２の分割処理信号格納手段４３ａ、４３ｂから出力された出力信号Ｄａ１、Ｄｂ１をハードウェアで合成してフォーマット変換を行う。
【発明の効果】
【００１４】
本発明の画像処理装置は、画像信号のラインの間隔を拡張して、ライン処理をパイプライン制御で行う構成とした。これにより、画像処理速度を向上させ、対象物の存在を高速に検知することが可能になる。
【００１５】
さらに、本発明の画像処理装置は、２つの分割処理信号をそれぞれダブルバッファ構造の第１及び第２の分割処理信号格納手段で格納し、その出力信号の合成及びフォーマット変換をハードウェアで行う構成とした。これにより、画像合成時のフォーマット変換を高速に行うことが可能になる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を図面を参照して説明する。図１は第１の実施の形態の画像処理装置の原理図である。画像処理装置１は、画像信号をリアルタイム（１／３０秒）で処理して、対象物の存在を検知し、画像認識を行う。
【００１７】
ライン間隔拡張手段１１は、画像信号のフレーム処理を行った場合、リアルタイムに処理するためにフレームを間引いた際に、画像信号のラインの間隔をフレームを間引いた数だけ拡張する。
【００１８】
例えば図では、フレーム処理時は２フレーム間引いており、その場合にはラインの間隔を２ライン分空けて拡張する。
画像処理手段１２ａ〜１２ｎは、間隔が拡張されたラインのライン処理をパイプライン制御で行う。
【００１９】
ここでフレーム処理、ライン処理及び間引きの意味について説明する。フレーム処理は、１フレーム（１画面）全体の画像を対象として処理を行うもので、複雑な特徴を有する画像処理や環境変化のある状態での検知に使用できる。
【００２０】
フレーム処理を行う画像処理手段のアルゴリズムとしては、特徴抽出やラベリング等がある。
ライン処理は、基本的に画面の１水平ライン（６４０ピクセル）の画像信号を対象として行うもので、処理対象ピクセルは、１ピクセル単位、周辺の数ピクセル単位、１ライン単位及び近傍の数ライン単位等である。
【００２１】
これらの小単位処理でも、単純画像で環境条件のあまり変化しない状態であれば、ライン処理での検知は十分可能である。
また、ライン処理を行う画像処理手段のアルゴリズムとしては、マスク、背景差分、投影、２値化等がある。
【００２２】
間引きとは、ＣＣＤカメラ等から１／３０秒毎に入力される画像信号を１フレーム単位で間引くものである。間引きにより、その分の情報量が削減されるが、低速な動画像でＳ／Ｎ比が高い場合や、検知までに時間を要しても構わない場合等では、間引いても問題はない。
【００２３】
次に動作について説明する。画像処理手段１２ａ〜１２ｎのそれぞれのフレーム処理が１／３０×３秒かかるとすると、リアルタイムでフレーム処理を行うためには、２フレーム間引いた画像信号を入力する必要がある。
【００２４】
したがって、画像処理手段１２ａ〜１２ｎでフレーム処理のパイプライン制御を行うと、１フレームが処理されるまでに、１／３０×３×ｎ（ｎ：画像処理手段１２ａ〜１２ｎの数）秒の処理時間の遅延となる。
【００２５】
一方、ライン間隔拡張手段１１により、フレームのライン間隔を拡張（ここでは２ライン分）する。そして、画像処理手段１２ａ〜１２ｎで拡張されたラインを入力して、ライン単位のパイプライン制御を行う。これにより、１ラインが処理されるまでに、１／３０×３秒以内でライン単位の処理を終わらせることができる。
【００２６】
このように、単純画像で環境条件のあまり変化しない画像等に対しては、フレーム処理ではなく、ライン処理で対象物の検知を十分行うことができるので、ライン間隔を拡張してのライン処理をパイプライン制御で行えば、処理時間を大幅に削減でき、対象物の高速検知が可能になる。
【００２７】
次にライン間隔拡張手段１１でライン間隔が拡張された波形のタイムシーケンスについて説明する。図２はライン間隔拡張波形のタイムシーケンスを示す図である。
波形Ｌａは、通常のライン構成を持つ波形である。波形Ｌｂは、ライン間隔が拡張されたライン波形であり、２ライン分間隔が拡張されている。
【００２８】
図３はライン間隔が拡張された場合のフレーム波形のタイムシーケンスを示す図である。
波形Ｆａは通常のフレーム構成を持つ波形である。波形Ｆｂはライン間隔が２ライン分拡張された場合のフレーム波形であり、もとのフレームの３倍に拡大される。また、この場合、垂直ブランキング期間も３倍に拡大される。
【００２９】
次にフレーム間引き後にフレーム処理のパイプライン制御を行う従来の画像処理について図４、図５を用いて説明する。図４はフレーム処理を行う場合の画像処理構成を示す図であり、図５は図４のタイムシーケンスを示す図である。
【００３０】
図４では、入力する画像信号は、フレーム間引き部１０１でフレームの間引きが行われる。そして、画像処理手段１２ａ〜１２ｅで画像処理が施され、対象物が検知された場合には、検知出力部１０２からその旨を通知する検知通知信号Ｗ１ｋが出力される。
【００３１】
ここでの画像処理として、画像処理手段１２ａ〜１２ｅは、それぞれマスク、背景差分、投影、２値化及び特徴抽出を行って、画像認識を行うものとする。また、各画像処理手段１２ａ〜１２ｅのフレーム処理時間は、１／３０×３秒である。
【００３２】
図５では、波形Ｗ１ａは垂直同期信号である。波形Ｗ１ｂは事象発生信号であり、図の示す位置に事象が発生したものとする（事象発生から次のフレームまでの間隔が０．０３秒）。波形Ｗ１ｃはフレームである。波形Ｗ１ｄは間引き後の垂直同期信号である。波形Ｗ１ｅは間引き後のフレームｆ１〜ｆ５である。
【００３３】
そして、このフレームｆ１〜ｆ５が、画像処理手段１２ａ〜１２ｅでのパイプライン制御により、画像処理が順次施されていく。
波形Ｗ１ｆ〜Ｗ１ｊは、それぞれ画像処理手段１２ａ〜１２ｅの出力信号である。図のようにフレームのパイプラインの多段処理を行うと、検知通知信号Ｗ１ｋが出力するまでに（１／３０）×３×５＋０．０３≒５３０ｍＳの遅延時間となる。
【００３４】
次にライン間隔拡張後にライン処理のパイプライン制御を行う画像処理について図６、図７を用いて説明する。図６はライン処理を行う場合の画像処理構成を示す図であり、図７は図６のタイムシーケンスを示す図である。
【００３５】
図６では、入力する画像信号は、ライン間隔拡張手段１１でライン間隔が拡張される。そして、画像処理手段１２ａ〜１２ｅで画像処理が施され、対象物が検知された場合には、検知出力部１０２からその旨を通知する検知通知信号Ｗ２ｋが出力される。また、ここでの画像処理の内容は図４と同様である。
【００３６】
図７では、波形Ｗ２ｃは事象発生信号であり、図の示す位置に事象が発生したものとする。波形Ｗ２ｄはライン間隔拡張後の垂直同期信号である。波形Ｗ２ｅはライン間隔が拡張されたフレームＦ１〜Ｆ５である。
【００３７】
そして、このフレームＦ１〜Ｆ５の拡張ラインが、画像処理手段１２ａ〜１２ｅでのパイプライン制御により、画像処理が順次施されていく。
波形Ｗ２ｆ〜Ｗ２ｊは、それぞれ画像処理手段１２ａ〜１２ｅの出力信号である。図のようにラインのパイプラインの多段処理を行うと、検知通知信号Ｗ２ｋが出力するまでに（１／３０）×３＋０．０３≒１３０ｍＳの遅延時間となる。このように、ライン間隔を拡張してのライン処理をパイプライン制御で行うことにより、処理時間を大幅に削減することができる。
【００３８】
次に画像信号をフレームメモリに蓄積してからライン間隔拡張処理を行う場合について説明する。図８はライン間隔拡張を行う際のフレームメモリを示す図である。
フレームメモリ１１ａは、Ａ面、Ｂ面に対し、交互に書き込み及び読み出しを行うダブルバッファ構造のメモリであり、画像信号をフレーム単位で一旦、格納した後、ラインの間隔を拡張しながら出力する。
【００３９】
このため例えば、フレームＡが書き込まれてから読み出されるまでには、１フレーム分の遅延が発生し、その遅延にライン間隔拡張分の遅延が加算されることになる。
したがって、フレームメモリ１１ａに蓄積してからライン間隔拡張を行った場合の遅延時間は、１／３０（１フレーム時間）＋（１＋ライン間隔拡張数）／３０（秒）となる。
【００４０】
次に画像信号を１フレームのＦＩＦＯ（First-In First-Out) に蓄積してからライン間隔拡張処理を行う場合について説明する。図９はライン間隔拡張を行う際の内部データメモリを示す図である。
【００４１】
図８で示したフレームメモリ１１ａの代わりに、１フレーム分の内部データメモリ１２３ａを設け、内部データメモリ１２３ａに入力してくる画像信号をライン間隔拡張の時間だけ遅延しながら順次出力する。
【００４２】
外部のフレームメモリに一旦蓄積する必要がなくなるので、１フレーム分の遅延がなくなる。したがって、内部データメモリ１２３ａに蓄積してからライン間隔拡張処理を行う場合の遅延時間は、（１＋ライン間隔拡張数）／３０（秒）となる。
【００４３】
次にライン処理とフレーム処理を複合した場合について図１０、図１１を用いて説明する。図１０はライン処理とフレーム処理を複合して行う場合の画像処理構成を示す図であり、図１１は図１０のタイムシーケンスを示す図である。
【００４４】
図１０では、入力する画像信号は、ライン間隔拡張手段１１でライン間隔が拡張される。そして、画像処理手段１２ａ〜１２ｅで画像処理が施され、対象物が検知された場合には、検知出力部１０２からその旨を通知する検知通知信号Ｗ３ｋが出力される。
【００４５】
また、ここでの画像処理は、画像処理手段１２ａ〜１２ｃのマスク、背景差分及び投影までがライン処理であり、画像処理手段１２ｄ、１２ｅの２値化、特徴抽出をフレーム処理で行うものとする。
【００４６】
図１１では、波形Ｗ３ｃは事象発生信号であり、図の示す位置に事象が発生したものとする。波形Ｗ３ｄはライン間隔拡張後の垂直同期信号である。波形Ｗ３ｅはライン間隔が拡張されたフレームＦ１〜Ｆ５である。
【００４７】
そして、このフレームＦ１〜Ｆ５の拡張ラインが、画像処理手段１２ａ〜１２ｅでのパイプライン制御により、画像処理が順次施されていく。波形Ｗ３ｆ〜Ｗ３ｊは、それぞれ画像処理手段１２ａ〜１２ｅの出力信号である。
【００４８】
また、ここでは、波形Ｗ３ｆ〜Ｗ３ｈがライン処理、Ｗ３ｉ、Ｗ３ｊがフレーム処理である。
したがって、図のようにパイプラインの多段処理を行うと、検知通知信号Ｗ３ｋが出力するまでに（１／３０）×３×３＋０．０３≒３３０ｍＳの遅延時間となる。
【００４９】
このように、ライン処理に向いているマスクや背景差分等のアルゴリズムや、フレーム処理に向いている特徴抽出等のアルゴリズムを複合して、効率よく画像処理することが可能になる。
【００５０】
以上説明したように、第１の実施の形態の画像処理装置１は、画像信号のラインの間隔を拡張して、ライン処理をパイプライン制御で行う構成とした。これにより、画像処理速度を向上させ、対象物の存在を高速に検知することが可能になる。
【００５１】
次に第２の実施の形態の画像処理装置について説明する。図１２は第２の実施の形態の画像処理装置の原理図である。ホスト２００を除く図の各構成要素からなる画像処理装置２は、画像入力処理、画像処理、画像出力処理の同時並列処理を行う。
【００５２】
入力画像信号格納手段２１は、入力された画像信号を格納して、入力画像データＤ１として出力する。
画像信号処理手段２２は、入力画像データＤ１を画像処理して、画像処理データＤ２を生成する。
【００５３】
出力画像信号格納手段２３は、画像処理データＤ２を格納して、出力画像データＤ３として外部出力する。
格納領域制御手段２４は、入力側格納領域部２４−１と出力側格納領域部２４−２を持つ。入力側格納領域部２４−１は、入力画像信号格納手段２１と入力バスＢｉで接続され、一方が入力画像データＤ１を格納している場合は、他方が格納済みの入力画像データＤ１を画像信号処理手段２２に出力するダブルバッファ構造のメモリである。また、後述する設定データＤ４と通知データＤ５の格納制御も行う。
【００５４】
図ではメモリＡが入力画像データＤ１を格納、メモリＢからは格納済みの入力画像データＤ１を出力している。切替え後は、互いに逆の処理となる。
また、出力側格納領域部２４−２は、出力画像信号格納手段２３と出力バスＢｏで接続され、一方が画像処理データＤ２を格納している場合は、他方が格納済みの画像処理データＤ２を出力画像信号格納手段２３に出力するダブルバッファ構造のメモリである。
【００５５】
図ではメモリＣが画像処理データＤ２を格納、メモリＤからは格納済みの画像処理データＤ２を出力している。切替え後は、互いに逆の処理となる。
また、データ切替え制御手段２５は、画像信号処理手段２２へ送信される、入力画像データＤ１またはワークステーション等のホスト２００からの設定データＤ４の切替え制御を行う。さらに、画像信号処理手段２２からホスト２００への通知データＤ５の送信制御を行う。
【００５６】
設定データＤ４とは、例えば、プログラムやマスクデータ等に該当する。また、通知データＤ５とは、画像信号処理手段２２で対象物を検知した検知結果通知データ等に該当する。
【００５７】
次に画像処理装置２の具体的な構成及び動作について説明する。図１３は画像処理装置２の構成を示す図である。画像信号処理手段２２と格納領域制御手段２４が、１つのＤＳＰ（ディジタルシグナルプロセッサ）内２０に含まれる。
【００５８】
ＣＰＵ２２ａは画像信号処理手段２２に該当し、内部データメモリ２４ａとＨＰＩ（ホストポートインタフェース）２４ｂとＩ／Ｆ２４ｃは格納領域制御手段２４に該当する。
また、入力ＦＩＦＯ２１ａと入力ＦＩＦＯ制御部２１ｂは入力画像信号格納手段２１に該当し、出力ＦＩＦＯ２３ａと出力ＦＩＦＯ制御部２３ｂは出力画像信号格納手段２３に該当する。さらに、データ切替え制御手段２５は、ゲート回路２５ａで構成される。
【００５９】
ＤＳＰ２０の内部データメモリ２４ａが複数バンク構成（メモリＡ〜Ｄ）になっており、それぞれ独立してアクセス可能である。
ここでは、メモリＡ、Ｂを画像入力のラインメモリとして交互に切り替えて、画像ライン信号の入出力を行う。
【００６０】
すなわち、メモリＡがＨＰＩ２４ｂを介して、画像ライン信号を入力して格納している場合は、メモリＢは画像ライン信号をＣＰＵ２２ａに出力して、ＣＰＵ２２ａは画像処理を行う。このような動作をメモリＡ／Ｂ交互に行うことで、画像ライン信号の入力及び画像処理を平行して行うことができる。
【００６１】
また、メモリＣ／Ｄでは、メモリＣが画像処理データを入力して格納している場合は、メモリＤは画像処理データをＩ／Ｆ２４ｃを介して、出力ＦＩＦＯ２３ａに出力する。このような動作をメモリＣ／Ｄ交互に行う。
【００６２】
また、入力ＦＩＦＯ制御部２１ｂは、ライン単位の動作の基準となる水平同期信号を割り込み信号としてＤＳＰ２０に入力する。
なお、上記の説明では、メモリＡ／Ｂ、Ｃ／Ｄを、ライン単位のダブルバッファ構造のメモリとしたが、フレーム単位のダブルバッファ構造のメモリにして、フレーム処理を行ってもよい。
【００６３】
次に画像信号の流れについて説明する。画像信号は、入力ＦＩＦＯ２１ａ、ゲート回路２５ａ、ＤＳＰ２０内のＨＰＩ２４ｂ及び内部データメモリＡ／Ｂへと送信される。
画像信号の出力は、ＤＳＰ２０の内部データメモリＣ／Ｄ、出力ＦＩＦＯ２３ａへと送信される。
【００６４】
ここで、画像信号処理は、ＤＳＰ２０内のＣＰＵ２２ａが、内部データメモリＡ／Ｂのいずれかから画像信号を読み出して行い（画像信号が入力されるメモリとは別のメモリをアクセスする）、その結果を内部データメモリＣ／Ｄ（同様に出力されるメモリとは別のメモリをアクセスする）へ格納する。
【００６５】
次に動作について詳しく説明する。入力ＦＩＦＯ２１ａは、ライン単位の画像信号を１ラインずつ受け取る。
入力ＦＩＦＯ制御部２１ｂは、入力ＦＩＦＯ２１ａが１ライン分受け取った時点で、ＤＳＰ２０に対して割り込みを上げるとともに、入力ＦＩＦＯ制御部２１ｂの制御により、ＨＰＩ２４ｂを経由して内部データメモリＡ／Ｂへ送信する。内部データメモリＡ／Ｂいずれに転送するかは、入力ＦＩＦＯ制御部２１ｂで発生した転送アドレスで指定する。
【００６６】
そして、内部データメモリＡに入力画像データ転送中は、ＣＰＵ２２ａは内部データメモリＢとの間で画像処理を行い、次のライン入力タイミングでは内部データメモリＢに入力画像データは転送され、ＣＰＵ２２ａと内部データメモリＡとの間で画像処理を行う。
【００６７】
画像処理結果は、内部データメモリＣまたはＤ（必ず出力されているメモリとは別のメモリへアクセスする）へ保存する。そして、出力ＦＩＦＯ２３ａからの出力では、出力画像データＤ３のタイミングをピクセルクロックで制御しながら画像バスへ出力する。
【００６８】
以上説明したように、第２の実施の形態の画像処理装置２は、入力バスＢｉで接続されて入力画像データＤ１を格納制御し、出力バスＢｏで接続されて画像処理データＤ２を格納制御する格納領域制御手段２４を用いて、画像処理を行う構成とした。これにより、入出力のバスを分離できるので、コンフリクトの発生をなくし、装置の品質及び信頼性の向上を図ることが可能になる。
【００６９】
次に第３の実施の形態の画像処理装置について説明する。図１４は第３の実施の形態の画像処理装置の原理図である。ホスト２００を除く図の各構成要素からなる画像処理装置３は、画像入力処理、画像処理、画像出力処理の同時並列処理を行う。
【００７０】
入力画像信号格納手段３１は、入力された画像信号を格納して、入力画像データＤ１として時分割で出力する。
画像信号処理手段３２は、入力画像データＤ１を時分割で画像処理して画像処理データＤ２を生成し、画像処理データＤ２を出力する。
【００７１】
出力画像信号格納手段３３は、画像処理データＤ２を格納して、出力画像データＤ３として外部出力する。
入力画像データ格納手段３６は、一方が入力画像データＤ１を格納している場合は、他方が格納済みの入力画像データＤ１を画像信号処理手段３２に出力するダブルバッファ構造をとる。
【００７２】
入出力インタフェース手段３７は、入力画像データ格納手段３６から画像信号処理手段３２への入力画像データＤ１の入力インタフェース、画像信号処理手段３２から出力画像信号格納手段３３への画像処理データＤ２の出力インタフェースを行う。
【００７３】
また、データ切替え制御手段３５は、画像信号処理手段３２へ送信される、入力画像データＤ１またはワークステーション等のホスト２００からの設定データＤ４の切替え制御を行う。さらに、画像信号処理手段３２からホスト２００への通知データＤ５の送信制御を行う。
【００７４】
次に画像処理装置３の具体的な構成及び動作について説明する。図１５は画像処理装置３の構成を示す図である。ＤＳＰ３０は、画像信号処理手段３２に該当するＣＰＵ３２ａを内部に含み、図１３で説明した内部データメモリ２４ａを内部に持たない。そして、フレームメモリＡ／Ｂ３６ａは、入力画像データ格納手段３６に該当する。
【００７５】
また、入力ＦＩＦＯ３１ａと入力ＦＩＦＯ制御部３１ｂは入力画像信号格納手段３１に該当し、出力ＦＩＦＯ３３ａと出力ＦＩＦＯ制御部３３ｂは出力画像信号格納手段３３に該当する。さらに、データ切替え制御手段３５は、ゲート回路３５ａで構成される。
【００７６】
第３の実施の形態では、内部データメモリ２４ａの代わりに、フレーム単位でダブルバッファ可能なフレームメモリＡ／Ｂ３６ａに変更して、フレーム単位での並列動作をする。
【００７７】
この場合、入出力インタフェース手段３７でコンフリクトの発生の可能性があるため、画像入出力データの転送速度を２〜３倍に上げ、時分割で転送することによりコンフリクトを避ける。
【００７８】
例えば、画像入力をフレーム時間の最初の１／３の時間で転送し、次の１／３でＤＳＰ３０の画像処理を行い、最後の１／３の時間で出力ＦＩＦＯ３３ａへ出力するようにタイミングをプログラムして動作させる。
【００７９】
このように、第３の実施の形態では、内部データメモリ２４ａを持たないＤＳＰ３０に対し、時分割で動作させることにより、インタフェース部でのコンフリクトを発生させずに高速に動作させることが可能になる。
【００８０】
次に第４の実施の形態について説明する。図１６は第４の実施の形態の画像処理装置の原理図である。画像処理装置４は、画像処理の速度が要求性能に間に合わない場合に、画像信号の分割処理及び合成を行って処理速度を高める。
【００８１】
画像信号分割手段４１は、画像信号を分割する。ここでは２系統の分割を行うものとする。
第１の分割処理信号生成手段４２ａは、２系統に分割された画像信号の一方を画像処理して、第１の分割処理信号Ｄａを生成する。
【００８２】
第２の分割処理信号生成手段４２ｂは、２系統に分割された画像信号の他方を画像処理して、第２の分割処理信号Ｄｂを生成する。
第１の分割処理信号格納手段４３ａは、一方が第１の分割処理信号Ｄａを格納している場合は、他方が格納済みの第１の分割処理信号Ｄａを出力するダブルバッファ構造（フレームメモリＡ１／Ｂ１）で構成される。
【００８３】
第２の分割処理信号格納手段４３ｂは、一方が第２の分割処理信号Ｄｂを格納している場合は、他方が格納済みの第２の分割処理信号Ｄｂを出力するダブルバッファ構造（フレームメモリＡ２／Ｂ２）で構成される。
【００８４】
フォーマット変換手段４４は、第１及び第２の分割処理信号格納手段４３ａ、４３ｂから出力された出力信号Ｄａ１、Ｄｂ１をハードウェアで合成してフォーマット変換を行う。
【００８５】
次に従来の画像信号の分割処理及び合成について説明する。図１７は従来の画像信号の分割処理及び合成を示す図である。
２系統に分割された画像分割信号は、画像処理部４２０ａ、４２０ｂで画像処理が行われる。
【００８６】
合成部４４０は、画像処理部４２０ａで処理された信号と、画像処理部４２０ｂで処理され、１ビットのシリアルの通信ポートＰを介して送信された信号と、を合成して出力する。
【００８７】
このように、従来の合成処理では、１ビットのシリアル通信ポートＰを利用して行っているために、データ転送能力が低く、リアルタイムの画像処理を行うことができなかった。
【００８８】
次に第１及び第２の分割処理信号格納手段４３ａ、４３ｂ及びフォーマット変換手段４４について説明する。
図１６に示すように、フレームメモリＡ１／Ｂ１を交互に切り替えて、第１の分割処理信号Ｄａの入出力を行う。
【００８９】
例えば、フレームメモリＡ１が第１の分割処理信号Ｄａを入力して格納している場合は、フレームメモリＢ１は格納済みの第１の分割処理信号Ｄａをフォーマット変換手段４４に出力する。このような動作をフレームメモリＡ１／Ｂ１交互に行う。
【００９０】
また、同様にフレームメモリＡ２／Ｂ２を交互に切り替えて、第２の分割処理信号Ｄｂの入出力を行う。
例えば、フレームメモリＡ２が第１の分割処理信号Ｄｂを入力して格納している場合は、フレームメモリＢ２は格納済みの第１の分割処理信号Ｄｂをフォーマット変換手段４４に出力する。このような動作をフレームメモリＡ２／Ｂ２交互に行う。
【００９１】
そして、フォーマット変換手段４４は、出力信号Ｄａ１、Ｄｂ１をハードウェアで合成してフォーマット変換を行う。なぜなら、画像処理を行うＤＳＰチップで画像信号の合成を行うと、ＤＳＰチップに負担がかかり、処理速度が遅くなるためである。
【００９２】
このように、第１及び第２の分割処理信号Ｄａ、Ｄｂをそれぞれダブルバッファ構造の第１及び第２の分割処理信号格納手段４３ａ、４３ｂで格納し、その出力信号Ｄａ１、Ｄｂ１の合成及びフォーマット変換をハードウェアで行う構成とした。これにより、画像合成時のフォーマット変換を高速に行うことが可能になる。
【００９３】
次にフォーマット変換について図１８〜図２１を用いて説明する。分割された画像信号を合成する際には、分割パターンに対応したフォーマット変換を行って、元の画像に戻す必要がある。
【００９４】
図１８は分割を行わない場合のフォーマット変換を示す図である。分割を行わない場合は、出力信号Ｄａ１のライン配列は図に示すようになる。
なお、以降の説明では、１フレームは４８０本のラインからなり、奇数フィールドのライン番号を中括弧で囲み、偶数フィールドのライン番号を小括弧で囲んで表示する。
【００９５】
第１の分割処理信号格納手段４３ａからの出力信号Ｄａ１を奇数ラインを出力した後に偶数ラインを出力する。この場合、第２の分割処理信号格納手段４３ｂからの出力信号Ｄｂ１は無視される。
【００９６】
図１９は１ライン毎に分割した場合のフォーマット変換を示す図である。奇数フィールドを１ライン毎に分割し、その後偶数フィールドを１ライン毎に分割した場合は、出力信号Ｄａ１、Ｄｂ１のライン配列は図に示すようになる。
【００９７】
第１の分割処理信号格納手段４３ａからの出力信号Ｄａ１と、第２の分割処理信号格納手段４３ｂからの出力信号Ｄｂ１と、を１ライン毎に交互に出力する。
図２０は奇数／偶数フィールドに分割した場合のフォーマット変換を示す図である。第１の分割処理信号格納手段４３ａからの出力信号Ｄａ１を出力し、第２の分割処理信号格納手段４３ｂからの出力信号Ｄｂ１を出力して合成する。
【００９８】
図２１は１フレーム画面を上下に分割した場合のフォーマット変換を示す図である。第１及び第２の分割処理信号格納手段４３ａ、４３ｂからの出力信号Ｄａ１、Ｄｂ１の奇数ラインを出力した後に、偶数ラインを出力する。
【００９９】
なお、上記のようなフォーマット変換を行わず、出力信号Ｄａ１、Ｄｂ１のいずれかだけをそのまま出力してもよい。すなわち、第１及び第２の分割処理信号格納手段４３ａ、４３ｂのいずれか一方からの出力信号Ｄａ１、Ｄｂ１をライン毎に出力する。
【０１００】
以上説明したように、第４の実施の形態の画像処理装置４は、２つの分割処理信号をそれぞれダブルバッファ構造の第１及び第２の分割処理信号格納手段４３ａ、４３ｂで格納し、その出力信号Ｄａ１、Ｄｂ１の合成及びフォーマット変換をハードウェアで行う構成とした。これにより、画像合成時のフォーマット変換をリアルタイムに行うことが可能になる。
【０１０１】
次に画像処理装置を適用した画像処理ボードについて図２２、２３を用いて説明する。図２２は画像処理ボードのビデオ部を示す図であり、図２３は画像処理ボードの画像処理部を示す図である。画像処理ボード１００は、ビデオ部１１０と画像処理部１２０からなる。
【０１０２】
ビデオ部１１０に対し、ビデオデコーダ１１１ａはビデオ入力のＡ／Ｄ変換を行い、ビデオエンコーダは１１１ｂはＤ／Ａ変換を行って、処理後の信号を出力する。
フレームメモリ１１３は、フレーム間引き部１１２でフレーム間引きされたディジタル画像データを２画面分交互に蓄積する。
【０１０３】
モード選択部１１４は、蓄積した画像データをフレームメモリ１１３から画像バスＢ１へ出力する形式を１／３０秒毎のノーマル出力／フレーム単位での間引き出力／ライン間隔拡張出力の３種類のモードを選択して出力する。
【０１０４】
分割処理信号格納部１１５は、画像バスＢ２、Ｂ３を通じて２系統からなる画像データを、各２画面のフレームメモリＡ１／Ｂ１、Ａ２／Ｂ２へ交互に蓄積する。
フォーマット変換部１１６は、分割処理信号格納部１１５から出力された画像データからライン毎に選択してフォーマット変換する。
【０１０５】
ビデオコントロール部１１７は、ビデオ部１１０を構成する各処理部の全体制御を行う。
画像処理部１２０に対し、入力ＦＩＦＯ１２１ａは、画像バスＢ４からの画像データを１ライン分入力する。
【０１０６】
入力ＦＩＦＯ制御部１２１ｂは、入力ＦＩＦＯ１２１ａを制御するとともにＤＳＰ１２３へ水平／垂直同期割り込みを行う。
出力ＦＩＦＯ１２２ａは、処理後の画像データを１ライン分入力して画像バスＢ５へ出力する。出力ＦＩＦＯ制御部１２２ｂは、出力ＦＩＦＯ１２２ａを制御する。
【０１０７】
ＤＳＰ１２３は、複数バンクの内部データメモリ１２３ａとＨＰＩ１２３ｂを有し画像処理を実行する。
ワーク／プログラムメモリ１２４は、プログラムの記憶、ワーク領域またはフレームメモリＡ／Ｂとして使用できる。
【０１０８】
ゲート回路１２５はＤＳＰ１２３のＨＰＩ１２３ｂへアクセスするポートを入力ＦＩＦＯ１２１ａ側またはホスト２００側に切り替える。
ＤＳＰコントロール部１２６は、画像処理部１２０を構成する各処理部の全体制御を行う。
【０１０９】
以上説明したように、画像処理装置を適用した画像処理ボード１００は、対象物の高速検知、画像バス上に発生するコンフリクトの低減及び画像の高速合成処理を行うことが可能になる。
【図面の簡単な説明】
【０１１０】
【図１】第１の実施の形態の画像処理装置の原理図である。
【図２】ライン間隔拡張波形のタイムシーケンスを示す図である。
【図３】ライン間隔が拡張された場合のフレーム波形のタイムシーケンスを示す図である。
【図４】フレーム処理を行う場合の画像処理構成を示す図である。
【図５】図４のタイムシーケンスを示す図である。
【図６】ライン処理を行う場合の画像処理構成を示す図である。
【図７】図６のタイムシーケンスを示す図である。
【図８】ライン間隔拡張を行う際のフレームメモリを示す図である。
【図９】ライン間隔拡張を行う際の内部データメモリを示す図である。
【図１０】ライン処理とフレーム処理を複合して行う場合の画像処理構成を示す図である。
【図１１】図１０のタイムシーケンスを示す図である。
【図１２】第２の実施の形態の画像処理装置の原理図である。
【図１３】画像処理装置の構成を示す図である。
【図１４】第３の実施の形態の画像処理装置の原理図である。
【図１５】画像処理装置の構成を示す図である。
【図１６】第４の実施の形態の画像処理装置の原理図である。
【図１７】従来の画像信号の分割処理及び合成を示す図である。
【図１８】分割を行わない場合のフォーマット変換を示す図である。
【図１９】１ライン毎に分割した場合のフォーマット変換を示す図である。
【図２０】奇数／偶数フィールドに分割した場合のフォーマット変換を示す図である。
【図２１】１フレーム画面を上下に分割した場合のフォーマット変換を示す図である。
【図２２】画像処理ボードのビデオ部を示す図である。
【図２３】画像処理ボードの画像処理部を示す図である。
【符号の説明】
【０１１１】
１  画像処理装置
１１  ライン間隔拡張手段
１２ａ〜１２ｎ  画像処理手段
【図１】
2005011380.tif 000003
【図２】
2005011380.tif 000004
【図３】
2005011380.tif 000005
【図４】
2005011380.tif 000006
【図５】
2005011380.tif 000007
【図６】
2005011380.tif 000008
【図７】
2005011380.tif 000009
【図８】
2005011380.tif 000010
【図９】
2005011380.tif 000011
【図１０】
2005011380.tif 000012
【図１１】
2005011380.tif 000013
【図１２】
2005011380.tif 000014
【図１３】
2005011380.tif 000015
【図１４】
2005011380.tif 000016
【図１５】
2005011380.tif 000017
【図１６】
2005011380.tif 000018
【図１７】
2005011380.tif 000019
【図１８】
2005011380.tif 000020
【図１９】
2005011380.tif 000021
【図２０】
2005011380.tif 000022
【図２１】
2005011380.tif 000023
【図２２】
2005011380.tif 000024
【図２３】
2005011380.tif 000025