(57)【要約】【課題】  画像処理速度を担保しつつ、ハードウェア資源をより有効活用でき、汎用性及び柔軟性のより高い画像処理システムを提供する。【解決手段】  光信号を電気信号に変換する撮像装置１００から出力された画像データを伝送するキャプチャバスＢＣと、入力された画像データに対し、所定の画像処理を実行する２以上の所定数ｘの画像処理装置Ｄｉ（ｉ＝１〜ｘ）と、画像処理装置Ｄｉ毎に設けられ、画像処理装置Ｄｉにおいて画像処理され出力された画像データを伝送するデータバスＢＤｉと、画像処理装置Ｄｉの夫々の前段に少なくとも１つずつ設けられ、キャプチャバスＢＣ及びデータバスＢＤｉの内の任意のバスを、選択的に画像処理装置Ｄｉの入力に接続可能に構成されたスイッチ回路Ｓｉと、画像処理装置Ｄｉ及びスイッチ回路Ｓｉを制御する制御回路２０と、を備える。【選択図】        図１
2009081774.tif 000002
【特許請求の範囲】
【請求項１】
光信号を電気信号に変換する撮像装置から出力された画像データを伝送するキャプチャバスと、
入力された画像データに対し、所定の画像処理を実行する２以上の所定数の画像処理装置と、
前記画像処理装置毎に設けられ、前記画像処理装置において画像処理され出力された画像データを伝送するデータバスと、
前記画像処理装置の夫々の前段に少なくとも１つずつ設けられ、前記キャプチャバス及び前記データバスの内の任意のバスを、選択的に前記画像処理装置の入力に接続可能に構成されたスイッチ回路と、
前記画像処理装置及び前記スイッチ回路を制御する制御回路と、を備えることを特徴とする画像処理システム。
【請求項２】
前記画像処理装置が、前記キャプチャバス及び前記データバスから受け付けた画像データを保持するための１または複数の第１記憶回路を備え、
前記スイッチ回路が、前記第１記憶回路毎に設けられていることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記制御回路が、前記撮像装置から出力される画像データに対する画像処理手順を記憶した第２記憶回路を備え、当該第２記憶回路に記憶された前記画像処理手順に従って、前記画像処理装置及び前記スイッチ回路を制御することを特徴とする請求項１または２に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置から出力された画像データに対し、所定の複数の画像処理を実行する画像処理システムに関する。
【背景技術】
【０００２】
従来、光信号を電気信号に変換して撮像画像データを出力する撮像装置で撮像した撮像画像データに対する画像処理は、例えば、図６に示すように、パーソナルコンピュータ３００上で画像処理のためのプログラムを実行してソフトウェア処理により行っていた。
【０００３】
ところで、通常、ハードウェアによる画像処理は、ソフトウェアによる画像処理に比べて画像処理速度が速い。このため、デジタルカメラやデジタルビデオカメラ等、速い画像処理速度が要求される撮像機器内で行う画像処理については、専用のハードウェアで構成された画像処理用プロセッサ等を用いたハードウェア処理により実行する場合がある。
【０００４】
画像処理速度の向上を図るための技術としては、例えば、撮像装置で撮像した撮像画像データを色分解してカラー画像データを生成する第１演算処理手段と、カラー画像データの夫々に対応して設けられ、対応するカラー画像データに対し、１または複数の画像処理を実行する第２演算処理手段を備え、第２演算処理手段が並列動作可能に構成されている画像処理システムがある（例えば、特許文献１参照）。
【０００５】
従来のソフトウェア処理による画像処理では、カラー画像データの夫々に対する画像処理をシリアル処理で実行するため、撮像画像データ全体における画像処理時間は、色分解等にかかる時間やカラー画像データの夫々に対する画像処理時間の夫々を合計したものとなっていた。これに対し、特許文献１に記載の画像処理システムでは、第２演算処理手段が並列動作可能に構成されているため、カラー画像データの夫々に対する画像処理を同時に実行することができる。従って、特許文献１に記載の画像処理システムにおいて、撮像画像データ全体における画像処理時間は、色分解等にかかる時間に、カラー画像データの夫々に対する画像処理時間の内の最長の画像処理時間を加えたものとなり、ソフトウェア処理による画像処理に比べ、画像処理時間を短縮することが可能となっている。
【０００６】
【特許文献１】特開２００５−９４１２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の画像処理システムでは、カラー画像データの夫々に対して第２演算処理手段を設けているため、複数の異なる第２演算処理手段に、同じ画像処理を実行する画像処理回路が含まれることが考えられる。つまり、上記特許文献１に記載の画像処理システムでは、ハードウェア資源の有効活用が十分であるとは言えなかった。デジタルカメラやデジタルビデオカメラ等の撮像機器では、小型軽量化が求められており、これに伴って、ハードウェア資源をより有効活用して、撮像機器の小型軽量化等を実現できる画像処理システムが求められている。
【０００８】
更に、上記特許文献１に記載の画像処理システムでは、カラー画像データの夫々に対してハードウェアで構成された第２演算処理手段を設ける構成であるため、撮像画像装置の種類毎、例えば、撮像画像データに対して用いる画像処理の内容やその数、順序等のアルゴリズム別に専用の第２演算処理手段を設計する必要があった。このため、画像処理システムの汎用性や柔軟性が十分ではなかった。
【０００９】
本発明は上記の問題に鑑みてなされたものであり、その目的は、画像処理速度を担保しつつ、ハードウェア資源をより有効活用でき、汎用性及び柔軟性のより高い画像処理システムを提供する点にある。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本発明に係る画像処理システムは、光信号を電気信号に変換する撮像装置から出力された画像データを伝送するキャプチャバスと、入力された画像データに対し、所定の画像処理を実行する２以上の所定数の画像処理装置と、前記画像処理装置毎に設けられ、前記画像処理装置において画像処理され出力された画像データを伝送するデータバスと、前記画像処理装置の夫々の前段に少なくとも１つずつ設けられ、前記キャプチャバス及び前記データバスの内の任意のバスを、選択的に前記画像処理装置の入力に接続可能に構成されたスイッチ回路と、前記画像処理装置及び前記スイッチ回路を制御する制御回路と、を備えることを第１の特徴とする。
【００１１】
上記特徴の本発明に係る画像処理システムは、前記画像処理装置が、前記キャプチャバス及び前記データバスから受け付けた画像データを保持するための１または複数の第１記憶回路を備え、前記スイッチ回路が、前記第１記憶回路毎に設けられていることを第２の特徴とする。
【００１２】
上記何れかの特徴の本発明に係る画像処理システムは、前記制御回路が、前記撮像装置から出力される画像データに対する画像処理手順を記憶した第２記憶回路を備え、当該第２記憶回路に記憶された前記画像処理手順に従って、前記画像処理装置及び前記スイッチ回路を制御することを第３の特徴とする。
【発明の効果】
【００１３】
上記特徴の画像処理システムによれば、画像処理装置の夫々に対し、画像処理装置から出力される画像データを伝送するためのデータバスを設け、画像処理装置に任意のキャプチャバス或いはデータバス上の画像データを入力可能に構成したので、個々の画像処理装置を複数回利用することが可能になり、ハードウェア資源をより有効活用できる。
【００１４】
より具体的には、例えば、同じ撮像画像データから得られる複数の画像データ、例えば、撮像画像データを色分解したカラー画像データの夫々に対し、同じ画像処理装置を利用して同じ画像処理を実行することが可能になる。これによって、特に、同じ撮像画像データから得られる複数の画像データに対し同じ画像処理を実行する場合には、上記特許文献１の第２演算処理手段のように、個々のカラー画像データに対する一連の画像処理を１つの回路で構築する場合に比べ、ハードウェア資源を有効活用することが可能になり、回路規模を小規模化することが可能になる。
【００１５】
また、上記特徴の画像処理システムによれば、画像処理装置の夫々にデータバスを設けて、画像処理装置の夫々に任意のキャプチャバス或いはデータバス上の画像データを入力可能にするスイッチ回路を設けたので、スイッチ回路の切り替えの制御により、画像データに対して用いる画像処理及びその順序等の画像処理手順（アルゴリズム）を任意に設定することが可能になる。つまり、制御回路において、スイッチ回路の制御を変更するのみで様々なアルゴリズムを実現でき、画像処理システムの汎用性及び柔軟性を高めることが可能になる。
【００１６】
上記特徴の画像処理システムにおいて、画像処理手順（アルゴリズム）を記憶した第２記憶回路を備え、当該画像処理手順に従って各画像処理装置及び各スイッチ回路を制御するように構成すれば、第２記憶回路の構成を変更するのみで、より柔軟に様々な撮像装置に対応可能になる。つまり、ハードウェアの構成を変更することなく、様々な撮像機器に対応可能であり、柔軟性及び汎用性をより高めることが可能になる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る画像処理システム（以下、適宜「本発明システム」と称する）の実施形態を図面に基づいて説明する。
【００１８】
〈第１実施形態〉
本発明システムの第１実施形態について、図１〜図５を基に説明する。ここで、図１は、本発明システム１及び周辺装置の概略構成を部分的に示している。
【００１９】
本発明システム１は、図１に示すように、光信号を電気信号に変換する撮像装置１００から出力された画像データを伝送するキャプチャバスＢＣと、入力された画像データに対し、所定の画像処理を実行する２以上の所定数ｘの画像処理装置Ｄｉ（ｉ＝１〜ｘ）と、画像処理装置Ｄｉ毎に設けられ、画像処理装置Ｄｉにおいて画像処理され出力された画像データを伝送するデータバスＢＤｉと、画像処理装置Ｄｉの夫々の前段に少なくとも１つずつ設けられ、キャプチャバスＢＣ及びデータバスＢＤｉの内の任意のバスを、選択的に画像処理装置Ｄｉの入力に接続可能に構成されたスイッチ回路Ｓｉと、画像処理装置Ｄｉ及びスイッチ回路Ｓｉを制御する制御回路２０と、を備えて構成されている。
【００２０】
尚、本実施形態の本発明システム１は、図１に示すように、画像キャプチャボード２００を介して撮像装置１００からの画像データを受け付けるように構成されている。また、本実施形態では、４つの画像処理装置Ｄ１〜Ｄ４を備えている場合について説明する。
【００２１】
より具体的には、キャプチャバスＢＣ及びデータバスＢＤ１〜ＢＤ４は、ＲＳＤＳ（Ｒｅｄｕｃｅｄ  Ｓｗｉｎｇ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇ）規格の高速シリアルバスで構成されている。尚、本実施形態では、高速シリアルバスの規格をＲＳＤＳ規格としたが、これに限るものではなく、ＵＳＢ２（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ２）規格や、ＬＶＤＳ（Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇ）規格等の他の規格であっても良い。キャプチャバスＢＣ及びデータバスＢＤ１〜ＢＤ４をシリアルバスで構成した場合には、配線量を少なくしてチップ面積を低減することが可能になる。
【００２２】
画像処理装置Ｄ１〜Ｄ４は、夫々、キャプチャバスＢＣ及びデータバスＢＤ１〜ＢＤ４から受け付けた画像データを保持するためのＶＲＡＭ（Ｖｉｄｅｏ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリＭ（第１記憶回路に相当）と、画像処理のための演算処理回路Ｃ１〜Ｃ４を備えて構成されている。画像処理としては、例えば、複数の画像データ夫々の特徴量を用いた演算処理（減算処理、加算処理、比較処理等）や、画像のムラやシミ等に対する補正処理等を想定しており、これらの画像処理別に画像処理装置Ｄ１〜Ｄ４が構築されている。
【００２３】
スイッチ回路Ｓは、本実施形態では、図１に示すように、制御回路２０からのスイッチ制御信号に基づいて、画像処理装置Ｄに接続するバスを選択するように構成されている。本実施形態では、スイッチ回路Ｓ１〜Ｓ４が、画像処理装置Ｄ１〜Ｄ４の夫々の前段に１つずつ設けられている場合を想定して説明する。
【００２４】
制御回路２０は、図１に示すように、撮像装置１００から出力される画像データに対する画像処理手順（アルゴリズム）を記憶したフラッシュメモリ等の不揮発性メモリ３０（第２記憶回路に相当）を備え、当該不揮発性メモリ３０に記憶された画像処理手順に従って、画像処理装置Ｄ１〜Ｄ４及びスイッチ回路Ｓ１〜Ｓ４を制御する。
【００２５】
ここで、図２は、不揮発性メモリ３０のメモリ領域の記憶構成例を示している。図２では、画像処理手順として、複数のアルゴリズムＡ１〜Ａｎ（ｎは整数）が記憶されている場合について示している。アルゴリズムＡ１は、部分アルゴリズムＡ１１〜Ａ１９で構成されており、部分アルゴリズムＡ１１〜Ａ１９の夫々は、実行開始タイミングを示すポイント、実行する処理の内容と処理対象となるデータの情報を含んで構成されている。
【００２６】
以下、制御回路２０による本発明システム１の動作について、図３及び図４を基に説明する。ここで、図３は、図２に示す画像処理手順の内、アルゴリズムＡ１を実行した場合における制御回路２０の一動作例を示しており、図４は、図２に示すアルゴリズムＡ１を実行した場合におけるスイッチ回路Ｓ１〜Ｓ４の一動作例を示している。
【００２７】
制御回路２０は、図１に示す撮像装置１００によって撮像された撮像画像データが画像キャプチャボード２００に出力されると、図２に示す不揮発性メモリ３０から、予め指定されたアルゴリズム、ここでは、アルゴリズムＡ１を読み出して、撮像画像データ（データＧＣ）に対する画像処理を開始する。
【００２８】
より詳細には、制御回路２０は、図３に示すように、先ず、図２に示す不揮発性メモリ３０から部分アルゴリズムＡ１１を読み出す。制御回路２０は、部分アルゴリズムＡ１１に基づき、ポイントＰ１において、図１に示すスイッチ回路Ｓ１を制御して画像処理装置Ｄ１にキャプチャバスＢＣを接続する（ステップ＃１０１）。これにより、画像処理装置Ｄ１のメモリＭ１に画像キャプチャボード２００からのデータＧＣが記憶され、演算処理回路Ｃ１によりデータＧＣに対し画像処理Ｉ１１が実行される。
【００２９】
続いて、制御回路２０は、図３に示すように、図２に示す不揮発性メモリ３０から部分アルゴリズムＡ１２を読み出す。制御回路２０は、部分アルゴリズムＡ１２に基づき、ポイントＰ１において、図１に示すスイッチ回路Ｓ４を制御して画像処理装置Ｄ４にキャプチャバスＢＣを接続する（ステップ＃１０２）。これにより、ステップ＃１０１と並行して、画像処理装置Ｄ４のメモリＭ４に画像キャプチャボード２００からのデータＧＣが記憶され、演算処理回路Ｃ４によりデータＧＣに対し画像処理Ｉ１４が実行される。
【００３０】
引き続き、制御回路２０は、図３に示すように、図２に示す不揮発性メモリ３０から部分アルゴリズムＡ１３を読み出す。制御回路２０は、部分アルゴリズムＡ１３に基づき、ポイントＰ２において、図１に示すスイッチ回路Ｓ２を制御して画像処理装置Ｄ２にデータバスＢＤ１を接続する（ステップ＃１０３）。これにより、画像処理装置Ｄ２のメモリＭ２に画像処理装置Ｄ１で処理され出力されたデータＧ１が記憶され、演算処理回路Ｃ２によりデータＧ１に対し画像処理Ｉ１２が実行される。
【００３１】
更に、制御回路２０は、図３に示すように、図２に示す不揮発性メモリ３０から部分アルゴリズムＡ１４を読み出す。制御回路２０は、部分アルゴリズムＡ１４に基づき、ポイントＰ２において、図１に示すスイッチ回路Ｓ３を制御して画像処理装置Ｄ３にデータバスＢＤ１を接続する（ステップ＃１０４）。これにより、ステップ＃１０３と並行して、画像処理装置Ｄ３のメモリＭ３に画像処理装置Ｄ１で処理され出力されたデータＧ１が記憶され、演算処理回路Ｃ３によりデータＧ１に対し画像処理Ｉ１３が実行される。
【００３２】
更に、引き続き、制御回路２０は、図３に示すように、図２に示す不揮発性メモリ３０から部分アルゴリズムＡ１５を読み出す。制御回路２０は、部分アルゴリズムＡ１５に基づき、ポイントＰ２において、ステップ＃１０３及びステップ＃１０４と並行して、画像処理装置Ｄ４からのデータＧ４を出力する（ステップ＃１０５）。尚、図４に示すように、ポイントＰ２〜ポイントＰ３の間は、スイッチ回路Ｓ１及びＳ４は制御されず、画像処理装置Ｄ１及び画像処理Ｄ４には、キャプチャバスＢＣが接続された状態が維持される。
【００３３】
引き続き、制御回路２０は、図３に示すように、図２に示す不揮発性メモリ３０から部分アルゴリズムＡ１６を読み出す。制御回路２０は、部分アルゴリズムＡ１６に基づき、ポイントＰ３において、図１に示すスイッチ回路Ｓ４を制御して画像処理装置Ｄ４にデータバスＢＤ２を接続する（ステップ＃１０６）。これにより、画像処理装置Ｄ４のメモリＭ４に画像処理装置Ｄ２で処理され出力されたデータＧ２が記憶され、演算処理回路Ｃ４によりデータＧ２に対し画像処理Ｉ１４が実行される。
【００３４】
更に、制御回路２０は、図３に示すように、図２に示す不揮発性メモリ３０から部分アルゴリズムＡ１７を読み出す。制御回路２０は、部分アルゴリズムＡ１７に基づき、ポイントＰ３において、図１に示すスイッチ回路Ｓ１を制御して画像処理装置Ｄ１にデータバスＢＤ３を接続する（ステップ＃１０７）。これにより、ステップ＃１０６と並行して、画像処理装置Ｄ１のメモリＭ１に画像処理装置Ｄ３で処理され出力されたデータＧ３が記憶され、演算処理回路Ｃ１によりデータＧ３に対し画像処理Ｉ１１が実行される。尚、図４に示すように、ポイントＰ３以降は、スイッチ回路Ｓ２及びＳ３は制御されず、画像処理装置Ｄ２及び画像処理装置Ｄ３には、データバスＢＤ１が接続された状態が維持される。
【００３５】
引き続き、制御回路２０は、図３に示すように、図２に示す不揮発性メモリ３０から部分アルゴリズムＡ１８を読み出し、当該部分アルゴリズムＡ１８に基づき、ポイントＰ４において、画像処理装置４で処理され出力されたデータＧ４を本発明システム１の外部に出力する（ステップ＃１０８）。更に、制御回路２０は、図３に示すように、図２に示す不揮発性メモリ３０から部分アルゴリズムＡ１９を読み出し、当該部分アルゴリズムＡ１９に基づき、ポイントＰ４において、ステップ＃１０８と並行して、画像処理装置Ｄ１で処理され出力されたデータＧ１を本発明システム１の外部に出力する（ステップ＃１０９）。
【００３６】
〈別実施形態〉
〈１〉上記第１実施形態では、本発明システム１が、４つの画像処理装置Ｄ１〜Ｄ４を備える場合について説明したが、これに限るものではない。画像処理装置Ｄｉ（ｉ＝１〜ｘ）の数ｘは、本発明システム１を搭載する機器の構成や実行する画像処理の種類等に応じて設定する。また、画像処理装置Ｄは、画像処理の内容毎に構築するが、同じ画像処理を実行する画像処理装置Ｄを複数備えていても良い。尚、図５は、本別実施形態における本発明システム１の構成を示している。
【００３７】
〈２〉上記第１実施形態では、本発明システム１が、４つの画像処理装置Ｄ１〜Ｄ４の夫々の前段に１つずつ、４つのスイッチ回路Ｓ１〜Ｓ４が設けられている場合について説明したが、これに限るものではない。図５に示すように、画像処理装置Ｄｉ（ｉ＝１〜ｘ）の前段に、複数のスイッチ回路Ｓｉ１〜Ｓｉｙ（ｙは２以上の整数）を設けるように構成しても良い。尚、画像処理装置Ｄｉの前段に設けられるスイッチ回路Ｓの数は、画像処理の内容に応じて、画像処理装置Ｄ毎に異なっていても良いし、構成の異なる複数種類のスイッチ回路Ｓを用いても良い。
【００３８】
この場合には、画像処理装置Ｄｉに、前段のスイッチ回路Ｓｉの夫々に対して、１または複数のメモリＭを備えるように構成しても良い。
【図面の簡単な説明】
【００３９】
【図１】本発明に係る画像処理システム及び周辺装置の概略構成例を部分的に示す概略ブロック図
【図２】本発明に係る画像処理システムの不揮発性メモリの一構成例を示す概略ブロック図
【図３】本発明に係る画像処理システムの処理動作を説明する概略フローチャート
【図４】本発明に係る画像処理システムのスイッチ回路の動作を示す概略タイミングチャート
【図５】本発明に係る画像処理システム及び周辺装置の概略構成例を部分的に示す概略ブロック図
【図６】従来技術に係る画像処理システム及び周辺装置の概略構成例を示す概略ブロック図
【符号の説明】
【００４０】
１      本発明に係る画像処理システム
２０    制御回路
３０    不揮発性メモリ（第２記憶回路）
１００  撮像装置
２００  画像キャプチャボード
３００  パーソナルコンピュータ
Ｓ      スイッチ回路
Ｃ      演算処理回路
Ｄ      画像処理装置
Ｍ      メモリ（第１記憶回路）
ＢＣ    キャプチャバス
ＢＤ    データバス
【図１】
2009081774.tif 000003
【図２】
2009081774.tif 000004
【図３】
2009081774.tif 000005
【図４】
2009081774.tif 000006
【図５】
2009081774.tif 000007
【図６】
2009081774.tif 000008