(57)【要約】【課題】メモリＩＯボトルネックを解消し、高性能かつプログラマブルな画像処理装置を提供すること。【解決手段】画像処理装置２００は、区分画像（例えば画像中の１ライン単位の画像）を単位として特定処理を実行する画像処理部２１１〜２１４と、区分画像を単位とするデータを一時的に記憶する一時記憶部２３１〜２３３と、画像処理部２１１〜２１４と一時記憶部２３１〜２３３とを選択的に結合するセレクタ２２１〜２２４と、セレクタ２２１〜２２４を切り替え制御するレジスタ２２５と、を備える。外部制御に従って、レジスタ２２５がセレクタ２２１〜２２４を切り替え制御することにより、画像処理部２１１〜２１４と一時記憶部２３１〜２３３との結合形態を変化させて画像処理部２１１〜２１４の実行順序を規定する。【選択図】図１
2010134743.tif 000002
【特許請求の範囲】
【請求項１】
複数の区分画像データからなる画像データを処理する画像処理装置であって、
前記区分画像データに対して互いに異なる処理を実行する複数の画像処理手段と、
前記区分画像データを一時的に記憶する複数の一時記憶手段と、
前記画像処理手段と前記一時記憶手段とを選択的に結合するバスと、
前記バスの結合の形態を選択制御する切り替え制御手段と、
を備える画像処理装置。
【請求項２】
少なくとも１フレーム以上の画像データを格納可能な外部メモリと、
前記バスを介して、前記外部メモリと前記一時記憶手段との間で前記区分画像データの転送を行うＤＭＡコントローラと、
をさらに備える請求項１記載の画像処理装置。
【請求項３】
前記外部メモリに接続し、前記外部メモリに格納された画像データを用いて特定処理を行う外部デバイスをさらに備え、
前記切り替え制御手段は、前記外部デバイスの処理結果に基づいて前記バスの結合の形態を選択制御する、
請求項２記載の画像処理装置。
【請求項４】
前記外部デバイス、前記バス、前記画像処理手段、前記ＤＭＡコントローラ及び前記一時記憶手段を１つの半導体デバイス上に集積する、請求項３記載の画像処理装置。
【請求項５】
前記一時記憶手段は、単体で区分画像データを格納することができるＦＩＦＯ（First-In First-Out）と、前記ＦＩＦＯに区分画像データを格納する際に、画像における該当区分画像の位置関係を示す情報を付加する制御手段と、
を備える請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記一時記憶手段は、単体で区分画像データを格納することができる複数のＳＲＡＭと、画像における該当区分画像の位置関係を示す情報を保持する複数のレジスタと、前記ＳＲＡＭに区分画像データを格納する際に前記レジスタの値を書き換え、前記ＳＲＡＭから区分画像データを出力する際に前記レジスタの値を付加する制御手段と、
を備える請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項７】
前記一時記憶手段は、前記区分画像データの格納が終了したことを示す制御信号を生成し、
前記画像処理手段は、前記制御信号を入力した時点で処理を開始する、
請求項６記載の画像処理装置。
【請求項８】
複数の前記一時記憶手段を容量の大きな１つの一時記憶手段として構成する、請求項５から請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記画像処理手段および前記一時記憶手段のうち未使用のものに対するクロック供給若しくは電源供給を停止させる、請求項１から請求項８のいずれかに記載の画像処理装置。
【請求項１０】
画像の処理解像度を下げる、あるいは、使用する前記画像処理手段を削減することにより消費電力を抑える電力制御手段をさらに具備する請求項９記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを処理する画像処理装置に関する。
【背景技術】
【０００２】
画像処理装置は、カメラモジュールから取り込まれた映像信号の調整・品質向上や、動画像の圧縮・伸張等、処理負荷の大きい処理を、画像処理システム全体を制御するホストの処理負荷を軽減するために代行して行うもので、一般的には専用の処理エンジンを用いて構成される。
【０００３】
図１９は、従来の画像処理装置の構成を示すブロック図である。図１９に示すように、画像処理装置１０は、固定処理Ａを行う画像処理部１１、固定処理Ｂを行う画像処理部１２、固定処理Ｃを行う画像処理部１３、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などからなる共有メモリ１４、及びこれら各部を相互に接続するバス１５を備える。
【０００４】
画像処理部１１には、ＣＣＤ（Charge Coupled Device）カメラ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラを内蔵するカメラモジュール１６が接続され、撮像された画像データが映像信号として入力される。画像処理部１１は、固定処理Ａ（例えばＲＡＷデータ処理（黒レベル補正、ゲイン調整、ホワイトバランス補正、ガンマ補正））を行う処理エンジンである。画像処理部１２は、固定処理Ｂ（例えばＹＣ（輝度・色差）分離）を行う処理エンジンである。画像処理部１３は、固定処理Ｃ（例えば出力処理）を行う処理エンジンである。
【０００５】
共有メモリ１４は、バス１５と接続して、複数の処理エンジン（画像処理部１１〜１３）間を転送するデータを一時的に格納する。また、共有メモリ１４は、図示しないＳＤＲＡＭコントローラにより制御される。ＳＤＲＡＭコントローラは、各処理エンジンとの間でアドレス、データ、制御信号をやり取りすることで、ＳＤＲＡＭへのアクセス制御を行う。
【特許文献１】特開２００２−３４４７１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の画像処理装置は、複数の処理エンジン間のデータ転送に共有メモリを用いているため、メモリＩＯ（In-Out）がボトルネックとなり、処理エンジンの性能が十分であっても、装置全体としては処理が破綻するおそれがある。図１９の場合、共有メモリ１４とバス１５間がボトルネックとなる。
【０００７】
例えば、カメラ分野においては、近年の半導体技術の進歩によってＣＣＤやＣＭＯＳカメラの画素数および動作速度が著しく向上しており、カメラモジュールの出力画像を処理する装置には、高い解像度・フレームレートを取り扱える処理性能が求められている。今後、高解像度・高フレームレート化等の高性能化がさらに進展すると、処理エンジンが取り扱うデータのスループットが増大し、メモリＩＯがボトルネックとなって処理が破綻するおそれがある。
【０００８】
本発明は、上記に鑑みてなされたものであり、メモリＩＯのボトルネックを解消し、高性能かつプログラマブルな画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、複数の区分画像データからなる画像データを処理する画像処理装置であって、前記区分画像データに対して特定の固定処理を実行する複数の画像処理手段と、前記区分画像データを一時的に記憶する複数の一時記憶手段と、前記画像処理手段と前記一時記憶手段とを選択的に結合するバスと、前記バスの結合の形態を選択制御する切り替え制御手段と、を備える構成を採る。
【発明の効果】
【００１０】
本発明によれば、画像処理手段が１ラインを単位として入出力を行う性質と、選択的に結合可能なバスとを組み合わせることにより、不要な処理のスキップや処理順序の入れ替えが可能となるため、複数種のカメラ製品に適用可能な共通プラットフォームとして利用することができる。また、高解像度の画像処理を複数の外付けメモリを用いることなく実行できるため、高性能と低価格を両立させることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１２】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態は、ディジタルカメラの信号処理を行う装置に適用した例である。
【００１３】
図１に示すように、画像処理装置２００は、入力インターフェース（Ｉ／Ｆ）２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４と、バス２２０と、一時記憶部２３１〜２３３と、から主に構成される。また、画像処理装置２００は、外部の主制御部２５０から入力した制御信号に基づいて所定の信号処理を行う。
【００１４】
画像処理装置２００は、ディジタルカメラの信号処理を行う装置であり、イメージセンサ（カメラ）の出力信号（ベイヤー配列ＲＡＷデータ）を入力として、ＹＵＶ信号を生成し、出力する。イメージセンサの解像度は、例えば、水平２５６０ピクセル×垂直１９２０ピクセル（約４．９Ｍピクセル）である。
【００１５】
入力Ｉ／Ｆ２０１は、ＲＡＷデータをこれに付随する入力クロック及び水平・垂直同期信号を用いて画像処理装置２００内部に取り込む。
【００１６】
出力Ｉ／Ｆ２０２は、ＹＵＶ信号に出力クロック及び水平・垂直同期信号を付加して画像処理装置２００外部に出力する。
【００１７】
画像処理部２１１は、ＲＡＷデータ処理（黒レベル補正、ゲイン調整、ホワイトバランス補正、ガンマ補正）を行う。
【００１８】
画像処理部２１２は、係数可変の２次元ディジタルフィルタである。画像処理部２１２は、水平４ライン分のデータバッファを内蔵し、最大１００タップ（水平２０×垂直５）のフィルタ演算を実行する。
【００１９】
画像処理部２１３は、ＹＣ（輝度・色差）分離を行う。画像処理部２１３は、水平４ライン分のデータバッファを内蔵し、このバッファ内のデータで補間処理を行いながら輝度・色差のデータ（ＹＵＶ信号）を生成する。
【００２０】
画像処理部２１４は、図形重畳（画像に矩形や矩形枠を重ね合わせる処理）を行う。画像に矩形や矩形枠を重畳させることにより、撮影者に対して注意を促すことや、撮影対象のプライバシーを保護することができる。
【００２１】
バス２２０は、画像処理部２１１〜２１４と一時記憶部２３１〜２３３とを選択的に結合する。バス２２０は、２入力１出力セレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）と、セレクタ２２１〜２２４を切り替え制御するレジスタ２２５とから構成される。
【００２２】
セレクタ２２１〜２２４は、２入力接続バスをいずれか１つに切り替える。レジスタ２２５は、画像処理装置２００の外部の主制御部２５０からの指示に従って、セレクタ２２１〜２２４を用途毎に切り替えるための制御信号をセレクタ２２１〜２２４に出力する。
【００２３】
一時記憶部２３１〜２３３は、各々水平２ライン分のデータ（５１２０ピクセル相当）を格納することができる２ポートＳＲＡＭである。この２ポートＳＲＡＭは、例えば１リード・１ライトで、１６ビット×５１２０ワードを有する。
【００２４】
このように、バス２２０を介して画像処理部２１１〜２１４と、リードアドレス（図示せず）、ライトアドレス（図示せず）、リードデータ、ライトデータの各信号線が結合される。
【００２５】
図２は、本装置が用いられる３種類の用途毎に、処理内容およびバス２２０のセレクタ制御方法を示す図である。この図の内容をコード化した情報は、画像処理装置２００の外部の主制御部２５０の内部メモリに格納される。図２に示すように、主制御部２５０に格納される情報は、「１．通常用途」、「２．暗環境下での監視」、「３．医療用途」毎に、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理（フィルタ係数）およびバス２２０のセレクタ２２１〜２２４の選択方向である。
【００２６】
図１のレジスタ２２５は、主制御部２５０から設定された値に従って制御信号（例えば、１ビットの情報）をセレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）に出力することにより、セレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）を切り替え制御する。セレクタ２２１〜２２４は、２入力「ａ」，「ｂ」（図４参照）のうち、この図の接続バスのいずれか（「ａ」または「ｂ」）を選択する。図１では、セレクタ２２１〜２２４の上側入力が「ａ」、下側入力が「ｂ」である。
【００２７】
「１．通常用途」では、画像処理部２１１におけるＲＡＷデータ処理→画像処理部２１３におけるＹＣ分離→画像処理部２１４における図形重畳、の順序で処理が行われる。また、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理はスキップする。「１．通常用途」の場合、セレクタ２２３（セレクタＳ３）は「ａ」を選択し、セレクタ２２４（セレクタＳ４）は「ｂ」を選択する。なお、画像処理部２１２（２次元ディジタルフィルタ）はスキップするので、セレクタ２２１（セレクタＳ１）及びセレクタ２２２（セレクタＳ２）の選択方向は任意である。
【００２８】
「２．暗環境下での監視」では、画像処理部２１１におけるＲＡＷデータ処理→画像処理部２１２におけるフィルタ処理→画像処理部２１３におけるＹＣ分離→画像処理部２１４における図形重畳、の順序で処理が行われる。また、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理は、ノイズ除去（高周波数成分除去）である。「２．暗環境下での監視」の場合、セレクタ２２１（セレクタＳ１）は「ａ」を、セレクタ２２２（セレクタＳ２）は「ｂ」を、セレクタ２２３（セレクタＳ３）は「ｂ」を、セレクタ２２４（セレクタＳ４）は「ａ」を、それぞれ選択する。
【００２９】
「３．医療用途」では、画像処理部２１１におけるＲＡＷデータ処理→画像処理部２１３におけるＹＣ分離→画像処理部２１２におけるフィルタ処理→画像処理部２１４における図形重畳、の順序で処理が行われる。また、画像処理部２１２（２次元ディジタルフィルタ）のフィルタ処理は、毛細血管強調（赤色高周波成分強調）である。「３．医療用途」の場合、セレクタ２２１（セレクタＳ１）は「ｂ」を、セレクタ２２２（セレクタＳ２）は「ａ」を、セレクタ２２３（セレクタＳ３）は「ａ」を、セレクタ２２４（セレクタＳ４）は「ｂ」を、それぞれ選択する。
【００３０】
以下、上述のように構成された画像処理装置２００の動作を説明する。
【００３１】
〔ライン単位処理〕
まず、ライン単位処理について説明する。
【００３２】
画像処理部２１１〜２１４は、いずれもその処理の性質から、画像中の１ラインを単位としてデータの入力もしくは出力を行う。例えば、画像処理部２１２（２次元ディジタルフィルタ）は、バス２２０から新規の１ライン分の画像データを受けると、内蔵データバッファに保持された４ライン分の画像データと新規１ライン分の画像データとの合計５ライン分の画像データのデータに対し最大１００タップのフィルタ演算を実行して１ライン分の画像データの出力を行うとともに、内蔵データバッファの最古の１ライン分の画像データを新規１ライン分の画像データに置換する。画像処理部２１２は、この１ライン毎の処理を繰り返すことにより、１画面全体を処理する。
【００３３】
〔動作タイミング〕
次に、画像処理装置２００の動作タイミングについて説明する。図３は、図２に示した「１．通常用途」における、画像処理装置２００の処理タイミングを示す図である。
【００３４】
詳細には、画像入力のタイミング、画像処理部２１１（ＲＡＷデータ処理）の処理レイテンシ、画像処理部２１１による一時記憶部２３１に対する書込み動作、画像処理部２１３（ＹＣ分離）による一時記憶部２３１からの読出し動作、画像処理部２１３の処理レイテンシ、画像処理部２１３による一時記憶部２３３に対する書込み動作、画像処理部２１４（図形重畳）による一時記憶部２３３からの読出し動作、画像処理部２１４の処理レイテンシ、及び画像出力のタイミングを示す。なお、図３中、一時記憶部２３１，２３３の縦軸はアドレスを示す。
【００３５】
図３の例では、データが、画像処理部２１１（ＲＡＷデータ処理）→一時記憶部２３１→画像処理部２１３（ＹＣ分離）→一時記憶部２３３→画像処理部２１４（図形重畳）の順序で流れるように、バス２２０の接続が行われる。
【００３６】
入力Ｉ／Ｆ２０１からのＲＡＷデータは、１ラインあたり４０μｓ周期中の１６μｓ期間に入力され、データレートは１６０ＭＨｚ／ピクセルである。
【００３７】
画像処理部２１１（ＲＡＷデータ処理）、画像処理部２１３（ＹＣ分離）及び画像処理部２１４（図形重畳）は、上記水平同期信号により４０μｓで同期して動作し、それぞれ１０μｓ、２４μｓ、６μｓの処理レイテンシを持つ。
【００３８】
各画像処理部２１１，２１３，２１４は、一時記憶部２３１，２３３に対してそれぞれリード・ライトのアドレスを生成し、４０μｓ周期でライト領域とリード領域が交互に入れ替わる構成となっている。
【００３９】
したがって、図３の例では、画像処理部２１１が、入力した画像データに対して１０μｓの処理レイテンシでＲＡＷデータ処理し、処理完了したデータを順次一時記憶部２３１に書込む。そして、画像処理部２１１の処理開始から４０μｓ後に、画像処理部２１３が、一時記憶部２３１からデータを順次読出し、２４μｓの処理レイテンシでＹＣ分離を行い、処理完了したデータを順次一時記憶部２３３に書込む。そして、画像処理部２１３の処理開始から４０μｓ後に、画像処理部２１４が、一時記憶部２３３からデータを順次読出し、６μｓの処理レイテンシで図形重畳を行い、処理完了したデータを順次出力する。
【００４０】
このように、画像処理装置２００は、画像処理部２１１〜２１４が、ライン単位のパイプライン処理として並列動作する構成となる。
【００４１】
〔バス切替方式〕
次に、バス切替方式について説明する。
【００４２】
画像処理装置２００は、図２に示す３種類の用途に用いられ、用途毎に画像処理部２１１〜２１４の実行有無や順序を切り替える。
【００４３】
ここで、画像処理部２１２（２次元ディジタルフィルタ）の処理内容は、用途毎に異なる。例えば、画像処理装置２００を「２．暗環境下での監視」に用いる場合、イメージセンサへの入力光量が減少しノイズが増大するため、画像処理部２１２は、ＲＡＷデータ処理後の高周波成分を除去し、監視者が見やすいよう画質改善を行う。
【００４４】
また、画像処理装置２００を「３．医療用途」に用いる場合、医療者が毛細血管を視認しやすいよう赤色高周波成分を強調する必要があるため、画像処理部２１２は、ＹＣ分離後にこの赤色高周波成分強調処理を行う。
【００４５】
これらの特殊処理は、主制御部２５０が画像処理部２１２（２次元ディジタルフィルタ）のフィルタ係数を変更することにより実現される。
【００４６】
図４は、画像処理装置２００のバス２２０のデータフローを示す図である。図４中の太実線は、セレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）の選択によってデータが流れるバスを示し、同図破線は、セレクタ２２１〜２２４の非選択によってデータが流れないバスを示す。
【００４７】
図４（ａ）は、「１．通常用途」における処理順序（画像処理部２１１（ＲＡＷデータ処理）→画像処理部２１３（ＹＣ分離）→画像処理部２１４（図形重畳））のデータフローである。
【００４８】
図４（ｂ）は、「２．暗環境下での監視」における処理順序（画像処理部２１１（ＲＡＷデータ処理）→画像処理部２１２（２次元ディジタルフィルタ）→画像処理部２１３（ＹＣ分離）→画像処理部２１４（図形重畳））のデータフローである。
【００４９】
図４（ｃ）は、「３．医療用途」における処理順序（画像処理部２１１（ＲＡＷデータ処理）→画像処理部２１３（ＹＣ分離）→画像処理部２１２（２次元ディジタルフィルタ）→画像処理部２１４（図形重畳））のデータフローである。
【００５０】
図４に示すように、画像処理装置２００は、バス２２０に含まれる４つのセレクタ２２１〜２２４（セレクタＳ１〜Ｓ４）を、図２に示すように設定することにより、画像処理部２１１〜２１４と一時記憶部２３１〜２３３とを選択的に結合する。これにより、画像処理部２１１〜２１４の実行有無や順序が変更される。
【００５１】
また、本実施の形態によれば、共有メモリを用いず、ライン単位のメモリを用いているため、メモリＩＯボトルネックが解消されると共に、従来の装置に対してコストを抑えることができる。
【００５２】
例えば、図２の「１．通常用途」に相当する処理を従来の装置で行う場合、共有メモリに求められる最大スループットは以下の通りである。
データレート：Ｒ＝１６０ [ＭＨｚ]
入出力系統数：Ｎ＝６（リード・ライト各３系統）
１ピクセル当たりデータ量：Ｂ＝２[Ｂｙｔｅ]
スループット：Ｓ＝Ｒ×Ｎ×Ｂ＝１９２０[ＭＢｙｔｅ／ｓ]
【００５３】
従来の装置は、ＳＤＲＡＭなどからなる共有メモリを用いている。現時点で入手し得るＤＤＲ ＳＤＲＡＭのスループットは最大１．３[ＧＢｙｔｅ／ｓ]程度であるため、１個のＳＤＲＡＭではメモリＩＯがボトルネックとなり、装置を構成できない。従来の装置を構成するには２個のＳＤＲＡＭが必要となる。このように、従来の装置は、記憶容量としては不必要であるにもかかわらず、スループットを確保するために複数個の外部メモリを用意しなければならず、高価なものとなる。
【００５４】
これに対して、本実施の形態の装置は、６４０[ＭＢｙｔｅ／ｓ]の小容量ＳＲＡＭを３個用意すれば良いので、１つの半導体デバイス（ＬＳＩ）上に集積することが可能となり、安価に装置を構成することができる。
【００５５】
以上詳細に説明したように、本実施の形態によれば、外部制御に従って、レジスタ２２５がセレクタ２２１〜２２４を切り替え制御することにより、画像処理部２１１〜２１４と一時記憶部２３１〜２３３との結合形態を変化させて画像処理部２１１〜２１４の実行順序を規定する。これにより、不要な処理のスキップや処理順序の入れ替えが可能となり、メモリＩＯボトルネックを解消し、高性能かつプログラマブルな画像処理装置を実現することができる。例えば、種々のカメラ製品に対するプラットフォームを共通化することができる。
【００５６】
また、本実施の形態によれば、不要処理としてスキップさせた画像処理部２１１〜２１４、及び未使用の一時記憶部２３１〜２３３に対するクロック供給、もしくは電源供給を停止させることもできる。このようにすれば、消費電力を削減することができ、バッテリ駆動の機器では、連続動作時間の長時間化を図ることができる。
【００５７】
（実施の形態２）
実施の形態２は、実施の形態１で説明した画像処理装置に外部メモリを接続する例である。
【００５８】
図５は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。本実施の形態の説明に当たり、図１と同一の構成部分には同一符号を付して重複箇所の説明を省略する。
【００５９】
図５に示すように、画像処理装置３００は、画像処理装置本体３１０と、外部メモリ３２０とからなり、画像処理装置本体３１０は、入力Ｉ／Ｆ２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４Ａと、ＤＭＡコントローラ３１１と、バス２２０Ａと、一時記憶部２３１〜２３４と、を備える。
【００６０】
画像処理装置３００は、図１の画像処理装置２００と同様に、ディジタルカメラの信号処理を行う装置であり、イメージセンサ（カメラ）の出力信号（ベイヤー配列ＲＡＷデータ）を入力として、ＹＵＶ信号を生成し、出力する。
【００６１】
画像処理部２１４Ａは、図１の画像処理部２１４と同様の機能に加え、一時記憶部２３３及び一時記憶部２３４から、それぞれ同位置の１ライン分の画像データを読み出し、２つの画像データの差分から動体の有無（静止画か否か）を判別する。
【００６２】
バス２２０Ａは、画像処理部２１１〜２１４Ａ、ＤＭＡコントローラ３１１と一時記憶部２３１〜２３４とを選択的に結合する。バス２２０Ａは、図１のバス２２０に、ＤＭＡコントローラ３１１接続用のバス及びセレクタが付加された構成であり、基本的には図１のバス２２０を拡張した構成である。
【００６３】
一時記憶部２３４は、一時記憶部２３１〜２３３と同様に、各々水平２ライン分のデータ（５１２０ピクセル相当）が格納可能な２ポートＳＲＡＭである。この２ポートＳＲＡＭは、例えば１リード・１ライトで、１６ビット×５１２０ワードを有する。
【００６４】
ＤＭＡコントローラ３１１は、１ライン単位でバス２２０Ａと外部メモリ３２０との間のデータ転送を行う。ＤＭＡコントローラ３１１は、一時記憶部２３３から１ライン分の画像データを読み出して外部メモリ３２０に書き込む。また、ＤＭＡコントローラ３１１は、外部メモリ３２０から旧フレームの同位置の１ライン分の画像データを読み出して一時記憶部２３４に書き込む。
【００６５】
外部メモリ３２０は、一時記憶部２３１〜２３４に比較して大容量のメモリ（例えばＳＤＲＡＭ）である。外部メモリ３２０は、過去の画像データをフレーム単位で保持するために設けられる。ここでは、外部メモリ３２０は、新旧２フレーム分の画像データを蓄積する。
【００６６】
以下、上述のように構成された画像処理装置３００の動作を、図６を用いて説明する。図６は、画像処理装置３００のバス２２０Ａのデータフローを示す図である。なお、「１．通常用途」、「２．暗環境下での監視」及び「３．医療用途」のいずれにおいても、画像処理部２１１に画像データが入力されてから、一時記憶部２３３に画像データが書き込まれるまでの動作は、上記実施の形態１における画像処理装置２００と同様であるので、説明を省略する。
【００６７】
一時記憶部２３３に画像データが書き込まれると、ＤＭＡコントローラ３１１は、一時記憶部２３３から１ライン分の画像データを読み出して外部メモリ３２０に書き込む。また同時に、この１ライン分の画像データが画像処理部２１４Ａに入力される。
【００６８】
次に、ＤＭＡコントローラ３１１は、外部メモリ３２０から旧フレームの１ライン分の画像データを読み出して一時記憶部２３４に書き込む。
【００６９】
次に、画像処理部２１４Ａは、一時記憶部２３４から旧フレームの１ライン分の画像データを読み出す。この旧フレームの１ライン分の画像データ、および上記（新フレームの）１ライン分の画像データは、元のフレーム上で同位置となるようにＤＭＡ制御が行われる。画像処理部２１４Ａは、同位置の１ライン分の新旧２つの画像データの差分から動体の有無を判別する。
【００７０】
このように、本実施の形態によれば、画像処理装置３００が、過去の画像データをフレーム単位で保持する外部メモリ３２０、及び、バス２２０Ａと外部メモリ３２０との間のデータ転送を行うＤＭＡコントローラ３１１を有することにより、実施の形態１の機能に加えて、動体の有無の判別等、過去のフレームを使用する画像処理を行うことができる。
【００７１】
また、本実施の形態によれば、大容量の外部メモリ３２０を外付け部品としており、過去のフレームを参照する信号処理が不要な場合、外部メモリの実装を省略することができる。これにより、高性能品・廉価品の双方に適応できるプラットフォームを構築することができる。
【００７２】
（実施の形態３）
実施の形態３は、実施の形態２で説明した画像処理装置に外部デバイスを接続する例である。
【００７３】
図７は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。本実施の形態の説明に当たり、図５と同一の構成部分には同一符号を付して重複箇所の説明を省略する。
【００７４】
図７に示すように、画像処理装置３００は、画像処理装置本体３１０と、外部メモリ３２０と、バス３３０と、外部デバイス３４０とからなり、画像処理装置本体３１０は、入力Ｉ／Ｆ２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４Ａと、ＤＭＡコントローラ３１１と、バス２２０Ａと、一時記憶部２３１〜２３４と、を備える。
【００７５】
ＤＭＡコントローラ３１１は、バス３３０を介して、外部メモリ３２０への画像データの書き込み、外部メモリ３２０からの画像データの読み出し、を行う。
【００７６】
外部デバイス３４０は、例えば汎用プロセッサ、ＦＰＧＡ（Field Programmable Gate Array）である。外部デバイス３４０は、外部メモリ３２０から画像データを読み出し、所定の処理、例えば顔認識のような静止画オブジェクト認識を行う。そして、外部デバイス３４０は、処理の結果を示す制御信号を主制御部２５０に出力する。例えば、外部デバイス３４０が顔認識を行う場合、画像データから人物の顔を認識したときに、その旨を示す制御信号を主制御部２５０に出力する。
【００７７】
主制御部２５０は、外部デバイス３４０から制御信号を入力したタイミングで、画像処理装置３００の信号処理の種別を制御する。例えば、画像処理装置３００が「１．通常用途」を行っている場合に、主制御部２５０は、外部デバイス３４０から人物の顔を認識した旨を示す制御信号を入力したときに、画像処理装置３００に対して、解像度を上げて処理を行うように指示する。
【００７８】
このように、本実施の形態によれば、画像処理部２１１〜２１４Ａによる固定処理と、外部デバイス３４０による可変処理とを実行順序自在に組合せることができ、フレキシビリティの高い信号処理プラットフォームを構築することができる。例えば、外部デバイス３４０のプログラムを変更するだけで、顔認識を車輛認識に変更することができる。
【００７９】
また、汎用プロセッサである外部デバイス３４０、バス３３０、画像処理部２１１〜２１４Ａ、ＤＭＡコントローラ３１１、バス２２０Ａ、及び一時記憶部２３１〜２３４を１つの半導体デバイス（ＬＳＩ）上に集積することもできる。このように構成すれば、機器の部品点数及び実装面積を削減することができ、機器の小型化、及びコストダウンを実現することができる。
【００８０】
（実施の形態４）
実施の形態４は、一時記憶部の構成例である。
【００８１】
図８は、本発明の実施の形態４に係る画像処理装置の一時記憶部の構成を示す図である。図１と同一構成部分には同一符号を付す。図８は、図１の一時記憶部２３１〜２３３のうち、一時記憶部２３１を代表して示す。
【００８２】
図８に示すように、一時記憶部２３１は、単体で区分画像データを格納することができるＦＩＦＯ（First-In First-Out）２５１と、ＦＩＦＯ２５１を制御する制御回路２５２とから構成される。
【００８３】
ここで、画像処理部２１１〜２１４（図１参照）は、処理対象の区分画像の位置関係を認識して処理を行う必要がある。例えば、カメラ信号処理では、一般に偶数ラインと奇数ラインでイメージセンサの色配列が異なるため、処理中のラインの偶奇を認識して処理を行う必要がある。
【００８４】
通常は、一時記憶部の所定のアドレスに所定のデータを格納することで、処理中のラインの偶奇を認識する。例えば、実施の形態１の一時記憶部２３１であれば、アドレス０番地〜２５５９番地に偶数ライン、アドレス２５６０番地〜５１１９番地に奇数ラインを格納する。これを行うためには、バス２２０にはライトアドレスの信号線およびリードアドレスの信号線がそれぞれ必要となる。
【００８５】
これに対し、本実施の形態では、制御回路２５２が、一時記憶部２３１のＦＩＦＯ２５１に区分画像データを格納する際に、画像における当該区分画像の位置関係を示す情報を付加する。例えば、区分画像が１ラインの場合、格納されるラインに対するライン番号を付加する。
【００８６】
図８の例では、制御回路２５２が、ＦＩＦＯ２５１に、区分画像１位置情報を格納した後に区分画像１データを格納し、続いて区分画像２位置情報を格納した後に区分画像２データを格納する。所定のデータが入力されると、ＦＩＦＯ２５１は最初に入力されたデータから順に出力する。
【００８７】
これにより、画像処理部２１２は、一時記憶部２３１のＦＩＦＯ２５１から順次区分画像データを読み出すだけで、該当区分画像の位置関係を認識することができる。
【００８８】
このように、本実施の形態によれば、画像処理部２１１〜２１４側で、一時記憶部２３１〜２３３に対するアドレスを生成する必要がなくなるので、バス２２０から大量の信号線（アドレス線）を削除することができる。また、ＬＳＩに集積する場合には、大量の信号線を削除することにより、各回路（処理エンジン）を互いに近くに寄せて配置することができ、信号の伝送時間を短縮して、動作速度を上げることができる。
【００８９】
なお、本実施の形態における区分画像の位置関係を示す情報は、画像のトップラインを示すもの（１ビットのフラグ情報）であれば良く、画像処理部２１１〜２１４は、画像のトップラインが分かれば、処理対象の区分画像の位置関係を計算することができる。
【００９０】
（実施の形態５）
実施の形態５は、一時記憶部の他の構成例である。
【００９１】
図９は、本発明の実施の形態５に係る画像処理装置の一時記憶部の構成を示す図である。図１と同一構成部分には同一符号を付す。図９は、図１の一時記憶部２３１〜２３３のうち、一時記憶部２３１を代表して示す。
【００９２】
図９に示すように、一時記憶部２３１は、制御回路２６１と、２以上のＳＲＡＭ２６３，２６５と、ＳＲＡＭ２６３，２６５に関連づけられたレジスタ２６２，２６４とから構成される。
【００９３】
制御回路２６１は、バス２２０から入力した区分画像データを、ＳＲＡＭ２６３またはＳＲＡＭ２６５に交互に格納するように制御する。また、制御回路２６１は、ＳＲＡＭ２６３に対して区分画像データの格納を開始する際にレジスタ２６２の値を書き換え、ＳＲＡＭ２６５に対して区分画像データの格納を開始する際にレジスタ２６４の値を書き換える。また、制御回路２６１は、一時記憶部２３１のＳＲＡＭ２６３またはＳＲＡＭ２６５から区分画像データを出力する際に、レジスタ２６２，２６４の値（画像における該当区分画像の位置関係を示す情報）を付加する。
【００９４】
レジスタ２６２，２６４は、該当区分画像の位置関係を示す情報を保持する。ＳＲＡＭ２６３，２６５は、単体で区分画像データを格納することができるメモリである。
【００９５】
以上の構成において、区分画像データは、２つのＳＲＡＭ２６３，２６５に交互に書き込まれ、一方の書き込み中に他方から読み出す２−Ｂａｎｋの構成を採っている。
【００９６】
上記実施の形態４で説明したように、画像処理部２１１〜２１４は、処理対象の区分画像の位置関係を認識して処理を行う必要がある。通常は、一時記憶部の所定のアドレスに所定のデータを格納することで、この位置関係を認識する。
【００９７】
これに対し、本実施の形態では、制御回路２６１が、一時記憶部２３１のＳＲＡＭ２６３またはＳＲＡＭ２６５に区分画像データを格納する際に、関連づけられたレジスタ（２６２または２６４）に、画像における該当区分画像の位置関係を示す情報を格納する。例えば、区分画像が１ラインの場合、格納されるラインに対するライン番号を格納する。
【００９８】
さらに、制御回路２６１は、一時記憶部２３１のＳＲＡＭ２６３またはＳＲＡＭ２６５から区分画像データを出力する際に、レジスタ２６２または２６４の値を、画像における該当区分画像の位置関係を示す情報として付加する。
【００９９】
これにより、画像処理部２１２は、入力した区分画像データについて、該当区分画像の位置関係を認識することができる。
【０１００】
このように、本実施の形態によれば、画像処理部２１１〜２１４側で、一時記憶部２３１〜２３３に対するアドレスを生成する必要がなくなるので、バス２２０から大量の信号線（アドレス線）を削除することができる。また、ＬＳＩに集積する場合には、大量の信号線を削除することにより、各回路（処理エンジン）を互いに近くに寄せて配置することができ、信号の伝送時間を短縮して、動作速度を上げることができる。
【０１０１】
なお、本実施の形態におけるレジスタ２６２，２６４の値（区分画像の位置関係を示す情報）は、画像のトップラインを示すもの（１ビットのフラグ情報）であれば良く、画像処理部２１１〜２１４は、画像のトップラインが分かれば、処理対象の区分画像の位置関係を計算することができる。
【０１０２】
なお、一時記憶部の構成として、実施の形態４と実施の形態５のどちらの構成を採るかは任意である。実施の形態５では、一時記憶部を１ポートＳＲＡＭ×２個で構成できるため、ＦＩＦＯ（通常２ポートＳＲＡＭを用いて構成される）を用いる実施の形態４の構成に比べて、回路規模を削減することができる。
【０１０３】
（実施の形態６）
図１０は、本発明の実施の形態６に係る画像処理装置の構成を示すブロック図である。なお、図１０において、図１と同一構成部分には同一符号を付す。
【０１０４】
図１０に示すように、画像処理装置４００は、入力Ｉ／Ｆ２０１と、出力Ｉ／Ｆ２０２と、画像処理部２１１〜２１４Ｂと、バス２２０Ｂと、一時記憶部２３１Ｂ〜２３３Ｂと、を備える。
【０１０５】
画像処理部２１２Ｂ〜２１４Ｂは、図１の画像処理部２１２〜２１４と同様の機能に加え、一時記憶部２３１Ｂ〜２３３Ｂから区分画像データの格納が終了したことを示す制御信号が入力され、この制御信号が入力されたタイミングで動作を開始する。
【０１０６】
バス２２０Ｂは、画像処理部２１１〜２１４Ｂと一時記憶部２３１Ｂ〜２３３Ｂとを選択的に結合する。バス２２０Ｂは、図１のバス２２０に、一時記憶部２３１Ｂ〜２３３Ｂからの上記制御信号を画像処理部２１２Ｂ〜２１４Ｂへ供給するための信号線が付加された構成であり、基本的には図１のバス２２０を拡張した構成である。
【０１０７】
図１１は、上記画像処理装置４００の一時記憶部の構成を示す図である。図１１において、図９及び図１０と同一構成部分には同一符号を付す。図１０の一時記憶部２３１Ｂ〜２３３Ｂのうち、一時記憶部２３１Ｂを代表して示す。
【０１０８】
図１１に示すように、一時記憶部２３１Ｂは、制御回路２６１Ｂと、２以上のＳＲＡＭ２６３，２６５と、ＳＲＡＭ２６３，２６５に関連づけられたレジスタ２６２，２６４とから構成される。
【０１０９】
制御回路２６１Ｂは、図９の制御回路２６１と同様に、ＳＲＡＭ２６３，２６５に区分画像データを格納する際に、画像における該当区分画像の位置関係を示す情報をレジスタ２６２，２６４に書き込む。さらに、制御回路２６１Ｂは、ＳＲＡＭ２６３，２６５への区分画像データの格納が終了したことを示す制御信号を生成し、画像処理部２１２Ｂ〜２１４Ｂに制御信号を出力する。また、制御回路２６１Ｂは、制御信号の出力と同時にＢａｎｋ切り替えを行い、新たな区分画像データを入力する。
【０１１０】
本実施の形態は、一時記憶部２３１Ｂ〜２３３ＢのＢａｎｋ切り替えのタイミング、及び、各画像処理部２１２Ｂ〜２１４Ｂの動作開始タイミングに特徴がある。
【０１１１】
図１２は、本実施の形態と比較するため、実施の形態１の画像処理装置の処理タイミングを示す図である。図１３は、本実施の形態の画像処理装置４００の処理タイミングを示す図である。なお、図１２及び図１３は、いずれも、図２に示した「１．通常用途」における処理タイミングを示す。
【０１１２】
図１２及び図１３の例では、データが、画像処理部２１１（ＲＡＷデータ処理）→一時記憶部２３１Ｂ→画像処理部２１３Ｂ（ＹＣ分離）→一時記憶部２３３Ｂ→画像処理部２１４Ｂ（図形重畳）の順序で流れるように、バス２２０の接続が行われる。
【０１１３】
入力Ｉ／Ｆ２０１からのＲＡＷデータは、１６μｓ期間に入力され、データレートは１６０ＭＨｚ／ピクセルである。
【０１１４】
画像処理部２１１（ＲＡＷデータ処理）、画像処理部２１３Ｂ（ＹＣ分離）及び画像処理部２１４Ｂ（図形重畳）は、それぞれ１０μｓ、２４μｓ、６μｓの処理レイテンシを持つ。
【０１１５】
実施の形態１の画像処理装置において、Ｂａｎｋ切り替えを一斉に行う場合、切り替えタイミングは、最も処理の時間のかかる画像処理部２１３Ｂの処理時間に律速される。このため、実施の形態１の画像処理装置は、処理性能を上げることができない。
【０１１６】
図１２の例では、ＲＡＷデータが１ライン当たり１６μｓ期間に入力されるにもかかわらず、実施の形態１の画像処理装置は、１ラインの画像データを出力するために４０μｓ期間を必要とし、本来性能の４０％しか出ていない。
【０１１７】
これに対し、本実施の形態の画像処理装置４００では、各画像処理部２１２Ｂ〜２１４Ｂが、一時記憶部２３１Ｂ〜２３３Ｂから区分画像データの格納が終了したことを示す制御信号を入力したタイミングで動作することができるので、一時記憶部２３１Ｂ〜２３３Ｂ毎に個別にＢａｎｋ切り替えを行うことができ、本来の性能を引き出すことができる。
【０１１８】
図１３の例では、画像処理部２１１は、入力した１ライン当たり１６μｓ期間の区分画像データに対して１０μｓの処理レイテンシでＲＡＷデータ処理し、処理完了したデータを順次一時記憶部２３１Ｂに書込む。また、画像処理部２１１は、１番目のラインの区分画像データを処理した後、続けて２番目のラインの区分画像データを処理する。
【０１１９】
そして、画像処理部２１１の処理開始から２６μｓ後に、画像処理部２１３Ｂは、一時記憶部２３１Ｂからデータを順次読出し、２４μｓの処理レイテンシでＹＣ分離を行い、処理完了したデータを順次一時記憶部２３３Ｂに書込む。また、画像処理部２１３Ｂは、１番目のラインの区分画像データを処理した後、続けて２番目のラインの区分画像データを処理する。
【０１２０】
そして、画像処理部２１３Ｂの処理開始から４０μｓ後に、画像処理部２１４Ｂは、一時記憶部２３３Ｂからデータを順次読出し、６μｓの処理レイテンシで図形重畳を行い、処理完了したデータを順次出力する。また、画像処理部２１４Ｂは、１番目のラインの区分画像データを処理した後、続けて２番目のラインの区分画像データを処理する。
【０１２１】
この結果、図１３の例では、１ライン当たり１６μｓ期間に入力されるＲＡＷデータに対し、本実施の形態の画像処理装置４００は、１ラインの画像データを１６μｓ期間で出力することができる。
【０１２２】
このように、本実施の形態によれば、各画像処理部２１１〜２１４Ｂの処理時間が不均一であっても、Ｂａｎｋ切り替えを一斉に行う場合と比較して装置全体の処理性能を向上させることができる。
【０１２３】
（実施の形態７）
図１４は、本発明の実施の形態７に係る画像処理装置の一時記憶部の構成を示す図である。図１４において、図１１と同一構成部分には同一符号を付す。
【０１２４】
図１４（ａ）では、一時記憶部２３１Ｂと同様の構成の一時記憶部２３１Ｃを、バスに対して接続している。一時記憶部２３１Ｂ，２３１Ｃは、例えばＳＲＡＭにより構成される。
【０１２５】
図１４（ｂ）に示すように、複数の一時記憶部２３１Ｂ，２３１Ｃを用いて、容量の大きな１つの一時記憶部２３１Ｄを構成できる。一時記憶部２３１ＤにＳＲＡＭを用いることにより実現可能である。
【０１２６】
例えば、水平１２８０画素１ラインの区分画像を格納する一時記憶部２３１Ｂ，２３１Ｃを２個用いて、水平２５６０画素１ラインに対する一時記憶部２３１Ｄを構成することができる。この場合、図１４（ｂ）において破線で示すレジスタを削減することができる。
【０１２７】
図１５及び図１６は、本発明の実施の形態７に係る画像処理装置の構成を示すブロック図である。なお、図１５及び図１６において、図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１２８】
図１５及び図１６は、ステレオカメラ入力処理を行う、本発明の実施の形態７に係る画像処理装置の構成を示すブロック図である。なお、図１５及び図１６において、図１と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１２９】
図１５及び図１６に示すように、画像処理装置５００は、入力Ｉ／Ｆ２０１Ａ，２０１Ｂ、出力Ｉ／Ｆ２０２、画像処理部５１１Ａ，５１１Ｂ，５１２Ａ，５１２Ｂ，２１３，２１４、バス２２０Ｃ、及び一時記憶部５３１Ａ，５３１Ｂ，５３２Ａ，５３２Ｂ，２３４を備えて構成される。
【０１３０】
画像処理部５１１Ａ，５１１Ｂ，５１２Ａ，５１２Ｂは、２ｃｈ対応用に、図１の画像処理部２１１，２１２を２つ設けたものである。また、一時記憶部５３１Ａ，５３１Ｂ，５３２Ａ，５３２Ｂについても同様に、図１の一時記憶部２３１，２３２を２つ設けたものである。バス２２０Ｃは、上記に対応したもので図１のバス２２０と同様の構成を有する。図１５の一時記憶部５３１Ａ，５３２Ａは図１４（ａ）の一時記憶部２３１Ｂに対応し、一時記憶部５３１Ｂ，５３２Ｂは図１４（ａ）の一時記憶部２３１Ｃに対応する。
【０１３１】
画像処理部５１１Ａ，５１１ＢはＲＡＷデータ処理を行い、画像処理部５１２Ａ，５１２Ｂ２はＹＣ分離を行う。また、画像処理部２１３は距離計測を行い、画像処理部２１４は出力画面生成処理を行う。
【０１３２】
画像処理装置５００は、２ｃｈのステレオカメラ入力（水平解像度：１２８０ｐｉｘ）を処理し、画面に物体の距離情報を付加して出力することができる。
【０１３３】
図１６は、図１５と同一の画像処理装置５００であり、水平解像度が２倍（２５６０ｐｉｘ）の１ｃｈカメラ入力を処理する例を示す。この場合、複数の一時記憶部５３１Ａ，５３１Ｂを用いて、容量の大きな１つの一時記憶部５３１Ｃを構成する。同様に、複数の一時記憶部５３２Ａ，５３２Ｂを用いて、容量の大きな１つの一時記憶部５３２Ｃを構成する。図１６の一時記憶部５３１Ｃ，５３２Ｃは図１４（ｂ）の一時記憶部２３１Ｄに対応する。
【０１３４】
このように、本実施の形態によれば、例えば１チャネルの高解像度処理系と、複数チャネルの低解像度処理系とを、同一のプラットフォームで構築することができる。これにより、種々のカメラ製品（例えばマルチビューカメラと高解像度カメラ）に対するプラットフォームを共通化することができる。
【０１３５】
（実施の形態８）
図１７及び図１８は、本発明の実施の形態８に係る画像処理装置の構成を示すブロック図である。なお、図１７及び図１８において、図１及び図１５と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【０１３６】
図１７及び図１８に示すように、画像処理装置６００は、入力Ｉ／Ｆ２０１、出力Ｉ／Ｆ２０２、画像処理部２１１〜２１４、バス２２０Ｄ、一時記憶部６３１Ａ，６３１Ｂ，６３２Ａ，６３２Ｂ，６３３Ａ，６３３Ｂ、及び電力制御部６１０を備えて構成される。
【０１３７】
画像処理装置６００は、例えば、ローパワーモードと通常モードなど２以上の動作モードを持つ。
【０１３８】
画像処理装置６００は、ローパワーモードでは、画像の処理解像度を落とす、あるいは、画像処理部２１１〜２１４を削減する等により、消費電力を抑える。
【０１３９】
また、特定の要因によりローパワーモードから通常モードに移行した場合、画像処理装置６００は、処理解像度や適用する画像処理部２１１〜２１４を増やす態様を採る。特定の要因とは、登録物の検出、不審物の検出など、インテリジェント監視関連がある。
【０１４０】
図１７は、ローパワーモードの例である。ローパワーモードでは、画像処理装置６００は、例えば、水平解像度を１２８０ｐｉｘに落とすと共に、ＹＣ分離における色処理を行わない。この場合、画像処理部２１１はＲＡＷデータ処理を行い、画像処理部２１２は輝度処理のみを行う。また、画像処理部２１３は色処理（スキップ）を行い、画像処理部２１４は出力画面生成と異常検出を行う。また、電力制御部６１０は、画像処理部２１３、一時記憶部６３１Ｂ、一時記憶部６３２Ｂ、一時記憶部６３３Ｂをオフにする。
【０１４１】
図１８は、図１７と同一の画像処理装置６００における通常モードの例である。ローパワーモード時に、画像処理部２１４が不審物を検出すると、電力制御部６１０にその検出信号を送り、画像処理装置６００は、通常モードに移行する。通常モードでは、画像処理装置６００は、水平解像度を２５６０ｐｉｘに増すとともに、ＹＣ分離における色処理を行う。また、電力制御部６１０は、画像処理部２１３、一時記憶部６３１Ｂ、一時記憶部６３２Ｂ、一時記憶部６３３Ｂをオンにする。
【０１４２】
このように、本実施の形態によれば、必要な画像は高性能で処理しつつ、通常時の消費電力は抑制することができる。監視カメラなど常時（２４時間）稼動機器に対する電力抑制として非常に有効である。
【０１４３】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【０１４４】
例えば、画像処理装置は、カメラ信号処理に限定されない。また、画像の処理単位（区分画像のサイズ）は「１ライン」に限定されず、複数ラインでもよく、画像を格子状に分割したタイル構成における１タイルでもよい。さらに、バスの構成は、セレクタ４個で構成などに限定されない。
【０１４５】
さらに、例えば図２に示すように、画像処理部２１１〜２１４の実行順序として、１−２−３−４、１−３−２−４、１−３−４としているが、これらは一例であり、このような構成に限定されるものではない。
【０１４６】
また、上記各実施の形態では画像処理装置という名称を用いたが、これは説明の便宜上であり、パケット伝送装置及び符号化パケット受信方法等であってもよいことは勿論である。
【０１４７】
さらに、上記画像処理装置を構成する各回路部、例えば各エンジン及び共有メモリの種類、その数及び接続方法などはどのようなものでもよい。
【産業上の利用可能性】
【０１４８】
本発明に係る画像処理装置は、カメラ分野及び、インテリジェント監視等のプログラマブルな画像処理システムに用いるに好適である。
【図面の簡単な説明】
【０１４９】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図
【図２】本発明の実施の形態１に係る画像処理装置のバスの切り替え制御シーケンスを示す図
【図３】本発明の実施の形態１に係る画像処理装置の処理タイミングを示す図
【図４】本発明の実施の形態１に係る画像処理装置のバスのデータフローを示す図
【図５】本発明の実施の形態２に係る画像処理装置の構成を示すブロック図
【図６】本発明の実施の形態２に係る画像処理装置のバスのデータフローを示す図
【図７】本発明の実施の形態３に係る画像処理装置の構成を示すブロック図
【図８】本発明の実施の形態４に係る画像処理装置の一時記憶部の構成を示す図
【図９】本発明の実施の形態５に係る画像処理装置の一時記憶部の構成を示す図
【図１０】本発明の実施の形態６に係る画像処理装置の構成を示すブロック図
【図１１】本発明の実施の形態６に係る画像処理装置の一時記憶部の構成を示す図
【図１２】本発明の実施の形態１に係る画像処理装置の処理タイミングを示す図
【図１３】本発明の実施の形態６に係る画像処理装置の処理タイミングを示す図
【図１４】本発明の実施の形態７に係る画像処理装置の一時記憶部の構成を示す図
【図１５】本発明の実施の形態７に係る画像処理装置の構成を示すブロック図
【図１６】本発明の実施の形態７に係る画像処理装置の構成を示すブロック図
【図１７】本発明の実施の形態８に係る画像処理装置の構成を示すブロック図
【図１８】本発明の実施の形態８に係る画像処理装置の構成を示すブロック図
【図１９】従来の画像処理装置の構成を示すブロック図
【符号の説明】
【０１５０】
２００，３００，４００，５００，６００  画像処理装置
２０１  入力Ｉ／Ｆ
２０２  出力Ｉ／Ｆ
２１１〜２１４  画像処理部
２２０  バス
２２１〜２２４  セレクタ
２２５  レジスタ
２３１〜２３３  一時記憶部
３１１  ＤＭＡコントローラ
３２０  外部メモリ
３３０  バス
３４０  外部デバイス
【図１】
2010134743.tif 000003
【図２】
2010134743.tif 000004
【図３】
2010134743.tif 000005
【図４】
2010134743.tif 000006
【図５】
2010134743.tif 000007
【図６】
2010134743.tif 000008
【図７】
2010134743.tif 000009
【図８】
2010134743.tif 000010
【図９】
2010134743.tif 000011
【図１０】
2010134743.tif 000012
【図１１】
2010134743.tif 000013
【図１２】
2010134743.tif 000014
【図１３】
2010134743.tif 000015
【図１４】
2010134743.tif 000016
【図１５】
2010134743.tif 000017
【図１６】
2010134743.tif 000018
【図１７】
2010134743.tif 000019
【図１８】
2010134743.tif 000020
【図１９】
2010134743.tif 000021
【手続補正書】
【提出日】平成22年2月3日(2010.2.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の区分画像データからなる画像データを処理するために、
前記区分画像データに対して互いに異なる処理を実行する複数の画像処理手段と、
前記区分画像データを一時的に記憶する複数の一時記憶手段と、
前記画像処理手段と前記一時記憶手段とを選択的に結合するバスと、
前記バスの結合の形態を選択制御する切り替え制御手段と、
を備える画像処理装置であって、
少なくとも１フレーム以上の画像データを格納可能な外部メモリと、
前記バスを介して、前記外部メモリと前記一時記憶手段との間で前記区分画像データの転送を行うＤＭＡコントローラと、
前記外部メモリに接続し、前記外部メモリに格納された画像データを用いて特定処理を行う外部デバイスと、をさらに備え、
前記切り替え制御手段は、前記外部デバイスの処理結果に基づいて前記バスの結合の形態を選択制御する、
画像処理装置。
【請求項２】
前記外部デバイス、前記バス、前記画像処理手段、前記ＤＭＡコントローラ及び前記一時記憶手段を１つの半導体デバイス上に集積する、請求項１記載の画像処理装置。
【請求項３】
前記一時記憶手段は、単体で区分画像データを格納することができるＦＩＦＯ（First-In First-Out）と、前記ＦＩＦＯに区分画像データを格納する際に、画像における該当区分画像の位置関係を示す情報を付加する制御手段と、
を備える請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記一時記憶手段は、単体で区分画像データを格納することができる複数のＳＲＡＭと、画像における該当区分画像の位置関係を示す情報を保持する複数のレジスタと、前記ＳＲＡＭに区分画像データを格納する際に前記レジスタの値を書き換え、前記ＳＲＡＭから区分画像データを出力する際に前記レジスタの値を付加する制御手段と、
を備える請求項１又は請求項２に記載の画像処理装置。
【請求項５】
前記一時記憶手段は、前記区分画像データの格納が終了したことを示す制御信号を生成し、
前記画像処理手段は、前記制御信号を入力した時点で処理を開始する、
請求項４記載の画像処理装置。
【請求項６】
複数の前記一時記憶手段を容量の大きな１つの一時記憶手段として構成する、請求項３から請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記画像処理手段および前記一時記憶手段のうち未使用のものに対するクロック供給若しくは電源供給を停止させる、請求項１から請求項６のいずれかに記載の画像処理装置。
【請求項８】
画像の処理解像度を下げる、あるいは、使用する前記画像処理手段を削減することにより消費電力を抑える電力制御手段をさらに具備する請求項７記載の画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の画像処理装置は、複数の区分画像データからなる画像データを処理するために、前記区分画像データに対して互いに異なる処理を実行する複数の画像処理手段と、前記区分画像データを一時的に記憶する複数の一時記憶手段と、前記画像処理手段と前記一時記憶手段とを選択的に結合するバスと、前記バスの結合の形態を選択制御する切り替え制御手段と、を備える画像処理装置であって、少なくとも１フレーム以上の画像データを格納可能な外部メモリと、前記バスを介して、前記外部メモリと前記一時記憶手段との間で前記区分画像データの転送を行うＤＭＡコントローラと、前記外部メモリに接続し、前記外部メモリに格納された画像データを用いて特定処理を行う外部デバイスと、をさらに備え、前記切り替え制御手段は、前記外部デバイスの処理結果に基づいて前記バスの結合の形態を選択制御する、構成を採る。