(57)【要約】画像処理装置及び方法は、画像フレームで例えば線分などの関心領域２２ａを識別する。望ましくは、関心領域は、最適合境界ボックス２３ａを決定するために使用される進路境界ボックス２１ａの範囲内に定められる。次に、最適合境界ボックス２３ａは直交グリッド２５ａへ再走査される。従って、線分２２ａは、２次元配列によって表され、線分２２ａの全長は第１の次元にあり、線分２２ａの左側及び／又は右側の画素データは２次元にある。次に、直交グリッド２５ａは、例えばラインデータの補間、増強、エッジ検出といった画素並列処理のために、ＳＩＭＤ処理装置２６によって処理される。線分２２ａは、その全長が１つの次元で検出されるように再走査されたので、画像データは、ＳＩＭＤ処理装置２６によるライン領域に基づく処理により適する。望ましくは、第１の次元は画像内の行に対応し、第２の次元は画像内の列に対応する。画素データがＳＩＭＤ処理装置により処理されると、再走査動作中に記憶された走査情報は、画像データを元の画像フレームへと逆に走査するために使用される。
2007535066.tif 000002
【特許請求の範囲】
【請求項１】
並列処理素子の配列を有する処理装置において画像信号を処理する方法であって：
前記画像信号において関心領域を識別するステップ；
第１の次元及び第２の次元を有する垂直領域において前記関心領域の境界を定めるステップ；及び
前記処理装置において前記垂直領域の画像データを処理するステップ；
を有する方法。
【請求項２】
前記画像信号における線分データを前記第１の次元に変換するステップを更に有する、請求項１記載の方法。
【請求項３】
前記線分データの左側及び／又は右側の画素データを前記第２の次元に変換するステップを更に有する、請求項２記載の方法。
【請求項４】
前記画像信号における線分データに最適合境界ボックスを定めるステップ；及び
前記処理ステップの前に、前記最適合境界ボックスを直交グリッドへと再走査するステップ；
を更に有する、請求項２又は３記載の方法。
【請求項５】
前記画像信号における対象に最適合境界ボックスを定めるステップ；及び
前記処理ステップの前に、前記最適合境界ボックスを直交グリッドに再走査するステップ；
を更に有する、請求項１記載の方法。
【請求項６】
前記再走査ステップの間に再走査情報を記憶するステップを更に有する、請求項４又は５記載の方法。
【請求項７】
前記再走査ステップの間に記憶された前記情報により、前記処理された画像データに逆再走査ステップを実行するステップを更に有する、請求項６記載の方法。
【請求項８】
前記第１の次元からその変換前の次元に線分データを逆変換するステップを更に有する、請求項７記載の方法。
【請求項９】
前記第１の次元は、画像フレームにおける行に対応する、ことを特徴とする請求項１乃至８のうちいずれか一項記載の方法。
【請求項１０】
前記第２の次元は、画像フレームにおける列に対応する、ことを特徴とする請求項１乃至９のうちいずれか一項記載の方法。
【請求項１１】
画像信号において関心領域を識別する手段；
第１の次元及び第２の次元を有する垂直領域に前記関心領域に対応する画像データの境界を定める手段；及び
前記垂直領域における前記画像データを処理する処理装置配列；
を有する画像処理装置。
【請求項１２】
前記画像信号における線分データを前記第１の次元に変換する手段を更に有する、請求項１１記載の画像処理装置。
【請求項１３】
前記線分データの左側及び／又は右側の画素データを前記第２の次元に変換する手段を更に有する、請求項１２記載の画像処理装置。
【請求項１４】
前記画像信号における線分データに最適合境界ボックスを定める手段；及び
前記最適合境界ボックスを直交グリッドへと再走査する手段；
を更に有する、請求項１２又は１３記載の画像処理装置。
【請求項１５】
前記画像信号における対象に最適合境界ボックスを定める手段；及び
前記最適合境界ボックスを直交グリッドに再走査する手段；
を更に有する、請求項１１記載の画像処理装置。
【請求項１６】
前記再走査手段によって供給される再走査情報を記憶する記憶手段を更に有する、請求項１１乃至１５のうちいずれか一項記載の画像処理装置。
【請求項１７】
前記記憶手段に記憶された前記情報により、前記処理された画像データに逆再走査動作を実行する手段を更に有する、請求項１６記載の画像処理装置。
【請求項１８】
前記第１の次元からその変換前の次元に線分データを逆変換する手段を更に有する、請求項１７記載の画像処理装置。
【請求項１９】
前記処理装置は、ＳＩＭＤ処理装置である、ことを特徴とする請求項１１乃至１８のうちいずれか一項記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、特に、単一命令多重データ（Ｓｉｎｇｌｅ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ｄａｔａ；ＳＩＭＤ）を用い、ＳＩＭＤ処理装置の並列処理能力をより良く使用するために画素が再走査されるところの画像処理装置及び方法に関する。
【背景技術】
【０００２】
ＳＩＭＤ処理は、超並列処理を示すアプリケーションにとって高性能な計算パラダイムである。ＳＩＭＤ処理の使用を選ぶ１つのこのようなアプリケーションは、画像処理のアプリケーションである。ＳＩＭＤ処理装置、例えばＸｅｔａｌは、それらが必要とされようとされなかろうと、夫々のデータ項目（例えば、Ｘｅｔａｌの一列となった夫々の画素）に対してそれらの動作を実行する。言い換えると、処理動作は、処理動作が必要とされるか否かに関わらず、列全体に実行される。従って、データ分布、又は希薄（ｓｐａｒｓｉｔｙ）に依存して、多くの計算労力がこの技術により浪費されうる。
【０００３】
いよいよ、処理アルゴリズムは、画像の一部に作用し始めている。例えば、テレビジョン処理、工業ビジョン又は医療画像では、画像のエッジに作用することが知られる（即ち、ライン処理）。また、例えば画像通信又は３Dレンダリングのようなアプリケーションでは、画像内の別々の対象に作用して（即ち、対象処理）、不要な処理動作の量を低減することが知られる。
【０００４】
他のアプリケーションでは、フレーム全体が処理され、このために、非常に高性能且つ効率的なＳＩＭＤ処理装置が使用されうる。しかし、対象又はライン処理に関して、ＳＩＭＤは、画像における対象のレイアウト又は対象の散乱のために、効率的な処理方法を提供しない。これは、ＳＩＭＤ処理が、それが関心のないデータの大部分を処理するために、このような処理技術にとって効率的ではないことを意味する。
【０００５】
幾つかの解決法は、ＳＩＭＤ計算資源の効率的な使用を実現するために存在する。例えば、１つの方法は、複数のＳＩＭＤ処理装置にわたって負荷を分散することである。他の方法は、疎構造で効率的に動作するために空間データ構造を使用するアルゴリズムを提供することである。例えば、このような技術は、１９９１年に開催された、複合システムのための意志決定支援に関するＩＥＥＥ国際会議においてシェンカー（Ｓｈａｎｋａｒ）等によって発表された「疎画像のための超並列処理（Ｍａｓｓｉｖｅ  ｐａｒａｌｌｅｌｉｓｍ  ｆｏｒ  ｓｐａｒｓｅ  ｉｍａｇｅｓ）」に開示される。
【非特許文献１】「疎画像のための超並列処理（Ｍａｓｓｉｖｅ  ｐａｒａｌｌｅｌｉｓｍ  ｆｏｒ  ｓｐａｒｓｅ  ｉｍａｇｅｓ）」、シェンカー（Ｓｈａｎｋａｒ）等、複合システムのための意志決定支援に関するＩＥＥＥ国際会議、１９９１年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記方法は、ハードウェア費用を欠点として有し、且つ、全くＳＩＭＤ処理と互換性がない方法で画像データを処理するという欠点を有する。
【０００７】
本発明は、上記欠点を伴わない画像処理装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様に従って、画像信号において関心領域を識別する手段と、第１の次元及び第２の次元を有する垂直領域に前記関心領域に対応する画像データの境界を定める手段と、前記垂直領域における前記画像データを処理する処理装置配列とを有する画像処理装置が提供される。
【０００９】
領域を直交グリッドへと再走査することによって、本発明は、処理装置配列が、ラインにデータブロックを集めることによって、その効率的なライン又は長方形に基づく処理を効率的に実行することを可能にする。
【００１０】
本発明の他の態様に従って、並列処理素子の配列を有する処理装置において画像信号を処理する方法であって、前記画像信号において関心領域を識別するステップと、第１の次元及び第２の次元を有する垂直領域において前記関心領域の境界を定めるステップと、前記処理装置において前記垂直領域の画像データを処理するステップとを有する方法が提供される。
【発明を実施するための最良の形態】
【００１１】
本発明のより良い理解のために、更に、どのように本発明が実施されうるかをより明らかに示すよう、以下、一例として、添付の図面を参照する。
【００１２】
図１は、既知のインテリジェント・カメラの主たる構成要素のブロック図を示す。インテリジェント・カメラ１は、捕捉されるべき画像を受ける、例えばＣＭＯＳセンサ配列のような、センサ配列４を有するチップ３を有する。オンチップＳＩＭＤ処理配列は、センサ配列４として同じチップ上に一体化されており、ＳＩＭＤ処理素子（ＰＥ）５及び分散型メモリ７の配列を有する。オンチップＳＩＭＤ処理配列は、外部汎用処理装置８により増補される。インテリジェント・カメラ１は、また、例えば、データＲＡＭ９、命令ＲＡＭ１１、ＩＬＰ（命令レベル並列処理）処理装置１３、及び入出力ネットワークユニット１５などの、画像信号を処理するための他の機能ユニットを有する。
【００１３】
汎用処理装置８は、例えば、特徴抽出、対象検出及びトラッキングなどの高度な画像処理機能を提供する。本発明は、例えば図１に記載されているようなインテリジェント・カメラ１によって提供される対象検出機能に基づいて、機能強化された画像処理能力を提供する。
【００１４】
図２は、本発明に従って画像のエッジ及び／又はラインを処理する方法を示す。画像フレーム２０は、その中の識別された関心領域、例えば線分２２ａから２２ｃを有する。夫々の線分２０ａから２２ｃは、垂直領域、即ち、進路境界ボックス内に定められる。例えば、図２は、線分２２ａに定められた進路境界ボックス２１ａを示す。次に、進路境界ボックス２１ａは、最適合境界ボックス２３ａを決定するために使用される。望ましくは、最適合境界ボックス２３ａは、線分２２ａのエッジに対して垂直であって、例えば、５画素の長さ（ｓｐａｎ）を有する。
【００１５】
最適合境界ボックス２３ａは、次に、直交グリッド２５ａへと再走査される。これは、２４ａに示されるように、最適合境界ボックス２３ａへグリッドを適用することを含む。次に、直交グリッド２５ａの夫々の画素値は、２４ａの元のグリッドから補間技術により計算される。結果として、従って、線分２２ａは、第１の次元にある線分２２ａの全長と、第２の次元にある線分２２ａの左右の画素データとにより、それが２次元配列によって表されるように曲げられる。再走査動作の間に、画像処理装置は、後述するように、後の使用のためにメモリに走査情報を保有する。
【００１６】
次に、直交グリッド２５ａは、例えば、ラインデータの補間、増強、エッジ検出といった画素並列処理のために、ＳＩＭＤ処理装置２６によって処理される。線分２２ａは、その全長が１つの次元で検出されるように再走査されているので、画像データは、ＳＩＭＤ処理装置２６による線領域に基づく処理に、より適している。望ましくは、第１の次元は、画像における行に対応し、第２の次元は、画像における列に対応する。直交グリッドの提供は、夫々の処理装置が画素で同様の命令を実行することを確実にし、それ故ＳＩＭＤ互換性があるという利点を有する。従って、本発明に従って、ラインアルゴリズムに対する命令フローは、通常、線上で直交する。
【００１７】
画素データがＳＩＭＤ処理装置２６によって処理されると、再走査動作の間に記憶された走査情報は、画像データを元のグリッド２７に再走査するために使用される。次に、元のグリッド２７は、第１の次元からその元の形へと線分を曲げ直すことによって、正常な線分２２ａに変換される。次に、線分２２ａは、必要ならば、ＳＩＭＤ処理装置２６によって処理された画像フレーム２０に再挿入されても良い。この段階で、逆再走査が、処理された線を元の画像に置くよう実行される。代替的に、例えば測定結果しか必要とされないために画像が必要とされない場合には、最後の段階は省略されても良い。
【００１８】
図３は、本発明に従って画像において対象又はブロブ（ｂｌｏｂｓ）を処理する方法を示す。対象３２ａから３２ｃが、画像フレーム３０において識別される。夫々の対象３２ａから３２ｂは、それに関連して定められる垂直領域、即ち、進路境界ボックスを有する。例えば、図３は、対象３２ａに対して定められる進路境界ボックス３１ａを示す。次に、一実施例に従って、進路境界ボックス３１ａは、最適合境界ボックス３３ａを決定するために使用される。図３には１つの最適合境界ボックス３３ａしか示されていないが、１又はそれ以上の最適合境界ボックス３３ａが、対象３２ａの特性に依存して対象を決定するよう使用されうる。最適合境界ボックス３３ａは、既知のアルゴリズムを用いて、又は、対象が様々に回転されて最も良く適合する場合を判断することによって決定される。次に、グリッドは、２次元直交グリッド３６ａへと再走査される前に、３５ａに示されるように、最適合境界ボックス３３ａへ適用される。再走査動作の間に、画像処理装置は、後述するように、後の使用のために走査情報を保有する。
【００１９】
次に、直交グリッド３６ａは、例えば、フィルタリング、識別表示などといった画素並列処理のために、ＳＩＭＤ処理装置３７によって処理される。画像データは、その画像データが２次元グリッドに変換されて、ＳＩＭＤ処理装置による処理にとってより適切にされるので、より効率的に処理される。上記動作の結果として、対象は、その対象が前よりも少ない行に存在し、それによって、フレーム全体が処理されるべき必要性を回避するように、ＳＩＭＤ処理装置３７による処理の前に効率的に再マッピングされる。画素データがＳＩＭＤ処理装置３７によって処理されると、再走査動作の間に記憶された走査情報は、ＳＩＭＤ処理装置の出力３８ａを画像３９ａへと逆に再走査するために使用される。画像３９ａは、必要ならば、ＳＩＭＤ処理装置３７によって処理された画像フレーム３０に再挿入される。代替的に、３８ａ及び３９ａに示される再走査ステップは、画像が必要とされない場合、例えば、数値又は測定結果しか、例えば領域又は色のように、対象から必要とされない場合には、省略されうる。
【００２０】
上記本発明は、画像内の対象を処理する際に、ＳＩＭＤ処理のより効率的な使用が提供されるところの画像処理装置及び方法を提供する。
【００２１】
図３の実施例では、対象の処理に含まれる段階の幾つかは、任意でしかなく、従って、依然としてＳＩＭＤ処理装置で非常に高い処理を効率的に維持している間は省略可能であることが知られる。例えば、進路境界ボックス３１ａによって定められる領域は既に垂直であるから、（対応する逆走査段階３９ａを伴う）再走査段階３３ａ、３５ａ及び３６ａは、省略されうる。言い換えると、図３の好ましい実施例が、最適合境界ボックス３３ａが決定されて、垂直ボックス３６ａへと再走査されることを示す一方で、本発明は、また、進路境界ボックス３１ａによって定められる垂直領域のみを使用することもできる。この代替的な実施例は、段階の全てを含む実施例と同じように効率的というわけではないが、それでもなお、それは、垂直な進路境界ボックス３１ａにおける画素データしか処理されないので、依然として高度な効率を提供する。
【００２２】
図４は、本発明に従って、画像信号において対象を処理する方法に含まれるステップを簡単に述べる。第１に、進路境界ボックスは、ステップ４０１で、受けた画像信号おける関心領域に関して決定される。次に、進路境界ボックスは、ステップ４０３で、最適合境界ボックスを決定するために使用される。最適合境界ボックスにおける画像データは、次に、ステップ４０５で、直交グリッドへと再走査される。再走査された画像データは、ステップ４０７で、プログラム供給源４０８から受け取った命令に応じて、ＳＩＭＤ処理装置によって処理される。処理された画像データは、次に、ステップ４０９で、再走査処理の間に記憶された走査情報４０６を用いて、元通りに走査される。
【００２３】
上述したように、ステップ４０３、４０５及び４０９は、ＳＩＭＤ処理装置が、垂直な進路境界ボックスにおいて画素データを直接的に処理するよう構成可能であるから、随意である。
【００２４】
図５は、どうのように対象ラインがメモリ５０３へ作られるかを示す。処理装置５０１は、対象及びラインの認識並びにラベリングと、受けた画像信号の一般的な処理とを実行する。第２の段階５０２で、境界ボックスは決定され、対象及びラインに対して再走査及び／又は歪曲が実行される。第２の段階５０２からの出力データ５０２ａ及び制御情報５０２ｂは、メモリ５０３へ送られる。メモリは、第２の段階で変換される（且つ、図６で後述される）ように画像データを記憶する。ＳＩＭＤ処理装置５０４は、メモリ５０３に記憶された画像データを処理する。ＳＩＭＤ処理装置の出力は、測定５０５のために使用されるか、あるいは、逆の再走査及び／又は歪曲の動作を実行する段階５０６へ送られる。逆の再走査及び／又は歪曲は、第２の段階５０２から受けた制御情報５０２ｂを用いて、対象及びラインに対して実行される。段階５０６からの処理された対象／ラインは、次に、元の画像信号を処理された画像信号と結合して、結果として得られる画像信号５０８を作る結合器５０７へ送られる。
【００２５】
図６は、どのように画像データが図５のメモリ５０３に記憶されるかを示す。ＳＩＭＤ処理装置による処理は、対象データに対応する画像データの行と、ラインデータに対応する行とに制限されることが分かる（ラインデータは、真っ直ぐにされた線分に変換されている。即ち、第１の次元ではない。）。結果として、フレーム全体を処理するよりもむしろ、ＳＩＭＤ処理装置は、ライン処理装置に対して垂直な変換データのみを処理する。
【００２６】
従って、上記本発明は、画像内の行又は列に対応する所定の次元に画像データを再走査して、画像データをＳＩＭＤ配列による処理にとってより適したものとする。
【００２７】
本発明は、画像品質を向上させるテレビ画像の処理と、コンピュータ・ビジョン・アプリケーションにおける対象認識の実行と、コンピュータゲーム、教育又はＣＡＤ／ＣＡＭのための画像レンダリングの実行と、ＭＰＥＧ４、Ｈ２６４＋のための対象に基づく符号化の実行と、医療システムのための画像処理の実行とを含め、多種多様なアプリケーションに適用可能である。
【００２８】
好ましい実施例は、２次元直交グリッドへの再走査について言及するが、当然のことながら、例えば映像データのような３次元画像データを処理する際に、グリッドは２次元よりもむしろ３次元でありうることが知られる。
【００２９】
留意すべきは、上記実施例は、本発明を限定するのではなく説明しており、当業者は、添付の特許請求の範囲によって定められる本発明の適用範囲から逸脱することなく多数の代わりの実施例を設計することができる点である。特許請求の範囲では、括弧内に置かれた如何なる参照符号も、特許請求の範囲を限定するように解釈されるべきではない。語「有する」は、いずれの請求項又は明細書全体に挙げられた以外の要素又はステップの存在を除外しているわけではない。ただ１つの要素の引用は、このような要素の複数の引用を除外しているわけではない。また、その逆も同様である。本発明は、幾つかの個別素子を有するハードウェアによって、更に、適切にプログラムされたコンピュータによって実施されても良い。幾つかの手段を列挙する請求項では、これらの手段のうちの幾つかは、ハードウェアの同一の物品によって具現化されても良い。特定の手段が列挙されているという単なる事実は、相互に異なる従属請求項において、これらの手段の組合せが有利に使用され得ないことを示しているわけではない。
【図面の簡単な説明】
【００３０】
【図１】既知のインテリジェント・カメラの基本構成要素を示す。
【図２】本発明に従う再走査処理を有する、エッジ又はラインのための画像処理方法を示す。
【図３】本発明に従う再走査処理を有する、対象のための画像処理方法を示す。
【図４】本発明のステップを詳述するフロー図である。
【図５】どのように対象ラインがメモリへ作られるかを表す。
【図６】どのように画像データが図５のメモリに記憶されるかを示す。
【図１】
2007535066.tif 000003
【図２】
2007535066.tif 000004
【図３】
2007535066.tif 000005
【図４】
2007535066.tif 000006
【図５】
2007535066.tif 000007
【図６】
2007535066.tif 000008
【国際調査報告】
2007535066.tif 000009
2007535066.tif 000010
2007535066.tif 000011