(57)【要約】【課題】画像を処理する画像処理装置で、例えば動画像における物体の識別を効率的に行うことを可能とする。【解決手段】画像情報取得手段１２が、段階的に解像度を高めるとともに画像範囲を小さくして、処理対象となる画像に基づく画像情報を取得する。そして、画像情報処理手段１２が、画像情報取得手段１２により取得される画像情報に基づく処理を行う。また、画像情報取得手段１２は、所定の段階で取得された画素情報に基づいて次の段階で基準とする画素情報を特定し、特定した画素情報を基準として次の段階における画像範囲を設定する。【選択図】　　　図１
2004112287.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置において、
段階的に解像度を高めるとともに画像範囲を小さくして、処理対象となる画像に基づく画像情報を取得する画像情報取得手段と、
画像情報取得手段により取得される画像情報に基づく処理を行う画像情報処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
画像情報取得手段は、初期の段階における解像度及び画像範囲で処理対象となる画像に基づく画像情報を取得する初期段階画像情報取得手段と、初期の段階における解像度及び画像範囲から段階的に高い解像度へ変更するとともに小さい画像範囲へ変更して処理対象となる画像に基づく画像情報を取得する段階的画像情報取得手段と、を有し、
画像情報処理手段は、少なくとも最終の段階で取得された画像情報に基づく処理を行う、
ことを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
画像情報として、画素の情報が用いられる、
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
画像情報取得手段は、所定の段階で取得された画素情報に基づいて次の段階で基準とする画素情報を特定する基準画素情報特定手段を有し、所定の段階で取得された画素情報に基づいて基準画素情報特定手段により特定された画素情報を基準として次の段階における画像範囲を設定する、
ことを特徴とする画像処理装置。
【請求項５】
請求項３又は請求項４に記載の画像処理装置において、
画像情報取得手段は、画素情報を間引く間隔を制御することにより解像度を制御する、
ことを特徴とする画像処理装置。
【請求項６】
請求項３又は請求項４に記載の画像処理装置において、
画像情報取得手段は、画素情報を平均化する態様を制御することにより解像度を制御する、
ことを特徴とする画像処理装置。
【請求項７】
請求項５に記載の画像処理装置において、
画像情報取得手段は、それぞれの段階において、固定長の２次元配列に対応する画素情報を取得する、
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
画像情報取得手段は、それぞれの段階において、段階が１つ進むに応じて１つ減少させられるべき数による２のべき乗に相当する数の画素間隔で画素情報を取得する、
ことを特徴とする画像処理装置。
【請求項９】
請求項３乃至請求項８のいずれか１項に記載の画像処理装置において、
画像情報取得手段は、同一の段階において複数種類の画素情報取得態様により画素情報を取得し、同一の段階におけるいずれかの種類の画素情報取得態様により取得された画素情報に基づいて次の段階で基準とする画素情報を特定する、
ことを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
画像情報取得手段は、同一の段階において、１周すると全ての画素情報が取得される複数種類の画素情報取得態様を順次切り替えて、画素情報を取得する、
ことを特徴とする画像処理装置。
【請求項１１】
請求項３乃至請求項１０のいずれか１項に記載の画像処理装置において、
画像情報取得手段は、同一の段階において取得された画素情報に基づいて複数の基準とする画素情報を特定する、
ことを特徴とする画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置において、
画像情報取得手段は、同一の段階において取得された画素情報に基づいて複数の基準とする画素情報を処理の優先順位と対応付けて特定する、
ことを特徴とする画像処理装置。
【請求項１３】
請求項１乃至請求項１２のいずれか１項に記載の画像処理装置において、
処理対象となる画像として、同一の対象の画像を含む複数の画像が用いられ、
画像情報処理手段は、同一の対象の画像を含む複数の画像に基づいて当該対象との距離を検出する処理を行う対象距離検出手段を有する、
ことを特徴とする画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置において、
画像情報取得手段は、対象距離検出手段により距離を検出する対象の画像情報を特定する距離検出対象画像情報特定手段を有する、
ことを特徴とする画像処理装置。
【請求項１５】
請求項１乃至請求項１４のいずれか１項に記載の画像処理装置において、
処理対象となる画像を入力する画像入力手段を備えた、
ことを特徴とする画像処理装置。
【請求項１６】
請求項１乃至請求項１５のいずれか１項に記載の画像処理装置において、
処理対象となる画像として、動画像が用いられる、
ことを特徴とする画像処理装置。
【請求項１７】
画像を処理する画像処理方法において、
段階的に解像度を高めるとともに画像範囲を小さくして処理対象となる画像に基づく画像情報を取得し、取得した画像情報に基づく処理を行う、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を処理する画像処理装置及び画像処理方法に関し、特に、動画像における物体の識別を効率的に行うことが可能な画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
従来の画像処理では、例えば、２次元平面に投影された映像（画像）に対して一定間隔のサンプリング点で量子化を行った２次元データを元に、線形な処理が行われている。このような処理では、処理データ量が多く、リアルタイムでの画像処理は非常に困難であるといった問題があった。
【０００３】
なお、高速なＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を用いてソフトウエアで処理を行う方法では、処理装置が高額で大きく重くなり、消費電力も大きいといった問題があった。
また、画像処理をハードウエア化した人工網膜素子と呼ばれる素子が開発されているが、ハードウエア化していることから、処理アルゴリズムの修正や、変化への適応が困難であったり、個別の目的毎に作り直しが必要であるといった問題があった。
【０００４】
また、人間の目においては、視野の中心部では解像度を高くして周囲では解像度を低くするいわゆる中心窩視覚にすることで処理量を減らすとともに、眼球運動によって広範囲の視野の処理を可能にしている。
これに関して、「脳型情報処理システムのための視覚情報処理プロセッサの開発」（科学技術振興事業団、戦略的基礎研究推進事業（ＣＲＥＳＴ）、「脳を創る」研究領域成果）では、中心窩状人工網膜チップが開発されているが、用途が汎用的でないため、コストダウンが困難であるといった問題があった。
【０００５】
また、従来では、極座標系の対数目盛りを適用した、人間の中心窩に近い視覚システムが考案されている（例えば、非特許文献１参照。）。しかしながら、このような視覚システムでは、通常の直交座標系を前提とした計算機及びアルゴリズムにおいては、座標変換及び逆変換にコストがかかってしまうといった不具合があった。
【０００６】
また、従来では、中心窩状に変換するミラーを設けて人間の目の様にパノラマ化する撮像システムが考案されている（例えば、特許文献１参照。）。しかしながら、このようなシステムでは、特殊な光学系を付加的に必要とするために高価となってしまう上に、低解像度のエリアをカバーするためには人間の眼球運動に相当する視野変更を行うためのデバイスを付加することが必要となってしまうといった不具合があった。
【０００７】
また、本出願人による特願２００１−２６１８９９号の「画像処理装置及び画像処理方法」では、ソフトウエア的に処理する方法として、中心窩状にサンプリングし直してから処理する方法が開示されている。この方法では、非線形変換が行われるため、線形性情報は失われる。
【０００８】
【非特許文献１】
“中心窩視覚センサを用いた視覚システム”、「電気情報通信学会論文誌」、１９９４年１月、第Ｊ７７−Ｄ−ＩＩ巻、第１号、ｐ．１１９−１３０
【特許文献１】
特開２０００−３４１５６８号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来例で示したように種々な画像処理技術が開発されているものの、画像中で注目したい対象を的確に捉えることについての技術は未だに不十分であり、更なる開発が望まれていた。具体的には、従来の技術では、例えば、リアルタイムでの柔軟で適応範囲の広い画像処理が困難であり、特に、動画像における物体の識別が困難であった。
【００１０】
本発明は、このような従来の事情に鑑みなされたもので、画像中で注目したい対象を的確に捉えることができる画像処理装置や画像処理方法を提供することを目的とする。更に具体的には、本発明は、例えば、リアルタイムでの柔軟で適応範囲の広い画像処理を可能とし、特に、動画像における物体の識別を効率的に行うことを可能とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像処理装置では、次のようにして、画像を処理する。
すなわち、画像情報取得手段が、段階的に解像度を高めるとともに画像範囲を小さくして、処理対象となる画像に基づく画像情報を取得する。そして、画像情報処理手段が、画像情報取得手段により取得される画像情報に基づく処理を行う。
【００１２】
従って、段階的に解像度を高めて画像範囲を小さくするという処理により、画像中で注目したい対象を的確に捉えることが可能となる。また、例えば、リアルタイムでの柔軟で適応範囲の広い画像処理が可能となり、特に、動画像における物体の識別を効率的に行うことが可能となる。
【００１３】
なお、処理対象となる画像としては、種々なものが用いられてもよく、例えば、静止画像が用いられてもよく、或いは、動画像が用いられてもよい。
また、段階的に解像度を高める仕方や、段階的に画像範囲を小さくする仕方としては、種々な仕方が用いられてもよい。
【００１４】
また、解像度としては、例えば、画像が細かく見える度合いに相当し、一例として、処理対象となる元の画像の解像度と同一の解像度或いはより低い解像度が用いられる。
また、画像範囲としては、例えば、取得される画像情報により構成される画像の範囲に相当し、一例として、処理対象となる元の画像と同一の範囲或いはより小さい範囲が用いられる。
【００１５】
また、画像情報としては、種々な情報が用いられてもよく、例えば、処理対象となる画像の情報の一部或いは全部をそのまま用いることや、或いは、処理対象となる画像の情報の一部或いは全部を加工して用いることができる。
また、画像情報処理手段では、種々な処理が行われてもよく、例えば、注目する対象が画像範囲の中心に位置して解像度が比較的に高い画像情報に基づいて当該対象の位置を正確に検出する処理のように、注目する対象に関する種々な情報を得る処理を行うことができる。
【００１６】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段では、初期段階画像情報取得手段が初期の段階における解像度及び画像範囲で処理対象となる画像に基づく画像情報を取得し、段階的画像情報取得手段が初期の段階における解像度及び画像範囲から段階的に高い解像度へ変更するとともに小さい画像範囲へ変更して処理対象となる画像に基づく画像情報を取得する。また、画像情報処理手段は、少なくとも最終の段階で取得された画像情報に基づく処理を行う。
【００１７】
なお、初期の段階における解像度や画像範囲としては、種々なものが用いられてもよく、例えば、比較的に低い解像度と比較的に大きい画像範囲が用いられる。
また、最終の段階で取得される画像情報は最も解像度が高いため、画像情報処理手段は例えば主として当該最終の段階で取得される画像情報に基づいて処理を行う。
【００１８】
また、本発明に係る画像処理装置では、一構成例として、画像情報として、画素の情報が用いられる。
例えば、処理対象となる画像がデジタルの画素情報から構成される場合には当該画素情報を利用することができ、また、例えば、処理対象となる画像がアナログ画像である場合には当該アナログ画像をデジタルの画素情報からなる画像へ変換して当該画素情報を利用することができる。
【００１９】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段では、基準画素情報特定手段が所定の段階で取得された画素情報に基づいて次の段階で基準とする画素情報を特定する。そして、画像情報取得手段は、所定の段階で取得された画素情報に基づいて基準画素情報特定手段により特定された画素情報を基準として、次の段階における画像範囲を設定する。
【００２０】
従って、段階的に解像度を高めて画像範囲を小さくするに際して、第ｎ（ここで、ｎは１以上の整数）の段階において特定された画素情報を基準として、第（ｎ＋１）の段階における画素情報を取得することができ、これにより、例えば、基準とする画素情報に対応する対象に注目した処理などを行うことができる。
【００２１】
なお、所定の段階で取得された画素情報に基づいて次の段階で基準とする画素情報を特定する仕方としては、種々な仕方が用いられてもよく、例えば、所定の段階で取得された画素情報の中から次の段階で基準とする画素情報を特定する仕方を用いることができる。
また、基準とする画素情報に係る当該基準としては、種々な事項に関する基準が用いられてもよく、例えば、画像範囲の中心を決めるための基準を用いることができ、一例として、次の段階における画像範囲の中心或いは中心付近に位置させる画素情報を、基準とする画素情報として特定することができる。
【００２２】
また、基準とする画素情報を特定する仕方としては、種々な仕方が用いられてもよく、例えば、予め設定された対象の画素情報をその特徴により認識して特定するような仕方を用いることができ、具体的には、背景とは異なる色や輪郭などの特徴により対象の画素情報を認識して特定することができる。なお、例えば、人（ユーザ）からの指示に基づいて基準とする画素情報を特定する構成とすることも可能である。
【００２３】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段は、画素情報を間引く間隔を制御することにより解像度を制御する。
なお、画素情報を間引く間隔を制御する態様としては、種々な態様が用いられてもよい。
また、画素情報を間引かない場合が用いられてもよい。
また、通常は、画素情報を間引く間隔が小さいほど高い密度で画素情報が取得されることから解像度が高く、逆に、当該間隔が大きいほど解像度が低い。
【００２４】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段は、画素情報を平均化する態様を制御することにより解像度を制御する。
なお、画素情報を平均化する態様を制御する態様としては、種々な態様が用いられてもよい。
また、画素情報を平均化しない場合が用いられてもよい。
また、通常は、平均化を行う画素情報の数が少ないほど解像度が高く、当該数が多いほど解像度が低い。
【００２５】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段は、それぞれの段階において、固定長の２次元配列に対応する画素情報を取得する。
従って、それぞれの段階において取得される画素情報の数を同数とすることができ、取得される画素情報を格納するメモリや当該画素情報を処理する構成を簡易化することが可能となる。
【００２６】
なお、固定長の２次元配列としては、種々なものが用いられてもよく、例えば、直交座標系の横軸方向の画素数が固定されているとともに縦軸方向の画素数が固定されているものが用いられる。
【００２７】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段は、それぞれの段階において、段階が１つ進むに応じて１つ減少させられるべき数ｍによる２のべき乗２ｍに相当する数の画素間隔で、画素情報を取得する。
このように２のべき乗を用いることにより、処理を簡易化することが可能である。
【００２８】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段は、同一の段階において複数種類の画素情報取得態様により画素情報を取得し、同一の段階におけるいずれかの種類の画素情報取得態様により取得された画素情報に基づいて次の段階で基準とする画素情報を特定する。
従って、例えば１種類の画素情報取得態様により取得される画素情報では基準とする画素情報を特定することが困難な場合であっても、複数種類の画素情報取得態様により画素情報を取得することにより、基準とする画素情報を特定することを可能とすることができる。
【００２９】
なお、複数種類の画素情報取得態様としては、種々な態様が用いられてもよい。
また、複数種類の画素情報取得態様の数としては、種々な数が用いられてもよい。
また、同一の段階において画素情報取得態様を切り替える処理としては、いずれの段階で行われてもよく、特に、初期の段階や初期に近い段階で行われるのが効果的である。
【００３０】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段は、同一の段階において、１周すると全ての画素情報が取得される複数種類の画素情報取得態様を順次切り替えて、画素情報を取得する。
従って、同一の段階において複数種類の画素情報取得態様の切替が１周すると当該段階における全ての画素情報が取得されるため、基準とする画素情報を特定する処理を効率化することができる。
【００３１】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段は、同一の段階において取得された画素情報に基づいて複数の基準とする画素情報を特定する。
従って、基準とする画素情報を複数特定して、例えば、これら複数の基準とする画素情報のそれぞれを基準とした処理を行うことができる。
なお、複数の基準とする画素情報の数としては、種々な数が用いられてもよい。
【００３２】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段は、同一の段階において取得された画素情報に基づいて複数の基準とする画素情報を処理の優先順位と対応付けて特定する。
従って、複数の基準とする画素情報が処理の優先順位と対応付けられて特定されるため、例えば、これら複数の基準とする画素情報のそれぞれを基準とした処理を、優先順位に従って、順次行うことができる。
【００３３】
なお、複数の基準とする画素情報を特定する場合に優先順位を付与する順番としては、種々な順番が用いられてもよく、例えば、予め設定された注目する対象の画素情報については１番の優先順位を付与し、他の画素情報については２番目以降の優先順位を順次付与していくような態様や、或いは、画像処理装置との距離が近い対象から順番に優先順位を付与していくような態様などを用いることができる。
【００３４】
また、本発明に係る画像処理装置では、一構成例として、処理対象となる画像として、同一の対象の画像を含む複数の画像が用いられる。そして、画像情報処理手段では、対象距離検出手段が同一の対象の画像を含む複数の画像に基づいて当該対象との距離を検出する処理を行う。
従って、複数の画像に基づいて対象との距離を検出することができる。
【００３５】
なお、対象との距離としては、いずれの所からいずれの所までの距離が用いられてもよく、例えば、画像処理装置に備えられたカメラと対象との間の距離が用いられる。
また、対象との距離としては、必ずしも正確な距離が用いられなくともよく、例えば、おおよその距離が用いられてもよい。
【００３６】
また、本発明に係る画像処理装置では、一構成例として、画像情報取得手段では、距離検出対象画像情報特定手段が対象距離検出手段により距離を検出する対象の画像情報を特定する。
なお、距離を検出する対象としては、例えば、上記した基準とする画素情報に対応する対象が用いられてもよく、この場合、基準とする画素情報を特定することにより、当該基準とする画素情報を、距離を検出する対象の画像情報として特定することができる。
【００３７】
また、画像中で対象の画像情報を特定する仕方としては、種々な仕方が用いられてもよく、例えば、予め設定された対象の画像情報をその特徴により画像中で認識して特定するような仕方を用いることができ、具体的には、背景とは異なる色や輪郭などの特徴により対象の画像情報を画像中で認識して特定することができる。また、例えば、人（ユーザ）からの指示に基づいて画像中で対象の画像情報を特定する構成とすることも可能である。
【００３８】
また、本発明に係る画像処理装置では、一構成例として、画像入力手段が処理対象となる画像を入力する。
なお、画像入力手段としては、種々なものが用いられてもよく、例えば、カメラなどの撮像装置を用いることができ、或いは、外部の機器や外部のメモリから画像の情報を入力するような手段を用いることも可能である。
また、画像入力手段の数としては、種々な数が用いられてもよい。
【００３９】
また、本発明に係る画像処理装置では、一構成例として、処理対象となる画像として、動画像が用いられる。
また、本発明に係る画像処理方法では、次のようにして、画像を処理する。
すなわち、段階的に解像度を高めるとともに画像範囲を小さくして処理対象となる画像に基づく画像情報を取得し、取得した画像情報に基づく処理を行う。
【００４０】
以上に示したような本発明の具体的な適用例として、移動するロボットなどの装置（移動体）に載せるカメラに本発明に係る機能を付加することができる。本発明は、このような移動体において、例えば、ボールやゴールなどの注目する対象を認識して追従するに際して当該注目する対象以外の物体を障害物と認識して回避する処理や、或る注目する対象と共に他の物体も注目する対象として認識してそれぞれに優先順位を付与する処理や、注目する対象の正確な位置などを検出する処理や、注目する対象との距離を検出する処理などを実行することに役立つことが可能である。また、本発明を適用した移動体では、例えば、比較的に画像処理の負担が軽くて処理速度を高めることができるため、移動しながら撮像される動画像をリアルタイムに処理することが可能である。
【００４１】
【発明の実施の形態】
本発明に係る一実施例を図面を参照して説明する。
まず、本発明に係る画像処理装置及び画像処理方法を適用した画像処理システムの概略を示す。
図１には、本発明を適用した画像処理システムのハードウエアの構成例として、記憶装置１１と演算装置１２を有する計算機１と、入力装置２と、出力装置３と、演算補助装置４と、画像入力装置５を示してある。
【００４２】
同図に示した画像処理システムは、記憶装置１１とそれを元にプログラムを実行する演算装置１２と入出力装置（入力装置２及び出力装置３）を備えた計算機１を母体として稼働する。また、大量の情報を処理するのに適した計算補助装置４が接続されてもよい。更に、入力装置２の１つとして、例えば動画像を撮像する機能を有する画像入力装置５を備える。なお、演算装置１２は複数備えられてもよく、一例として、入力情報の処理のための演算装置、出力情報の処理のための演算装置といったように、それぞれの演算装置に負荷に応じた役割分担をさせることも可能である。
【００４３】
図２には、記憶装置１１の内部におけるソフトウエアの構成例を示してある。記憶装置１１内に蓄えられた演算装置１２のためのプログラム及びデータは、同図に示される構成を有する。処理対象となる画像データ２１は、プログラムにより処理される。プログラムは、画像リサンプリング機構２２と、段階的画像処理機構２３と、制御機構２４を有する。
【００４４】
画像リサンプリング機構２２は、画像入力装置５から入力される等間隔でサンプリングされた映像（画像）データを、例えば注視する点（注視点）を中心としてリサンプリングする機能を有する。段階的画像処理機構２３は、リサンプリングされた画像を処理する機能を有する。制御機構２４は、段階的画像処理機構２３からの抽象化された情報を元に状況を判断して行動を決定する機能を有する。また、制御機構２４は、内部状態の変更や演算をする機能の他に、例えば、出力装置３を経由して外部の機器へ制御信号を出力する機能を備えていてもよく、これにより、外部の機器を制御することが可能である。
【００４５】
ところで、人間の網膜では、視野の中心あたりで最も画素の密度が高く、周辺部分へいくに従って疎になっていく。また、注目したい物体があると、眼球運動によってその物体に視線を合わせることで、注目したい物体の周辺の画像を集中的に網膜により捉えることができる。このことは、注目している物体の周辺についての画像処理を重点的に行うことで全体の処理量を下げるといった効果を奏する。
【００４６】
これに対して、一般の撮像素子では、各画素が等間隔であるのが通常であり、人間の網膜に相当するように集中的な画素の配置にはなっていない。また、カメラに対して上下左右に瞬時に精度良く向きを変える機構を用意することは、非常に困難であり、用意できても非常に高価となってしまう。
【００４７】
そこで、本実施例では、例えば従来と同様な撮像素子により等間隔の画素配置で撮像された入力画像をベースとして、まず、画像の間引きにより画素情報の再取得（リサンプリング）を行った解像度の低い画像を用いて中心的に処理すべき領域（画像範囲）を求め、その後、段階的に解像度を高めて処理することにより、不要な画像領域の処理を大幅に削減することを実現し、これにより、全体の処理量を下げて全体の処理時間を短くすることを可能とする。
【００４８】
なお、中心的に処理すべき領域を求めるために用いる画像データとしては、必ずしも入力画像を間引きした画像のデータに限られず、例えば、複数の画素の値を入力して平均値を出力するようなハードウエアやデジタルシグナルプロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等により出力される画像データなどを用いることも可能である。
【００４９】
また、上記のような本実施例の構成では、解像度を高める画像領域として中心的に処理したい物体が存在する領域を設定することにより、簡便に眼球運動に類似した機構を実現することができ、安価で高速な視点移動を可能とすることができる。また、本実施例の構成では、処理の中心点付近については解像度を高く維持することが可能であるため、処理の中心点付近の認識率を落とすことなく、全体の処理量を削減することが可能である。
【００５０】
また、動物の眼球は、小刻みに振動しており、網膜の神経細胞の間隔よりも高い解像度の情報処理を行っていると言われている。
そこで、本実施例では、例えば第１次のリサンプリング画像では解像度が低いために重点的に処理すべき中心点が見つからないような場合には、当該低解像度のままリサンプリングする起点をずらしていくことにより、処理する画素の重複を起こすことなく全ての画素を処理対象として扱うことを可能とする。そして、処理の中心点が見つかった場合には、当該処理の中心点を中心としてリサンプリングの間隔を狭めたより解像度の高い画像により、より確実な識別を行う。
【００５１】
本実施例では、このような動物の眼球運動に似た運動に相当する処理を用いてリサンプリング処理において注視する点（注視点）の移動を行うことにより、リサンプリングの間隔に応じて間引きされてしまっている情報を時間差で処理することができ、これにより、実質的な解像度を高めることが可能である。
【００５２】
次に、本発明に係る更に詳細な実施例を示す。
まず、第１実施例を示す。
図３には、本発明の一実施例に係る画像処理システムの構成例を示してある。同図に示した画像処理システムには、２次元映像センサ３１と、映像キャプチャー装置３２と、ＤＭＡ（Ｄｉｒｅｃｔ　Ｍｅｍｏｒｙ　Ａｃｃｅｓｓ）制御装置３３と、プログラム４１を格納したメモリ３４と、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ）ユニット４２を有した演算処理装置３５とが備えられている。
【００５３】
２次元映像センサ３１は、例えばレンズ付きのＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）若しくはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ−Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を用いて構成された画像入力装置であり、例えば動画の映像（動画像）を検出して、当該映像の情報をＹＣｒＣｂの形式で映像キャプチャー装置３２へ逐次送出する。２次元映像センサ３１は、例えば、上記図１に示した画像入力装置５に相当する。
【００５４】
なお、本例では、１画素の画素値の情報として、Ｙ（刺激値）の情報のビット数が８ビットであり、Ｃｒ（赤）の情報のビット数が４ビットであり、Ｃｂ（青）の情報のビット数が４ビットである情報が用いられている。また、２次元映像センサ３１から映像キャプチャー装置３２へは、Ｙの情報が８ビットを単位として出力され、Ｃｒの情報が４ビットを単位として出力され、Ｃｂの情報が４ビットを単位として出力される。
【００５５】
映像キャプチャー装置３２は、２次元映像センサ３１から入力される映像情報についてドットクロック（１画素ずつのタイミングのクロック）毎にＹＣｒＣｂの画素値を取り込み、取り込んだ画素値を一定間隔毎にＤＭＡ制御装置３３を介して演算処理装置３５のメモリ３４へＤＭＡ転送する。なお、映像キャプチャー装置３２からＤＭＡ制御装置３３へは、メモリ３４のアドレスを指定する情報が１６ビットを単位として出力され、取り込んだ画素値のデータが１６ビット（＝８＋４＋４）を単位として出力される。
【００５６】
メモリ３４上の他のエリア（画素値のデータを格納するエリア以外のエリア）にはプログラム４１が格納されており、演算処理装置３５は当該プログラムにより規定された手順に従って処理を行う。
また、演算処理装置３５にはＤＳＰユニット４２が備えられており、当該ＤＳＰユニット４２は演算補助装置としても働く。当該演算補助装置は、例えば、上記図１に示した演算補助装置４に相当する。
【００５７】
また、ＤＳＰユニット４２により行われる処理の手続きは、上記したプログラム４１内に埋め込まれている。
また、演算処理装置３５は、ＤＭＡ転送を制御するためのＤＭＡ制御信号をＤＭＡ制御装置３３へ出力する。
なお、演算処理装置３５とメモリ３４との間では、メモリ３４のアドレスの情報が３２ビットを単位として入出力され、画素値のデータが３２ビットを単位として入出力される。
【００５８】
本例の画像処理システムにより行われる動作の一例を示す。
図４には、本例の画像処理システムにより行われるリサンプリング処理の様子の一例として、入力画像５２と、入力画像５２の画素の構成（一部のみ）５１と、リサンプリング画像５３〜５５を示してある。本例では、入力画像５２に含まれる円状の物体に注目する場合を示す。
【００５９】
初期の段階である第１次のリサンプリング処理では、元の入力画像５２に対して、直交座標系の横軸方向の画素を間引きして画素数を１／４とするとともに縦軸方向の画素を間引きして画素数を１／４とする画素点をリサンプリング点とし、当該リサンプリング点に相当する画素値を用いて入力画像５２の全体範囲の画像（間引き画像）を第１次のリサンプリング画像５３として取得する。なお、横軸方向と縦軸方向とを合わせると、画素数は１／１６（＝（１／４）×（１／４））に間引きされている。
【００６０】
次に、第１次のリサンプリング画像５３に含まれる注目する対象である円状の物体を識別し、当該物体の画像を構成するいずれかの画素（例えば、物体の中心或いは中心付近と予想される画素）を次の段階である第２次のリサンプリング処理における画像範囲の中心として設定する。
【００６１】
次に、第２次のリサンプリング処理では、元の入力画像５２に対して、直交座標系の横軸方向の画素を間引きして画素数を１／２とするとともに縦軸方向の画素を間引きして画素数を１／２とする画素点をリサンプリング点とし、当該リサンプリング点に相当する画素値を用いて入力画像５２の１／４（＝横軸方向１／２及び縦軸方向１／２）分の範囲の画像（間引き画像）を第２次のリサンプリング画像５４として取得する。なお、横軸方向と縦軸方向とを合わせると、画素数は１／４（＝（１／２）×（１／２））に間引きされている。また、第１次のリサンプリング処理によりリサンプリングされる画素の総数と、第２次のリサンプリングによりリサンプリングされる画素の総数とは、同数である。
【００６２】
次に、第２次のリサンプリング画像５４に含まれる注目する対象である円状の物体を識別し、当該物体の画像を構成するいずれかの画素（例えば、物体の中心或いは中心付近と予想される画素）を次の段階である第３次のリサンプリング処理における画像範囲の中心として設定する。
【００６３】
なお、同一の注目する対象の中心などの画素を特定する場合に、第ｎ（ここで、ｎは１以上の整数）次のリサンプリング処理で特定された画素をそのまま次の第（ｎ＋１）次のリサンプリング処理で特定することも可能であるが、本例のようにリサンプリング画像の解像度が高められる度に特定を行うと特定の精度を高めることができて好ましい。
【００６４】
次に、第３次のリサンプリング処理では、元の入力画像５２に対して、画素を間引きしていなくて等解像度である画素点をリサンプリング点とし、当該リサンプリング点に相当する画素値を用いて入力画像５２の１／１６（＝横軸方向１／４及び縦軸方向１／４）分の範囲の画像を第３次のリサンプリング画像５５として取得する。なお、第３次のリサンプリング処理によりリサンプリングされる画素の総数と、第１次のリサンプリング処理や第２次のリサンプリング処理によりリサンプリングされる画素の総数とは、同数である。
【００６５】
ここで、数式を用いて、このようなリサンプリング処理を説明する。
本例では、式１に示されるような計算式を用いて、画素をリサンプリングする。
【００６６】
【数１】
2004112287.tif 000003
【００６７】
ここで、（Ｘｉ、Ｙｊ）はＸ−Ｙ直交座標系の座標値を表し、リサンプリングする画素点の座標値を表す。また、Ｌは例えば横軸方向であるＸ軸方向のリサンプリング数を表し、Ｍは例えば縦軸方向であるＹ軸方向のリサンプリング数を表す。また、（Ｘ０、Ｙ０）はリサンプリングを開始する座標値を表し、ｄはリサンプリングの間隔を表す。
【００６８】
また、各段階においてリサンプリングを行う画像領域の幅をＸと表し、各段階においてリサンプリングを行う画像領域の高さをＹと表すと、Ｘ＞ｄ×Ｌ及びＹ＞ｄ×Ｍとなることが必要である。
本例では、或る段階におけるリサンプリング結果から解像度を高めてリサンプリングを行う次の段階におけるリサンプリング処理で用いられるリサンプリング開始座標値（Ｘ０、Ｙ０）を、注目して識別したい物体が画像範囲の中心となるような値に設定することにより、効率的な処理が実現される。
【００６９】
また、サンプリング間隔ｄを２のべき乗数とすると、計算が容易となる。例えば、本例のように３段階のリサンプリング処理で最大の解像度の処理となるようにするためには、第１次のリサンプリング処理の段階におけるリサンプリング間隔ｄ１＝２２＝４とし、第２次のリサンプリング処理の段階におけるリサンプリング間隔ｄ２＝２１＝２とし、第３次のリサンプリング処理の段階におけるリサンプリング間隔ｄ３＝２０＝１とする態様を用いることができる。
【００７０】
更に、本例のように、横軸方向のリサンプリング数（例えば、Ｌ＝Ｘ／ｄ）及び縦軸方向のリサンプリング数（例えば、Ｍ＝Ｙ／ｄ）を各段階で共通の値とすると、画像処理を行うためのデータ領域（横軸方向の全画素数及び縦軸方向の全画素数）を各段階で一定とすることが可能であり、処理機構をシンプルにすることができる。
【００７１】
本例の場合には、それぞれの段階において元の入力画像５２に対して１／１６（＝（１／４）２）のデータ量の処理とすることができ、３段階にわたる全体的な処理の合計においても当該値の３倍である３／１６のデータ量の処理で済ませることができる。
【００７２】
また、上述のように、リサンプリング後の画像については、例えば通常の画像処理を行うことにより、注目する対象の識別或いは判別を行う。このような識別或いは判別を行う方法としては、例えば、画素値を元にした分布ヒストグラムを使用する方法や、エッジ検出を行った後にエッジの接続から形状を認識する方法や、或いは、ニューラルネットワークを用いて判別を行う方法などを用いることができる。
【００７３】
次に、第２実施例を示す。
なお、本例の画像処理システムは、上記第１実施例の図３に示したものと同様な構成を有しており、上記第１実施例で示したのと同様な動作を行う。
上記図４に示した第１次のリサンプリング処理などでは、注目して処理すべき物体の画像データがリサンプリングの間隔の間に入ってしまって（つまり、間引きされてしまって）、当該物体を見落としてしまう可能性がある。
【００７４】
そこで、本例の画像処理システムでは、注目する物体の画素点として定めるべき画素点の座標値が決められないときには探索モードへ移行する。そして、当該探索モード時においては、同一の段階において、リサンプリング処理毎に微小間隔で注視点をずらして、例えばこれによりリサンプリング開始座標値（Ｘ０、Ｙ０）をずらして、複数回のリサンプリング処理を行う。これにより、同一の段階において、或るリサンプリング処理による情報の欠落部分を異なる時刻で処理するようにして、当該欠落部分を補間することを実現する。
【００７５】
図５には、画像（一部分）を構成する１６個の画素点について、同一の段階においてリサンプリング処理を行う起点（リサンプリング開始座標値）とする画素点の順番の一例を示してある。同図の例では、番号１、２、３、・・・、１４、１５、１６の順で、各番号の画素点を起点として順次リサンプリング処理を行う。
【００７６】
本例では、特に、第１次のリサンプリング処理では、解像度が低いため、注目して重点的に処理すべき中心点が見つからない場合がある。このような場合には、当該低解像度のまま、リサンプリング処理を行う起点を同図に示されるような順番でずらしていくことにより、リサンプリング処理する画素の重複を起こすことなく全ての画素を処理対象とすることができる。
そして、注目して処理すべき中心点が見つかった場合には、その点を中心として次の段階におけるリサンプリング処理へ移行し、これにより、リサンプリング間隔を狭めた解像度の高い画像に基づいてより確実な識別を行う。
【００７７】
このように、本例の画像処理システムでは、動物の眼球運動に似た運動に相当する処理を用いて注視点の移動を行うことにより、リサンプリングの間隔で間引きされてしまっている画素の情報を時間差で処理することが可能であり、これにより、実質的な解像度を高めることが可能である。
なお、複数の段階にわたる全体的な処理では、実質的には、重要な情報を短い時間間隔で処理する（つまり、長い時間処理する）一方で重要でない情報を長い時間間隔で処理する（つまり、短い時間処理する）ようなことが実現され、トータルの処理量をバランス良く減らすことが実現される。
【００７８】
また、例えば、動画像のように時系列的につながった複数のフレームの画像を連続して処理する場合には、画像処理において注目する中心点を各フレームの画像について求めて、異なるフレーム間における当該中心点の座標値の差分を求めることにより、注目している物体の移動を検出することや、注目している物体の移動速度などを計算することが容易にできる。
【００７９】
次に、第３実施例を示す。
なお、本例の画像処理システムは、上記第１実施例の図３に示したものと同様な構成を有しており、上記第１実施例や上記第２実施例で示したのと同様な動作を行う。
【００８０】
上記図４に示したリサンプリング処理において、１枚（１フレーム）の画像中に注目して識別したい物体が２つ以上現れる場合がある。このような場合に、本例の画像処理システムでは、例えば、上記図４に示したようにして１つの注目する物体について最終的な段階での判別を行った後に、注目するもう一方の物体に対応する座標値へリサンプリング処理の場所を変更して２次のリサンプリング処理を行い、そして、当該２次のリサンプリング処理から解像度を高めて行く処理を行う。このように、注目するもう一方の物体については、第１次のリサンプリング処理などの重複した処理を省いて、効率的に処理を行うことができる。
【００８１】
図６には、このように複数の注目する物体に関するリサンプリング処理を階層的に行う処理（階層型のリサンプリング処理）の様子の一例として、例えば上記図４に示した入力画像５２と同一の画像である入力画像６１と、例えば上記図４に示した円状の物体（ここで、第１の注目対象と言う）についてのリサンプリング画像５３、５４、５５と同一の画像であるリサンプリング画像６２、６３、６４を示してあるとともに、入力画像６１に含まれる三角形及び四角形の組み合わせからなる物体（ここで、第２の注目対象と言う）についての第２次のリサンプリング画像６５を示してある。
【００８２】
上記図６の例では、第１順目の処理として、第１の注目対象についての段階的なリサンプリング処理を第１次のリサンプリング処理から行い、その後、第２順目の処理として、第２の注目対象についての段階的なリサンプリング処理を第２次のリサンプリング処理から行う。なお、第２の注目対象は、例えば、第１順目の処理において第１の注目対象と共に注目対象として特定される。
【００８３】
また、上記のように画像の中で複数の注目する物体を設定する場合に、これら複数の注目する物体のそれぞれについて優先順位を決め、その優先順位の順番でそれぞれの注目する物体を識別処理などする構成とすることもできる。このような構成では、例えば、動画像処理のように処理時間に制約がある場合に時間切れで処理を打ち切ったときにおいても、優先順位の高い物体については正確な位置などが検出され、優先順位の低い物体については大体の位置などが検出されることとなり、実時間での動画像処理に適している。
【００８４】
次に、第４実施例を示す。
なお、本例の画像処理システムは、上記第１実施例の図３に示したものと同様な構成を有しており、上記第１実施例〜上記第３実施例で示したのと同様な動作を行う。
【００８５】
本例の画像処理システムでは、適度な間隔で２つのカメラを平行に設置して備えており、どちらのカメラの入力画像についても例えば上記第１実施例の図４で示したのと同様なリサンプリング処理を行う。
例えば、２つのカメラから得られる左右の入力画像で同じ物体を注視させた場合、対象が無限遠にある物体であれば左右の入力画像で同じ座標値が注視点となるが、対象が近い物体であるときには左右の入力画像における注視点の間に座標値の差が生じる。そして、このような座標値の差を利用して、対象となる物体との距離（例えば、概略的な距離）を計算することができる。
【００８６】
具体的な一例として、左右にある２つのカメラの中心線の間隔をＤと表し、カメラ（例えば、いずれかのカメラ）から対象となる物体までの距離をＺと表し、対象となる物体と左右のカメラとを結ぶ２つの線の間の角度差をθと表し、左右のカメラにおける対象となる物体の座標値の差が当該角度差θに比例していると近似すると、式２が成り立つことから、カメラから対象となる物体までの距離Ｚは式３のように近似される。
【００８７】
【数２】
2004112287.tif 000004
【００８８】
【数３】
2004112287.tif 000005
【００８９】
但し、このような近似では、対象となる物体が入力画像の中心から離れるほど、誤差が大きくなる。
また、このように対象となる物体までの距離を検出するに際して、例えば、カメラを載せる回転台座を用意すると、処理可能な角度を広げることが可能になるだけでなく、目標物が撮像素子の中心線上に近くなるようにカメラの角度を調整することにより誤差を少なくすることが可能である。
【００９０】
また、例えば、動画像を処理するに際して、移動する量が大きい物体に両方のカメラによる入力画像の注視点を合わせている場合において、ｔ（ここで、ｔは１以上の整数）フレームにおける対象物体までの距離Ｚ（ｔ）と、（ｔ＋１）フレームなどのように異なるフレームにおける対象物体までの距離（Ｚ（ｔ＋１）など）を求めることにより、対象物体の遠近方向軸での移動速度を求めることができる。
【００９１】
以上のように、本実施例に係る画像処理システムでは、映像入力手段からの映像を段階的に解像度を高めて且つ段階的に処理範囲を限定してリサンプリングして、各種の処理を行う。また、本実施例に係る画像処理システムでは、各段階においてリサンプリングされる画素のデータが固定長の２次元配列に格納され得る構成としてあり、また、リサンプリングを行う画素の間隔として２のべき乗の値を用いている。
【００９２】
従って、本実施例に係る画像処理システムでは、最初は低解像度のリサンプリング画像によっておおまかな場所を特定し、続いて、重要な物体がありそうなところに注目するようにして徐々に解像度を高めてリサンプリング処理を行い、そして、重要な物体の位置などを検出する処理を行うことにより、結果的に、注目すべき処理の中心点は密に周辺は疎にリサンプリング処理を行うことができ、このようなリサンプリング処理の結果に基づいて注目する物体に関して精度のよい情報を取得することができる。
【００９３】
また、本実施例に係る画像処理システムでは、例えば、量産されてコストダウンしている光学系デバイスや撮像デバイスを用いて、生物の網膜や眼球運動に相当する処理を実現することが可能であるため、動画像などの処理を安価に高度に行うことができる。また、本実施例に係る画像処理システムでは、注目する対象の画素点（例えば、注視点）の付近では元の画像の解像度を維持することも可能であるため、処理の中心となる注目する対象の認識率等を落とすことなく、全体的な処理量を削減することが可能である。
【００９４】
また、本実施例に係る画像処理システムでは、初期の段階のリサンプリング処理において注目する中心点が求まらなかった場合には、同一の段階において、リサンプリング処理を行う開始点となる画素点をずらすことにより、１種類のリサンプリング処理では抜けてしまう画素値の情報を複数種類のリサンプリング処理により総じて補間する。
【００９５】
従って、本実施例に係る画像処理システムでは、注目する処理の中心点が見つからなかった場合などには、フレーム毎に微少にリサンプリング点をずらして、或るリサンプリングの隙間の画素値を他のリサンプリングで処理することにより、解像度を高めずに注目する処理の中心点を特定することが可能である。このように、本実施例に係る画像処理システムでは、生物の眼球運動に相当する処理が可能であり、動画像などの処理を安価に高度に行うことができる。
【００９６】
また、本実施例に係る画像処理システムでは、リサンプリング処理や識別処理を注目する複数の対象について階層的に行うことにより、１枚の画像において複数の対象物体の識別を行う。また、本実施例に係る画像処理システムでは、このような複数の対象についての処理を、それぞれの対象に付与された優先順位の順番で行う。
【００９７】
従って、本実施例に係る画像処理システムでは、１枚の画像中に複数の識別したい物体があるような場合においても、階層型のリサンプリング処理を行うことにより、これら複数の物体の識別を実現することができ、また、例えば、動画像処理のように時間的な制約のある時間内などで、優先順位に見合った識別結果を出すことが可能である。
【００９８】
また、本実施例に係る画像処理システムでは、２つ以上の映像入力装置を平行に設置して画像処理を行うことにより、処理対象とする物体までの距離を計算する。
従って、本実施例に係る画像処理システムでは、２つ以上のカメラなどを用いて、簡単な処理により、注目して対象としている物体までの距離を概算などすることができる。
【００９９】
以上のように、本実施例に係る画像処理システムでは、画像処理に際して処理量を比較的に低減させることができることから、例えば、バッテリ稼動が可能な小型の演算処理装置によっても処理が可能となり、このため、組み込みシステムやロボットに搭載することも可能となる。
【０１００】
ここで、本発明の構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。なお、本発明は、例えば本発明に係る処理を実現するためのプログラムなどとして提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
【０１０１】
また、本発明において行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【０１０２】
【発明の効果】
以上説明したように、本発明に係る画像処理装置などによると、例えば、画像中で注目したい対象を中心として、段階的に解像度を高めるとともに画像範囲を小さくして処理対象となる画像に基づく画像情報を取得し、取得した画像情報に基づく処理を行うようにしたため、画像中で注目したい対象を的確に捉えることができ、例えば、リアルタイムでの柔軟で適応範囲の広い画像処理が可能となり、特に、動画像における物体の識別を効率的に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例に係る画像処理システムのハードウエアの構成例を示す図である。
【図２】記憶装置内のソフトウエアの構成例を示す図である。
【図３】本発明の一実施例に係る画像処理システムの構成例を示す図である。
【図４】リサンプリング処理の様子の一例を示す図である。
【図５】リサンプリングする起点を変更する順番の一例を示す図である。
【図６】階層型のリサンプリング処理の様子の一例を示す図である。
【符号の説明】
１・・計算機、　２・・入力装置、　３・・出力装置、　４・・演算補助装置、
５・・画像入力装置、　１１・・記憶装置、　１２・・演算装置、
２１・・画像データ、　２２・・画像リサンプリング機構、
２３・・段階的画像処理機構、　２４・・制御機構、
３１・・２次元映像センサ、　３２・・映像キャプチャー装置、
３３・・ＤＭＡ制御装置、　３４・・メモリ、　３５・・演算処理装置、
４１・・プログラム、　４２・・ＤＳＰユニット、　５１・・画素の構成、
５２、６１・・入力画像、　５３〜５５、６２〜６５・・リサンプリング画像、
【図１】
2004112287.tif 000006
【図２】
2004112287.tif 000007
【図３】
2004112287.tif 000008
【図４】
2004112287.tif 000009
【図５】
2004112287.tif 000010
【図６】
2004112287.tif 000011