(57)【特許請求の範囲】
【請求項１】
入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力手段と、前記画像入力手段により生成された多階調のカラー画像データの色を表す３次元色空間を、前記３次元色空間と異なる他の３次元色空間に変換するカラー画像データ変換手段と、前記カラー画像データ変換手段によって変換された前記他の３次元色空間で表される多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影し、得られた三つの平面に対する投影画像により１枚の２次元画像を作成する２次元画像作成手段と、前記２次元画像作成手段によって作成された２次元画像と前記画像入力手段によって生成された多階調のカラー画像とによりテクスチャ画像を作成するテクスチャ画像作成手段と、前記２次元画像作成手段によって作成された２次元画像と前記テクスチャ画像作成手段によって作成されたテクスチャ画像とを合成して１枚の２次元画像を作成する２次元画像合成手段と、前記２次元画像合成手段によって作成された２次元画像により物体を認識する認識手段と、を備えたことを特徴とする物体認識装置。
【請求項２】
入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力手段と、前記画像入力手段により生成された多階調のカラー画像データの色を表す３次元色空間を、前記３次元色空間と異なる他の３次元色空間に変換するカラー画像データ変換手段と、前記カラー画像データ変換手段によって変換された前記他の３次元色空間における多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影して特徴データを作成する特徴データ作成手段と、前記特徴データ作成手段によって作成された特徴データと前記画像入力手段によって生成された多階調のカラー画像とによりテクスチャデータを作成するテクスチャデータ作成手段と、前記特徴データ作成手段によって作成された特徴データと前記テクスチャデータ作成手段によって作成されたテクスチャデータとを合成して一つのデータを作成するデータ合成手段と、前記データ合成手段によって作成されたデータにより物体を認識する認識手段と、を備えたことを特徴とする物体認識装置。
【請求項３】
前記カラー画像データ変換手段により、前記画像入力手段によって生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換する場合に、前記カラー画像の赤、緑、青の３原色を表すRGBデータによりXYZ表色系で表されるカラー画像データを生成し、さらに前記XYZ表色系で表されるカラー画像データを均等色空間のカラー画像データへ変換することを特徴とする請求項１または請求項２に記載の物体認識装置。
【請求項４】
前記均等色空間のカラー画像データが国際照明委員会で定められたL*a*b*表色系により表されることを特徴とする請求項３に記載の物体認識装置。
【請求項５】
前記均等色空間のカラー画像データが国際照明委員会で定められたL*u*v*表色系により表されることを特徴とする請求項３に記載の物体認識装置。
【請求項６】
前記物体の認識に必要なデータをユーザとの間で対話的に入出力する対話型入出力手段を備えたことを特徴とする請求項１乃至請求項５のいずれかに記載の物体認識装置。
【請求項７】
前記対話型入出力手段により、前記物体の認識に必要な複数のデータを選択可能に出力し、選択および入力されたデータにより前記物体の認識結果を出力することを特徴とする請求項６に記載の物体認識装置。
【請求項８】
前記対話型入出力手段に、前記物体の認識に必要な複数のデータを選択可能に音声出力し、選択および入力されたデータにより前記物体の認識結果を音声出力する音声入出力装置を備えたことを特徴とする請求項６または請求項７に記載の物体認識装置。
【請求項９】
前記対話型入出力手段に、タッチパネルを備えたことを特徴とする請求項６乃至請求項８のいずれかに記載の物体認識装置。
【請求項１０】
前記画像入力手段に、前記物体を含むカラー画像から多階調のカラー画像データを生成するテレビカメラを備えたことを特徴とする請求項１乃至請求項９のいずれかに記載の物体認識装置。
【請求項１１】
前記画像入力手段に、前記物体を含むカラー画像から多階調のカラー画像データを生成する小型CCDカメラを備えたことを特徴とする請求項１乃至請求項９のいずれかに記載の物体認識装置。
【請求項１２】
前記画像入力手段に、前記物体を含むカラー画像から多階調のカラー画像データを生成するハンディ型CCDカメラと、前記ハンディ型CCDカメラを駆動させるボタンとを備え、前記ボタンの押下で前記ハンディ型CCDカメラにより前記カラー画像から多階調のカラー画像データを生成することを特徴とする請求項１乃至請求項９のいずれかに記載の物体認識装置。
【請求項１３】
前記ボタンが押下されたときに、前記ハンディ型CCDカメラによる多階調のカラー画像データに対して物体認識を行うことを特徴とする請求項12に記載の物体認識装置。
【請求項１４】
前記画像入力手段に、前記物体を含むカラー画像から多階調のカラー画像データを生成するハンディ型CCDカメラと、入力された音声により前記ハンディ型CCDカメラを駆動させる音声入力装置とを備え、前記音声入力装置による音声入力で前記ハンディ型CCDカメラにより前記カラー画像から多階調のカラー画像データを生成することを特徴とする請求項１乃至請求項９のいずれかに記載の物体認識装置。
【請求項１５】
前記カメラが前記物体に対して上方に配置されたことを特徴とする請求項10乃至請求項14のいずれかに記載の物体認識装置。
【請求項１６】
前記カメラが前記物体に対して異なる方向に複数配置され、複数のカメラが前記物体を異なる方向から同時に撮影することを特徴とする請求項10乃至請求項14のいずれかに記載の物体認識装置。
【請求項１７】
入力されたカラー画像を量子化して多階調のカラー画像データを生成する第１のステップと、第１のステップで生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換する第２のステップと、第２のステップで変換された前記他の３次元色空間における多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影し、得られた三つの平面に対する投影画像により１枚の２次元画像を作成する第３のステップと、第３のステップで作成された２次元画像と第１のステップで生成された多階調のカラー画像とによりテクスチャ画像を作成する第４のステップと、第３のステップで作成された２次元画像と第４のステップで作成されたテクスチャ画像とを合成して１枚の２次元画像を作成する第５のステップと、を有し、第５のステップで作成された２次元画像により物体を認識することを特徴とする物体認識方法。
【請求項１８】
入力されたカラー画像を量子化して多階調のカラー画像データを生成する第１のステップと、第１のステップで生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換する第２のステップと、第２のステップで変換された前記他の３次元色空間における多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影して特徴データを作成する第３のステップと、第３のステップで作成された特徴データと第１のステップで生成された多階調のカラー画像とによりテクスチャデータを作成する第４のステップと、第３のステップで作成された特徴データと第４のステップで作成されたテクスチャデータとを合成して一つのデータを作成する第５のステップと、を有し、第５のステップで作成されたデータにより物体を認識することを特徴とする物体認識方法。
【請求項１９】
前記第２のステップにおいては、第１のステップで生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換する場合に、前記カラー画像の赤、緑、青の３原色を表すRGBデータによりXYZ表色系で表されるカラー画像データを生成し、さらに前記XYZ表色系で表されるカラー画像データを均等色空間のカラー画像データへ変換することを特徴とする請求項17または請求項18に記載の物体認識方法。
【請求項２０】
前記均等色空間のカラー画像データが国際照明委員会で定められたL*a*b*表色系により表されることを特徴とする請求項19に記載の物体認識方法。
【請求項２１】
前記均等色空間のカラー画像データが国際照明委員会で定められたL*u*v*表色系により表されることを特徴とする請求項19に記載の物体認識方法。
【請求項２２】
前記物体がドーナツ形になっていることを特徴とする請求項17乃至請求項21のいずれかに記載の物体認識方法。
【請求項２３】
前記物体認識方法で用いられるデータには、対話型入出力手段により対話的に入力されたデータを含むことを特徴とする請求項17乃至請求項22のいずれかに記載の物体認識方法。
【請求項２４】
前記対話型入出力手段により物体の認識に必要な複数のデータを選択可能に出力し、前記対話型入出力手段により選択および入力されたデータを用いることを特徴とする請求項23に記載の物体認識方法。
【請求項２５】
前記物体の認識に必要な複数のデータを選択可能に音声出力することを特徴とする請求項24に記載の物体認識方法。
【請求項２６】
前記物体の認識に必要な複数のデータをタッチパネル上に選択可能に表示し、前記タッチパネルにより選択および入力されたデータを用いることを特徴とする請求項24に記載の物体認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カラー画像に対して画像処理を施し、前記カラー画像中の物体を認識する物体認識装置および物体認識方法に関するものである。
【０００２】
【従来の技術】
従来、この種の物体認識装置は、あらかじめ規定された周波数分布を有する光源と、この光源が照射された物体および背景を含むシーン画像（ディジタル画像）を入力する画像入力装置と、アルゴリズムにより、前記画像入力装置から入力されたディジタル画像から物体画像を抜き出し、これを記憶された基準画像と比較し、一致が発生した場合に物体を認識するコンピュータシステムとを備え、認識対象の物体の色に応じた光源を用いるものであった（特開平7-302343号公報）。
【０００３】
【発明が解決しようとする課題】
しかし、このような従来の物体認識装置では、認識対象の物体の色に応じた光源があらかじめ規定されているために、認識対象の物体の色とテクスチャを求める際に、光源があらかじめ規定されたものでない場合には、前記光源による色とテクスチャとが前記光源によってそれぞれ異なって認識され易くなるという問題があった。前述のテクスチャは、規則的な濃淡変化による模様（肌理ともいう）であり、画像中の対象物を識別するために用いられる。
【０００４】
本発明は、このような問題を解決するためになされたもので、認識対象の物体に照射される光源があらかじめ規定されたものでない場合でも、認識に必要な物体の色とテクスチャとを求めることにより、物体を認識できる物体認識装置および物体認識方法を提供するものである。
【０００５】
【課題を解決するための手段】
本発明の物体認識装置は、入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力手段と、前記画像入力手段により生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換するカラー画像データ変換手段と、前記カラー画像データ変換手段によって変換されたカラー画像データを投影して色の投影データを作成する投影データ作成手段と、前記カラー画像データ変換手段によって変換されたカラー画像データからテクスチャを演算して前記色の投影データと同じ次元のテクスチャの投影データを生成するテクスチャ演算手段と、前記色の投影データと前記テクスチャの投影データとにより、前記カラー画像中の物体を認識する認識手段とを備えた構成を有している。この構成により、画像の色情報（以下、カラーデータともいう）により任意の画素間の色差を演算するので、光源が変動しても安定して画像中の物体の色とテクスチャを抽出し、画像中の物体を認識することができる。
【０００６】
本発明の物体認識装置は、入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力手段と、前記画像入力手段により生成された多階調のカラー画像データの色を表す３次元色空間を、前記３次元色空間と異なる他の３次元色空間に変換するカラー画像データ変換手段と、前記カラー画像データ変換手段によって変換された前記他の３次元色空間で表される多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影し、得られた三つの平面に対する投影画像により１枚の２次元画像を作成する２次元画像作成手段と、前記２次元画像作成手段によって作成された２次元画像と前記画像入力手段によって生成された多階調のカラー画像とによりテクスチャ画像を作成するテクスチャ画像作成手段と、前記２次元画像作成手段によって作成された２次元画像と前記テクスチャ画像作成手段によって作成されたテクスチャ画像とを合成して1枚の２次元画像を作成する２次元画像合成手段と、前記２次元画像合成手段によって作成された２次元画像により物体を認識する認識手段とを備えた構成を有している。この構成により、色空間における物体固有の特徴を効率的かつ視覚的に扱いやすい形式で認識装置へ入力するので、物体の認識率を向上させることができる。
【０００７】
本発明の物体認識装置は、入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力手段と、前記画像入力手段により生成された多階調のカラー画像データの色を表す３次元色空間を、前記３次元色空間と異なる他の３次元色空間に変換するカラー画像データ変換手段と、前記カラー画像データ変換手段によって変換された前記他の３次元色空間における多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影して特徴データを作成する特徴データ作成手段と、前記特徴データ作成手段によって作成された特徴データと前記画像入力手段によって生成された多階調のカラー画像とによりテクスチャデータを作成するテクスチャデータ作成手段と、前記特徴データ作成手段によって作成された特徴データと前記テクスチャデータ作成手段によって作成されたテクスチャデータとを合成して一つのデータを作成するデータ合成手段と、前記データ合成手段によって作成されたデータにより物体を認識する認識手段とを備えた構成を有している。この構成により、認識対象の物体の特徴データおよびテクスチャデータが画像の呈をなしていない場合でも、特徴データおよびテクスチャデータにより認識に必要なデータを合成するので、色空間における物体固有の特徴を効率的かつ視覚的に扱いやすい形式で認識装置へ入力できる。
【０００８】
本発明の物体認識装置は、前記カラー画像データ変換手段により、前記画像入力手段によって生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換する場合に、前記カラー画像の赤、緑、青の３原色を表すRGBデータによりXYZ表色系で表されるカラー画像データを生成し、さらに前記XYZ表色系で表されるカラー画像データを均等色空間のカラー画像データへ変換する構成を有している。この構成により、カラー画像の３原色データを均等色空間のカラーデータへ変換するので、物体の色が変化しても、安定して画素間の色差を求めることができる。
【０００９】
本発明の物体認識装置は、前記均等色空間のカラー画像データが国際照明委員会で定められたL*a*b*表色系により表される構成を有している。この構成により、カラー画像の３原色データ（ここでは、XYZ表色系）を国際照明委員会で定められたL*a*b*（エルスター、エースター、ビースター）表色系に変換するので、汎用性の高い物体認識装置を実現できる。
【００１０】
本発明の物体認識装置は、前記均等色空間のカラー画像データが国際照明委員会で定められたL*u*v*表色系により表される構成を有している。この構成により、カラー画像の３原色データ（ここでは、XYZ表色系）を国際照明委員会で定められたL*u*v*（エルスター、ユースター、ブイスター）表色系に変換するので、汎用性の高い物体認識装置を実現できる。
【００１１】
本発明の物体認識装置は、前記物体の認識に必要なデータをユーザとの間で対話的に入出力する対話型入出力手段を備えた構成を有している。この構成により、ユーザが対話的に必要データを識別および選択して入力するので、物体認識の精度をユーザが確認して補うことができる。
【００１２】
本発明の物体認識装置は、前記対話型入出力手段により、前記物体の認識に必要な複数のデータを選択可能に出力し、選択および入力されたデータにより前記物体の認識結果を出力する構成を有している。この構成により、物体を認識するときにユーザが対話的に選択および入力したデータを用いるので、物体認識の精度をユーザが確認して補うことができる。
【００１３】
本発明の物体認識装置は、前記対話型入出力手段に、前記物体の認識に必要な複数のデータを選択可能に音声出力し、選択および入力されたデータにより前記物体の認識結果を音声出力する音声入出力装置を備えた構成を有している。この構成により、必要なデータを選択するときに画面を見間違える危険性が低減されるので、音声出力によらない場合に比べて迅速かつ確実に複数の認識結果から正しいものを選択できる。
【００１４】
本発明の物体認識装置は、前記対話型入出力手段に、タッチパネルを備えた構成を有している。この構成により、必要なデータを選択するときに画面上で実際の物体も同時に確認することになるので、実際の物体を見間違える危険性が減り、タッチパネルを用いない場合に比べて迅速かつ確実に複数の認識結果から正しいものを選択できる。
【００１５】
本発明の物体認識装置は、前記画像入力手段に、前記物体を含むカラー画像から多階調のカラー画像データを生成するテレビカメラを備えた構成を有している。この構成により、テレビカメラで容易に画像入力を行うので、物体認識装置全体の処理が効率化される。
【００１６】
本発明の物体認識装置は、前記画像入力手段に、前記物体を含むカラー画像から多階調のカラー画像データを生成する小型CCDカメラを備えた構成を有している。この構成により、小型CCDカメラは安価で小型軽量なので、ユーザに圧迫感を与えることのない物体認識装置を安価に実現できる。
【００１７】
本発明の物体認識装置は、前記画像入力手段に、前記物体を含むカラー画像から多階調のカラー画像データを生成するハンディ型CCDカメラと、前記ハンディ型CCDカメラを駆動させるボタンとを備え、前記ボタンの押下で前記ハンディ型CCDカメラにより前記カラー画像から多階調のカラー画像データを生成する構成を有している。この構成により、ボタンの押下で物体の任意方向からの画像データを取得するので、ユーザの所望に応じて的確に画像認識を行うことできる。
【００１８】
本発明の物体認識装置は、前記ボタンが押下されたときに、前記ハンディ型CCDカメラによる多階調のカラー画像データに対して物体認識を行う構成を有している。この構成により、ボタンの押下で物体の任意方向からの画像データを任意のタイミングで入力し、物体認識を行うので、ユーザの所望に応じて的確に画像認識を行うことできる。
【００１９】
本発明の物体認識装置は、前記画像入力手段に、前記物体を含むカラー画像から多階調のカラー画像データを生成するハンディ型CCDカメラと、入力された音声により前記ハンディ型CCDカメラを駆動させる音声入力装置とを備え、前記音声入力装置による音声入力で前記ハンディ型CCDカメラにより前記カラー画像から多階調のカラー画像データを生成する構成を有している。この構成により、ボタンが押せないような状況においても、物体の任意方向からの画像データを任意のタイミングで入力し、物体認識を行うので、ユーザの所望に応じて的確に画像認識を行うことできる。
【００２０】
本発明の物体認識装置は、前記カメラが前記物体に対して上方に配置された構成を有している。この構成により、認識対象の物体全体を一度に撮影するので、例えばトレイに載せられた物体の全体画像を一度に認識できる。
【００２１】
本発明の物体認識装置は、前記カメラが前記物体に対して異なる方向に複数配置され、複数のカメラが前記物体を異なる方向から同時に撮影する構成を有している。この構成により、複数の物体が重なっていても異なる方向から同時に撮影するので、例えばトレイ上の複数の物体が上下に重なっていて上方からのみでは死角になる場合でも、死角を作ることなく物体の画像を取得できる。
【００２２】
本発明の物体認識方法は、入力されたカラー画像を量子化して多階調のカラー画像データを生成する第１のステップと、第１のステップで生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換する第２のステップと、第２のステップで変換された前記カラー画像データを投影して色の投影データを作成する第３のステップと、前記第２のステップで変換されたカラー画像データからテクスチャを演算して前記色の投影データと同じ次元のテクスチャの投影データを生成する第４のステップと、を有し、前記色の投影データと前記テクスチャの投影データとにより、前記カラー画像中の物体を認識している。この物体認識方法により、画像の色情報により任意の画素間の色差を演算する機能を実現するので、光源が変動しても安定して画像中の物体の色とテクスチャを抽出し、画像中の物体を認識することができる。
【００２３】
本発明の物体認識方法は、入力されたカラー画像を量子化して多階調のカラー画像データを生成する第１のステップと、第１のステップで生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換する第２のステップと、第２のステップで変換された前記他の３次元色空間における多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影し、得られた三つの平面に対する投影画像により１枚の２次元画像を作成する第３のステップと、第３のステップで作成された２次元画像と第１のステップで生成された多階調のカラー画像とによりテクスチャ画像を作成する第４のステップと、第３のステップで作成された２次元画像と第４のステップで作成されたテクスチャ画像とを合成して１枚の２次元画像を作成する第５のステップと、を有し、第５のステップで作成された２次元画像により物体を認識している。この物体認識方法により、色空間における物体固有の特徴を効率的かつ視覚的に扱いやすい形式で認識装置へ入力する機能を実現するので、物体の認識率を向上させることができる。
【００２４】
本発明の物体認識方法は、入力されたカラー画像を量子化して多階調のカラー画像データを生成する第１のステップと、第１のステップで生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換する第２のステップと、第２のステップで変換された前記他の３次元色空間における多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影して特徴データを作成する第３のステップと、第３のステップで作成された特徴データと第１のステップで生成された多階調のカラー画像とによりテクスチャデータを作成する第４のステップと、第３のステップで作成された特徴データと第４のステップで作成されたテクスチャデータとを合成して一つのデータを作成する第５のステップと、を有し、第５のステップで作成されたデータにより物体を認識している。この物体認識方法により、認識対象の物体の特徴データおよびテクスチャデータが画像の呈をなしていない場合でも、特徴データおよびテクスチャデータにより物体の認識に必要なデータを合成する機能を実現するので、色空間における物体固有の特徴を効率的かつ視覚的に扱いやすい形式で認識装置へ入力できる。
【００２５】
本発明の物体認識方法は、前記第２のステップにおいては、第１のステップで生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換する場合に、前記カラー画像の赤、緑、青の３原色を表すRGBデータによりXYZ表色系で表されるカラー画像データを生成し、さらに前記XYZ表色系で表されるカラー画像データを均等色空間のカラー画像データへ変換している。この物体認識方法により、カラー画像の３原色データを均等色空間のカラーデータへ変換する機能を実現するので、物体の色が変化しても、安定して画素間の色差を求めることができる。
【００２６】
本発明の物体認識方法は、前記均等色空間のカラー画像データが国際照明委員会で定められたL*a*b*表色系により表されている。この物体認識方法により、カラー画像の３原色データを国際照明委員会で定められたL*a*b*表色系に変換する機能を実現するので、汎用性の高いプログラムを記録することができる。
【００２７】
本発明の物体認識方法は、前記均等色空間のカラー画像データが国際照明委員会で定められたL*u*v*表色系により表されている。この物体認識方法により、カラー画像の３原色データを国際照明委員会で定められたL*u*v*表色系に変換する機能を実現するので、汎用性の高いプログラムを記録することができる。
【００２８】
本発明の物体認識方法は、前記物体がドーナツ形になっている。この物体認識方法により、前述のようにカラー画像の３原色データを均等色空間のカラーデータへ変換し、画素間の色差を安定的に算出するので、前述のようにドーナツ形のような見間違い易い物体も認識できる。なお、ドーナツ形の物体を上方から撮像した場合には、物体の外側および中央部に背景の肌理（テクスチャ）が出現し、また光源の照射による影で前記中央部などの輝度がカラー画像データに影響を与えるために、画像中の対象物を識別することが難しい。
【００２９】
本発明の物体認識方法は、前記プログラムで用いられるデータには、対話型入出力手段により対話的に入力されたデータを含んでいる。この物体認識方法により、ユーザが対話的に必要データを識別および選択して入力する機能を実現するので、物体認識の精度をユーザが確認して補うことができる。
【００３０】
本発明の物体認識方法は、前記対話型入出力手段により物体の認識に必要な複数のデータを選択可能に出力し、前記対話型入出力手段により選択および入力されたデータを用いている。この物体認識方法により、ユーザが対話的に必要データを識別および選択して入力し、これに従って物体認識を行う機能を実現するので、物体認識の精度をユーザが確認して補い、さらに精度を高めることができる。
【００３１】
本発明の物体認識方法は、前記物体の認識に必要な複数のデータを選択可能に音声出力している。この物体認識方法により、必要なデータを選択するときに画面を見間違える危険性が減るので、音声出力によらない場合に比べて迅速かつ確実に複数の認識結果から正しいものを選択できる。
【００３２】
本発明の物体認識方法は、前記物体の認識に必要な複数のデータをタッチパネル上に選択可能に表示し、前記タッチパネルにより選択および入力されたデータを用いている。この物体認識方法により、必要なデータを選択するときに画面上で実際の物体も同時に確認することになるので、実際の物体を見間違える危険性が減り、タッチパネルを用いない場合に比べて迅速かつ確実に複数の認識結果から正しいものを選択できる。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
［第１の実施の形態］
図１に示すように、本発明の第１の実施の形態の物体認識装置10は、入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力装置101と、この画像入力装置101により生成された多階調のカラー画像データの色を表す色空間（ここでは、RGB表色系）を、前記色空間と異なる他の色空間（ここでは、XYZ表色系、L*a*b*表色系）に変換するカラー信号変換装置102と、前記カラー信号変換装置102によって変換された前記他の色空間で表される多階調のカラー画像データにより、前記カラー画像の任意の画素間の色差を演算する色差演算装置103と、色差演算装置103によって算出された色差データにより、前記カラー画像中の物体を検出する物体検出装置104と、色差演算装置103によって算出された色差データにより、テクスチャを演算するテクスチャ演算装置105と、物体検出装置104によって検出された物体データとテクスチャ演算装置105によって算出されたテクスチャデータとにより、前記カラー画像中の物体を認識する認識装置106とを備えたものである。なお、前記テクスチャは、規則的な濃淡変化による模様（肌理ともいう）であり、画像中の対象物を識別するために用いられるものである。
【００３４】
本実施の形態の物体認識装置10の制御部には、中央処理装置、表示装置、メモリ、キーボード、CD-ROMドライブを備えている。前記メモリには、物体認識プログラムとオペレーティングシステムが格納されており、前記物体認識プログラムはCD-ROM等の記録媒体からインストールされたものである。前記物体認識プログラムにより、前記中央処理装置は画像入力装置101、カラー信号変換装置102、色差演算装置103、物体検出装置104、テクスチャ演算装置105および認識装置106の動作を制御する。前記表示装置は、例えば、液晶表示ディスプレイから構成されており、３次元画像を表示できるものである。前記キーボードは、物体認識に必要なデータ等の各種情報を入力するものである。なお、前記物体認識プログラムが記録された記録媒体は、CD-ROMに限らず、DVD-ROM、リムーバルディスクなどであってもよい。
【００３５】
次に、前述した物体認識プログラムを説明する。
この物体認識プログラムは、前記中央演算装置（コンピュータに含まれる）に、入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力ステップ（第１のステップに含まれる）と、前記画像入ステップで生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換するカラー信号変換ステップ（第２のステップに含まれる）と、前記カラー信号変換ステップで変換された前記他の色空間における多階調のカラー画像データにより、前記カラー画像の任意の画素間の色差を演算する色差演算ステップ（第３のステップに含まれる）と、前記色差演算ステップで演算された色差データにより、前記カラー画像中の物体を検出する物体検出ステップ（第４のステップに含まれる）と、前記色差演算ステップで算出された色差データにより、テクスチャを演算するテクスチャ演算ステップ（第５のステップに含まれる）と、前記物体検出ステップで検出された物体データと前記テクスチャ演算ステップで算出されたテクスチャデータとにより、前記カラー画像中の物体を認識する認識ステップ（第６のステップに含まれる）とを実行させるものである。
【００３６】
次に、図２および式（１）乃至式（16）を用い、画像入力装置101で入力された画像からカラー信号演算装置102および色差演算装置103によって色差画像204を作成するまでの処理を説明する。
【００３７】
本実施の形態において、画像入力装置101としてカラーの小型CCDカメラを使用した場合に、対象物を撮影したRGB信号は、カラー信号変換装置102によって、RGBデータから均等色空間であるL*a*b*表色系に変換されるが、その際の手順は、以下の通りである。なお、L*a*b*（エルスター、エースター、ビースター）表色系は国際照明委員会（CIE）によって提案された均等色空間の表色系（色を表示する体系）の規格であり、日本工業規格（JIS）に採用されている。
【００３８】
まず、式（１）、式（２）、式（３）によって、対象物を撮影したRGB信号をXYZ表色系に変換する。なお、XYZ表色系は国際照明委員会によって提案された表色系の規格であり、日本工業規格に採用されている。
【数１】
0004247313.tif 000002
【数２】
0004247313.tif 000003
【数３】
0004247313.tif 000004
次いで、それぞれの(X,Y,Z)値を式（４）、式（５）、式（６）に代入して、(L*,a*,b*)値を算出する。
【数４】
0004247313.tif 000005
【数５】
0004247313.tif 000006
【数６】
0004247313.tif 000007
ただし、ここで式（４）、式（５）、式（６）におけるX0,Y0,Z0の値は、次に示す式（７）、式（８）、式（９）の値を用いる。
【数７】
0004247313.tif 000008
【数８】
0004247313.tif 000009
【数９】
0004247313.tif 000010
また、式（５）において、（X/X0）の値が0.008856未満の場合は、次に示す式（10）に示すように、(X/X0)の1/3乗の項を「7.787(X/X0)+(16/116)」に置き換えて計算を行う。
【数１０】
0004247313.tif 000011
同様に、式（５）において、（Y/Y0）の値が0.008856未満の場合は、次式（11）に示すように、(Y/Y0)の1/3乗の項を「7.787(Y/Y0)+(16/116)」に置き換えて計算を行う。
【数１１】
0004247313.tif 000012
また同様に、式（６）において、（Z/Z0）の値が0.008856未満の場合は、次式（12）に示すように、(Z/Z0) の1/3乗の項を「7.787(Z/Z0)+(16/116)」に置き換えて計算を行う。
【数１２】
0004247313.tif 000013
【００３９】
以上の手順により(R,G,B)から(L*,a*,b*)に変換された画像データから、次に色差信号を算出する。
色差信号は、ある画像中の２点間のそれぞれの（L*,a*,b*）値から、次式（13）により算出する。
【数１３】
0004247313.tif 000014
ここで、ΔL*,Δa*,Δb*は、２点の（X,Y,Z）値がそれぞれ(X1,Y1,Z1),(X2,Y2,Z2)であった場合には、次に示す式（14）、式（15）、式（16）によって与えられる。
【数１４】
0004247313.tif 000015
【数１５】
0004247313.tif 000016
【数１６】
0004247313.tif 000017
ただし、（X1/X0）または（X2/X0）の値が0.008856未満の場合は、式（10）に示すように、(X1/X0) の1/3乗または(X2/X0) の1/3乗の項を「7.787(X1/X0)+(16/116)」または「7.787(X2/X0)+16/116」に置き換えて計算を行い、同様に（Y1/Y0）または（Y2/Y0）の値が0.008856未満の場合は、式（11）に示すように、(Y1/Y0) の1/3乗または(Y2/Y0)の1/3乗の項を「7.787(Y1/Y0)+(16/116)」または「7.787(Y2/Y0)+16/116」に置き換えて計算を行い、同様に（Z1/Z0）または（Z2/Z0）の値が0.008856未満の場合は、式（12）に示すように、(Z1/Z0) の1/3乗または(Z2/Z0) の1/3乗の項を「7.787(Z1/Z0)+(16/116)」または「7.787(Z2/Z0)+16/116」に置き換えて計算を行う。
以上のようにして、色差画像204が求められる。
【００４０】
次いで、色差演算装置103により出力された色差信号から物体検出装置104で物体を検出する。これは、色差信号を閾値処理することにより、容易に実現できる。例えば、ΔEabが5以上のもののみを抽出することにより、画像中の物体の輪郭を抽出することができる。
【００４１】
一方で、色差演算装置103により出力された色差信号から、テクスチャ演算装置105によってテクスチャを計算する。これは、例えば「ザ  サーフィス-シェイプ  オペレータ  アンド  マルチスケール  アプローチ  フォー  イメージ  クラシフィケーション，フォンサファップ  スカンヤ，エトセトラ，アイイース  トランス．ファンダメンタル，ボリウム．イー-エイ，ナンバー．８  オーガスト（1998）」（The Surface-Shape Operator and Multiscale Approach for  Image Classification,Phongsuphap SUKANYA,etc.,IEICE TRANS.  FUNDAMENTAL, Vol.E81-A, No.8 AUGUST(1998)）に記載のクランピネス（Clumpiness）とミシビリティ（Miscibility）とを、画像中の物体を識別するためのテクスチャ特徴として用いることにより、実現される。Clumpinessは、テクスチャの塊具合の度合を表し、Miscibilityは、テクスチャのランダムさを表す指標である。すなわち、テクスチャが一定の規則を持っている場合にはClumpinessは大きな値となり、逆にランダムな場合にはMiscibilityが大きな値となる。
【００４２】
例えば、図３に示すような３種類のドーナツを分類する場合を考える。（ａ）は茶色にランダムな模様のあるドーナツ、（ｂ）は茶色に格子状の模様のあるドーナツ、（ｃ）は黒色に格子状の模様のあるドーナツであるとする。
いまこれらを前述のL*a*b*空間へ変換すると、その様子は図４のようになる。2201は（ａ）を変換した結果、2202は（ｂ）を変換した結果、2203は（ｃ）を変換した結果の画素が多く占める概ねの位置を表している。この結果を見ると、2203はL*a*b*空間への変換を行うことにより、容易に2201、2202と分離することが可能であるが、2201と2202は、色情報のみでは分離することが困難であることがわかる。そこで、このような場合は前述のClumpinessとMiscibilityを算出する。すると、（ａ）のドーナツは、テクスチャがランダムに近いので、Miscibilityが大きく、Clumpinessが小さな値となる。一方、（ｂ）のドーナツは、テクスチャが規則的なので、Clumpinessが大きく、Miscibilityが小さくなる。従って、これらの指標を用いることにより、色のみでは分類できない場合も、テクスチャを用いて物体を識別することが可能となる。
【００４３】
さらに、前述したClumpinessとMiscibilityの値を画像1901（図13に示す）として表現する。
ここでは、図３（ｂ）のような比較的規則的なドーナツの画像において、その画像中の任意な20箇所の16×16画素程度の領域に関するClumpinessとMiscibilityを計算し、その数値をそれぞれ８bitの値に正規化して数列とし、上段にClumpiness、下段にMiscibilityを画像表現した。Clumpinessに大きな値が多く、Miscibilityに小さな値が多い様子が、画像として容易に見て取れる。このように、ClumpinessとMiscibilityの値を画像として表現することにより、認識を行う場合に扱い易く、精度のよい識別が可能となる。また、多数の位置に関して計算を行うことにより、より精度の高い識別が可能となる。
なお、求めるテクスチャに関しては、ClumpinessやMiscibilityの他にも、画像の粒状性や規則性を表現する指標であれば、同様に用いることができる。
また、解像度変換を行った複数枚の画像に対してClumpinessとMiscibilityを計算することにより、上記と同様の数列を求め、画像として表現することも可能である。
【００４４】
そして最後に、認識装置106により、前述の物体検出の結果と前述のテクスチャ演算の結果を合わせ、公知の方式（例えば、特開平6-162198号公報や特開2001-14465号公報などに記載の方式）を用いて、あらかじめ蓄積されている既知の物体に関するそれぞれの特徴量との比較を行い、物体が何であるかを認識する。
【００４５】
以上のように、本発明の第１の実施の形態の物体認識装置10（コンピュータに含まれる）は、入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力装置101（画像入力手段に含まれる）と、画像入力装置101により生成された多階調のカラー画像データの色を表す色空間（ここでは、RGB表色系）を、前記色空間と異なる他の色空間（ここでは、XYZ表色系、L*a*b*表色系）に変換するカラー信号変換装置102（カラー画像データ変換手段に含まれる）と、カラー信号変換装置102によって変換された前記他の色空間で表される多階調のカラー画像データにより、前記カラー画像の任意の画素間の色差を演算する色差演算装置103（色差演算手段に含まれる）と、色差演算装置103によって算出された色差データにより、前記カラー画像中の物体を検出する物体検出装置104（物体検出手段に含まれる）と、色差演算装置103によって算出された色差データにより、テクスチャを演算するテクスチャ演算装置105（テクスチャ演算手段に含まれる）と、物体検出装置104によって検出された物体データとテクスチャ演算装置105によって算出されたテクスチャデータとにより、前記カラー画像中の物体を認識する認識装置106（認識手段に含まれる）とを備えているので、画像の色情報を用い、光源が変動しても安定して画像中の物体の色とテクスチャを抽出し、画像中の物体を認識することができる。
【００４６】
なお、上記実施の形態では前記メモリに対してCD-ROMなどの記録媒体から前記物体認識プログラムをインストールする場合について説明したが、本発明は記録媒体のほかに、ネットワークを介して前記物体認識プログラムをインストールしても同様の効果が得られるものである。この場合には、物体認識装置10と所定のサーバとをネットワークで接続できるようにしておき、前記サーバから前記物体認識プログラムをインストールしてもよい。
【００４７】
また、上記実施の形態では均等色空間のカラー画像データが国際照明委員会で定められたL*a*b*表色系により表される場合について説明したが、本発明はL*a*b*表色系のほかに、L*u*v*表色系などを用いても同様の効果が得られるものである。
【００４８】
また、上記実施の形態ではユーザと物体認識装置10との間で対話的に物体認識を行うユーザインタフェースを用いない場合について説明したが、本発明はこのほかに、物体の認識に必要なデータをユーザとの間で対話的に入出力する対話型入出力手段を用いても同様の効果が得られるものである。特に、入力された画像から認識対象の物体を識別するときの最終的な判断をユーザが行うことにより、物体の認識率が改善される。この場合に、前記対話型入出力手段により、物体の認識に必要な複数のデータを選択可能に出力し、選択および入力されたデータにより前記物体の認識結果を出力するようにしてもよい。また、前記対話型入出力手段に、物体の認識に必要な複数のデータを選択可能に音声出力し、選択および入力されたデータにより前記物体の認識結果を音声出力する音声入出力装置を設けてもよい。ここで、音声入出力装置による音声入力により、小型CCDカメラなどで撮影された物体の画像から多階調のカラー画像データを生成するようにしてもよい。さらに、前記対話型入出力手段に、タッチパネルを設けてもよい。
【００４９】
さらに、上記実施の形態では画像入力装置101としてカラーの小型CCDカメラを用いた場合について説明したが、本発明は小型CCDカメラのほかに、テレビカメラ、ハンディ型CCDカメラなどを用いても同様の効果が得られるものである。
【００５０】
［第２の実施の形態］
図５は本発明の第２の実施の形態の画像入力装置の要部を示す。これは第１の実施の形態とは、画像入力装置101に、物体を含むカラー画像から多階調のカラー画像データを生成するハンディ型CCDカメラ1101と、ハンディ型CCDカメラ1101を駆動させるボタン1102とを備え、ボタン1102の押下でハンディ型CCDカメラ1101により前記カラー画像から多階調のカラー画像データを生成する点が相違している。この構成によれば、画像を取得するときに、あらかじめ分かっている物体の特徴的な部分を撮影することにより、以降の物体認識の精度を向上させるという効果も得られる。また、複数の物体を認識するときに、それらを画像処理により分離することが困難な場合においても、ハンディ型CCDカメラ1101を移動させ、あるいは撮影方向を適宜設定することにより分離を間違うことなく、複数の物体を認識できるという効果も得られる。なお、本実施の形態の物体認識装置は、画像入力装置101を除き、第１の実施の形態と概ね同様の構成を有しているために、図１、図２を用いるとともに同一構成には同一符号を付与して説明を省略する。
【００５１】
図５において、画像入力装置101は、認識対象の物体を撮影する小型CCDカメラ1101と、小型CCDカメラ1101の駆動をオン、オフするボタン1102と、小型CCDカメラ1101を把持するための握り1103と、小型CCDカメラ1101により撮影された画像が光電変換され、さらにアナログ・ディジタル変換された画像信号を送信するための信号線1104とから構成されている。また、画像入力装置101は、店頭のレジなどに接続されて用いられる。なお、前記レジは特に限定されないが、例えばPOS（Point Of Sales）システムに適用されるレジであってもよい。ここで、POSシステムは、店頭のバーコード・リーダなどで商品名を確認し、この商品の価格をコンピュータに入力して売上を管理するとともに、商品全体の在庫を管理するものである。
【００５２】
前記レジにおいて、店員は、握り1103を持ち、認識対象の物体の全部または一部を撮影できる位置へ小型CCDカメラ1101を移動させ、ボタン1102を押して撮影を開始し、画像信号を取得する。こうして取得された画像信号は、信号線1104を通じて前記コンピュータなどの処理部へ送られ、第１の実施の形態に準じて前記物体が認識される。前記処理部には、第１の実施の形態のカラー信号変換装置102、色差演算装置103、物体検出装置104、テクスチャ演算装置105および認識装置106の機能を有している。
【００５３】
なお、上記実施の形態では小型CCDカメラ1101により取得された画像信号を処理部へ送信するために信号線1104による信号伝送方式を用いた場合について説明したが、本発明は信号線1104による信号伝送方式のほかに、無線による信号伝送方式などを用いても同様の効果が得られるものである。
【００５４】
［第３の実施の形態］
図６は本発明の第３の実施の形態の要部を示す。これは第２の実施の形態とは、さらに小型CCDカメラ1201（カメラに含まれる）が物体1204に対して上方に配置された点が相違している。この構成によれば、トレイ1203上に載置された撮影対象の物体1204が複数ある場合でも、一度の撮像処理でトレイ1203上の全ての物体を撮影することができ、処理時間を短縮できるという効果も得られる。
【００５５】
図６において、画像入力装置1201は、認識対象の物体を撮影する小型CCDカメラと、前記小型CCDカメラの駆動をオン、オフするボタンと、前記小型CCDカメラを把持するための握りと、前記小型CCDカメラにより撮影された画像が光電変換され、さらにアナログディジタル変換された画像信号を送信するための信号線とから構成されている。また、画像入力装置1201は、レジ1202と、撮像対象の物体を載置するためのトレイ1203と、トレイ1203に載置されているドーナツ形の物体1204とから構成される環境の上方に、トレイ1203および物体1204が前記小型CCDカメラの撮像視野に収まるように固定して設置されている。
【００５６】
レジ1202において、前記ボタンがリモート操作で押下されると、画像入力装置1201はトレイ1203に載置されている物体1204の撮影を開始し、画像信号を取得する。こうして取得された画像信号は、前記信号線を通じてレジ1202の処理部あるいはレジ1202を含むPOSシステムの処理部へ送られ、第１の実施の形態に準じて物体1204が認識される。前記処理部には、第１の実施の形態のカラー信号変換装置102、色差演算装置103、物体検出装置104、テクスチャ演算装置105および認識装置106の機能を有している。また、レジ1202あるいは前記POSシステムには、第１の実施の形態に準じて中央処理装置、表示装置、メモリ、キーボード、CD-ROMドライブを備えている。前記メモリには、物体認識プログラムとオペレーティングシステムが格納されており、前記物体認識プログラムはCD-ROM等の記録媒体からインストールされたものである。前記物体認識プログラムにより、前記中央処理装置はレジ1202あるいは前記POSシステムの動作を制御する。前記表示装置は、例えば、液晶表示ディスプレイから構成されており、３次元画像を表示できるものである。前記キーボードは、物体認識に必要なデータ等の各種情報を入力するものである。なお、前記物体認識プログラムが記録された記録媒体は、CD-ROMに限らず、DVD-ROM、リムーバルディスクなどであってもよい。
【００５７】
また、上記実施の形態では前記小型CCDカメラにより取得された画像信号を処理部へ送信するために信号線による信号伝送方式を用いた場合について説明したが、本発明は信号線による信号伝送方式のほかに、無線による信号伝送方式などを用いても同様の効果が得られるものである。
【００５８】
また、上記実施の形態では画像入力装置1201としてカラーの小型CCDカメラを用いた場合について説明したが、本発明は小型CCDカメラのほかに、テレビカメラ、ハンディ型CCDカメラなどを用いても同様の効果が得られるものである。
【００５９】
なお、本発明は上記実施の形態のほかに、レジ1202のタッチパネルを利用して物体の認識に必要なデータをユーザとの間で対話的に入出力するように構成してもよい。この場合に、前記タッチパネルにより、物体の認識に必要な複数のデータを表示し、表示された複数のデータから選択および入力されたデータにより前記物体を認識し、認識結果を出力するようにしてもよい。また、レジ1202に、音声入出力装置を備えて、物体の認識に必要な複数のデータを音声出力し、音声出力された複数のデータから選択および入力されたデータにより前記物体を認識し、認識結果を音声出力するようにしてもよい。この構成によれば、物体認識の精度をユーザが確認して補うことができる。
【００６０】
［第４の実施の形態］
図７は本発明の第４の実施の形態の要部を示す。これは第３の実施の形態とは、さらに小型CCDカメラ1301、1302、1303（カメラに含まれる）が物体1305に対して異なる方向に複数配置され、複数の小型CCDカメラ1301、1302、1303が物体1305を異なる方向から同時に撮影する点が相違している。この構成によれば、物体1305が重なって、１方向からでは区別できないような場合でも、複数の画像入力装置（ここでは、小型CCDカメラを含む）1301、1302、1303により複数方向から撮像して取得された画像から、物体1305の重なりを判定することが可能となり、誤認識を減らすことができるという効果も得られる。
【００６１】
図７において、画像入力装置1301、1302、1303は、第３の実施の形態に準じ、認識対象の物体を撮影する小型CCDカメラと、前記小型CCDカメラの駆動をオン、オフするボタンと、前記小型CCDカメラを把持するための握りと、前記小型CCDカメラにより撮影された画像が光電変換され、さらにアナログ・ディジタル変換された画像信号を送信するための信号線とから構成されている。また、画像入力装置1301は、レジ1306と、撮像対象の物体を載置するためのトレイ1304と、トレイ1304に載置されている物体1305とから構成される環境の上方に、トレイ1304および物体1305が前記小型CCDカメラの撮像視野に収まるように固定して設置されている。さらに、画像入力装置1303は、トレイ1304の水平方向（図中、左右方向）に、トレイ1304に載置されているドーナツ形の物体1305が、画像入力装置1302と画像入力装置1303に設けられた小型CCDカメラの撮像視野に収まるように固定して設置されている。また、画像入力装置1302は、トレイ1304の水平方向（図中、左右方向）に、トレイ1304に載置されている物体1305が画像入力装置1302と画像入力装置1302に設けられた小型CCDカメラの撮像視野に収まるように固定して設置されている。ここでは、トレイ1304と水平な平面上に画像入力装置1302、1303の二つの小型CCDカメラを180度の関係で配置している。
【００６２】
レジ1306において、画像入力装置1301、1302、1303の前記ボタンが押下されると、画像入力装置1301、1302、1303はトレイ1304に載置されている物体1305の撮影を開始し、画像信号を取得する。こうして取得された画像信号は、前記信号線を通じてレジ1306の処理部あるいはレジ1306を含むPOSシステムの処理部へ送られ、第１の実施の形態に準じて物体1305が認識される。前記処理部には、第１の実施の形態のカラー信号変換装置102、色差演算装置103、物体検出装置104、テクスチャ演算装置105および認識装置106の機能を有している。また、レジ1306あるいは前記POSシステムには、第１の実施の形態に準じて中央処理装置、表示装置、メモリ、キーボード、CD-ROMドライブ、タッチパネル（前記表示装置に含まれる）などを備えている。前記メモリには、物体認識プログラムとオペレーティングシステムが格納されており、前記物体認識プログラムはCD-ROM等の記録媒体からインストールされたものである。前記物体認識プログラムにより、前記中央処理装置はレジ1306あるいは前記POSシステムの動作を制御する。前記表示装置は、例えば、液晶表示ディスプレイから構成されており、３次元画像を表示できるものである。前記キーボードは、物体認識に必要なデータ等の各種情報を入力するものである。なお、前記物体認識プログラムが記録された記録媒体は、CD-ROMに限らず、DVD-ROM、リムーバルディスクなどであってもよい。
【００６３】
なお、上記実施の形態ではトレイ1304の上方に１台の画像入力装置1301を用いた場合について説明したが、本発明はこのほかに、トレイ1304の上方に３台の画像入力装置を用いても同様の効果が得られるものである。この場合に、３台の画像入力装置のそれぞれが120度の位置関係となるように設置することで、より効果的になる。
【００６４】
また、上記実施の形態ではトレイ1304に対して水平方向（左右方向）から２台の画像入力装置1302、1303を用いて撮影した場合について説明したが、本発明はこのほかに、トレイ1304に対して水平方向から１台または３台以上の画像入力装置を用いて撮影した場合についても同様の効果が得られるものである。ここで、複数の画像入力装置を用いる場合には、お互いの死角を打ち消すような位置関係となるように設置することで、より効果的となる。
【００６５】
また、上記実施の形態では前記小型CCDカメラにより取得された画像信号を処理部へ送信するために信号線による信号伝送方式を用いた場合について説明したが、本発明は信号線による信号伝送方式のほかに、無線による信号伝送方式などを用いても同様の効果が得られるものである。
【００６６】
さらに、上記実施の形態では画像入力装置1301、1302、1303としてカラーの小型CCDカメラを用いた場合について説明したが、本発明は小型CCDカメラのほかに、テレビカメラ、ハンディ型CCDカメラなどを用いても同様の効果が得られるものである。
【００６７】
なお、本発明は上記実施の形態のほかに、レジ1306のタッチパネルを利用して物体の認識に必要なデータをユーザとの間で対話的に入出力するように構成してもよい。この場合に、前記タッチパネルにより、物体の認識に必要な複数のデータを表示し、表示された複数のデータから選択および入力されたデータにより前記物体を認識し、認識結果を出力するようにしてもよい。また、レジ1306に、音声入出力装置を設けて、物体の認識に必要な複数のデータを音声出力し、音声出力された複数のデータから選択および入力されたデータにより前記物体を認識し、認識結果を音声出力するようにしてもよい。この構成によれば、物体認識の精度をユーザが確認して補うことができる。
【００６８】
［第５の実施の形態］
図８は本発明の第５の実施の形態の要部を示す。これは第１の実施の形態とは、さらにカラー信号変換装置1402（カラー画像データ変換手段に含まれる）によって変換された他の３次元色空間（ここでは、XYZ表色系、L*a*b*表色系）で表される多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影し、得られた三つの平面に対する投影画像により１枚の２次元画像を作成する特徴画像作成装置1403（２次元画像作成手段に含まれる）と、特徴画像作成装置1403によって作成された２次元画像と画像入力装置1402（画像入力手段に含まれる）によって生成された多階調のカラー画像とによりテクスチャ画像を作成するテクスチャ画像作成装置1404（テクスチャ画像作成手段に含まれる）と、特徴画像作成装置1403によって作成された２次元画像とテクスチャ画像作成装置1404によって作成されたテクスチャ画像とを合成して１枚の２次元画像を作成する画像合成装置1405（２次元画像合成手段に含まれる）と、画像合成装置1405によって作成された２次元画像により物体を認識する認識装置1406（認識手段に含まれる）とを備えた点が相違している。この構成によれば、色空間における物体固有の特徴を効率的かつ視覚的に扱いやすい形式で認識装置1406へ入力することが可能であり、物体の認識率が向上するという効果も得られる。
【００６９】
図８において、画像入力装置1401は、入力されたカラー画像を量子化して多階調のカラー画像データを生成するものである。カラー信号変換装置1402は、画像入力装置1401により生成された多階調のカラー画像データの色を表す３次元色空間（ここでは、RGB表色系）を、前記３次元色空間と異なる他の３次元色空間（ここでは、XYZ表色系、L*a*b*表色系）に変換するものである。
【００７０】
本実施の形態の物体認識装置60の制御部（コンピュータに含まれる）には、中央処理装置、表示装置、メモリ、キーボード、CD-ROMドライブを備えている。前記メモリには、物体認識プログラムとオペレーティングシステムが格納されており、前記物体認識プログラムはCD-ROM等の記録媒体からインストールされたものである。前記物体認識プログラムにより、前記中央処理装置は画像入力装置1401、カラー信号変換装置1402、特徴画像作成装置1403、テクスチャ画像作成装置1404、画像合成装置1405および認識装置1406の動作を制御する。前記表示装置は、例えば、液晶表示ディスプレイから構成されており、３次元画像を表示できるものである。前記キーボードは、物体認識に必要なデータ等の各種情報を入力するものである。なお、前記物体認識プログラムが記録された記録媒体は、CD-ROMに限らず、DVD-ROM、リムーバルディスクなどであってもよい。
【００７１】
次に、前述した物体認識プログラムを説明する。
前記物体認識プログラムは、前記中央演算装置（コンピュータに含まれる）に、入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力ステップ（第１のステップに含まれる）と、前記画像入力ステップで生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換するカラー信号変換ステップ（第２のステップに含まれる）と、前記カラー信号変換ステップで変換された前記他の３次元色空間における多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影し、得られた三つの平面に対する投影画像により１枚の２次元画像を作成する特徴画像作成ステップ（第３のステップに含まれる）と、前記特徴画像作成ステップで作成された２次元画像と前記画像入力ステップで生成された多階調のカラー画像とによりテクスチャ画像を作成するテクスチャ画像作成ステップ（第４のステップに含まれる）と、前記特徴画像作成ステップで作成された２次元画像と前記テクスチャ画像作成ステップで作成されたテクスチャ画像とを合成して1枚の２次元画像を作成する画像合成ステップ（第５のステップに含まれる）と、前記画像合成ステップで作成された２次元画像により物体を認識する認識ステップ（第６のステップに含まれる）とを実行させるものである。
【００７２】
次に、画像入力装置1401からカラー信号変換装置1402によって色信号が出力されるまでの手順について説明する。
まず、画像入力装置1401からカラー信号変換装置1402によって色差信号が出力されるまでの処理の流れを図９に示し、画像入力装置1401で入力された画像からカラー信号演算装置1402によって色画像1503を出力するまでの流れを、図９および第１の実施の形態に示した式（１）乃至式（12）を用いて説明する。
【００７３】
ここで、画像入力装置1401としてカラーの小型CCDカメラを使用した場合に、対象物を撮影して取得されたRGB信号は、カラー信号変換装置1402によって、RGBデータからL*a*b*表色系による均等色空間へ変換されるが、その際の手順は、以下の通りである。
【００７４】
まず、式（１）、式（２）、式（３）によって、前記カラー画像をXYZ表色系に変換する。
次いで、それぞれの(X,Y,Z)値を式（４）、式（５）、式（６）に代入して、(L*,a*,b*)値を算出する。
ただし、ここで式（４）、式（５）、式（６）におけるX0,Y0,Z0の値は、式（７）、式（８）、式（９）の値を用いる。
【００７５】
また、式（４）において、（X/X0）の値が0.008856未満の場合は、式（10）に示すように、(X/X0)の1/3乗の項を「7.787(X/X0)+(16/116)」に置き換えて計算を行う。
【００７６】
同様に、式（５）において、（Y/Y0）の値が0.008856未満の場合は、式（11）に示すように、(Y/Y0)の1/3乗の項を「7.787(Y/Y0)+(16/116)」に置き換えて計算を行う。
また同様に、式（６）において、（Z/Z0）の値が0.008856未満の場合は、式（12）に示すように、(Z/Z0) の1/3乗の項を「7.787(Z/Z0)+(16/116)」に置き換えて計算を行う。
以上のようにして、色信号1503を得ることができる。
【００７７】
次に、特徴画像作成装置1403における処理について、図10、図11、図12を用いて説明する。
特徴画像作成装置1403では、画像からのRGBカラーデータをL*a*b*表色系の３次元カラーデータへ変換する。この変換の例を図10に示す。図10において、入力データ1601はL*a*b*表色系の色空間における入力データを表している。
【００７８】
まず、特徴画像作成装置1403は、L*a*b*表色系の色空間における入力データ1601を入力する。
【００７９】
次いで、特徴画像作成装置1403は、入力データ1601をそれぞれL*-a*平面、L*-b*平面、a*-b*平面へ平行投影する。ここで、投影結果1602は、入力データ1601がL*-a*平面へ投影された様子を表し、投影結果1603は、入力データ1601がL*-b*平面へ投影された様子を表し、投影結果1604は入力データ1601がa*-b*平面へ投影された様子を表している。
【００８０】
次いで、特徴画像作成装置1403は、投影された入力データから、３枚の２次元平面を作成する。図11（ａ）、図11（ｂ）、図11 (c)は、それぞれ作成された２次元平面を示している。
【００８１】
そして最後に、特徴画像作成装置1403は、図11（ａ）、図11（ｂ）、図11 (c)の３枚の２次元平面を結合させ、図12に示すような１枚の２次元の特徴画像1801を作成する。
【００８２】
次に、テクスチャ画像作成装置1404における処理について説明する。
まず、テクスチャ画像作成装置1404では、前述したように画像に対するテクスチャ特徴の指標としてクランピネス（Clumpiness）とミシビリティ（Miscibility）とを算出する。
【００８３】
次いで、算出されたClumpinessおよびMiscibilityの値を、図13に示すような画像1901として表現する。ここでは例えば、出力のClumpiness（Ｃ）とMiscibility（Ｍ）をそれぞれ８bitの値に正規化して数列として画像表現する。
【００８４】
なお、求めるテクスチャに関しては、ClumpinessやMicsibilityの他にも、画像の粒状性や規則性を表現する指標であれば、同様に用いることができる。
【００８５】
次に、画像合成装置1405における処理について、図14を用いて説明する。
画像合成装置1405では、特徴画像作成装置1403と、テクスチャ画像作成装置1404により作成された画像を合成して、１枚の２次元画像を作成する。図14において、合成画像2001は、特徴画像1801とテクスチャ画像1901を合成して作成した画像を表している。これは、両者のデータを結合させることにより、実現できる。この結合の際に、必要に応じて両者のサイズを変更することも可能である。
【００８６】
さらに、前述のように取得された合成画像2001から、認識装置1406により画像中の物体が何であるかを認識する。これは、前述したようにあらかじめ蓄積されている既知の物体に関するそれぞれの特徴量との比較を行うことにより、物体が何であるかを認識するものである。
【００８７】
なお、上記実施の形態では前記メモリに対してCD-ROMなどの記録媒体から前記物体認識プログラムをインストールする場合について説明したが、本発明は記録媒体のほかに、ネットワークを介して前記物体認識プログラムをインストールしても同様の効果が得られるものである。この場合には、物体認識装置60と所定のサーバとをネットワークで接続できるようにしておき、前記サーバから前記物体認識プログラムをインストールしてもよい。
【００８８】
また、上記実施の形態では均等色空間のカラー画像データが国際照明委員会で定められたL*a*b*表色系により表される場合について説明したが、本発明はL*a*b*表色系のほかに、L*u*v*表色系などを用いても同様の効果が得られるものである。
【００８９】
また、上記実施の形態ではユーザと物体認識装置60との間で対話的に物体認識を行うユーザインタフェースを用いない場合について説明したが、本発明はこのほかに、物体の認識に必要なデータをユーザとの間で対話的に入出力する対話型入出力手段を用いても同様の効果が得られるものである。特に、入力された画像から認識対象の物体を識別するときの最終的な判断をユーザが行うことにより、物体の認識率が改善される。この場合に、前記対話型入出力手段により、物体の認識に必要な複数のデータを選択可能に出力し、選択および入力されたデータにより前記物体の認識結果を出力するようにしてもよい。また、前記対話型入出力手段に、物体の認識に必要な複数のデータを選択可能に音声出力し、選択および入力されたデータにより前記物体の認識結果を音声出力する音声入出力装置を設けてもよい。ここで、音声入出力装置による音声入力により、小型CCDカメラなどで撮影された物体の画像から多階調のカラー画像データを生成するようにしてもよい。さらに、前記対話型入出力手段に、タッチパネルを設けてもよい。
【００９０】
また、上記実施の形態では画像入力装置1401としてカラーの小型CCDカメラを用いた場合について説明したが、本発明は小型CCDカメラのほかに、テレビカメラ、ハンディ型CCDカメラなどを用いても同様の効果が得られるものである。
【００９１】
さらに、上記実施の形態では特徴画像とテクスチャ画像とを用いて認識を行う場合について説明したが、本発明はこのほかに、データが画像の体をなしておらず、単なるデータ列である場合に適用しても同様の効果が得られるものである。
【００９２】
この場合には、例えば物体認識装置（コンピュータに含まれる）に、入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力装置1401（画像入力手段に含まれる）と、画像入力装置1401により生成された多階調のカラー画像データの色を表す３次元色空間を、前記３次元色空間と異なる他の３次元色空間に変換するカラー信号変換装置1402（カラー画像データ変換手段に含まれる）と、カラー信号変換装置1402によって変換された前記他の３次元色空間における多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影して特徴データを作成する特徴データ作成装置（特徴データ作成手段に含まれる）と、前記特徴データ作成装置によって作成された特徴データと画像入力装置1401によって生成された多階調のカラー画像とによりテクスチャデータを作成するテクスチャデータ作成装置（テクスチャデータ作成手段に含まれる）と、前記特徴データ作成装置によって作成された特徴データと前記テクスチャデータ作成装置によって作成されたテクスチャデータとを合成して一つのデータを作成するデータ合成装置（データ合成手段に含まれる）と、前記データ合成手段によって作成されたデータにより物体を認識する認識装置（認識手段に含まれる）とを備える。
【００９３】
また、前述の物体認識装置の制御部には、中央処理装置、表示装置、メモリ、キーボード、CD-ROMドライブを備えている。前記メモリには、物体認識プログラムとオペレーティングシステムが格納されており、前記物体認識プログラムはCD-ROM等の記録媒体からインストールされたものである。前記物体認識プログラムにより、前記中央処理装置は画像入力装置1401、カラー信号変換装置1402、前記特徴データ作成装置、前記テクスチャデータ作成装置、前記データ合成装置および前記認識装置の動作を制御する。前記表示装置は、例えば、液晶表示ディスプレイから構成されており、３次元画像を表示できるものである。前記キーボードは、物体認識に必要なデータ等の各種情報を入力するものである。なお、前記物体認識プログラムが記録された記録媒体は、CD-ROMに限らず、DVD-ROM、リムーバルディスクなどであってもよい。
【００９４】
また、前記物体認識プログラムは、前記中央処理装置に、入力されたカラー画像を量子化して多階調のカラー画像データを生成する画像入力ステップ（第１のステップに含まれる）と、前記画像入力ステップで生成された多階調のカラー画像データの色を表す色空間を、前記色空間と異なる他の色空間に変換するカラー信号変換ステップ（第２のステップに含まれる）と、前記カラー信号変換ステップで変換された前記他の３次元色空間における多階調のカラー画像データにより、前記カラー画像を前記他の３次元色空間のそれぞれの面へ投影して特徴データを作成する特徴データ作成ステップ（第３のステップに含まれる）と、前記特徴データ作成ステップで作成された特徴データと前記画像入力ステップで生成された多階調のカラー画像とによりテクスチャデータを作成するテクスチャデータ作成ステップ（第４のステップに含まれる）と、前記特徴データ作成ステップで作成された特徴データと前記テクスチャデータ作成テップで作成されたテクスチャデータとを合成して一つのデータを作成するデータ合成ステップ（第５のステップに含まれる）と、データ合成ステップで作成されたデータにより物体を認識する認識ステップ（第６のステップに含まれる）とを実行させるものである。
【００９５】
【発明の効果】
以上説明したように、本発明は入力されたカラー画像の色差画像を作成し、前記カラー画像の色差データと前記色差データから得られるテクスチャデータを用いることにより、光源が変動しても安定して画像中の物体の色とテクスチャを抽出し、画像中の物体を認識することができるという優れた効果を有する物体認識装置および物体認識方法を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の物体認識装置を示すブロック図
【図２】本発明の第１の実施の形態の入力データから色差画像を出力するまでのデータの流れを示すブロック図
【図３】本発明の第１の実施の形態で認識される物体（ドーナツ）を示す図
【図４】本発明の第１の実施の形態で用いられるL*a*b*空間への変換を示す説明図
【図５】本発明の第２の実施の形態の画像入力装置を示す説明図
【図６】本発明の第３の実施の形態の画像入力装置を示す説明図
【図７】本発明の第４の実施の形態の画像入力装置を示す説明図
【図８】本発明の第５の実施の形態の物体認識装置を示すブロック図
【図９】本発明の第５の実施の形態の入力データから色信号を出力するまでのデータの流れを示すブロック図
【図１０】本発明の第５の実施の形態の色空間中のデータの様子と、投影の様子を示す説明図
【図１１】本発明の第５の実施の形態の２次元平面に投影された色空間中のデータを示す説明図
【図１２】本発明の第５の実施の形態の３枚の投影された平面を結合させた様子を示す説明図
【図１３】本発明の第５の実施の形態の画像のテクスチャ解析の結果を画像化した様子を示す説明図
【図１４】本発明の第５の実施の形態の特徴画像とテクスチャ画像を合成した様子を示す説明図
【符号の説明】
101、1101、1201、1301、1302、1303、1401  画像入力装置
102、1402  カラー信号演算装置
103  色差演算装置
104  物体検出装置
105  テクスチャ演算装置
106、1406  認識装置
204  色差画像
1102  ボタン
1103  握り
1104  信号線
1202、1306  レジ
1203、1304  トレイ
1204、1305  物体
1403  特徴画像作成装置
1404  テクスチャ画像作成装置
1405  画像合成装置
1503  色画像
1601  入力データ
1602  入力データのL*-b*平面への投影（投影結果）
1603  入力データのL*-b*平面への投影（投影結果）
1604  入力データのa*-b*平面への投影（投影結果）
1801  特徴画像
1901  テクスチャ画像
2001  合成画像
2201、2202、2203  L*a*b*空間への変換結果
【図１】
0004247313.tif 000018
【図２】
0004247313.tif 000019
【図３】
0004247313.tif 000020
【図４】
0004247313.tif 000021
【図５】
0004247313.tif 000022
【図６】
0004247313.tif 000023
【図７】
0004247313.tif 000024
【図８】
0004247313.tif 000025
【図９】
0004247313.tif 000026
【図１０】
0004247313.tif 000027
【図１１】
0004247313.tif 000028
【図１２】
0004247313.tif 000029
【図１３】
0004247313.tif 000030
【図１４】
0004247313.tif 000031