(57)【要約】【課題】任意の色の物体を認識でき、認識対象物と背景が同系色であっても認識ができ、かつ処理速度が速い物体認識装置を提供する。【解決手段】物体認識装置は、カラー画像の複数の色成分情報を抽出し、抽出された複数の色成分情報と、該色成分情報に対応する複数の閾値に基づいて、カラー画像から複数の２値化画像を生成し、生成された２値化画像に含まれる領域をカラー画像から抽出し、抽出された領域に基づいて、該領域における物体を認識する。【選択図】図２
2013054547.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像から任意の物体を認識する物体認識装置であって、
前記カラー画像の複数の色成分情報を抽出する抽出手段と、
前記抽出手段によって抽出された複数の色成分情報と、該色成分情報に対応する複数の閾値に基づいて、前記カラー画像から複数の２値化画像を生成する生成手段と、
前記生成手段により生成された２値化画像に含まれる領域を前記カラー画像から抽出する領域抽出手段と、
前記領域抽出手段により抽出された領域に基づいて、該領域における物体を認識する認識手段と、
を備えることを特徴とする物体認識装置。
【請求項２】
前記抽出手段は、前記カラー画像から色相・彩度・明度・輝度・色差（赤）・色差（青）の色成分情報を抽出する手段であることを特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記認識手段は、認識された物体の精度を確認し、一定以上の精度を持つ物体を認識した場合、物体認識をこれ以上行わないことを特徴とする請求項１または２に記載の物体認識装置。
【請求項４】
前記認識手段は、前記領域の形状、および前記領域内の一定部分の図柄に基づいて領域の物体認識処理を行うことを特徴とする請求項１から３のいずれか１項に記載の物体認識装置。
【請求項５】
各種の画像パターンを記憶するパターン記憶部をさらに備え、
前記認識手段は、前記パターン記憶部から取得するパターンの組み合わせに従って、認識する物体の種類を特定することを特徴とする請求項１から４のいずれか１項に記載の物体認識装置。
【請求項６】
前記認識手段は、前記抽出した領域内の予め決められた領域を使用して認識処理をすることを特徴とする請求項１から５のいずれか１項に記載の物体認識装置。
【請求項７】
前記認識手段は、前記抽出した領域内の重心を中心とする一定部分、または領域内の最も色情報のコントラストの高い一定領域を使用して認識処理することを特徴とする請求項１から６のいずれか１項に記載の物体認識装置。
【請求項８】
カラー画像から任意の物体を認識する物体認識方法であって、
前記カラー画像の複数の色成分情報を抽出する抽出ステップと、
前記抽出ステップによって抽出された複数の色成分情報と、該色成分情報に対応する複数の閾値に基づいて、前記カラー画像から複数の２値化画像を生成する生成ステップと、
前記生成ステップにより生成された２値化画像に含まれる領域を前記カラー画像から抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出された領域に基づいて、該領域における物体を認識する認識ステップと、
を含むことを特徴とする物体認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色情報を用いて、軽量高速に、カラー画像中の任意の色の物体を認識する認識装置および認識方法に関するものである。
【背景技術】
【０００２】
特許文献１と非特許文献１は、カラー画像から標識および道路標識を認識する方法を開示している。これらは、色成分情報に基づいて認識を行うので処理速度が速い特徴を有している。しかしながら、認識対象の物体の色が、特許文献１では、赤・青・黄・白・黒と、非特許文献１では、赤・青・黄と予め決まっている。また、両方とも認識対象物と背景が同系色の場合、認識ができない。
【０００３】
非特許文献２は、カラー画像から広告看板を認識する方法を開示している。これは、任意の色の物体を認識でき、認識対象物と背景が同系色であっても認識ができる。しかしながら、エッジに基づく局所不変特徴量を抽出して、広告看板を認識するので処理速度が遅い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２１３１２７号公報
【非特許文献】
【０００５】
【非特許文献１】莫 舸舸、青木 由直「カラー画像における道路標識の認識」、電子情報通信学会論文誌.D-II2124-2135, 2004-12-01
【非特許文献２】市村 直幸「局所不変特徴量に基づく複数広告看板の認識」、情報処理学会研究報告.CVIM,2005,123-130,2005-11-17
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のように、従来技術の中には、
・処理速度が速い。
・任意の色の物体を認識できる。
・認識対象物と背景が同系色であっても認識ができる。
のすべての条件を満たす認識装置および認識方法は存在しなかった。
【０００７】
したがって、本発明は、任意の色の物体を認識でき、認識対象物と背景が同系色であっても認識ができ、かつ処理速度が速い物体認識装置および物体認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を実現するため本発明による物体認識装置は、カラー画像から任意の物体を認識する物体認識装置であって、前記カラー画像の複数の色成分情報を抽出する抽出手段と、前記抽出手段によって抽出された複数の色成分情報と、該色成分情報に対応する複数の閾値に基づいて、前記カラー画像から複数の２値化画像を生成する生成手段と、前記生成手段により生成された２値化画像に含まれる領域を前記カラー画像から抽出する領域抽出手段と、前記領域抽出手段により抽出された領域に基づいて、該領域における物体を認識する認識手段とを備える。
【０００９】
また、前記抽出手段は、前記カラー画像から色相・彩度・明度・輝度・色差（赤）・色差（青）の色成分情報を抽出する手段であることも好ましい。
【００１０】
また、前記認識手段は、認識された物体の精度を確認し、一定以上の精度を持つ物体を認識した場合、物体認識をこれ以上行わないことも好ましい。
【００１１】
また、前記認識手段は、前記領域の形状、および前記領域内の一定部分の図柄に基づいて領域の物体認識処理を行うことも好ましい。
【００１２】
また、各種の画像パターンを記憶するパターン記憶部をさらに備え、前記認識手段は、前記パターン記憶部から取得するパターンの組み合わせに従って、認識する物体の種類を特定することも好ましい。
【００１３】
また、前記認識手段は、前記抽出した領域内の予め決められた領域を使用して認識処理をすることも好ましい。
【００１４】
また、前記認識手段は、前記抽出した領域内の重心を中心とする一定部分、または領域内の最も色情報のコントラストの高い一定領域を使用して認識処理することも好ましい。
【００１５】
上記目的を実現するため本発明による物体認識方法は、カラー画像から任意の物体を認識する物体認識方法であって、前記カラー画像の複数の色成分情報を抽出する抽出ステップと、前記抽出ステップによって抽出された複数の色成分情報と、該色成分情報に対応する複数の閾値に基づいて、前記カラー画像から複数の２値化画像を生成する生成ステップと、前記生成ステップにより生成された２値化画像に含まれる領域を前記カラー画像から抽出する領域抽出ステップと、前記領域抽出ステップにより抽出された領域に基づいて、該領域における物体を認識する認識ステップとを含む。
【発明の効果】
【００１６】
本発明に係る物体認識装置および物体認識方法を使用すれば、カラー画像より任意の色の物体を認識する際の認識性能を向上させることができる。また、本発明では色成分による絞り込み技術を利用して物体の抽出を行っているため、既存のエッジに基づく局所不変特徴量を利用したアルゴリズムを使用した場合と比較して解像度の低い原画像に対しても、認識精度を高く保ったまま軽量高速に認識処理を行うことができる。
【００１７】
従って、スマートフォン等に比較して処理能力の低い、従来のフィーチャーフォンに対しても実装が可能である。その結果従来のフィーチャーフォンでも画像認識を利用した拡張現実アプリを楽しむことができるようになる。
【図面の簡単な説明】
【００１８】
【図１】本発明の機能構成図を示す。
【図２】本発明の処理フローチャートを示す。
【図３】２値化画像からの領域抽出の例を示す。
【発明を実施するための形態】
【００１９】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。まず、図１を参照して、本実施形態における物体認識装置１の機能構成を説明する。図１に示すように物体認識装置１は、色空間変換部１１、２値化画像生成部１２、領域抽出部１３、物体認識部１４、カラー画像記憶部２０、閾値データ記憶部２１、パターン記憶部２２を有する。物体認識装置１は、カラー画像から任意の看板やロゴといった物体を認識した場合に、その物体に関連する関連情報を使用者に提示する。
【００２０】
色空間変換部１１は、カラー画像記憶部２０に格納されているカラー画像を入力し、色空間を変換する。例えば、ＲＧＢによるカラー画像を、ＨＳＶ（Hue Saturation Value）変換、およびＹＣｂＣｒ（Luminance Chrominance-red Chrominance-blue）変換を用いて、色相・彩度・明度の各色成分情報を有するカラー画像、および輝度・色差の各色成分情報を有するカラー画像に変換する。
【００２１】
２値化画像生成部１２は、色空間変換部１１で変換したカラー画像に対し、閾値データ記憶部２１から取得した色成分情報に対応する閾値を用いて、カラー画像から２値化画像を生成する。
【００２２】
領域抽出部１３は、２値化画像生成部１２で生成した２値化画像に対してラべリング処理を行い、２値化画像内の領域を抽出する。さらに、カラー画像の同位置から、物体認識用の領域を抽出する。
【００２３】
物体認識部１４は、領域抽出部１３で取得した物体認識用の領域と、パターン記憶部２２から取得したパターンとを比較して物体認識を行う。領域とパターンを比較する方法は、例えば相互相関係数や差分の２乗和や差分の絶対値和を用いたテンプレートマッチングであってもよい。
【００２４】
カラー画像記憶部２０は、デジタルカメラ、携帯電話のカメラ機能、ＣＭＯＳカメラ等により撮影されたカラー画像を格納する。
【００２５】
閾値データ記憶部２１は、色空間変換部１１により変換された色成分に対応する複数の閾値を格納する。閾値は、単一もしくは複数の色成分に対して設定される。
【００２６】
パターン記憶部２２は、各種の画像パターンを記憶する。例えば、看板、標識の画像パターンが記憶される。
【００２７】
次に図２を参照して本実施形態における物体認識装置１の動作を説明する。
【００２８】
ステップＳ１：物体認識装置１の色空間変換部１１が、カラー画像をカラー画像記憶部２０より取得する。
【００２９】
ステップＳ２：次に、色空間変換部１１は、取得したカラー画像の色空間を変換する。例えばＲＧＢによるカラー画像を色相・彩度・明度、および輝度・色差（赤）・色差（青）の各色成分情報を有するカラー画像に変換する。
【００３０】
ステップＳ３：次に２値化画像生成部１２は、閾値データ記憶部２１より、単一もしくは複数の色成分に対応する閾値を取得する。
【００３１】
ステップＳ４：２値化画像生成部１２は、色空間変換部１１で色変換されたカラー画像に含まれる色成分情報に基づいて、閾値（例えばＳ（彩度）＝９０）と、カラー画像内の個々の画素値を比較して、その結果を０または１の画素値として２値化画像を生成する。図３（ａ）は、ここで生成される２値化画像の例を示す。複数の色成分に対する閾値（例えば、Ｓ（彩度）＝９０、Ｖ（明度）＝５０）の場合は、画素値の彩度と明度をそれぞれの閾値を比較して、その結果より２値化画像を生成する。
【００３２】
なお。本判定で使用する閾値とは、色相・彩度・明度・輝度・色差（赤）・色差（青）の各色成分情報に対して０〜２５５の任意の画素値を設定した値であり、単一もしくは複数の色成分情報と組み合わせて設定する。
【００３３】
ステップＳ５：領域抽出部１３では、ステップＳ４において生成した２値化画像に対してラべリング処理を行い、領域を抽出する。図３（ｂ）は、ラべリング処理および抽出された領域の例を示す。
【００３４】
ステップＳ６：領域抽出部１３は、ステップＳ１で取得したカラー画像から、ステップＳ５で抽出した領域と同位置にある領域を抽出する。
【００３５】
ステップＳ７：次に、物体認識部１４は、ステップＳ６で抽出した領域とパターン記憶部２２から取得したパターンを比較して、物体認識を行う。ステップＳ７では、領域の形や、領域内の予め決められた部分の図柄に基づいて物体認識を行う。物体認識の方法は、例えば相互相関係数や差分の２乗和や差分の絶対値和を用いたテンプレートマッチングであってもよい。
【００３６】
さらに、ステップＳ７では、領域内の予め決められた部分として、領域内の重心を中心とする一定部分や、領域内の最も色情報のコントラストの高い部分を使用することができる。
【００３７】
さらに、ステップＳ７では、パターン記憶部２２から取得するパターンの組み合わせに従って、認識対象とする物体の種類（例：銀行のロゴ、携帯キャリアのロゴ等）を特定することができる。
【００３８】
ステップＳ８：全ての閾値での物体認識が終了したか否かを確認する。終了した場合、物体認識処理は終了する。終了しない場合、ステップＳ３に戻り、別な閾値を取得して、再度物体認識を行う。このように、本実施形態の物体認識装置１では、ステップＳ３からステップＳ７までの処理を、異なる閾値を用いて複数回実行する。これにより、カラー画像より、複数色の物体を抽出することができる。ここで、終了条件の例として、閾値の個数（＝ｎ）回実行された、またはステップＳ７で物体認識が一定の精度以上で行われた場合等がある。
【００３９】
以上のように、本発明の物体認識装置１で、明度・輝度等の複数の色成分情報に対して、複数の閾値を用いることにより、任意の物体に対して照明状況が異なる場合でも安定して物体認識を行うことができる。特に、輝度・色差の色成分を用いているため、照明の影響を受けにくい。このため、従来技術では、照明の影響および光の角度により認識できない場合でも、本発明では、物体を安定して認識できる。
【００４０】
また、カラー画像から特徴点を抽出することなく、色成分を用いて、認識処理を行っているため、高速に行うことが可能である。
【００４１】
また、ステップＳ３において、認識対象とする領域の外枠部分と背景部分の境界値を閾値として設定された場合、前記領域を同系色の背景より抽出することができる。また、複数の色成分情報、および複数の閾値を用いているため、従来技術よりも認識精度を向上させることができる。
【００４２】
なお、ステップＳ７は、単一もしくは複数の色成分情報に対して、複数の閾値で実行されるため、複数の物体が認識される場合がある。この場合、例えばテンプレートマッチングの有効度が一定水準以上または最も高い物体を、カラー画像中の物体と認識することもできる。
【００４３】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【符号の説明】
【００４４】
１  物体認識装置
１１  色空間変換部
１２  ２値化画像生成部
１３  領域抽出部
１４  物体認識部
２０  カラー画像記憶部
２１  閾値データ記憶部
２２  パターン記憶部
【図１】
2013054547.tif 000003
【図２】
2013054547.tif 000004
【図３】
2013054547.tif 000005