(57)【要約】【課題】対象物体の認識を比較的容易に行うことができ、誤認識を少なくしてリアルタイムの処理が可能とした画像認識入力装置を提供する。【解決手段】物体情報抽出回路３１により抽出された物体情報を、色情報記憶部３２の各色情報及び色組合せ情報記憶部３３の各色組合せ情報と比較して対象物体５の単色部分の色組合せの情報を比較回路３４により特定し、マイクロコンピュータ４により最初のフレームの対象物体の単色部分の色組合せの情報から対象物体を認識した上で、特定された二番目以降のフレームの対象物体５の単色部分の色組合せの情報からコマンド情報を認識し、コマンド情報に対応した入力処理を行う。【選択図】図１
2007286932.tif 000002
【特許請求の範囲】
【請求項１】
２つ以上の異なる単色部分に色分けされ、単色部分の各々の色を変更可能な対象物体の撮像によってフレーム単位で得られる画像データから対象物体の物体情報を抽出する物体情報抽出部と、単色部分のすべての色に対応した色の情報を記憶する色情報記憶部と、単色部分のあらゆる色の組合せ情報を記憶する色組合せ情報記憶部と、物体情報抽出部により抽出された物体情報を、色情報記憶部の各色情報及び色組合せ情報記憶部の各色組合せ情報と比較して対象物体の単色部分の色組合せの情報を特定する比較部と、比較部により特定された最初のフレームの対象物体の単色部分の色組合せの情報から対象物体を認識した上で、比較部により特定された二番目以降のフレームの対象物体の単色部分の色組合せの情報からコマンド情報を認識し、コマンド情報に対応した入力処理を行う制御部と、を備えたことを特徴とする画像認識入力装置。
【請求項２】
前記対象物体の単色部分の色は、メカニカル機構により変更されることを特徴とする請求項１に記載の画像認識入力装置。
【請求項３】
前記対象物体の単色部分の色は、電気的な機構により変更されることを特徴とする請求項１に記載の画像認識入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子を使用した玩具装置、ゲーム機、携帯電話などに用いられ、撮影したカラー画像から対象物体の少なくとも位置と色を認識し、操作入力を画像認識により可能とする入力インターフェース（画像認識入力装置）に関するものである。
【背景技術】
【０００２】
従来、ゲーム機や携帯電話の操作入力としてキーやジョイスティックや音声入力が使用されていたがＣＣＤセンサーやＣＭＯＳイメージャ等を使用したカメラモジュールが低価格になり玩具やゲーム機、携帯電話等で撮像素子が使用されることが多くなってきた。
【０００３】
撮像素子を入力インターフェース用に使用するために画像データから操作者の動きを認識する技術が提案されている。たとえば、物体の動きを認識するために、画像データから過去と現在との異なる部分を抽出して差分の演算を行うことにより物体の動きを認識する物体認識装置が開示されている（特許文献１）。
【０００４】
また、撮像したカラー画像から輝度信号Ｙと２つの色差信号Ｕ，Ｖを算出して対象物体の位置と色の認識を行うことにより、周囲明度の変化に影響されないようにした画像認識装置（特許文献2）や画像処理のメモリを削減した物体情報処理装置（特許文献３）が開示されている。
【特許文献１】特開平６−２６６８４１号公報
【特許文献２】特開２００３−３４８５７６号公報
【特許文献３】特開２００４−１９２５８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、物体の特徴を抽出処理、静止物体の認識処理、背景データの算出処理等に大容量データを格納するためのメモリが必要になる。
【０００６】
また、それらの処理に要する演算量も多く、リアルタイムで処理を行うために高速演算回路が必要になる。このため高い価格の製品になる。
【０００７】
また、特許文献２や特許文献３に提案された装置では、撮像のカラー画像データに対象物体に近い色が周辺にあると誤認識してしまう問題があった。また、これらの装置を入力インターフェースに使用した場合、位置情報と色情報から動作の判断をさせるためには、ある一定時間以上同じ位置に対象物体があるか否かで判断するか、対象物体の位置の軌道を基に判断させる必要があり、数回以上の画像認識判断が必要となって判断時間が掛かるため、リアルタイムの対応が困難であった。
【０００８】
本発明は、上記の問題に鑑みてなされたもので、対象物体の認識を比較的容易に行うことができ、誤認識を少なくしてリアルタイムの処理が可能とした画像認識入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明は、２つ以上の異なる単色部分に色分けされ、単色部分の各々の色を変更可能な対象物体の撮像によってフレーム単位で得られる画像データから対象物体の物体情報を抽出する物体情報抽出部と、単色部分のすべての色に対応した色の情報を記憶する色情報記憶部と、単色部分のあらゆる色の組合せ情報を記憶する色組合せ情報記憶部と、物体情報抽出部により抽出された物体情報を、色情報記憶部の各色情報及び色組合せ情報記憶部の各色組合せ情報と比較して対象物体の単色部分の色組合せの情報を特定する比較部と、比較部により特定された最初のフレームの対象物体の単色部分の色組合せの情報から対象物体を認識した上で、比較部により特定された二番目以降のフレームの対象物体の単色部分の色組合せの情報からコマンド情報を認識し、コマンド情報に対応した入力処理を行う制御部と、を備えたことを特徴とする。
【００１０】
対象物体の単色部分の色の変更は、例えば、メカニカル機構や電気的な機構により行うことができる。特にメカニカルな機構によると、コントロールリモコン等に必要な乾電池も不要となる。
【発明の効果】
【００１１】
本発明によると、対象物体の認識を比較的容易に行うことができ、誤認識を少なくしてリアルタイムの処理が可能となる。また、撮像素子を付加した製品あるいは内蔵した製品において色のついた対象物体により入力操作ができるため、キーやジョイスティック等のコントローラが不要になる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の画像認識装置及び画像認識入力装置の実施形態を図面を参照して説明する。
【００１３】
図１は、本発明に係る画像認識入力装置の要部構成の一例を示すブロック図である。図１において、画像認識入力装置１は、画像データ入力装置であるカメラモジュール２と、物体情報処理装置としての物体情報特定用ＬＳＩ３と、カメラモジュール２及び物体情報特定用ＬＳＩ３を制御する制御装置であるマイクロコンピュータ４とを備えている。
【００１４】
カメラモジュール２は、レンズ２１、撮像素子であるＣＭＯＳイメージャ２２及び画像処理用ＤＳＰ２３によって構成されている。カメラモジュール２で撮像された対象物体５の画像データ（色情報、位置情報）を１フレーム毎に、物体情報特定用ＬＳＩ３に送信する。画像データは、カメラモジュールのフレームレートにより異なるが、通常は３０フレーム／秒程度で送信される。ここで、色情報とは、例えば、３原色の色信号Ｒ，Ｇ，Ｂや、これら色信号から算出される輝度信号Ｙ及び２つの色差信号Ｕ，Ｖ等を意味する。位置情報とは、例えば、同じ色相で連続する画素数やこのときの垂直ラインカウンタ、水平ラインカウンタ等を意味する。
【００１５】
図２は、入力に使用する対象物体５の構造の一例の外観図及び正面図であり、スイッチＯＦＦ状態（ａ）及びスイッチＯＮ状態（ｂ）をそれぞれ示すものである。本実施形態では、中空の円柱形の枠体５１を用い、その一端面に認識用色分け部５２を規定している。具体的には、対象物体５の一端面の中心には、丸穴５１ａが貫通して設けられており、この丸穴５１ａの内側領域である中心部５２１とその周囲部５２２とが異なる色に色分けされる２つの単色部分として構成されることにより、認識用色分け部５２が形成される。この例では、２つの単色部分のうち、周囲部５２２の色を赤色で不変、中心部５２１の色を黄色と緑色の間で可変に設定している。なお、本実施形態では、説明を簡単にするため、周囲部５２２の色を不変としたが、色を可変にしても構わない。
【００１６】
図３は、対象物体５の認識用色分け部５２の中心部５２１の色を可変させるメカニカルな機構の一例の縦断面図であり、スイッチＯＦＦ状態（ａ）及びスイッチＯＮ状態（ｂ）をそれぞれ示すものである。対象物体５は、図３（ａ）に示すように、枠体５１内に、レバー部材５３を一端部で揺動可能に支持している。レバー部材５３の他端に、球体の表面全体に色を付した黄色球体５６、緑色球体５７を上下２段に重ねて取り付けている。また、枠体５１の天井部には、押しボタン式のスイッチ部材５４が貫通している。スイッチ部材５４の下端はレバー部材５３の上面に当接しており、レバー部材５３の下面と枠体５１の内側底部との間に配置された圧縮バネ５５により、スイッチ部材５４は常に上方に付勢されている。
【００１７】
この構成で、スイッチ部材５４が押下されないときを、スイッチＯＦＦ状態とし、スイッチ部材５４が押下されたときを、スイッチＯＮ状態とする。そうすると、スイッチＯＦＦ状態では、丸穴５２ａから黄色球体５６が臨むため、認識用色分け部５２は、周囲部５２２の赤の中に中心部５２１の黄色が色分けされた状態となり、スイッチＯＮ状態では、丸穴５２ａから緑色球体５７が臨むため、認識用色分け部５２の周囲部５２２の赤の中に中心部５２１の緑色が色分けされた状態となる。
【００１８】
図４は、対象物体の認識用色分け部の中心部の色を可変させる電気的な機構の一例の縦断面図であり、スイッチＯＦＦ状態（ａ）及びスイッチＯＮ状態（ｂ）を示すものである。これらの図において、上記のメカニカルな機構の対象物体と同一の部分には同一符号を附して説明を省略する。
【００１９】
枠体５１の内部には、上記レバー部材５３、黄色球体５６及び緑色球体５７（図３参照）に替えて、スイッチ板５８、乾電池５９、黄色ＬＥＤ５６’及び緑色ＬＥＤ５７’が配設されている。これらは、図５に示すような回路を構成している。
【００２０】
この構成で、スイッチ部材５４が押下されないときを、スイッチＯＦＦ状態、スイッチ部材５４が押下されたときを、スイッチＯＮ状態とする。そうすると、スイッチＯＦＦ状態では、黄色ＬＥＤ５６’を点灯させる閉回路を形成し、認識用色分け部５２は、周囲部５２２の赤の中に中心部５２１の黄色が色分けされた状態となり、スイッチＯＮ状態では、緑色ＬＥＤ５７’を点灯させる閉回路を形成し、認識用色分け部５２は、周囲部５２２の赤の中に中心部５２１の緑色が色分けされた状態となる。
【００２１】
再び、図１の説明に戻り、物体情報特定用ＬＳＩ３は、カメラモジュールによりフレーム単位で得られる画像データから対象物体５の物体情報（単色部分の色情報及び位置情報）を抽出する物体情報抽出回路３１（物体情報抽出部）と、対象物体５の単色部分のすべての色に対応した色の情報を記憶する色情報記憶部３２、対象物体５の単色部分のあらゆる色の組合せ情報を記憶する色組合せ情報記憶部３３、物体情報抽出回路３１により抽出された物体情報と、色情報記憶部３２の各色情報及び色組合せ情報記憶部３３の各色組合せ情報とを比較して対象物体の単色部分の色組合せの情報を特定する比較回路３４とを備えている。比較回路３４は、カメラモジュール２とマイクロコンピュータ４との間をインターフェースする役目を果たしている。
【００２２】
マイクロコンピュータ４（制御部）は、上記比較回路３４により特定される対象物体５の単色部分の色組合せの情報により論理演算する演算論理装置４１（ＡＬＵ）、及び、記憶手段としてＲＡＭ４２、コマンド情報及びコマンド情報に対応した入力指示プログラムを格納するＲＯＭ４３を有しており、上記比較回路３４により特定された最初のフレームの対象物体５の単色部分の色組合せの情報から対象物体を認識した上で、比較回路３４により特定された二番目以降のフレームの対象物体５の単色部分の色組合せの情報からコマンド情報を認識し、コマンド情報に対応した入力処理を行う。
【００２３】
上記のように構成された画像認識入力装置１の動作例について図１に基づいて説明する。
【００２４】
まず、最初のフレームの画像データから対象物体５の物体情報を特定するために、物体情報抽出回路３１の内容と、色情報記憶部３２の第１及び第２の対象物体色情報３２１及び３２２の内容（対象物体認識用のデータ）及び組合せ情報記憶部３３の第１の対象物体色組合せ情報３３１の内容（対象物体認識用のデータ）とを比較回路３４で比較して一致したら、特定された対象物体５の単色部分の色組合せの情報をマイクロコンピュータ４へ送信する。
【００２５】
次に、二番目以降のフレームの画像データから対象物体５の物体情報を特定するために、物体情報抽出回路３１の内容と、色情報記憶部３２の第１及び第３の対象物体色情報３２１及び３２３の内容（コマンド情報認識用のデータ）及び組合せ情報記憶部３３の第２の対象物体色組合せ情報３３２の内容（コマンド情報認識用のデータ）とを比較回路３４で比較して一致したら、特定された対象物体５の単色部分の色組合せの情報をマイクロコンピュータ４へ送信する。ここでの「コマンド情報」とは、対象物体５のスィッチがＯＮされた情報により、例えば、テレビの電源をＯＮにするというようなコマンド情報を意味する。
【００２６】
そして、マイクロコンピュータ４において、対象物体５の位置情報とコマンド情報からテレビの電源をＯＮにするというような必要な処理を行う。このようにして撮像の画像データを使用して入力機能を実現できる。
【００２７】
図６のフローチャートを使用して本実施形態の動作例を説明する。
【００２８】
本実施形態では、対象物体５の認識は、例えば、認識用色分け部５２の周囲部５２２の赤色の中に中心部５２１の黄色がある場合に行われ、コマンド情報の認識は、周囲部５２２の赤色の中に中心部５２１の緑色がある場合に行われるものとして説明する。
【００２９】
そして、表１のように、色情報記憶部３２の第１、第２及び第３の対象物体色情報３２１、３２２及び３２３には、赤色、黄色及び緑色の各色のデータがそれぞれ保管されているものとする。
【表１】
2007286932.tif 000003
【００３０】
また、表２のように、色組合せ情報記憶部３３の第１及び第２の対象物体色組合せ情報３３１及び３３２には、赤色及び黄色、及び、赤色及び緑色の各色の組合せのデータがそれぞれ保管されているものとする。
【表２】
2007286932.tif 000004
【００３１】
まず、カメラモジュール２を起動して対象物体５の認識をスタートし、最初のフレームの画像データを２の物体情報抽出回路３１へ送信し、物体情報を抽出する（ステップ＃１）。
【００３２】
次に、物体情報抽出回路３１で抽出される物体情報を、色情報記憶部３２の第１の対象物体色情報３２１の赤色データと比較回路３４で比較し（ステップ＃２）、物体情報に赤色データがないと判断される場合には（ステップ＃２の否定判定）、次の画像データが送信されるまで何も行わない。
【００３３】
物体情報に赤色データあると判断される場合は（ステップ＃２の肯定判定）、すなわち、対象物体５の認識用色分け部５２の周囲部５２２の赤色を検出した場合は、物体情報抽出回路３１で抽出される物体情報を、第２の対象物体色情報３２２の黄色データと比較し（ステップ＃３）、物体情報の赤色データの中に黄色データがないと判断される場合は（ステップ＃３の否定判定）、すなわち、対象物体５の認識用色分け部５２の周囲部５２２の赤色の中の中心部５２１が黄色でないと判断される場合には、次の画像データが送信されるまで何も行わない。
【００３４】
物体情報の赤色データの中に黄色データがあると判断される場合は（ステップ＃３の肯定判定）、すなわち、対象物体５の認識用色分け部５２の周囲部５２２の赤色の中の中心部５２１が黄色があると判断される場合には、ステップ＃２の肯定判定とステップ＃３の肯定判定でそれぞれ抽出される、色組合せの情報を、第１の対象物体色組合せ情報３３１の赤色及び黄色のデータと比較し（ステップ＃４）、両者が一致しないと判断される場合には（ステップ＃４の否定判定）、次の画像データが送信されるまで何も行わない。
【００３５】
両者が一致すると判断される場合は（ステップ＃４の肯定判定）、対象物体５の色組合せ情報をマイクロコンピュータ４へ送り、対象物体５の認識を完了する（ステップ＃５）。このように、赤色と黄色のデータの論理積をとることにより誤認識の確率を低減することができる。
【００３６】
そして、次のフレームの画像データを２の物体情報抽出回路３１へ送信し、物体情報を抽出する（ステップ＃６）。
【００３７】
次に、物体情報抽出回路３１で抽出される物体情報を、色情報記憶部３２の第１の対象物体色情報３２１の赤色データと比較回路３４で比較し（ステップ＃７）、物体情報に赤色データがないと判断される場合には（ステップ＃７の否定判定）、次の画像データが送信されるまで何も行わない。
【００３８】
物体情報に赤色データあると判断される場合は（ステップ＃７の肯定判定）、すなわち、対象物体５の認識用色分け部５２の周囲部５２２の赤色を検出した場合は、物体情報抽出回路３１で抽出される物体情報を、第３の対象物体色情報３２３の緑色データと比較し（ステップ＃８）、物体情報の赤色データの中に緑色データがないと判断される場合は（ステップ＃８の否定判定）、すなわち、対象物体５の認識用色分け部５２の周囲部５２２の赤色の中の中心部５２１が緑色でないと判断される場合には、次の画像データが送信されるまで何も行わない。
【００３９】
物体情報の赤色データの中に緑色データがあると判断される場合は（ステップ＃８の肯定判定）、すなわち、対象物体５の認識用色分け部５２の周囲部５２２の赤色の中の中心部５２１が緑色があると判断される場合には、ステップ＃７の肯定判定とステップ＃８の肯定判定でそれぞれ抽出される、色組合せの情報を、第２の対象物体色組合せ情報３３２の赤色及び緑色のデータと比較し（ステップ＃９）、両者が一致しないと判断される場合には（ステップ＃９の否定判定）、次の画像データが送信されるまで何も行わない。
【００４０】
両者が一致すると判断される場合は（ステップ＃９の肯定判定）、対象物体５の色組合せ情報をマイクロコンピュータ４へ送り、コマンド情報の認識を完了する（ステップ＃１０）。このように、赤色と緑色のデータの論理積をとることにより誤認識の確率を低減することができる。
【００４１】
最後に、先ほどの位置情報とコマンド情報をマイクロコンピュータ４で処理して入力指示（例えば、テレビの電源スイッチオン）を実行する（ステップ＃１１）。色の組合せの数やバリエーションを変更することにより、いろいろな指示を行える。
【産業上の利用可能性】
【００４２】
本発明は、撮像素子を使用した玩具装置、ゲーム機、携帯電話などに利用することができる。
【図面の簡単な説明】
【００４３】
【図１】は、本発明が適用される画像認識入力装置の概略構成を示すブロック図である。
【図２】は、入力に使用する対象物体の構造の一例の外観図及び正面図であり、スイッチＯＦＦ状態（ａ）及びスイッチＯＮ状態（ｂ）をそれぞれ示すものである。
【図３】は、対象物体の認識用色分け部の中心部の色を可変させるメカニカルな機構の一例の縦断面図であり、スイッチＯＦＦ状態（ａ）及びスイッチＯＮ状態（ｂ）をそれぞれ示すものである。
【図４】は、対象物体の認識用色分け部の中心部の色を可変させる電気的な機構の一例の縦断面図であり、スイッチＯＦＦ状態（ａ）及びスイッチＯＮ状態（ｂ）をそれぞれ示すものである。
【図５】は、図４の対象物体の認識用色分け部の中心部の色を可変させる電気的な機構の回路図であり、スイッチＯＦＦ状態（ａ）及びスイッチＯＮ状態（ｂ）をそれぞれ示すものである。
【図６】は、画像認識入力システムの動作の一例を示すフローチャートである。
【符号の説明】
【００４４】
１    画像認識入力装置
２    カメラモジュール
２１       レンズ
２２       ＣＭＯＳイメージャ
２３       画像処理用ＤＳＰ
３    物体情報特定用ＬＳＩ
３１       物体情報抽出回路
３２       色情報記憶部
３２１   第１の対象物体色情報
３２２   第２の対象物体色情報
３２３   第３の対象物体色情報
３３       情報記憶部
３３１   第１の対象物体色組合せ情報
３３２   第２の対象物体色組合せ情報
３４       比較回路
４    マイクロコンピュータ
４１       演算論理装置
４２       ＲＡＭ
４３       ＲＯＭ
５    対象物体
５１       枠体
５２       認識用色分け部
５２１   中心部
５２２   周囲部
５２ａ     丸穴
５３       レバー部材
５４       スイッチ部材
５５       圧縮バネ
５６       黄色球体
５７       緑色球体
５６’     黄色ＬＥＤ
５７’     緑色ＬＥＤ
５８       スイッチ板
５９       乾電池
【図１】
2007286932.tif 000005
【図２】
2007286932.tif 000006
【図３】
2007286932.tif 000007
【図４】
2007286932.tif 000008
【図５】
2007286932.tif 000009
【図６】
2007286932.tif 000010