(57)【要約】【課題】カメラで撮影された追跡対象の三次元的な位置を計測することを目的とする。【解決手段】本発明は、カメラによって撮影された追跡対象の画像を取り込む画像取り込み部と、前記追跡対象の位置を求める追尾部と、を備える画像計測装置において、前記追尾部は、前記画像から所定の大きさの画像データを抽出する画像切り出し窓を前記画像の全体に移動し、それぞれの移動位置において、前記画像から前記画像切り出し窓に含まれる画像データを抽出し、前記抽出された画像データから前記追跡対象の色相特徴を有する画素数を計数し、前記計数された画素数が最大となる画像切り出し窓の位置を前記色相特徴ごとに判定し、前記判定された画像切り出し窓の位置に基づいて、追跡対象の位置を求めることを特徴とする。【選択図】図２
2006185109.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって撮影された追跡対象の画像を取り込む画像取り込み部と、前記追跡対象の位置を求める追尾部と、を備える画像計測装置において、
前記追尾部は、
前記画像から所定の大きさの画像データを抽出する画像切り出し窓を前記画像の全体に移動し、
それぞれの移動位置において、前記画像から前記画像切り出し窓に含まれる画像データを抽出し、
前記抽出された画像データから前記追跡対象の色相特徴を有する画素数を計数し、
前記計数された画素数が最大となる画像切り出し窓の位置を前記色相特徴ごとに判定し、
前記判定された画像切り出し窓の位置に基づいて、追跡対象の位置を求めることを特徴とする画像計測装置。
【請求項２】
前記追尾部は、
前記判定された画像切り出し窓の位置で計数した画素数を記憶し、
前記記憶された画素数及び／又は前記判定された色相特徴ごとの画素数の比に基づいて、追跡対象を追跡できたか否かを判定することを特徴とする請求項１に記載の画像計測装置。
【請求項３】
更に、前記追跡対象と前記カメラとの距離を求める距離算出部を備え、
前記追尾部は、前記判定された画像切り出し窓の位置で計数した画素数を記憶し、
前記距離算出部は、前記追尾部が記憶した画素数に基づいて、前記追跡対象と前記カメラとの距離を求めることを特徴とする請求項１に記載の画像計測装置。
【請求項４】
更に、前記追跡対象の色相特徴を抽出する色相特徴抽出部を備え、
前記色相特徴抽出部は、
前記画像切り出し窓を前記追跡対象の略全体が含まれる位置に移動し、
前記画像から該画像切り出し窓に含まれる画像データを抽出し、
該抽出された画像データから、色相値とその色相値の画素数による色相ヒストグラムを作成し、
前記作成した色相ヒストグラムに基づいて卓越した色相値を選択して一次記憶し、
前記画像切り出し窓を前記一次記憶に係る位置以外のすべての位置に移動し、
前記画像から該画像切り出し窓に含まれる画像データを抽出し、
該抽出された画像データから前記一次記憶した色相値を有する画素数を計数し、
前記計数した画素数と所定の閾値との比較結果に基づいて、前記一次記憶した色相値を前記追跡対象の色相特徴とすることによって、前記追跡対象の色相特徴を抽出することを特徴とする請求項１に記載の画像計測装置。
【請求項５】
前記色相特徴抽出部は、
前記計数した画素数が前記所定の閾値より大きいと、該一次記憶した色相値を削除し、
前記計数した画素数が前記所定の閾値以下であると、該一次記憶した色相値を二次記憶し、
前記二次記憶した色相値を前記追跡対象の色相特徴とすることを特徴とする請求項４に記載の画像計測装置。
【請求項６】
更に、前記追跡対象の位相の変化を求める位相変化検出部を備え、
前記位相変化検出部は、
前記画像切り出し窓を前記追跡対象の全体を含む位置に移動し、
前記画像から該画像切り出し窓に含まれる画像データを抽出し、
該画像データをフーリエ変換することによって、前記追跡対象の位相の変化を求め、追跡対象の状態を特定することを特徴とする請求項１に記載の画像計測装置。
【請求項７】
更に、表示部に接続されており、
前記カメラが、前記追跡対象である人物の動作を撮影するように制御し、
前記追跡部は、前記カメラが撮影した人物の位置を求め、
前記距離算出部は、前記カメラと前記人物との距離を求め、
前記表示部が、前記追跡部が求めた前記人物の位置及び前記距離算出部が求めた前記カメラと前記人物との距離に基づいた情報を表示するように制御することを特徴とする請求項１に記載の画像計測装置。
【請求項８】
前記表示部が、前記追跡部が求めた前記人物の位置及び前記距離算出部が求めた前記カメラと前記人物との距離に基づいたゲーム内容を表示するように制御することを特徴とする請求項７に記載の画像計測装置。
【請求項９】
カメラによって撮影された追跡対象の画像を処理する画像計測装置における画像計測方法であって、
前記画像から所定の大きさの画像データを抽出する画像切り出し窓を前記画像の全体に移動し、
それぞれの移動位置において、前記画像から前記画像切り出し窓に含まれる画像データを抽出し、
前記抽出された画像データから前記追跡対象の色相特徴を有する画素数を計数し、
前記計数された画素数が最大となる画像切り出し窓の位置を前記色相特徴ごとに判定し、
前記判定された画像切り出し窓の位置に基づいて、追跡対象の位置を求めることを特徴とする画像計測方法。
【請求項１０】
前記判定された画像切り出し窓の位置で計数した画素数を記憶し、
前記記憶された画素数及び／又は前記判定された色相特徴ごとの画素数の比に基づいて、追跡対象を追跡できたか否かを判定することを特徴とする請求項９に記載の画像計測方法。
【請求項１１】
前記判定された画像切り出し窓の位置で計数した画素数を記憶し、
前記記憶された画素数に基づいて、前記追跡対象と前記カメラとの距離を求めることを特徴とする請求項９に記載の画像計測方法。
【請求項１２】
前記画像切り出し窓を前記追跡対象の略全体が含まれる位置に移動し、
前記画像から該画像切り出し窓に含まれる画像データを抽出し、
該抽出された画像データから、色相値とその色相値の画素数による色相ヒストグラムを作成し、
前記作成した色相ヒストグラムに基づいて卓越した色相値を選択して一次記憶し、
前記画像切り出し窓を前記一次記憶に係る位置以外のすべての位置に移動し、
前記画像から該画像切り出し窓に含まれる画像データを抽出し、
該抽出された画像データから前記一次記憶した色相値を有する画素数を計数し、
前記計数した画素数が閾値より大きいと、該一次記憶した色相値を削除し、
前記計数した画素数が閾値以下であると、該一次記憶した色相値を二次記憶し、
前記二次記憶した色相値を前記追跡対象の色相特徴とすることによって、前記追跡対象の色相特徴を抽出することを特徴とする請求項９に記載の画像計測方法。
【請求項１３】
前記画像切り出し窓を前記追跡対象の全体を含む位置に移動し、
前記画像から該画像切り出し窓に含まれる画像データを抽出し、
該画像データをフーリエ変換することによって、前記追跡対象の位相の変化を求め、追跡対象の状態を特定することを特徴とする請求項９に記載の画像計測方法。
【請求項１４】
前記カメラが撮影した追跡対象である人物の位置を求め、
前記カメラと前記人物との距離を求め、
前記求めた人物の位置及び前記求めたカメラと人物との距離に基づいた情報を表示するための信号を出力することを特徴とする請求項９に記載の画像計測方法。
【請求項１５】
前記求めた人物の位置及び前記求めたカメラと人物との距離に基づいたゲーム内容を表示するための信号を出力することを特徴とする請求項１４に記載の画像計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラによって撮影された画像を処理する画像計測装置に関し、追跡対象の位置を求める技術に関する。
【背景技術】
【０００２】
近年、安価なＣＣＤカメラ及びＣＭＯＳカメラの普及並びにパーソナルコンピュータの性能向上に伴い、リアルタイム画像処理を手軽に行うことができるようになった。その結果として、リアルタイム画像処理は、技術の応用分野が急速に広がっている。例えば、リアルタイム画像処理は、単純形状の人工物から形状が複雑な人物体等へ処理対象が広がっている。今後、リアルタイム画像処理は、ゲーム、人物監視、人物認証、機器操作インタフェース、受付、接客業務及びロボティクスなどの広い分野に応用されることが期待されている。
【０００３】
リアルタイム画像処理技術を応用して、ＣＧで描かれた二名のキャラクタによる格闘ゲームが人気を得ている。従来の格闘ゲームは、専用の操作端末にコマンドを入力することによって、パンチなどの動作を入力していた。最近、プレーヤがパンチ等の動作を実演してコンピュータ内で仮想的に格闘する格闘ゲームが注目されている。例えば、プレーヤが加速度センサを装着して動作することによって動作を入力する格闘ゲームが知られている（例えば、特許文献１及び特許文献２参照。）。
【０００４】
しかし、この従来技術による格闘ゲームでは、プレーヤが手などに特殊なセンサを装着しなければならない。また、センサを装着した手足の加速度しか測定できない問題があった。更に、加速度センサによって測定した加速度情報からプレーヤの位置等を計算で求めると、累積誤差を発生する問題もあった。
【０００５】
これらの問題を解決するために、カメラで撮影したプレーヤの動作をコンピュータに取り込み、コンピュータ内で仮想的に格闘させるゲームが知られている（例えば、特許文献３参照。）。このゲームは、センサでなくカメラを用いてプレーヤの動作を測定するので、手足の加速度以外の多くの情報を同時にリアルタイムで取得することができる。
【特許文献１】特開平６−２８５２４９号公報
【特許文献２】特開２００４−４９４３６号公報
【特許文献３】特開平１１−５３５６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来のゲームは、カメラとプレーヤとの距離を計測できない問題があった。更に、カメラの光軸と直交する二次元平面内での位置しか計測しかできない問題があった。格闘ゲームでは、プレーヤの三次元的な位置の情報が重要である。
【０００７】
本発明は、カメラで撮影された追跡対象の三次元的な位置を計測することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、カメラによって撮影された追跡対象の画像を取り込む画像取り込み部と、前記追跡対象の位置を求める追尾部と、を備える画像計測装置において、前記追尾部は、前記画像から所定の大きさの画像データを抽出する画像切り出し窓を前記画像の全体に移動し、それぞれの移動位置において、前記画像から前記画像切り出し窓に含まれる画像データを抽出し、前記抽出された画像データから前記追跡対象の色相特徴を有する画素数を計数し、前記計数された画素数が最大となる画像切り出し窓の位置を前記色相特徴ごとに判定し、前記判定された画像切り出し窓の位置に基づいて、追跡対象の位置を求めることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、カメラで撮影された追跡対象の三次元的な位置を計測することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照して説明する。
【００１１】
（第１の実施の形態）
図１Ａは、本発明の第１の実施の形態の画像計測装置１を適用したボクシングゲームの説明図である。
【００１２】
プレーヤ１００１は、カメラ２に向かって、仮想の対戦相手１００２とボクシングを行う。プレーヤ１００１は、右手Ｒに右グローブ１００３を装着し、左手Ｌに左グローブ１００４を装着する。カメラ２は、プレーヤ１００１が装着しているグローブ１００３、１００４を撮影し、撮影した画像を画像計測装置１に送信する。
【００１３】
画像計測装置１は、図２で後述する構成を備え、カメラ２と接続されている。画像計測装置１は、カメラ２によって撮影された画像から、グローブ１００３とカメラ２との距離、グローブ１００４とカメラ２との距離及びグローブ１００３、１００４の位置を算出する。
【００１４】
なお、このボクシングゲームは、仮想の対戦相手１００２の位置にディスプレイを備えてもよい。これによって、画像計測装置１は、仮想の対戦相手１００２の動作をディスプレイに表示することができる。
【００１５】
画像計測装置１は、算出したグローブ１００３とカメラ２との距離、グローブ１００４とカメラ２との距離及びグローブ１００３、１００４の位置に基づいて、プレーヤ１００１のパンチが対戦相手１００２に当たったかを判定する。更に、パンチが当たった場合、対戦相手１００２のどの部分に当たったかを判定する。そして、画像計測装置１は、判定した結果を対戦相手１００２の動作に反映させ、ディスプレイに表示する。
【００１６】
また、画像計測装置１は、対戦相手１００２が放ったパンチをディスプレイに表示する。画像計測装置１は、算出したグローブ１００３とカメラ２との距離、グローブ１００４とカメラ２との距離及びグローブ１００３、１００４の位置に基づいて、対戦相手１００２のパンチをプレーヤ１００１がかわしたかを判定する。そして、画像計測装置１は、判定した結果を対戦相手１００２の動作に反映させ、ディスプレイに表示する。
【００１７】
以上のように、本実施の形態のボクシングゲームは、グローブ１００３、１００４の位置等によって、プレーヤ１００１の動作を判定し、対戦相手１００２の動作に反映することができるので、臨場感を高めることができる。
【００１８】
図１Ｂは、本発明の第１の実施の形態のカメラ２で撮影された画像１００６の説明図である。
【００１９】
カメラ２で撮影された画像１００６には、右グローブ１００３及び左グローブ１００４が映っている。
【００２０】
画像計測装置１は、画像１００６をカメラ２から受信する。すると、画像計測装置１は、画像１００６に映っているグローブ１００３、１００４の面積を測定する。そして、測定した面積に基づいて、カメラ２とグローブ１００３との距離、カメラ２とグローブ１００４との距離を計算する。また、画像計測装置１は、画像１００６に映っているグローブ１００３、１００４の画像中の位置を測定する。そして、画像中の位置に基づいて、グローブ１００３、１００４の実空間での位置を計算する。
【００２１】
図２は、本発明の第１の実施の形態の画像計測装置１の構成のブロック図である。
【００２２】
画像計測装置１は、ＣＰＵ１０、メモリ１１、入出力部１２及び記憶装置１３を備える。
【００２３】
ＣＰＵ１０は、メモリ１１から各種プログラムを呼び出して実行することによって、各種処理を行う。メモリ１１は、ＣＰＵ１０の処理に応じて、記憶装置１３に格納された各種プログラム等を一時的に記憶する。入出力部１２は、カメラ２及びコンソール等と接続し、各種情報を入出力する。
【００２４】
記憶装置１３には、画像データ取り込みプログラム１３１、色相特徴抽出プログラム１３２、色相特徴追尾プログラム１３３及び位置・距離算出プログラム１３４が含まれている。
【００２５】
画像取り込みプログラム１３１は、カメラ２によって撮影された画像を取り込む。色相特徴抽出プログラム１３２は、画像取り込みプログラム１３１によって取り込まれた画像から色相特徴を抽出し、メモリ１１に一時的に記憶する。色相特徴追尾プログラム１３３は、メモリ１１に記憶されている色相特徴を有する追跡対象を追跡する。位置・距離算出プログラム１３４は、追跡対象とカメラ２との距離及び追跡対象の位置を算出する。
【００２６】
図３は、本発明の第１の実施の形態の画像計測装置１で実行される色相特徴抽出プログラム１３２の一次抽出処理のフローチャートである。
【００２７】
まず、画像切り出し窓を初期位置に固定する（８００１）。画像切り出し窓は、画像計測装置１に記憶された各種プログラムが画像を抽出する領域であり、一辺を数十ドット程度とするのが望ましい。また、初期位置に固定された画像切り出し窓は、追跡対象（例えば、ボクシングゲームにおけるグローブ）の全体が含まれるように設定される。
【００２８】
初期位置は、ユーザによって入出力部１２から入力されてもよいし、予め設定されていてもよい。なお、初期位置が予め設定されている場合、ユーザは、初期位置に固定された切り出し窓に追跡対象の全体が含まれるように、追跡対象を移動する必要がある。例えば、ボクシングゲームにおいて、プレーヤ１００１は、両手のグローブ１００３、１００４の全体が画像切り出し窓に含まれるように、グローブ１００３、１００４を移動する。
【００２９】
次に、画像取り込みプログラム１３１によって取り込まれた画像から画像切り出し窓に含まれる画像データを切り出す（８００２）。
【００３０】
次に、切り出した画像データから色相ヒストグラムを作成する（８００３）。色相ヒストグラムは、例えば、０度から３５９度までの色相値を３６０分割し、それぞれの色相値に属する画素数を示す。
【００３１】
次に、色相ヒストグラムから色相値を度数の低い順に選択する（８００４）。
【００３２】
選択した色相値の画素数を色相ヒストグラムから抽出する。更に、選択した色相値の近傍の色相値の画素数を色相ヒストグラムから抽出する。近傍の色相値とは、選択した色相値を中心とした連続する複数の色相値であり、例えば、選択した色相値の上下数度以内の色相値である。
【００３３】
次に、抽出したすべての画素数（選択した色相値の画素数及び近傍の色相値の画素数）の中に「０」があるかを否かを判定する（８００５）。
【００３４】
画素数に「０」が一つでもあると、選択した色相値が追跡対象の色相特徴でないと判定するので、選択した色相値に属する画素数を色相ヒストグラムから削除する（８００６）。なぜなら、切り出した画像データにある程度の大きさで映っている追跡対象は、連続する複数の色相値を有するからである。一方、抽出された色相値の近傍に画素数＝０の色相が存在する場合、当該色相値はノイズである可能性がある。
【００３５】
一方、抽出した画素数に「０」が一つもないと、選択した色相値が追跡対象の色相特徴になる可能性があると判定するので、選択した色相値及びその色相値に属する画素数をメモリに一次記憶する（８００７）。
【００３６】
そして、ステップ８００５〜８００７をすべての色相値に繰り返す。
【００３７】
以上の一次抽出処理によって、追跡対象の全体を含む画像切り出し窓によって切り取られた画像データから、卓越する色相値を抽出することができる。
【００３８】
図４は、本発明の第１の実施の形態の画像計測装置１で実行される色相特徴抽出プログラム１３２の二次抽出処理のフローチャートである。
【００３９】
まず、画像取り込みプログラム１３１によって取り込まれた画像の全体を画像切り出し窓が順に選択するように、画像切り出し窓を移動する（８００８）。そして、以後のステップ８００９〜８０１４をすべての移動位置で繰り返す。
【００４０】
次に、移動した画像切り出し窓の位置が、一次抽出処理（図３）のステップ８００１の初期位置と同じか否かを判定する（８００９）。初期位置と同じであると、一次抽出処理で記憶した色相値と同じ色相値が抽出され、背景の色相特徴を削除するのに不適切なので、ステップ８００８に戻り、画像切り出し窓を次の位置へ移動する。
【００４１】
一方、初期位置と異なると、一次抽出処理で記憶した色相値と異なる背景の色相値が抽出されるので、画像切り出し窓に含まれる画像データを切り出す（８０１０）。次に、一次抽出処理のステップ８００７で一次記憶した色相値から一つを選択する。
【００４２】
切り出した画像データから、選択した色相値に属する画素数を計数する（８０１１）。
【００４３】
次に、計数した画素数が閾値より大きいか否かを判定する（８０１２）。
【００４４】
計数した画素数が閾値より大きいと、選択した色相値が背景に多く含まれていると判定して、一次記憶したメモリ１１から当該選択した色相値を削除する（８０１３）。背景に多く含まれている色相値は、追跡対象の色相特徴としても、背景と追跡対象との分離にも貢献しないからである。
【００４５】
なお、一時記憶した色相値がすべて削除された場合、追跡対象の色相特徴を検出できないと判定する。この場合、入出力部１２から追跡不可を通知する。例えば、画像計測装置１は、背景が真っ赤な夕焼けの時に、同色のボールを追跡することはできない。
【００４６】
一方、計数した画素数が閾値以下であると、選択した色相値が背景に多く含まれていないと判定し、当該選択した色相値及びその色相値に属する画素数をメモリ１１に二次記憶し（８０１４）、二次記憶した色相値を追跡対象の色相特徴とする。
【００４７】
そして、ステップ８０１１〜８０１４をすべての色相値を選択するまで繰り返す。
【００４８】
以上の二次抽出処理によって、一次記憶した色相値から背景に多量に含まれる色相値を削除することによって、追跡対象の色相特徴を抽出できる。よって、追跡対象を背景と区別した色相特徴を用いて追跡するので、追跡精度を向上することができる。
【００４９】
図５は、本発明の第１の実施の形態の画像計測装置１で実行される色相特徴追尾プログラム１３３の処理のフローチャートである。
【００５０】
まず、画像取り込みプログラム１３１によって取り込まれた画像の全体を画像切り出し窓が順に選択するように、画像切り出し窓を移動する（９００１）。  次に、画像取り込みプログラム１３１によって取り込まれた画像から画像切り出し窓に含まれる画像データを切り出す（９００２）。次に、切り出した画像データから、色相特徴抽出プログラム１３２が抽出した色相特徴を有する画素数を計数する（９００３）。なお、複数の色相特徴がある場合には、それぞれの色相特徴ごとに画素数を計数する。
【００５１】
そして、ステップ９００２〜ステップ９００３をすべての移動位置で繰り返す。
【００５２】
次に、計数した画素数が最大となる画像切り出し窓を判定する。そして、判定した画像切り出し窓の位置（例えば、中心座標）及びその位置で計数された画素数をメモリ１１に記憶する（９００４）。なお、複数の色相特徴がある場合には、それぞれの色相値ごとに、画素数が最大となる画像切り出し窓の位置及びその位置で計数された画素数を記憶する。
【００５３】
次に、メモリ１１に記憶した情報から追跡対象の追跡に成功したか否かを判定する（９００５）。具体的には、メモリ１１に記憶した画素数が閾値より大きいと追跡に成功したと判定し、閾値より小さいと追跡に失敗したと判定する。また、色相特徴が複数ある場合には、メモリに記憶したすべての画素数の比が所定の範囲内であるか否かを参照して、追跡の成否を判定してもよい。所定の範囲とは、例えば、色相特徴抽出プログラム１３２が二次記憶した画素数の比と同等だと判断できる範囲を予め定めておく。
【００５４】
追跡に失敗すると、ステップ９００４で記憶した画像切り出し窓の位置及びその位置で計数された画素数をメモリ１１から削除する（９００７）。更に、追跡失敗を入出力部１２から通知する。
【００５５】
一方、追跡に成功すると、位置・距離算出プログラム１３４を呼び出す（９００６）。
【００５６】
図６は、本発明の第１の実施の形態の画像計測装置１で実行される色相特徴追尾プログラム１３３の処理の説明図である。
【００５７】
色相特徴追尾プログラム１３３は、画像切り出し窓１１０１を画像１１００の全体に移動する。次に、移動したそれぞれの位置において、色相特徴を有する画素数を計数する。なお、画像切り出し窓１１０１に含まれる画素は、色相値をそれぞれ有している。例えば、画像切り出し窓１１０１の左上端の狭領域には、図中の吹き出しに示す色相値を有する画素が含まれている。
【００５８】
次に、計数した画素数が最大となる画像切り出し窓の位置を判定する。次に、判定した画像切り出し窓の位置及びその位置で計数された画素数をメモリ１１に記憶する。そして、メモリ１１に記憶した情報から追跡対象の追跡に成功したか否かを判定する。
【００５９】
図７は、本発明の第１の実施の形態の画像計測装置１で実行される位置・距離算出プログラム１３４の処理のフローチャートである。
【００６０】
位置・距離算出プログラム１３４は、色相特徴追尾プログラム１３３から呼び出されることによって、処理を開始する（９０１１）。
【００６１】
まず、追跡対象の位置を求める（９０１２）。色相特徴が一つである場合には、メモリ１１に記憶された画像切り出し窓の位置が追跡対象の位置となる。また、色相特徴が複数ある場合には、メモリ１１に記憶された画像切り出し窓の位置のすべてを平均した値を追跡対象の位置とする。
【００６２】
次に、メモリ１１に記憶された画素数から、カメラ２と追跡対象との距離を算出する（９０１３）。具体的には、色相特徴抽出プログラム１３２が二次記憶した画素数を色相特徴追尾プログラムがステップ９００４で記憶した画素数で割った値の平方根を求める。求めた値に色相特徴抽出プログラム１３２の処理時におけるカメラ２と追跡対象との距離を乗ずると、カメラ２と追跡対象との現在の距離が求まる。
【００６３】
以上のように、追跡対象の位置及びカメラ２と追跡対象との距離を算出することができる。そして、算出した追跡対象の位置及びカメラ２と追跡対象との距離を用いて、図１で説明したボクシングゲームを実現することができる。
【００６４】
従来のボクシングゲームでは、加速度センサを手に装着する必要があり、センサを装着した手の加速度しか測定できないという問題があった。また、加速度センサによって測定した加速度情報から速度や距離を計算で求めると、累積誤差が発生するという問題もあった。しかし、本実施の形態の画像計測装置１を適用したボクシングゲームでは、従来のように、手に加速度センサを装着する必要がなく、これらの問題を解決することができる。
【００６５】
また、従来、カメラ及び画像計測装置を用いて人体の二次元的な位置を計測するボクシングゲームも提案されていた。しかし、このボクシングゲームは、人体の三次元的な位置を計測し仮想の対戦相手の動きに反映させることができないので、ゲームとしての迫力に欠けるという問題があった。また、このボクシングゲームは、プレーヤを背景画像から分離しないで追跡するので、プレーヤの位置、背景画像、プレーヤの着衣の色彩等を指定する必要があるいう問題もあった。
【００６６】
しかし、本実施の形態の画像計測装置１は、追跡対象を背景から分離して追跡し、更に、追跡対象の三次元的な位置及び距離を測定するので、このような問題を解決することができる。よって、本実施の形態の画像計測装置１を適用したボクシングゲームは、臨場感を高めることができる。
【００６７】
（第２の実施の形態）
図８Ａは、本発明の第２の実施の形態の画像計測装置１を適用した卓球ゲームの説明図である。
【００６８】
プレーヤ２００１は、カメラ２に向かって、仮想の卓球台２００４を介して仮想の対戦相手と卓球を行う。プレーヤ２００１は、右手Ｒ又は左手Ｌにラケット２００２を持っている。カメラ２は、プレーヤ２００１が持っているラケット２００２を撮影し、撮影した画像を画像計測装置１に送信する。
【００６９】
画像計測装置１は、第１の実施の形態の画像計測装置１（図２）と同一の構成であり、カメラ２と接続されている。画像計測装置１は、カメラ２によって撮影された画像から、ラケット２００２とカメラ２との距離及びラケット２００２の位置を算出する。
【００７０】
なお、この卓球ゲームは、仮想の卓球台２００４の位置にディスプレイを備えてもよい。これによって、画像計測装置１は、仮想の対戦相手、卓球台２００４及び球２００５をディスプレイに表示することができる。
【００７１】
画像計測装置１は、算出したラケット２００２とカメラ２との距離及びラケット２００２の位置に基づいて、仮想の対戦相手によって打たれた球２００５がラケット２００２に当たったかを判定する。また、ラケット２００２に当たった場合、ラケット２００２のどの部分に当たったかを判定する。そして、画像計測装置１は、判定した結果を球２００５の軌跡及び対戦相手の動作に反映させ、ディスプレイに表示する。
【００７２】
図８Ｂは、本発明の第２の実施の形態のカメラ２で撮影された画像２００７の説明図である。
【００７３】
カメラ２で撮影された画像２００７には、ラケット２００２が映っている。
【００７４】
画像計測装置１は、画像２００７をカメラ２から受信する。すると、画像計測装置１は、画像２００７に移っているラケット２００２の面積を測定し、測定した面積からカメラ２とラケット２００２との距離を計算する。また、画像計測装置１は、画像２００７に映っているラケット２００２の画像中の位置を測定して、測定した画像中の位置からラケット２００２の位置を計算する。
【００７５】
（第３の実施の形態）
図９Ａは、本発明の第３の実施の形態の画像計測装置３を適用した天井走行ロボット遠隔操作システムの説明図である。
【００７６】
操作者３００１は、天井走行ロボット３００２に取り付けられたカメラ２に向かって、指示動作をする。カメラ２は、操作者３００１の顔を撮影し、撮影した画像を画像計測装置３に送信する。
【００７７】
画像計測装置３は、図１０で後述する構成を備え、カメラ２と接続されている。画像計測装置３は、カメラ２によって撮影された画像から、操作者３００１の顔とカメラ２との距離及び操作者３００１の顔の位置を算出する。更に、画像計測装置３は、操作者３００１の顔の動き及び首の動きを算出する。
【００７８】
画像計測装置３は、算出された操作者３００１の顔とカメラ２との距離及び操作者３００１の顔の位置に基づいて、操作者３００１が天井走行ロボット３００２に指示を出す意思があるかを判定する。また、操作者３００１の顔の動き及び首の動きに基づいて、天井走行ロボット３００２に対する操作指示コマンドを判定する。よって、画像計測装置３は、操作者３００１の顔の動き及び首の動きと天井走行ロボット３００２に対する操作指示コマンドとを対応付けたテーブル（図示省略）を備える必要がある。
【００７９】
図９Ｂは、本発明の第３の実施の形態のカメラ２で撮影された画像３００４の説明図である。
【００８０】
カメラ２で撮影された画像３００４には、操作者３００１の顔が映っている。
【００８１】
画像計測装置３は、画像３００４をカメラ２から受信する。すると、画像計測装置３は、画像３００４に映っている操作者３００１の顔の面積を測定し、測定した面積からカメラ２と操作者３００１の顔との距離を計算する。また、画像計測装置３は、画像に映っている操作者３００１の顔の画像中の位置を測定して、測定した画像中の位置から操作者３００１の顔の位置を計算する。また、図１４で後述するように、顔の動き及び首の動きを算出する。
【００８２】
図１０は、本発明の第３の実施の形態の画像計測装置３の構成のブロック図である。
【００８３】
画像計測装置３は、記憶装置１３に位相変化検出プログラム１３５を記憶している点を除き、第１の実施の形態の画像計測装置１と同一の構成である。なお、同一の構成には、同一の番号を付して、説明を省略する。
【００８４】
位相変化検出部１３５は、色相特徴追尾部１３３が追跡している物体の位相変化量を算出し、算出した位相変化量をメモリ１１に一時的に記憶する。
【００８５】
図１１Ａ及び図１１Ｂは、第３の実施の形態の追跡対象である操作者３００１の顔の画像計測装置３による処理の説明図である。
【００８６】
例えば、色相特徴抽出プログラム１３２は、操作者３００１の顔が映った画像から三つの色相特徴を抽出したとする。また、色相特徴追尾プログラム１３３は、ステップ９００４において（図５）、それぞれの色相特徴を有する画素数が最大となる画像切り出し窓の中心位置をそれぞれ位置１２００２、１２００３、１２００４と判定したとする。
【００８７】
このとき、それぞれの位置１２００２、１２００３、１２００４の画像切り出し窓が切り出した画像データにおける色相特徴を有する画素数の比と、色相特徴抽出プログラム１３２によって二次記憶された画素数の比は、同一である。よって、色相特徴追尾プログラム１３３は、ステップ９００５において、画素数の比が所定の範囲内であるか否かを用いて追跡の成否を判定できる。
【００８８】
また、位置・距離算出プログラム１３４は、これらの位置１２００２、１２００３、１２００４の平均値を求めることによって、追跡対象である操作者３００１の顔の位置を求めることができる。
【００８９】
図１１Ｂは、操作者３００１がカメラ２から遠ざかった場合である。
【００９０】
例えば、色相特徴追尾プログラム１３３は、ステップ９００４において、それぞれの色相特徴を有する画素数が最大となる画像切り出し窓の中心位置をそれぞれ位置１２００６、１２００７、１２００８と判定したとする。
【００９１】
カメラ２から遠ざかったとしても、それぞれの位置１２００６、１２００７、１２００８の画像切り出し窓が切り出した画像データにおける色相特徴を有する画素数の比と、色相特徴抽出プログラム１３２によって二次記憶された画素数の比とは、同一である。しかし、それぞれの画像データにおいて色相特徴を有する画素数は減少する。そこで、位置・距離算出プログラム１３４は、色相特徴抽出プログラム１３２が二次記憶した画素数を、それぞれの位置１２００６、１２００７、１２００８の画像切り出し窓が切り出した画像データにおける色相特徴を有する画素数で割った値の平方根を求める。そして、位置・距離算出プログラム１３４は、求めた値に色相特徴抽出プログラム１３２の処理時におけるカメラ２と操作者３００１との距離を乗ずると、カメラ２と操作者３００１の顔との現在の距離を求めることができる。
【００９２】
図１２Ａ、Ｂ及びＣは、本発明の第３の実施の形態の操作者３００１の顔の動きの説明図である。
【００９３】
本説明図では、カメラ２によって撮影された操作者３００１の顔に、顔の中心を原点とする座標系６００１を重ねて示している。顔の中心は、位置・距離算出プログラム１３４によって算出された追跡対象の位置を用いる。なお、座標系は、右上部分を第一象限、左上部分を第二象限、左下部分を第三象限、右下部分を第四象限とする。
【００９４】
画像計測装置３は、色相が変化した位置を検出し、操作者３００１の顔の動きを判定する。
【００９５】
図１２Ａは、通常時の操作者３００１の顔である。図１２Ｂは、口を開けた操作者３００１の顔である。つまり、画像計測装置３は、座標系６００１の第三象限及び第四象限の色相が変化すると、操作者３００１が口を開けたと判定する。
【００９６】
図１２Ｃは、左目を閉じた操作者３００１の顔である。つまり、画像計測装置３は、座標系６００１の第一象限の色相が変化すると、操作者３００１が左目を閉じたと判定する。同様に、座標系６００１の第二象限の色相が変化すると、操作者３００１が右目を閉じたと判定する
画像計測装置３は、顔の動きを判定すると、操作者３００１の顔の動き及び首の動きと天井走行ロボット３００２に対する操作指示コマンドとを対応付けたテーブルから、操作指示コマンドを抽出する。そして、抽出した操作指示コマンドを天井走行ロボット３００２に送信する。
【００９７】
図１３Ａ、Ｂ及びＣは、本発明の第３の実施の形態の操作者３００１の首の動きの説明図である。
【００９８】
図１３Ａは、通常時の操作者３００１の顔である。図１３Ｂは、首を横に振った操作者３００１の顔である。操作者３００１が首を横に振ると、図１３Ｂの矢印のように操作者３００１の顔が移動する。
【００９９】
画像計測装置３は、水平方向ラインＡ、Ｂ、Ｃ上の画像データを抽出して、一次元の信号波形を算出する。次に、算出した一次元の信号波形をフーリエ変換して、位相の変化量を求める。そして、求めた位相の変化量に基づいて、操作者３００１の首の横振りを判定する。なお、操作者３００１が首を横に振ると、水平方向ラインＡ、Ｂ、Ｃの位相の変化量は同じになる。よって、画像計測装置３は、処理時間を短縮するために、水平方向ラインＡ、Ｂ、Ｃのうちの一つだけを処理してもよい。
【０１００】
操作者３００１は、首の動作によって、指示対象を選択することがある。画像計測装置３は、操作者３００１の顔の位相の変化を検出することによって、この動作を判定することができる。例えば、図１３Ｂの右側を位相のプラス方向とした場合で説明する。画像計測装置３は、操作者３００１の顔の位相がプラス方向に変化し、続いて顔の位相がマイナス方向に変化したことを検出すると、操作者３００１が左側を選択したと判定する。同様に、画像計測装置３は、操作者３００１の顔の位相がマイナス方向に変化し、続いて顔の位相がプラス方向に変化したことを検出すると、操作者３００１が右側を選択したと判定する。
【０１０１】
図１３Ｃは、首を縦に振った操作者３００１の顔である。操作者３００１が首を縦に振ると、図１３Ｃの矢印のように操作者３００１の顔が移動する。
【０１０２】
画像計測装置３は、垂直方向ラインＤ、Ｅ、Ｆ上の画像データを抽出して、一次元の信号波形を作成する。次に、作成した一次元の信号波形をフーリエ変換して、位相の変化量を求める。そして、求めた位相の変化量に基づいて、操作者３００１の首の縦振りを判定する。なお、首の横振りと同様に、画像計測装置３は、処理時間を短縮するために、垂直方向ラインＤ、Ｅ、Ｆのうちの一つだけを処理してもよい。
【０１０３】
図１４は、本発明の第３の実施の形態の画像計測装置３で実行される位相変化検出プログラム１３５の処理のフローチャートである。
【０１０４】
まず、位置・距離算出プログラム１３４によって求められた追跡対象の位置を取得する（１０００１）。次に、取得した位置を中心として、水平方向ライン及び垂直方向ライン上の画像データを切り出す。次に、切り出した画像データの信号波形を算出し、算出した信号波形をＦＦＴ演算する（１０００２）。ここで、ＦＦＴ演算は、数式１のフーリエ変換によって行われる。
【０１０５】
【数１】
2006185109.tif 000003
【０１０６】
ｕrは時間ｒのときの画像データの信号波形であり、ｎは信号波形を算出する際に使用したデータ点数である。次に、数式２を用いて、ＦＦＴ演算の結果から信号波形ｕrの位相θtを求める。
【０１０７】
【数２】
2006185109.tif 000004
【０１０８】
Ｉｍ（Ｆ）は関数Ｆの虚部であり、Ｒｅ（Ｆ）は関数Ｆの実部であり、θtは時刻ｔのときの信号波形ｕrの位相である。次に、数式３を用いて、位相θtから位相の変化量θを算出する。
【０１０９】
【数３】
2006185109.tif 000005
【０１１０】
このようにして、水平方向ライン上の画像データの位相の変化量θHを算出し（１００３）、更に、垂直方向ライン上の画像データの位相の変化量θVを算出する（１０００４）。
【０１１１】
次に、水平方向ライン上の位相の変化量θHが垂直方向ライン上の位相の変化量θVより大きいか否かを判定する（１０００５）。
【０１１２】
水平方向ライン上の位相の変化量θHが垂直方向ライン上の位相の変化量θVより大きいと、水平方向ライン上の位相の変化が顕著であると判定する（１０００６）。例えば、図１３Ｃのような操作者３００１の顔の動きが検出されると、操作者３００１が肯き動作を行ったと判定する。
【０１１３】
一方、水平方向ライン上の位相の変化量θHが垂直方向ライン上の位相の変化量θV以下であると、垂直方向ライン上の位相の変化が顕著であると判定する（１０００７）。例えば、図１３Ｂのような操作者３００１の顔の動きが検出されると、操作者３００１が否定動作を行ったと判定する。
【０１１４】
本実施の形態では、操作者３００１は、顔及び首を動かすことによって、操作コマンドをロボットに入力することができる。なお、他の電気機器（例えば、テレビ）等を対象としてもよい。
【０１１５】
従来、操作コマンドの入力方法は、ボタン操作による入力や、音声による入力が知られている。しかし、音声による操作コマンドの入力は、ボタン入力よりも操作時間がかかる上、入力ミスも多いという問題があった。そのため、音声による操作コマンド入力は、操作者が運転中で注意を逸らすことができないという特殊な事情で実用化されている車載用運転経路誘導装置等を除き、実用化されていない。そこで、本実施の形態の画像計測装置３によれば、これらの問題を解決した操作コマンド入力方法を提供することができる。
【０１１６】
（第４の実施の形態）
図１５Ａは、本発明の第４の実施の形態の画像計測装置４を適用した不審人物監視撮影システムの説明図である。
【０１１７】
不審人物４００１は、天井等に備えられたカメラ２の視野内に立ち入っている。カメラ２は、不審人物４００１を撮影し、撮影した画像を画像計測装置４に送信する。
【０１１８】
画像計測装置４は、図１６で後述する構成を備え、カメラ２と接続されている。画像計測装置４は、カメラ２によって撮影された画像から、所定のライン上の信号波形を算出する。
【０１１９】
画像計測装置４は、算出した信号波形から、不審人物４００１がカメラ２の視野内に存在するか否かを判定する。そして、画像計測装置４は、不審人物４００１がカメラ２の視野内に存在すると、カメラ２によって撮影された画像を記憶する。なお、画像計測装置４が記憶した画像は、後で閲覧することができる。
【０１２０】
本実施の形態の不審人物監視撮影システムは、さらに、夜間照明装置４００４及び赤外線センサ４００５を備えてもよい。赤外線センサ４００５は、人体温度を感知すると、夜間照明装置４００４を点灯させる。夜間照明装置４００４が点灯すると、カメラ２によって撮影された画像の明るさが急激に変化する。画像計測装置４は、画像の明るさの変化を検知すると、以後の画像を記憶する。不審人物監視撮影システムは、夜間照明装置４００４及び赤外線センサ４００５を備えることによって、夜間であっても不審人物を監視することができる。
【０１２１】
図１５Ｂは、本発明の第４の実施の形態のカメラ２で撮影された画像４００３の説明図である。
【０１２２】
カメラ２で撮影された画像４００３には、不審人物４００１が映っている。
【０１２３】
画像計測装置４は、画像４００３をカメラ２から受信する。すると、画像計測装置４は、画像４００３から所定のライン４００６上の信号波形を算出する。そして、算出した信号波形から、不審人物４００１がカメラ２の視野内に存在するか否かを判定する。なお、所定のライン４００６は、犬や猫を検出せず人間のみを検出する高さに設定すると効果的である。
【０１２４】
図１６は、本発明の第４の実施の形態の画像計測装置４の構成のブロック図である。
【０１２５】
画像計測装置４は、色相特徴抽出プログラム１３２、色相特徴追尾プログラム１３３及び位置・距離算出プログラム１３４の代わりに、不審人物検出プログラム１３６を記憶装置１３に記憶している点を除き、第１の実施の形態の画像計測装置１と同一の構成である。なお、同一の構成には、同一の番号を付して、説明を省略する。
【０１２６】
不審人物検出プログラム１３６は、画像取り込みプログラム１３１が取り込んだ画像の変化を検出すると、その画像を記憶する。
【０１２７】
図１７は、本発明の第４の実施の形態の画像計測装置４で実行される不審人物検出プログラム１３６の処理のフローチャートである。
【０１２８】
画像取り込みプログラム１３１が画像を取り込むと処理を開始する（１１００１）。次に、取り込まれた画像から所定のライン上の信号波形を算出する。算出した信号波形から直前のフレームで算出した信号波形を差分する（１１００２）。次に、求めた差分値が閾値より大きいか否かを判定する（１１００３）。閾値は、例えば、不審人物４００１を検出し、且つ犬や猫を検出しない値とし、予め設定しておく。
【０１２９】
差分値が閾値より大きい場合、画像取り込みプログラム１３１によって取り込まれた画像をメモリ１１に記憶する（１１００４）。
【０１３０】
従来の不審人物監視システムは、人体温感知センサによって所定の温度を感知すると、照明装置のスイッチを投入する。しかし、この不審人物監視システムでは、人体温感知センサが感知した不審人物の情報を取得できない。不審人物の情報は、センサが感知した不審人物の人相及び服装等である。そのため、従来の不審人物監視システムは、不審人物に対する抑止効果は極めて小さい。そこで、本実施の形態の不審人物監視撮影システムは、カメラ撮影機能を付加したので、不審人物に対する抑止力を高めることができ、更に、不審人物の情報を記憶しておくことができる。
【産業上の利用可能性】
【０１３１】
本発明の画像計測装置は、カメラで撮影された画像から各種情報を取得することができる。よって、カメラで撮影された画像からの情報を利用する分野に適用することができる。例えば、コンピュータ内で仮想的にシミュレーションするゲーム、不審人物監視装置、人物認証装置、機器類操作インタフェース、ロボットによる受付業務及びロボットによる接客業務などに適用することができる。
【図面の簡単な説明】
【０１３２】
【図１Ａ】本発明の第１の実施の形態の画像計測装置を適用したボクシングゲームの説明図である。
【図１Ｂ】本発明の第１の実施の形態のカメラで撮影された画像の説明図である。
【図２】本発明の第１の実施の形態の画像計測装置の構成のブロック図である。
【図３】本発明の第１の実施の形態の画像計測装置で実行される色相特徴抽出プログラムの一次抽出処理のフローチャートである。
【図４】本発明の第１の実施の形態の画像計測装置で実行される色相特徴抽出プログラムの二次抽出処理のフローチャートである。
【図５】本発明の第１の実施の形態の画像計測装置で実行される色相特徴追尾プログラムの処理のフローチャートである。
【図６】本発明の第１の実施の形態の画像計測装置で実行される色相特徴追尾プログラムの処理の説明図である。
【図７】本発明の第１の実施の形態の画像計測装置で実行される位置・距離算出プログラムの処理のフローチャートである。
【図８Ａ】本発明の第２の実施の形態の画像計測装置を適用した卓球ゲームの説明図である。
【図８Ｂ】本発明の第２の実施の形態のカメラで撮影された画像の説明図である。
【図９Ａ】本発明の第３の実施の形態の画像計測装置を適用した天井走行ロボット遠隔操作システムの説明図である。
【図９Ｂ】本発明の第３の実施の形態のカメラで撮影された画像の説明図である。
【図１０】本発明の第３の実施の形態の画像計測装置の構成のブロック図である。
【図１１Ａ】第３の実施の形態の追跡対象である操作者の顔の画像計測装置による処理の説明図である。
【図１１Ｂ】第３の実施の形態の追跡対象である操作者の顔の画像計測装置による処理の説明図である。
【図１２Ａ】本発明の第３の実施の形態の操作者の顔の動きの説明図である。
【図１２Ｂ】本発明の第３の実施の形態の操作者の顔の動きの説明図である。
【図１２Ｃ】本発明の第３の実施の形態の操作者の顔の動きの説明図である。
【図１３Ａ】本発明の第３の実施の形態の操作者の首の動きの説明図である。
【図１３Ｂ】本発明の第３の実施の形態の操作者の首の動きの説明図である。
【図１３Ｃ】本発明の第３の実施の形態の操作者の首の動きの説明図である。
【図１４】本発明の第３の実施の形態の画像計測装置で実行される位相変化検出プログラムの処理のフローチャートである。
【図１５Ａ】本発明の第４の実施の形態の画像計測装置を適用した不審人物監視撮影システムの説明図である。
【図１５Ｂ】本発明の第４の実施の形態のカメラで撮影された画像の説明図である。
【図１６】本発明の第４の実施の形態の画像計測装置の構成のブロック図である。
【図１７】本発明の第４の実施の形態の画像計測装置で実行される不審人物検出プログラムの処理のフローチャートである。
【符号の説明】
【０１３３】
１、３、４  画像計測装置
２  カメラ
１０  ＣＰＵ
１１  メモリ
１２  入出力部
１３  記憶装置
１３１  画像データ取り込みプログラム
１３２  色相特徴抽出プログラム
１３３  色相特徴追尾プログラム
１３４  位置・距離算出プログラム
１３５  位相変化検出プログラム
１３６  不審人物検出プログラム
１００１  プレーヤ
１００２  仮想の対戦相手
１００３、１００４  グローブ
【図１Ａ】
2006185109.tif 000006
【図１Ｂ】
2006185109.tif 000007
【図２】
2006185109.tif 000008
【図３】
2006185109.tif 000009
【図４】
2006185109.tif 000010
【図５】
2006185109.tif 000011
【図６】
2006185109.tif 000012
【図７】
2006185109.tif 000013
【図８Ａ】
2006185109.tif 000014
【図８Ｂ】
2006185109.tif 000015
【図９Ａ】
2006185109.tif 000016
【図９Ｂ】
2006185109.tif 000017
【図１０】
2006185109.tif 000018
【図１１Ａ】
2006185109.tif 000019
【図１１Ｂ】
2006185109.tif 000020
【図１２Ａ】
2006185109.tif 000021
【図１２Ｂ】
2006185109.tif 000022
【図１２Ｃ】
2006185109.tif 000023
【図１３Ａ】
2006185109.tif 000024
【図１３Ｂ】
2006185109.tif 000025
【図１３Ｃ】
2006185109.tif 000026
【図１４】
2006185109.tif 000027
【図１５Ａ】
2006185109.tif 000028
【図１５Ｂ】
2006185109.tif 000029
【図１６】
2006185109.tif 000030
【図１７】
2006185109.tif 000031