(57)【要約】【課題】被観察者に負担を強いることなく、簡易な画像処理によって、安定して被観察者の肌色モデルを生成することができるようにする。【解決手段】被観察者と握手をするために所定領域内にロボットアームハンドの手先を移動させ（１０２）、カメラの視野内に所定領域が入るように、カメラの位置姿勢を制御し（１０４）、ロボットアームハンドが被観察者と握手していない状態において撮像された画像を取り込む（１０６）。手先接触センサのセンサ情報に基づいて、被観察者がロボットアームハンドと握手した判定されると（１０８、１１０）、ロボットアームハンドが被観察者と握手している状態において撮像された画像を取り込み（１１２）、ロボット手先画像Ｉ１とロボット手先画像Ｉ２とを比較して、手先領域を検出し（１１４）、手先のＲＧＢ色情報を検出し（１１６）、検出された手先のＲＧＢ色情報から肌色モデルを生成する（１２０）。【選択図】図２
2008262272.tif 000002
【特許請求の範囲】
【請求項１】
所定領域を撮像するための撮像部と、
前記所定領域内に移動可能な可動部と、
前記所定領域内に前記可動部を移動させる動作制御手段と、
前記可動部の移動に応じて、被観察者が前記所定領域内に肌が露出している部位を移動させたか否かを判定する判定手段と、
前記判定手段によって、前記被観察者が前記所定領域内に前記部位を移動させたと判定されたときに前記撮像部で撮像された画像に基づいて、前記被観察者の前記部位の色を検出し、前記検出された色に基づいて、前記被観察者の肌色について規定した肌色モデルを生成する肌色モデル生成手段と、
を含む肌色モデル生成装置。
【請求項２】
前記部位は手であって、
前記肌色モデル生成手段は、手の肌色モデルを生成する請求項１記載の肌色モデル生成装置。
【請求項３】
前記可動部は、ロボットアームであって、
前記動作制御手段は、前記被観察者と握手するように、前記ロボットアームを前記所定領域内に移動させる請求項１又は２記載の肌色モデル生成装置。
【請求項４】
前記可動部に設けられ、かつ、前記被観察者の前記部位を検知する検知手段を更に含み、
前記判定手段は、前記検知手段による検知結果に基づいて、前記被観察者が前記所定領域内に前記部位を移動させたか否かを判定する請求項１〜請求項３の何れか１項記載の肌色モデル生成装置。
【請求項５】
前記判定手段は、前記撮像部によって撮像された画像に基づいて、前記被観察者が前記所定領域内に前記部位を移動させたか否かを判定する請求項１〜請求項３の何れか１項記載の肌色モデル生成装置。
【請求項６】
前記肌色モデル生成手段によって生成された肌色モデルに基づいて、前記撮像部によって撮像された画像から、前記被観察者の前記部位を検出する検出手段を更に含む請求項１〜請求項５の何れか１項記載の肌色モデル生成装置。
【請求項７】
コンピュータを、
移動可能な可動部を所定領域内に移動させる動作制御手段、
前記可動部の移動に応じて、被観察者が前記所定領域内に肌が露出している部位を移動させたか否かを判定する判定手段、及び
前記判定手段によって、前記被観察者が前記所定領域内に前記部位を移動させたと判定されたときに前記所定領域を撮像する撮像部で撮像された画像に基づいて、前記被観察者の前記部位の色を検出し、前記検出された色に基づいて、前記被観察者の肌色について規定した肌色モデルを生成する肌色モデル生成手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、肌色モデル生成装置及びプログラムに係り、特に、撮像された画像から、被観察者の肌色モデルを生成する肌色モデル生成装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、顔の検出や、あるいはコミュニケーションのために対象者の手などを画像から検出する場合、人の肌色情報を用いて、顔や手などの部位を特定し、それらを追跡することが一般的に行われている。しかしながら、肌色情報は対象者毎に差異があり、さらには同じ対象者でも環境の明るさの影響により変動する。このため対象者の肌色モデルを構築するためにさまざまな方法が考案されている。
【０００３】
例えば、ユーザに手を振らせた状態での画像を連続的に撮像し、その画像間での動き情報から手先部位を特定することで肌色情報を取得する色モデル構築装置が知られている（特許文献１）。
【０００４】
また、ユーザの顔を何らかの方法で検出し、その顔領域での色情報から肌色モデルを構築する動作識別装置が知られている（特許文献２）。この動作識別装置では、顔検出によって正しく顔が検出できていることが前提となっている。
【特許文献１】特開２００４−２８０１４８
【特許文献２】特開２００５−７８２５７
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術では、肌色情報を得るためにユーザに手を振らせるなどの負担をかけてしまう、という問題がある。
【０００６】
また、上記特許文献２に記載の技術では、必ずしも安定に顔が検出できるとは限らず、顔が検出できない場合には、肌色モデルの構築は困難であり、また、顔を誤検出してしまった場合には、誤った肌色を基準として肌色モデルを構築してしまい、その後の画像処理の信頼性に大きな影響を及ぼしてしまう、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、被観察者に負担を強いることなく、簡易な画像処理によって、安定して被観察者の肌色モデルを生成することができる肌色モデル生成装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明に係る肌色モデル生成装置は、所定領域を撮像するための撮像部と、前記所定領域内に移動可能な可動部と、前記所定領域内に前記可動部を移動させる動作制御手段と、前記可動部の移動に応じて、被観察者が前記所定領域内に肌が露出している部位を移動させたか否かを判定する判定手段と、前記判定手段によって、前記被観察者が前記所定領域内に前記部位を移動させたと判定されたときに前記撮像部で撮像された画像に基づいて、前記被観察者の前記部位の色を検出し、前記検出された色に基づいて、前記被観察者の肌色について規定した肌色モデルを生成する肌色モデル生成手段とを含んで構成されている。
【０００９】
また、本発明に係るプログラムは、コンピュータを、移動可能な可動部を所定領域内に移動させる動作制御手段、前記可動部の移動に応じて、被観察者が前記所定領域内に肌が露出している部位を移動させたか否かを判定する判定手段、及び前記判定手段によって、前記被観察者が前記所定領域内に前記部位を移動させたと判定されたときに前記所定領域を撮像する撮像部で撮像された画像に基づいて、前記被観察者の前記部位の色を検出し、前記検出された色に基づいて、前記被観察者の肌色について規定した肌色モデルを生成する肌色モデル生成手段として機能させることを特徴としている。
【００１０】
本発明によれば、撮像部によって、所定領域を撮像し、動作制御手段によって、所定領域内に可動部を移動させる。そして、判定手段によって、可動部の移動に応じて、被観察者が所定領域内に肌が露出している部位を移動させたか否かを判定する。
【００１１】
そして、肌色モデル生成手段によって、判定手段によって、被観察者が所定領域内に部位を移動させたと判定されたときに撮像部で撮像された画像に基づいて、被観察者の部位の色を検出し、検出された色に基づいて、被観察者の肌色について規定した肌色モデルを生成する。
【００１２】
このように、所定領域内に可動部を移動させて、可動部の移動に応じて、被観察者に肌が露出している部位を所定領域内に移動させ、被観察者が部位を所定領域内に移動させたときに撮像された画像に基づいて、部位の色を検出し、肌色モデルを生成するため、被観察者に負担を強いることなく、簡易な画像処理によって、安定して被観察者の肌色モデルを生成することができる。
【００１３】
上記の部位は手であって、肌色モデル生成手段は、手の肌色モデルを生成することができる。これによって、手の肌色モデルを生成するため、被観察者の手の追跡を容易に行うことができるようになる。
【００１４】
また、上記の可動部は、ロボットアームであって、動作制御手段は、被観察者と握手するように、ロボットアームを所定領域内に移動させることができる。これにより、被観察者に違和感を与えることなく、所定領域内に被観察者の部位を移動させるため、被観察者に負担を強いることなく、被観察者の肌色モデルを生成することができる。
【００１５】
上記の肌色モデル生成装置は、可動部に設けられ、かつ、被観察者の部位を検知する検知手段を更に含み、判定手段は、検知手段による検知結果に基づいて、被観察者が所定領域内に部位を移動させたか否かを判定することができる。
【００１６】
また、上記の判定手段は、撮像部によって撮像された画像に基づいて、被観察者が所定領域内に部位を移動させたか否かを判定することができる。
【００１７】
また、上記の肌色モデル生成装置は、肌色モデル生成手段によって生成された肌色モデルに基づいて、撮像部によって撮像された画像から、被観察者の部位を検出する検出手段を更に含むことができる。これにより、生成された肌色モデルに基づいて、被観察者の部位を容易に追跡することができる。
【発明の効果】
【００１８】
以上説明したように、本発明の肌色モデル生成装置及びプログラムによれば、所定領域内に可動部を移動させて、可動部の移動に応じて、被観察者に肌が露出している部位を所定領域内に移動させ、被観察者が部位を所定領域内に移動させたときに撮像された画像に基づいて、部位の色を検出し、肌色モデルを生成するため、被観察者に負担を強いることなく、簡易な画像処理によって、安定して被観察者の肌色モデルを生成することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、ロボット装置に本発明を適用した場合を例に説明する。
【００２０】
図１に示すように、本実施の形態に係るロボット装置１０は、観察対象者を撮像するためのカメラ１２と、カメラ１２によって撮像された画像に対して、所定の画像処理を行う画像処理部１４と、移動可能であって、移動することにより位置及び姿勢を変えることができるロボットアームハンド１６と、ロボットアームハンド１６の手先に取り付けられ、かつ、例えば、感圧フィルムから構成された手先接触センサ１８と、カメラ１２、画像処理部１４、ロボットアームハンド１６、及び手先接触センサ１８を含むロボット装置１０の各部の動作を制御するロボット制御部２０と、例えば、ハードディスクから構成され、ロボットアームハンドの位置や、画像処理部１４による画像処理結果やロボット制御パラメータなどを記憶しておく情報記憶部２２とを備えている。
【００２１】
カメラ１２は、画像信号を生成するＣＣＤイメージセンサと、ＣＣＤイメージセンサで生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部とを備えており、また、ロボット制御部２０によって撮像方向が制御可能となっている。
【００２２】
また、画像処理部１４は、カメラ１２によって撮像された画像を取り込む画像入力部２４と、画像入力部２４に取り込まれた画像中での観察対象者の肌が露出している部位としての手先を表す領域である手先領域を検出する手先領域検出部２６と、手先領域から手先の色情報を検出する手先色検出部２８と、手先色検出部２８によって検出された手先の色情報から観察対象者の肌色について規定した肌色モデルを生成する肌色モデル生成部３０とを備えている。
【００２３】
画像処理部１４及びロボット制御部２０は、所定の処理を行うＣＰＵと、ワークエリアであるＲＡＭと、ＣＰＵの制御プログラムが記憶されているＲＯＭとを備え、また、情報記憶部２２には、更に後述する肌色モデル生成処理ルーチンや手先領域検出処理ルーチンを実行するためのプログラムが記憶されている。
【００２４】
次に、ロボット装置１０において実行される肌色モデル生成処理ルーチンについて図２を用いて説明する。まず、ステップ１００において、ロボット装置１０の前方に被観察者が存在するか否かを判定する。例えば、超音波センサ（図示省略）を用いて、ロボット装置１０の前方に被観察者と期待される存在が検知されると、ステップ１００からステップ１０２へ進む。なお、撮像方向が前方に向けられたカメラ１２によって撮像された画像中に顔が存在するか否かを判定し、顔が存在すると判定された場合に、前方に被観察者が存在すると判断してもよい。
【００２５】
そして、ステップ１０２において、被観察者と握手をするために適切な所定領域内にロボットアームハンド１６の手先が移動し、かつ、所定姿勢になるように、ロボットアームハンド１６をロボット制御部２０によって制御する。例えば、カメラ１２によって撮像された画像中での顔位置を認識して、被観察者の身長を推測し、推測された身長の被観察者が握手をするのに適切な高さにロボットアームハンド１６を移動させ、握手ができるようにロボットアームハンド１６の手のひらを広げて待機させる。
【００２６】
次のステップ１０４では、ロボット座標系におけるロボットアームハンド１６の手先位置に基づいて、カメラ１２の視野内に、上記の握手のための所定領域が入るように、カメラ１２の位置姿勢を制御する。なお、ロボットアームハンド１６の手先位置は、ロボット装置１０の体格および各関節角度情報から容易に算出できるため、図示していないカメラ雲台などをロボット制御部２０により制御することで、ロボットアームハンド１６の手先が位置する握手のための所定領域をカメラ１２によって的確に撮像できるようになる。
【００２７】
そして、ステップ１０６では、図３（Ａ）に示すように、ロボットアームハンド１６が被観察者と握手していない状態においてカメラ１２によって撮像された画像を、画像入力部２４によって取り込み、情報記憶部２２にロボット手先画像Ｉ１として記録しておく。
【００２８】
次のステップ１０８では、ロボットアームハンド１６の手先に取り付けた手先接触センサ１８のセンサ情報を読み取り、ステップ１１０において、読み取ったセンサ情報に基づいて、被観察者がロボットアームハンド１６の手先を握ったか否かを判定する。例えば、感圧フィルムで構成される手先接触センサ１８からのセンサ情報において、所定の閾値以上の信号強度が得られた場合は、被観察者がロボットアームハンド１６に対して握手をして接触したと判断し、ステップ１１２へ移行する。一方、閾値以下の場合は、握手などの接触が無いと判断して、再度ステップ１０８へ戻って、所定の周期（たとえば１秒に１０回）でセンサ情報を読み取り、上記と同様に握手をしたか否かを判定する。
【００２９】
ステップ１１２では、図３（Ｂ）に示すように、ロボットアームハンド１６が被観察者と握手している状態においてカメラ１２で撮像された画像を、画像入力部２４によって取り込み、情報記憶部２２に、ロボットアームハンド１６が被観察者と握手した状態のロボット手先画像Ｉ２として記憶しておく。
【００３０】
そして、ステップ１１４において、情報記憶部２２に記憶されたロボット手先画像Ｉ１とロボット手先画像Ｉ２とを比較することで、画像中での被観察者の手先領域を検出する。手先領域の検出方法としては、上記ステップ１０６とステップ１１２との間で、環境の照明条件などが大きく変化していない場合には、画像Ｉ１と画像Ｉ２との差分画像から、容易に被観察者の手先領域を検出することができる。また、仮に照明条件が大きく変化したために、差分画像だけからでは被観察者の手先領域を検出できない場合でも、画像Ｉ２でのロボットアームハンド１６が画像中に占める領域は容易に特定できるため、その周辺の領域を、被観察者の手先領域として検出すればよい。
【００３１】
そしてステップ１１６では、ロボット手先画像Ｉ２における、上記ステップ１１４で検出された被観察者の手先領域から、被観察者の手先のＲＧＢ色情報を検出する。例えば、カメラ１２がベイヤフィルタを用いて色情報を保存する場合には、各画素の輝度情報からＲＧＢ情報への変換を行うことで、各画素のＲＧＢ色情報を得ることができる。あるいは、３板式ＣＣＤカメラの場合は、各ＣＣＤからの輝度情報がＲＧＢの色情報に対応しているため、特別な変換を行うことなく手先領域のＲＧＢ色情報を検出できる。
【００３２】
次のステップ１１８において、上記ステップ１１６で検出された手先のＲＧＢ色情報から肌色モデルを生成して、肌色モデル生成処理ルーチンを終了する。ここで、肌色モデルの生成方法について説明する。手先領域をΩと表し、Ωに含まれる画像の（Ｒ、Ｇ、Ｂ）色データを、次の（１）式を用いて（Ｈ、Ｓ、Ｖ）色データヘ変換する．
【００３３】
【数１】
2008262272.tif 000003
【００３４】
ここでＲ、Ｇ、Ｂは０〜１．０の範囲の値を持つ正規化したＲＧＢ値であり、Ｒ、Ｇ、Ｂの最大値をＭＡＸ、最小値をＭＩＮとしている。なお上記（１）式はＲＧＢからＨＳＶへの公知の変換式である。
【００３５】
そして上記（１）式で求められたＨ、Ｓから次の（２）式により肌色モデルを求める。ここで、Ｎは手先領域Ωに含まれる画素の個数であり、Ｓａｖｇ、Ｈａｖｇは手先領域での色相と彩度との各々の平均値を表している。これにより、被観察者の肌色モデル（Ｓａｖｇ、Ｈａｖｇ）を生成する。
【００３６】
【数２】
2008262272.tif 000004
【００３７】
そして、上記のように肌色モデル生成処理ルーチンを実行することにより、肌色モデルが生成されると、次に、被観察者の手先領域を検出して追跡するための図４に示す手先領域検出処理ルーチンが実行される。
【００３８】
まず、ステップ１５０において、カメラ１２の視野内に、被観察者が入るように、カメラ１２の位置姿勢を制御し、ステップ１５２において、図５（Ａ）に示すような被観察者を表すカラー画像を撮像して、カラー画像を取り込む。そして、ステップ１５４で、手先領域が設定されているか否かを判定し、まだ設定されていない場合には、ステップ１５６へ移行し、撮像されたカラー画像全体のＲＧＢ色情報を、肌色モデルのＨＳＶ表色系に変換する。すなわち、上記（１）式により、ＲＧＢからＨＳＶへの変換をカラー画像の全画素について行う。
【００３９】
そして、ステップ１５８において、上記（２）式により既に求められた肌色モデル（Ｓａｖｇ、Ｈａｖｇ）を用いて、各画素について肌色モデルと類似しているかどうかを判定し、判定結果として２値画像を生成する。例えば、Ｓ（ｉ、ｊ）、Ｈ（ｉ、ｊ）を画素（ｉ，ｊ）の彩度、色相とすると、次の（３）式をともに満たす画素（ｉ、ｊ）には０を代入し、満たさない画素（ｉ、ｊ）には１を代入して、図５（Ｂ）に示すような２値画像を生成する。
【００４０】
【数３】
2008262272.tif 000005
【００４１】
ここで、Ｓｔｈ，Ｈｔｈは被観察者の手先領域候補決定のための予め定めておく閾値である。
【００４２】
次のステップ１６０では、図５（Ｂ）に示すような２値画像について、領域分割を行い、ステップ１６２において、領域分割された手先候補領域の位置、大きさ、及び形状から図５（Ｃ）に示すように、手先領域を検出する。なお、領域分割の方法と、領域の位置、大きさ、及び形状からの手先領域の検出方法とは、従来既知の手法を用いればよいため、説明を省略する。
【００４３】
そして、ステップ１６４において、上記ステップ１５２で撮像された現在の画像において手先領域を設定し、ステップ１６６で、処理の継続が指示されているか否かを判定し、処理の継続が指示されていない場合は、手先領域検出処理ルーチンを終了するが、処理の継続が指示されている場合には、ステップ１５２へ戻って、再びカラー画像を撮像する。
【００４４】
また、上記ステップ１５４において、上記ステップ１６４により手先領域が設定されていると判定された場合には、ステップ１６８へ移行し、前フレーム画像に対して設定された手先領域周辺の所定領域を探索領域（図５（Ｃ）の破線矩形領域参照）として設定し、ステップ１７０において、設定された探索領域の画像のＲＧＢ色情報を、肌色モデルのＨＳＶ表色系に変換する。
【００４５】
そして、ステップ１７２において、上記（２）式により既に求められた肌色モデル（Ｓａｖｇ、Ｈａｖｇ）を用いて、探索領域内の各画素について肌色モデルと類似しているかどうかを判定し、２値画像を生成する。
【００４６】
次のステップ１７４では、２値画像について、領域分割を行い、ステップ１７６において、領域分割された手先候補領域の位置、大きさ、及び形状から手先領域を検出して、ステップ１６４へ移行して、現在フレームの画像に対して手先領域を設定する。
【００４７】
上記のように手先領域検出処理ルーチンでは、図５（Ｃ）の破線矩形領域で示したように探索領域を特定し、その領域内でのみ手先領域を検出するための処理を行えばよいため、少ない計算量で高速に、かつ信頼性よく手先領域を検出して、追跡することができる。
【００４８】
なお、上記では、肌色モデルを用いて、手先領域の検出処理を行う場合を例に説明したが、これに限定されるものではなく、肌色モデルに類似する画素が多く含まれている画像領域に対して、たとえば顔検出処理などの目的に応じた画像処理を行ってもよい。
【００４９】
以上説明したように、第１の実施の形態に係るロボット装置によれば、握手のための所定領域内にロボットアームハンドの手先を移動させて、ロボットアームハンドの移動に応じて、被観察者に手を所定領域内に差し出すように促し、被観察者が手を所定領域内に差し出したときに撮像された画像に基づいて、手先の色を検出し、肌色モデルを生成するため、被観察者に煩雑な作業などの負担を強いることなく、簡易な画像処理によって、安定して被観察者の肌色モデルを生成することができる。
【００５０】
また、生成された肌色モデルを用いることで、その後の被観察者の手先の追跡や、顔の発見、追従などを、色情報を基にした単純な画像処理により信頼性よく安定に行うことができる。
【００５１】
また、ロボット装置が手を差し伸べて握手を促す動作をした場合、被観察者の自然な反応として同じように手を差し伸べて握手が行われることが容易に期待できるため、被観察者に違和感を与えることなく、所定領域内に被観察者の手を移動させることができる。
【００５２】
また、この時、ロボットアームハンドの手先にセンサを設置しておくことで、握手が行われたかどうかは簡便に検出可能であり、簡便確実な方法で被観察者の手を確実に撮像することができる。また、握手が行われたときの画像を解析することで、被観察者の手先の色情報を簡便かつ安定に検出することができ、また、被観察者の肌色モデルの構築が容易に可能である。
【００５３】
なお、上記の実施の形態では、肌色モデルにおいて、ＨＳＶ表色モデルを用いた場合を例に説明したが、これに限定されるものではなく、例えば、ｒｇｂ色モデルやＬ＊ａ＊ｂ＊色モデルなど、他の公知の表色モデルを用いてもよい。また、肌色モデルとして（２）式（３）式を用いて判定を行ったが、これに限定されるものではなく、他の判定方法を用いても同様の効果が得られる。
【００５４】
また、手先接触センサを、感圧フィルムを用いて構成した場合を例に説明したが、これに限定されるものではなく、ひずみゲージを用いたもの、あるいは光学式のものなど、ロボットハンドの大きさやセンサ信号、配線方法などに応じて市販のセンサなどを選択して、用いればよい。
【００５５】
また、被観察者の肌が露出している部位として手を所定領域に移動させて、手の色を検出する場合を例に説明したが、手以外の他の部位を所定領域に移動させて、その部位の色を検出して、肌色モデルを生成してもよい。
【００５６】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となっている部分については、同一符号を付して説明を省略する。
【００５７】
第２の実施の形態では、ロボットアームハンドの手先の手先接触センサのセンサ情報を用いずに、被観察者がロボットアームハンドと握手したか否かを判定している点が第１の実施の形態と異なっている。
【００５８】
第２の実施の形態では、カメラ１２によって撮像された画像を用いて、上記図３（Ａ）のロボットアームハンド１６の親指、人差し指部分に観測領域を設定し、連続した各フレームの画像を比較して、図３（Ａ）と図３（Ｂ）のように、その観測領域の色情報がある一定時間変化したと判定できた場合に、握手していると判断する。
【００５９】
次に、第２の実施の形態に係る肌色モデル生成処理ルーチンについて図６を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００６０】
まず、ステップ１００において、ロボット装置１０の前方に被観察者が存在するか否かを判定し、前方に被観察者が存在すると判定されると、ステップ１０２において、被観察者と握手をするために適切な所定領域にロボットアームハンド１６の手先が移動し、かつ、所定姿勢になるように、ロボットアームハンド１６を制御する。次のステップ１０４では、カメラ１２の視野内に、握手のための所定領域が入るように、カメラ１２の位置姿勢を制御し、ステップ１０６では、ロボットアームハンド１６が被観察者と握手していない状態において撮像された画像を、画像入力部２４を用いて入力し、情報記憶部２２にロボット手先画像Ｉ１として記録しておく。
【００６１】
そして、ステップ２００において、上記ステップ１０６の後にカメラ１２で撮像された画像を、画像入力部２４を用いて入力し、情報記憶部２２にロボット手先画像Ｉ２として記録しておく。次のステップ２０２では、手先領域検出部２６において、ロボット手先画像Ｉ１とロボット手先画像Ｉ２との変化量Ｄを算出して、変化量Ｄがしきい値以上であるか否かを判定する。変化量Ｄの算出方法としては、各画素の差の絶対値和などの従来既知の手法を用いればよい。そして、算出された変化量Ｄが予め定められたしきい値以上であるか否かを判定し、算出された変化量Ｄがしきい値以上であるの場合には、被観察者が握手のための所定領域内に手を差し出して、ロボットアームハンド１６と握手したと判断し、ステップ１１４へ移行するが、一方、算出された変化量Ｄがしきい値未満である場合には、被観察者が握手のための所定領域内に手を差し出していないと判断し、ステップ２００へ戻り、繰り返しカメラ１２で画像を撮像する。
【００６２】
そして、ステップ１１４において、情報記憶部２２に記憶されたロボット手先画像Ｉ１とロボット手先画像Ｉ２とを比較することで、画像中での被観察者の手先領域を検出し、ステップ１１６で、ロボット手先画像Ｉ２における被観察者の手先領域から、被観察者の手先のＲＧＢ色情報を検出する。
【００６３】
そして、次のステップ１１８において、上記ステップ１１６で検出された手先のＲＧＢ色情報から肌色モデルを生成して、肌色モデル生成処理ルーチンを終了する。
【００６４】
なお、手先領域検出処理ルーチンの内容については、第１の実施の形態と同様であるため、説明を省略する。
【００６５】
このように、画像の差分処理を行うことで、ロボットの手先と対象者の手先が重なりあったかどうかを容易に検出でき、ロボットアームハンドの手先にセンサを取り付ける必要がないため、簡易な装置構成で、かつ、被観察者に煩雑な作業などの負担を強いることなく、簡易な画像処理によって、安定して被観察者の肌色モデルを生成することができる。
【図面の簡単な説明】
【００６６】
【図１】本発明の第１の実施の形態に係るロボット装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係るロボット装置における肌色モデル生成処理ルーチンの内容を示すフローチャートである。
【図３】ロボット手先画像のイメージ図である。
【図４】本発明の第１の実施の形態に係るロボット装置における手先領域検出処理ルーチンの内容を示すフローチャートである。
【図５】（Ａ）被観察者を撮像した画像のイメージ図、（Ｂ）２値画像のイメージ図、及び（Ｃ）検出される手先領域と画像に設定される探索領域とを説明するためのイメージ図である。
【図６】本発明の第２の実施の形態に係るロボット装置における肌色モデル生成処理ルーチンの内容を示すフローチャートである。
【符号の説明】
【００６７】
１０   ロボット装置
１２   カメラ
１４   画像処理部
１６   ロボットアームハンド
１８   手先接触センサ
２０   ロボット制御部
２２   情報記憶部
２４   画像入力部
２６   手先領域検出部
２８   手先色検出部
３０   肌色モデル生成部
【図１】
2008262272.tif 000006
【図２】
2008262272.tif 000007
【図３】
2008262272.tif 000008
【図４】
2008262272.tif 000009
【図５】
2008262272.tif 000010
【図６】
2008262272.tif 000011