(57)【要約】【課題】  本発明の解決すべき課題は、コンピュータ等が形成するキャラクターが現実空間の対象者に対応して動作するコミュニケーションキャラクター装置、及びそのプログラムを提供することにある。【解決手段】  対象者の画像を撮影する撮像手段１６と、コミュニケーションキャラクター３０を表示可能な表示手段１４と、該対象者画像より対象者２２の特定部位の位置及び／又は形状を認識する認識手段２６と、前記撮像手段１６による撮影画像を前記コミュニケーションキャラクター３０の目視領域として設定し、該目視領域内での対象者２２の特定部位の位置及び／又は形状により、コミュニケーションキャラクター３０に対応動作を取らせるキャラクター動作制御手段２６と、を備えたことを特徴とするコミュニケーションキャラクター装置。【選択図】      図２
2010244322.tif 000002
【特許請求の範囲】
【請求項１】
対象者の画像を撮影する撮像手段と、
コミュニケーションキャラクターを表示可能な表示手段と、
該対象者画像より対象者の特定部位の位置及び／又は形状を認識する認識手段と、
前記撮像手段による撮影画像を前記コミュニケーションキャラクターの目視領域として設定し、該目視領域内での対象者の特定部位の位置及び／又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とするコミュニケーションキャラクター装置。
【請求項２】
請求項１記載の装置において、キャラクター動作制御手段は、表示手段の表示面と撮影画面を仮想的に離隔配置し、目視領域面上での対象者顔面位置及び仮想離隔距離により対象者顔面位置を推定し、表示面上のコミュニケーションキャラクターに対象者顔面推定位置方向にキャラクター視線を向けさせることを特徴とするコミュニケーションキャラクター装置。
【請求項３】
請求項１または２記載の装置において、キャラクター動作制御手段は、コミュニケーションキャラクターを仮想空間内に配置し、対象者顔面推定位置からコミュニケーションキャラクター目視した場合の仮想空間背景を、コミュニケーションキャラクター背景に表示させることを特徴とするコミュニケーションキャラクター装置。
【請求項４】
請求項３に記載の装置において、キャラクター動作制御手段は、撮影画面内に対象者顔面が特定できない場合には仮想空間内の奥にコミュニケーションキャラクターを配置し、撮影画面内に対象者画面が特定された場合は、コミュニケーションキャラクターを前面に移動させることを特徴とするコミュニケーションキャラクター装置。
【請求項５】
対象者の画像を撮影する撮像手段と、
コミュニケーションキャラクターを表示可能な表示手段と、を備えたコンピュータまたはゲーム機用プログラムであって、
該対象者画像より対象者の特定部位の位置及び／又は形状を認識する認識手段と、
前記撮像手段による撮影画像を前記コミュニケーションキャラクターの目視領域として設定し、該目視領域内での対象者の特定部位の位置及び／又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とするコミュニケーションキャラクタープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はコミュニケーションキャラクター装置、及びそのプログラム、特にキャラクター動作制御機構の改良に関する。
【背景技術】
【０００２】
近年のコンピュータの急速な発展に伴い、パーソナルコンピュータレベルでも、そのユーザーがあたかもコンピュータ内のキャラクターの一員として仮想空間を移動できるゲーム等が開発され、注目されている（特許文献１〜３等）。
これらの技術によれば、ユーザー自身のデジタル写真などをコンピュータ内に取り込み、キャラクターの表示に用いることで、より臨場感を演出することもできる。
前記従来のゲーム等は、コンピュータ内に形成される仮想空間にユーザーがいかに溶け込めるかという観点が重視されていたが、一方で一部のロボットなどに見られるように現実空間の一員としてキャラクターを引き出すことができれば、単にゲームという枠を超え、日常的なコミュニケーションの対象としてコンピュータが作り出すキャラクタを用いることもできる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−６６２７２
【特許文献２】特開２００４−４６７９３
【特許文献３】特開２００９−３７２７６
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は前記従来技術に鑑みなされたものであり、その解決すべき課題はコンピュータ等が形成するキャラクターが現実空間の対象者に対応して動作するコミュニケーションキャラクター装置、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
前記課題を解決するために本発明にかかるコミュニケーションキャラクター装置は、
対象者の画像を撮影する撮像手段と、
コミュニケーションキャラクターを表示可能な表示手段と、
該対象者画像より対象者の特定部位の位置及び／又は形状を認識する認識手段と、
前記撮像手段による撮影画像を、前記コミュニケーションキャラクターによる目視領域として設定し、該目視領域内での対象者の特定部位の位置及び／又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とする。
【０００６】
また、前記装置において、キャラクター動作制御手段は、表示手段の表示面と撮影画面を仮想的に離隔配置し、撮影画面上での対象者顔面位置及び仮想離隔距離により対象者顔面位置を推定し、表示面上のコミュニケーションキャラクターに対象者顔面推定位置方向にキャラクターの視線ないし姿勢を向けさせることが好適である。
また、前記装置において、キャラクター動作制御手段は、コミュニケーションキャラクターを仮想空間内に配置し、対象者顔面推定位置からコミュニケーションキャラクター目視した場合の仮想空間背景を、コミュニケーションキャラクター背景に表示させることが好適である。
また、前記装置において、キャラクター動作制御手段は、撮影画面内に対象者顔面が特定できない場合には仮想空間内の奥にコミュニケーションキャラクターを配置し、撮影画面内に対象者画面が特定された場合は、コミュニケーションキャラクターを前面に移動させることが好適である。
【０００７】
また、本発明にかかるプログラムは、対象者の画像を撮影する撮像手段と、コミュニケーションキャラクターを表示可能な表示手段と、を備えたコンピュータまたはゲーム機用プログラムであって、
該対象者画像より対象者の特定部位の位置及び／又は形状を認識する認識手段と、
前記撮像手段による撮影画像を前記コミュニケーションキャラクターによる目視領域として設定し、該目視領域内での対象者の特定部位の位置及び／又は形状により、コミュニケーションキャラクターに対応動作を取らせるキャラクター動作制御手段と、
を備えたことを特徴とする。
【発明の効果】
【０００８】
以上説明したように本発明にかかるコミュニケーションキャラクター装置ないしそのプログラムによれば、コンピュータ等で形成されたコミュニケーションキャラクターの目をカメラにより代用させ、対象者の動作を視覚的に認識して仮想空間内で所定の動作を取らせることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態にかかるコミュニケーションキャラクター装置の概略構成の説明図である。
【図２】図１に示した装置におけるユーザーとキャラクターの対応動作制御状態を示す説明図である。
【図３】図１に示した装置における、ユーザー位置とキャラクターの相対状態の説明図である。
【図４】図１に示した装置における、ユーザー認知とキャラクターの動作の説明図である。
【図５】図１に示した装置における、ユーザー位置と表示手段上への表示領域の説明図である。
【図６】本発明による表示手段への表示例の説明図である。
【発明を実施するための形態】
【００１０】
以下、図面に基づき本発明の好適な実施形態について説明する。
図１は本発明の一実施形態にかかるコミュニケーションキャラクター装置１０を示しており、実際には家庭用のパーソナルコンピューターにより代用することができる。
同図に示すように、本実施形態にかかるコミュニケーションキャラクター装置１０は、パーソナルコンピュータ１２と、モニター１４と、ＵＳＢ接続等によりコンピュータに接続されたカメラ１６、マイク１８、スピーカー２０を有する。
そして、前記カメラ１６は、たとえばモニター１４上部等、ユーザー２２のおおよそ正面に位置する部分に設置され、ユーザー２２（対象者）の画像を撮影する撮像手段として機能する。
また、モニター１４は、コミュニケーションキャラクターを表示可能な表示手段として機能する。
また、コンピュータ１２は、カメラによって撮影された画像の認識を行う認識手段２４、およびモニター１４に表示されるコミュニケーションキャラクターに対して所望の動作を取らせるキャラクター動作制御手段２６として機能する。
【００１１】
そして、本実施形態においては、モニター１４に映し出されるキャラクターの「目」として前記カメラ１６を用い、「耳」として前記マイク１８を用い、さらに口（音声発生）としてスピーカー２０を用いるものである。
すなわち、図２に示すように、本実施形態においては、制御手段２６はコミュニケーションキャラクター３０および該キャラクター３０が存在する仮想空間３２を作成する。
そして、キャラクター３０は、仮想空間３２内を自由に移動でき、キャラクター３０の目視領域（カメラ１６の視野Ａ）内にユーザー２２の顔が認識されない間は、仮想空間奥側（図中、点線キャラクター３０）に位置する。
【００１２】
これに対し、カメラ視野Ａ内にユーザー２２の顔が認識されると、動作制御手段２６はキャラクター３０を仮想空間前面側（図中、実線キャラクター３０）に移動させる。この際、たとえば図２に示すように仮想空間３２内に形成された道３４にそって移動するようにすることも好適である。
【００１３】
そして、ユーザー２２は、モニター１４をはさんで仮想空間３２内のキャラクター３０と対峙する。このこめ、仮想空間３２の一端面３２ａに近接してモニター画面１４が位置しているように、該モニター画面１４にはキャラクター３０およびその背景が表示される。すなわち、図２においてカメラ視野Ａ左端にいるユーザー２２は、仮想空間３２への窓として機能するモニター１４を介してキャラクター３０、およびその背景（仮想空間右側のモニター表示領域）を見ることができる。そして、カメラ１６の画像３６内におけるユーザー２２の位置により、ユーザー２２の実位置を推定することが可能であり、キャラクター３０はユーザー２２に相対するように視線Ｂを向ける。このユーザー２２の実位置は、ユーザー２２とモニター１４の一般的な離隔距離Ｃの位置に撮影画像３６を位置させ、画像３６内でのユーザー顔面位置から推定することができる。無論、カメラにフェーストラッキング機能及びオートフォーカス機能を持たせ、そのトラッキング及びフォーカス位置からユーザー顔面位置を推定させることもできる。そして、ユーザー２２がキャラクター３０（モニター）に近づいてくる、あるいは遠ざかる等の距離情報を利用し、キャラクター３０の動作（近づく、遠ざかる等）を、よりリアルに実行させることもできる。同様に、顔面の大きさの変化により、ユーザー２２とキャラクター３０との距離変化を認識することも好適である。
この状態で、ユーザー２２の音声をマイク１８で採取し、その特定のキーワードなどに反応して、キャラクター３０（制御手段２６）がスピーカー２０を介して返答をするようにしてもよい。
また、ユーザー２２はコンピュータに汎用される他の入力手段、たとえばマウス操作、キーボード操作によりキャラクターと会話、動作指示を行うこともできる。
【００１４】
図３にはキャラクター３０によるユーザー２２への相対状態が示されている。
同図に示すようにカメラ１６での撮影画像が、そのままキャラクター３０の目視領域として設定され、該目視領域の左側にユーザー２２の顔が認識されれば、それに対応してキャラクター３０は顔、ないし視線Ｂをユーザー側に向け（同図（Ａ））、同様に目視領域中央にユーザー２２が認識されればその方へ（同図（Ｂ））、目視領域右側に認識されればそちらへ（同図（Ｃ））、それぞれキャラクター３０は顔ないし視線Ｂを向ける。このため、ユーザー２２はあたかもキャラクター３０が意思を持って現実空間のユーザー２２と相対し、対話しているかのように感じることができる。
【００１５】
また、図４にはキャラクター３０がユーザー２２を認識した際の移動状態が示されている。
同図に示すように、カメラ１４による撮影画像３６（視野Ａ）内にユーザー２２が認識されていない状態では、キャラクター３０は仮想空間３２奥に位置しており、視野Ａ内にユーザー２２を認識すると手前に向かい仮想空間内を移動してくる。このため、ユーザー２２は、キャラクター３０が現実空間におけるユーザーの行動を認識しているかのように感じることができる。
【００１６】
さらに、図５は、カメラ視野Ａ内でユーザー２２が移動した際のモニター１４に表示される画像の変化を示している。
同図に示すように、モニター１４は仮想空間３２の端面に配置された窓のように設定され、モニター１４中心と推定ユーザー２２位置を結ぶ線を中心にモニタ１４枠で制限された角度領域のキャラクター３０およびその背景画像を観察することができる。
なお、本実施形態において、ユーザー２２の認識は、カメラによる撮影画像を二値化し、眼窩、鼻梁、口唇部等の顔面特異形状の位置を認識するなど、公知の手法を用いることができる。
【００１７】
図６には、モニターへのキャラクターおよび背景（仮想空間）の表示例が示されており、神社境内という仮想空間内に、少女（キャラクター）を配置している。そして、カメラによる撮影画像を二値化した画像が図中右下に表示され、これがキャラクターによるユーザー認識状態である。そして、顔面位置は、顔面特徴点を囲う状態で矩形枠にて示されている。無論、実際の使用時には、このような二値化画像を並置させる必要はない。
また、上記説明においては、キャラクター３０は水平面内での移動、あるいはユーザー２２への相対動作について説明したが、たとえばカメラ１６視野内でユーザー２２の顔が上部に位置し、あるいは下部に位置した場合などには、それに対応してキャラクター３０の顔、姿勢ないし視線を上下方向に角度変更することができる。
また、本発明において、たとえばユーザーの指の形状を認識可能とし、じゃんけん等の動作を行うこともできる。
【符号の説明】
【００１８】
１０      コミュニケーションキャラクター装置        
１４      モニター        
１６      カメラ
２２      ユーザー（対象者）
２４      認識手段
２６      キャラクター動作制御手段
３０      コミュニケーションキャラクター
３２      仮想空間
３６      撮影画像
【図１】
2010244322.tif 000003
【図２】
2010244322.tif 000004
【図３】
2010244322.tif 000005
【図４】
2010244322.tif 000006
【図５】
2010244322.tif 000007
【図６】
2010244322.tif 000008