(57)【要約】【課題】  電子的なディスプレイを用いて、光の検出手段の数を減らしながらも、得られた情報から光源の状況を推定することによって、安価且つ違和感のない頭部を実現できるロボットを提供すること。【解決手段】  人間や動物の頭部を表現した三次元モデルのデータ３，４，５と、前記データをディスプレイ１に表示する三次元モデル表示手段２と、前記ディスプレイ１の周辺の光を検出する光検出手段７と、前記光検出手段７の検出結果から光源を推定する光源推定手段６を有し、前記光源推定手段６の推定結果により前記頭部を表現する三次元モデルのデータ中の光源に関するデータ３を更新し、それを前記三次元モデル表示手段２により前記ディスプレイ１に表示する構成とした。【選択図】        図１
2005107644.tif 000002
【特許請求の範囲】
【請求項１】
人間や動物の頭部を表現した三次元モデルのデータと、前記データをディスプレイに表
示する三次元モデル表示手段と、前記ディスプレイの周辺の光を検出する光検出手段と、
前記光検出手段の検出結果から光源を推定する光源推定手段を有し、前記光源推定手段の
推定結果により前記頭部を表現する三次元モデルのデータ中の光源に関するデータを更新
し、それを前記三次元モデル表示手段により前記ディスプレイに表示する構成としたこと
を特徴とするロボット。
【請求項２】
前記光検出手段がカメラであり、該カメラによる画像データと該カメラの撮影情報とか
ら、前記光源推定手段において光源の大きさ、形状、方向、色、距離、種類を推定するこ
とを特徴とする、請求項１に記載のロボット。
【請求項３】
前記カメラによる画像データに光源とみなす物体がない場合、該画像データから光源が
存在する方向を推定し、その方向に光源を設定することを特徴とする、請求項２に記載のロボット。
【請求項４】
前記カメラによる画像データに光源とみなす物体がない場合、該画像データから光源が
存在する方向を推定し、その方向にカメラの撮影方向を移動することを特徴とする、請求項２に記載のロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部の表情、特に光による陰影、色などが自然に見えるようにしたロボット
に関するものである。
【背景技術】
【０００２】
人間や動物の形をしたロボットを実現する上で、その頭部は顔や髪の毛があり、人間が
見たときに違和感のないようなものである必要性がある。
【０００３】
そこで、特許文献１の「コミュニケーションロボット」には、電磁モータによって機械
的にゴム皮膜を駆動し、顔の表情を作り出す技術が開示されている。
しかし、機械的に顔の表情を実現する場合、構造が複雑となり、コストがかかることや
故障が起きやすいなどの問題点がある。
【０００４】
一方、電子的な表示装置により顔の表情を実現する試みも成されている。
例えば、特許文献２の「表情を有する知的ロボット」では、複数用意された表情のパタ
ーンを電子的な表示装置に描画することにより、ロボットの顔を実現している。
しかし、この方法の場合、上記した機械式の場合と比較して周辺の環境、例えば光、風
などに左右されずに顔が表現されてしまい、違和感のあるものとなり、ロボットと人間が
会話するようなことを想定した場合、よりリアルに顔が表現されることが望まれる。
【０００５】
このような課題を解決するために、特許文献３の「ロボット」では、電子的なディスプ
レイと周囲の光或いは風を検出する手段を有して、周囲の状況に連動して違和感なく顔の
表情が変化するロボットを実現した技術が開示されている。
【０００６】
【特許文献１】特開平６−２６１９８２号公報
【特許文献２】特開２００１−２１５９４０号公報
【特許文献３】特開２００３−１８７２６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記特許文献３に記載された技術のように、三次元コンピュータグラフィクスの技術と
外部環境要因を検出する手段を利用すれば、環境に連動した人間や動物の顔をリアルに表
現し、ディスプレイ上に表示することが可能である。そして、これをロボットの顔として
利用することは、前述の機械式の場合と比較して、安価に且つ故障がすくなくリアルな顔
を実現できることとなる。
【０００８】
しかしながら、特許文献３に記載された技術においては、光の検出手段を用いることに
より三次元モデル表示手段にデータを入力し、周囲の光環境を取り入れてはいるが、光源
の推定を行っていないため、光の検出手段の数を増やさなくては多くの情報が得られず、
リアルな顔の表現はできなかった。
【０００９】
そこで、本発明が解決しようとする課題は、電子的なディスプレイを用いて、光の検出
手段の数を減らしながらも、得られた情報から光源の状況を推定することによって、安価
且つ違和感のない頭部を実現できるロボットを提供することにある。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本発明のロボットは、人間や動物の頭部を表現した三次元モ
デルのデータと、前記データをディスプレイに表示する三次元モデル表示手段と、前記デ
ィスプレイの周辺の光を検出する光検出手段と、前記光検出手段の検出結果から光源を推
定する光源推定手段を有し、前記光源推定手段の推定結果により前記頭部を表現する三次
元モデルのデータ中の光源に関するデータを更新し、それを前記三次元モデル表示手段に
より前記ディスプレイに表示する構成とした。
【００１１】
また、本発明のロボットは、前記光検出手段としてカメラを用い、該カメラによる画像
データと該カメラの撮影情報とから、前記光源推定手段において光源の大きさ、形状、方
向、色、距離、種類を推定し、この推定結果に基づき前記三次元モデルのデータ中の光源
に関するデータを更新し、それを前記ディスプレイに表示する構成とした。
【００１２】
さらに、本発明のロボットは、前記カメラによる画像データに光源とみなす物体がない
場合、該画像データから光源が存在する方向を推定し、その方向に光源を設定する構成とした。
【００１３】
さらに、本発明のロボットは、前記カメラによる画像データに光源とみなす物体がない
場合、該画像データから光源が存在する方向を推定し、その方向にカメラの撮影方向を移
動する構成とした。
【発明の効果】
【００１４】
上記した本発明に係るロボットによれば、人間や動物の頭部を表現した三次元モデルの
データを有し、それをディスプレイに表示する三次元モデル表示手段と、頭部が表示され
たディスプレイの周辺の光の強さ、色などを検出する光検出手段を有し、前記光検出手段
の検出結果から光源推定手段においてディスプレイの周辺に存在する光源自体を推定し、
この光源の推定結果により前記三次元モデルのデータ中の光源に関するデータを更新し、
それを三次元モデル表示手段によりディスプレイに表示する構成としたため、少ない光検
出手段によって周囲の光の明暗や方向、色などをリアルに表現することができ、安価且つ
違和感のないロボットの頭部を実現できる効果がある。
【００１５】
また、本発明に係るロボットにおいては、前記光検出手段としてカメラを用い、該カメ
ラによる画像データと該カメラの撮影情報とから、前記光源推定手段において光源の大き
さ、形状、方向、色、距離、種類を推定し、この推定結果に基づき前記三次元モデルのデ
ータ中の光源に関するデータを更新し、それを前記ディスプレイに表示する構成としても
よく、この場合には、カメラは二次元の情報が得られるために一台のカメラでも上記本発
明に係るロボットの実現が可能であり、また、カメラを二台用いて行なえば、両眼ステレ
オ法などの手法を用いることにより正確な光源の距離を求めることができ、よりリアルな
光源の推定が可能となる。
【００１６】
さらに、本発明に係るロボットにおいては、前記カメラによる画像データに光源とみな
す物体がない場合、該画像データから光源が存在する方向、例えば明るい方向に光源が存
在すると推定し、その方向に光源を設定することで、上記本発明に係るロボットの実現が可能になる。
【００１７】
さらに、本発明に係るロボットにおいては、前記カメラによる画像データに光源とみな
す物体がない場合、該画像データから光源が存在する方向、例えば明るい方向に光源が存
在すると推定し、その方向にカメラの撮影方向を移動する構成としてもよく、この場合に
は、光源を画像データとして確実に捉えることができ、その画像データから正確な光源情
報が得られ、より精度の高い光源の推定が可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、上記した本発明に係るロボットの最良の実施の形態を、図面等を示して詳細に説
明する。
【００１９】
図１は本発明に係るロボットのシステム構成の一例を示した図である。この図に示した
ように、本発明に係るロボットは、ロボットの頭部を表示するディスプレイ１、このディ
スプレイ１に三次元モデルを表示する三次元モデル表示部２、この三次元モデル表示部２
に与えるデータとしての光源データ３、材質データ４及び形状データ５などの三次元モデ
ルのデータ、そして、一個或いは複数個からなる光検出手段であるカメラ７、このカメラ
７からのデータを解析して上記三次元モデル表示部２に与えるデータを更新する光源推定
部６とから構成されている。
なお、上記三次元モデル表示部２、光源推定部６は計算機内部の処理部であり、上記光
源データ３、材質データ４及び形状データ５などの三次元モデルのデータは計算機内部の
データである。
【００２０】
上記頭部を表示するディスプレイ１の周辺には、図２に示したように、上記カメラ７が
配置され、ディスプレイ１に当たっている光Ｌの状態を検出できるようになっている。
上記カメラ７は光の強さ、色などが検出できるものとする。カメラ７を光検出手段とし
て用いる利点は、カメラは二次元の情報が得られるために一台のカメラでも本発明に係る
ロボットの実現が可能であり、また、カメラを二台用いて行なえば、両眼ステレオ法など
の手法を用いることにより正確な光源の距離を求めることができ、よりリアルな光源の推
定が可能となることにある。
【００２１】
一個或いは複数個のカメラ７の画像情報から光源の大きさ、形状、方向、色、距離、種
類を推定する。この推定処理を行うのが光源推定部６である。光源推定部６は、計算機内
部の光源データ３などを更新する。そして、この更新した光源データ３、頭部の形状を表
現した形状データ５、頭部の形状データ５と対応して色や質感などを示した材質データ４を使って三次元モデル表示部２によりディスプレイ１上に、ロボットの頭部の画像が表示される。
なお、上記ディスプレイ１は、現状で長方形のものしか入手できないが、人間や動物の
頭部の形状に近いディスプレイを使用することもできる。
【００２２】
図３は、本発明に係るロボットの動作の一例を説明するためのフローチャートである。
このフローチャートに示したように、まず、カメラ７から画像データを得る（Ｐ１）。
次に、この画像データから、光源の大きさ、形状、方向、色、距離、種類を推定する（Ｐ
２）。そして、前記推定結果に基づき光源データ３を更新し、それを他の三次元モデルの
データ４，５と共にディスプレイ１に表示する（Ｐ３）。
以上の処理を繰り返すことにより、ロボットの頭部の周辺の光が変化すると同時に、デ
ィスプレイ１上に表示されたロボットの頭部はその周辺の光に応じてリアルタイムに変化
させることができる。例えば、光が右から当たればロボットの顔も右から光が当たったよ
うに表示され、周りを暗くすればディスプレイ１上のロボットの顔が黒く、また赤い光を
当てればロボットの顔も赤い光に照らされたように表示される。
【００２３】
図４は、上記図３の推定部分（Ｐ２）の動作の一例を詳細に説明するためのフローチャ
ートである。
この実施の形態においては、まず、カメラ７から得られた画像データを二値化処理する
（Ｑ１）。次に、ラベリング処理を行う（Ｑ２）。次に、所定以上の大きさを有する物体
があるかどうかを判断する（Ｑ３）。所定以上の大きさを有する物体がある場合、ラべリ
ングされた物体を大きいものから順に光源とみなし、その光源の位置、大きさ、形状、種
類を画像データから算出し求める（Ｑ４）。次に、上記カメラ７の画像データと比較し、
光源の色を抽出する（Ｑ５）。こうして周囲の光源を推定し、搭載されたカメラ７の向き
、位置などの撮影情報と画像中の光源位置から実空間上の光源の位置を求める（Ｑ８）。
これらの処理を行い、図３の光源推定部分（Ｐ２）の動作は終了する。
また、上記二値化処理（Ｑ１）、ラべリング処理（Ｑ２）を行い、所定以上の大きさを
有する物体があるかどうかを判断（Ｑ３）した結果、所定以上の大きさを有する物体がな
い場合には、画像全体の輝度の平均値を求め、周囲の明るさを求めることによって光源の
有無を推定する（Ｑ６）。つまり、画像全体の輝度の平均値がないなら周囲に光源はない
と推定される。それ以外の場合は光源があると判断され、光源位置の推定を行なう（Ｑ７
）。
【００２４】
上記図４のＱ７における光源位置の推定方法の一例としては、例えば画像データを上下左右に４分割し、もっとも明るい範囲を割り出し、その方向に光源があると推定する。そして、この推定結果に基づき上記した実空間上の光源の位置を求め（Ｑ８）、図３の光源推定部分（Ｐ２）の動作は終了する。この方法により、画像データ上に光源とみなす物体が存在しない場合でも、光源の位置を推定することが可能となる。
【００２５】
図５は、上記図４の（Ｑ１）、（Ｑ２）部分である画像から光源を推定する推定手段の
前処理の一例を詳細に説明するための図である。
カメラ７からの入力画像（Ｒ１）は、それぞれの画素にｘ、ｙ座標の位置情報、ＲＧＢ
の色情報、明るさを表す輝度情報を持っている。この入力画像を輝度の大きい画素だけを
取り出すために二値化処理を行う（Ｒ２）。しかし、二値化処理を行ったままでは隣り合
う画素が明るくても同じ物体としては扱われず、そのため光源の大きさや形状を算出することができない。そこで、明るい画素の集合体を一つの物体であると認識するために、ラベリング処理を行う（Ｒ３）。ここでラべリングされた画像（Ｒ３）の画素は位置情報と輝度情報のほかに物体を識別するための番号がつけられる。これらの処理を行うことによって、画像中の明るい部分の形状や、画素数を合計することで物体の大きさが求められるようになる。
【００２６】
図６は、さらに上記図４の（Ｑ４）、（Ｑ５）、（Ｑ８）部分である画像から光源を推
定する推定手段の一例を詳細に説明するためのフローチャートである。
上記のように入力画像を前処理し、そしてラベリング処理された画像で所定以上の大き
さを有する物体がある場合（Ｑ４スタート）、ラベリング処理された画像で大きい物体か
ら順に光源とみなし、複数個作成する（Ｓ１）。次に、それぞれの光源を構成する部分の
形状や、画素数を合計することで光源の大きさ、形状、種類を求め、またそれぞれの光源
を構成する各画素のｘ、ｙ座標の位置情報をすべて足し、画素数で割ることにより物体の
中心点を求め、これを光源の中心位置とする（Ｓ２）。そして、この光源の中心位置と同
じ位置の色をカメラ７からの入力画像を元に参照してＲＧＢ情報を取得し、これを光源の
色とする（Ｓ３）。
これらの処理により得られた画像中における光源の位置情報と、カメラ７の位置、向き
、倍率などの撮影情報とから、実空間でどの方向に、どの程度の距離はなれて光源がある
かを計算する（Ｓ４）。ここまでの処理で二次元での光源の位置は推定することができる
。そこで、三次元で作成されたコンピュータグラフィック内に、画像で得られた方向へ光
源を所定の距離の場所に作成する（Ｓ５）。こうすることで二次元情報から三次元情報に
し、光源の推定を行う。
なお、ここではカメラ７を一台用いて光源の推定を行っているが、二台用いて行なえば
、両眼ステレオ法などの手法を用いることにより正確な光源の距離を求めることができ、
よりリアルな光源の推定が可能となる。
【００２７】
図７は、上記で得られた光源の情報を表示する三次元モデル表示部２の説明図である。
図は光Ｌが曲面Ｓに当たったときに目Ｅに入る光について説明するものである。目に入
る光は、拡散光と反射光と環境光があり、計算機内部でこれらの光成分が当たったとき目
に入る光を計算する方法が確立されている。この目に入る光をディスプレイ１上の各画素
上で行うと、三次元モデルが陰影の付いたリアルな画像としてディスプレイ１上に表示さ
れることとなる。
この方法としては、フォーンシェーディングやグーロシェーディングなどの方法がある
。このような処理アルゴリズムは、例えばＯｐｅｎＧＬというグラフィックライブラリの
中で実現されており、光源データ３と材質データ４と形状データ５を入力すればディスプ
レイ１上に陰影のついた三次元画像が容易に得られる。この処理部が三次元モデル表示部
２である。
【００２８】
図８は、光検知手段であるカメラ７を可動式にしたもののロボットの頭部の概観の一例
を示した図である。
この実施の形態においては、カメラ７を移動させるためにモータ８を用い、上下左右に
カメラ７を移動できる仕組みになっている。ここでは、カメラ７のみを移動させる形態を
とっているが、カメラとロボットの頭部であるディスプレイを同時に移動させてもよい。
【００２９】
図９は、図８におけるカメラ７を可動式にしたものの動作の一例を説明するためのフロ
ーチャートである。
このフローチャートにおいて、（Ｑ１）から（Ｑ５）、及び（Ｑ８）は上記で説明した
図４のフローチャートと動作が同じであるため、その説明は省略する。
二値化処理（Ｑ１）、ラべリング処理（Ｑ２）を行い、所定以上の大きさを有する物体
があるかどうかを判断（Ｑ３）した結果、所定以上の大きさを有する物体がない場合、画
像全体の輝度の平均値を求め、周囲に明るさが有るかないかを判断する（Ｔ１）。周囲に
明るさがないと判断された場合には、周囲に光源はないと推定し（Ｔ２）、その後は、図
４のフローチャートと同様の動作をたどる。一方、周囲に明るさがあると判断された場合
には、画像を上下左右に４分割し、それぞれの範囲の輝度を求め、もっとも明るい方向を
検出する（Ｔ３）。そして、そのもっとも明るい方向に光源があると推定し、カメラ７に
取り付けられたモータ８によってその方向にカメラを移動させる（Ｔ４）。移動させた後
、再度得られたカメラの画像データに基づき前記した光源の推定を行うことにより、周囲
の光源情報をより正確に反映した光源推定を実現する。
【００３０】
以上、本発明に係るロボットの実施の形態を説明したが、本発明は、何ら既述の実施の
形態に限定されず、特許請求の範囲の記載した本発明の技術的思想の範囲内において、種
々の変形及び更新が可能であることは当然である。
【図面の簡単な説明】
【００３１】
【図１】本発明に係るロボットのシステム構成の一例を示した図である。
【図２】本発明に係るロボットの頭部の概観の一例を示した図である。
【図３】本発明に係るロボットの動作の一例を説明するためのフローチャートである。
【図４】本発明に係るロボットの固定カメラによる光源推定部分の動作の一例を詳細に説明するためのフローチャートである。
【図５】本発明に係るロボットの光源推定のための画像の前処理の一例を詳細に説明するための図である。
【図６】本発明に係るロボットの前処理後の画像から光源を推定する推定手段の一例を詳細に説明するためのフローチャートである。
【図７】本発明に係るロボットの三次元モデル表示部の説明図である。
【図８】可動カメラを搭載した本発明に係るロボットの頭部の概観の一例を示した図である。
【図９】本発明に係るロボットの可動カメラによる光源推定部分の動作の一例を詳細に説明するためのフローチャートである。
【符号の説明】
【００３２】
１      ディスプレイ
２      三次元モデル表示部
３      光源データ
４      材質データ
５      形状データ
６      風量推定部
７      カメラ
８      モータ
Ｌ      光
Ｓ      曲面
Ｅ      目
【図１】
2005107644.tif 000003
【図２】
2005107644.tif 000004
【図３】
2005107644.tif 000005
【図４】
2005107644.tif 000006
【図５】
2005107644.tif 000007
【図６】
2005107644.tif 000008
【図７】
2005107644.tif 000009
【図８】
2005107644.tif 000010
【図９】
2005107644.tif 000011