(57)【要約】【課題】ロボットにおいて、状況に応じた適切な画像信号処理を行い難かった。【解決手段】撮像手段から出力される画像信号の輝度成分を設定されたゲインに応じて増幅すると共に、当該ゲインをコントロールする際に、画像信号の輝度成分に対するゲインのコントロール方法を、撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に応じて選択し、当該選択したコントロール方法により画像信号の輝度成分に対するゲインをコントロールするようにした。【選択図】        図１０
2004282388.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段から出力される画像信号の輝度成分を、設定されたゲインに応じて増幅する増幅手段と、
上記画像信号の上記輝度成分に対する上記ゲインをコントロールするゲインコントロール手段と
を具え、
上記ゲインコントロール手段は、
上記画像信号の上記輝度成分に対する上記ゲインのコントロール方法を、上記撮像手段の撮像方向、上記画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に応じて選択し、当該選択した上記コントロール方法により上記画像信号の上記輝度成分に対する上記ゲインをコントロールする
ことを特徴とする画像信号処理装置。
【請求項２】
上記ゲインコントロール手段は、
上記撮像手段の上記撮像方向と、床面とのなす角に応じて上記コントロール方法を選択する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
上記ゲインコントロール手段は、
上記画像信号に基づき得られる画像内の輝度の分散状況を解析し、当該解析結果に応じて上記コントロール方法を選択する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項４】
上記ゲインコントロール手段は、
上位コントロール部から与えられる指令に基づき行う上記画像処理に適した上記コントロール方法を選択する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
上記ゲインコントロール手段は、
上記画像処理結果として得られる認識対象に対する確信度に応じて、当該確信度が最も高い上記画像処理に適した上記コントロール方法を選択する
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項６】
上記ゲインコントロール手段は、
上記撮像手段の上記撮像方向に応じた上記コントロール方法の選択処理と、上記画像信号に基づき得られる画像の解析結果に応じた上記コントロール方法の選択処理と、上記行う画像処理に応じた上記コントロール方法の選択処理と、上記所定の画像処理結果に応じた上記コントロール方法の選択処理とを組み合わせた所定の手順により上記コントロール方法を順次選択し、当該選択したコントロール方法により上記ゲインをコントロールする
ことを特徴とする請求項１に記載の画像信号処理装置。
【請求項７】
上記ゲインコントロール手段は、
上記行う画像処理が予め定められているときと、当該行う画像処理が予め定められていないときとで異なる上記手順により上記コントロール方法を順次選択する
ことを特徴とする請求項６に記載の画像信号処理装置。
【請求項８】
上記ゲインコントロール手段は、
上記行う画像処理が予め定められているときには、当該行う画像処理に応じた上記コントロール方法の選択処理を最初に実行する
ことを特徴とする請求項７に記載の画像信号処理装置。
【請求項９】
上記ゲインコントロール手段は、
上記行う画像処理が予め定められていないときには、上記撮像手段の上記撮像方向に応じた上記コントロール方法の選択処理を最初に実行する
ことを特徴とする請求項７に記載の画像信号処理装置。
【請求項１０】
撮像手段により外部を撮像する第１のステップと、
上記撮像手段から出力される画像信号の輝度成分を、設定されたゲインに応じて増幅すると共に、当該ゲインをコントロールする第２のステップと
を具え、
上記第２のステップでは、
上記画像信号の上記輝度成分に対する上記ゲインのコントロール方法を、上記撮像手段の撮像方向、上記画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に応じて選択し、当該選択した上記コントロール方法により上記画像信号の上記輝度成分に対する上記ゲインをコントロールする
ことを特徴とする画像信号処理方法。
【請求項１１】
上記第２のステップでは、
上記撮像手段の上記撮像方向と、床面とのなす角に応じて上記コントロール方法を選択する
ことを特徴とする請求項１０に記載の画像信号処理方法。
【請求項１２】
上記第２のステップでは、
上記画像信号に基づき得られる画像内の輝度の分散状況を解析し、当該解析結果に応じて上記コントロール方法を選択する
ことを特徴とする請求項１０に記載の画像信号処理方法。
【請求項１３】
上記第２のステップでは、
上位コントロール部から与えられる指令に基づき行う上記画像処理に適した上記コントロール方法を選択する
ことを特徴とする請求項１０に記載の画像信号処理方法。
【請求項１４】
上記第２のステップでは、
上記画像処理結果として得られる認識対象に対する確信度に応じて、当該確信度が最も高い上記画像処理に適した上記コントロール方法を選択する
ことを特徴とする請求項１０に記載の画像信号処理方法。
【請求項１５】
上記第２のステップでは、
上記撮像手段の上記撮像方向に応じた上記コントロール方法の選択処理と、上記画像信号に基づき得られる画像の解析結果に応じた上記コントロール方法の選択処理と、上記行う画像処理に応じた上記コントロール方法の選択処理と、上記所定の画像処理結果に応じた上記コントロール方法の選択処理とを組み合わせた所定の手順により上記コントロール方法を順次選択し、当該選択したコントロール方法により上記ゲインをコントロールする
ことを特徴とする請求項１０に記載の画像信号処理方法。
【請求項１６】
上記第２のステップでは、
上記行う画像処理が予め定められているときと、当該行う画像処理が予め定められていないときとで異なる上記手順により上記コントロール方法を順次選択する
ことを特徴とする請求項１５に記載の画像信号処理方法。
【請求項１７】
上記第２のステップでは、
上記行う画像処理が予め定められているときには、当該行う画像処理に応じた上記コントロール方法の選択処理を最初に実行する
ことを特徴とする請求項１６に記載の画像信号処理方法。
【請求項１８】
上記第２のステップでは、
上記行う画像処理が予め定められていないときには、上記撮像手段の上記撮像方向に応じた上記コントロール方法の選択処理を最初に実行する
ことを特徴とする請求項１６に記載の画像信号処理方法。
【請求項１９】
外部を撮像する撮像手段と、
上記撮像手段から出力される画像信号の輝度成分を、設定されたゲインに応じて増幅する増幅手段と、
上記画像信号の上記輝度成分に対する上記ゲインをコントロールするゲインコントロール手段と
を具え、
上記ゲインコントロール手段は、
上記画像信号の上記輝度成分に対する上記ゲインのコントロール方法を、上記撮像手段の撮像方向、上記画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に応じて選択し、当該選択した上記コントロール方法により上記画像信号の上記輝度成分に対する上記ゲインをコントロールする
ことを特徴とするロボット装置。
【請求項２０】
上記ゲインコントロール手段は、
上記撮像手段の上記撮像方向と、当該ロボット装置が載上する床面とのなす角に応じて上記コントロール方法を選択する
ことを特徴とする請求項１９に記載のロボット装置。
【請求項２１】
上記ゲインコントロール手段は、
上記画像信号に基づき得られる画像内の輝度の分散状況を解析し、当該解析結果に応じて上記コントロール方法を選択する
ことを特徴とする請求項１９に記載のロボット装置。
【請求項２２】
上記ゲインコントロール手段は、
上位コントロール部から与えられる指令に基づき行う上記画像処理に適した上記コントロール方法を選択する
ことを特徴とする請求項１９に記載のロボット装置。
【請求項２３】
上記ゲインコントロール手段は、
上記画像処理結果として得られる認識対象に対する確信度に応じて、当該確信度が最も高い上記画像処理に適した上記コントロール方法を選択する
ことを特徴とする請求項１９に記載のロボット装置。
【請求項２４】
上記ゲインコントロール手段は、
上記撮像手段の上記撮像方向に応じた上記コントロール方法の選択処理と、上記画像信号に基づき得られる画像の解析結果に応じた上記コントロール方法の選択処理と、上記行う画像処理に応じた上記コントロール方法の選択処理と、上記所定の画像処理結果に応じた上記コントロール方法の選択処理とを組み合わせた所定の手順により上記コントロール方法を順次選択し、当該選択したコントロール方法により上記ゲインをコントロールする
ことを特徴とする請求項１９に記載のロボット装置。
【請求項２５】
上記ゲインコントロール手段は、
上記行う画像処理が予め定められているときと、当該行う画像処理が予め定められていないときとで異なる上記手順により上記コントロール方法を順次選択する
ことを特徴とする請求項２４に記載のロボット装置。
【請求項２６】
上記ゲインコントロール手段は、
上記行う画像処理が予め定められているときには、当該行う画像処理に応じた上記コントロール方法の選択処理を最初に実行する
ことを特徴とする請求項２５に記載のロボット装置。
【請求項２７】
上記ゲインコントロール手段は、
上記行う画像処理が予め定められていないときには、上記撮像手段の上記撮像方向に応じた上記コントロール方法の選択処理を最初に実行する
ことを特徴とする請求項２５に記載のロボット装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置及び方法並びにロボット装置に関し、例えばエンターテインメントロボットに適用して好適なものである。
【０００２】
【従来の技術】
移動型のロボットにおいては、搭載されたカメラデバイスから得られる画像情報が、外部状況を認識するための情報として、数あるセンサ情報の中でも重要なものである。
【０００３】
この場合、カメラデバイスからの画像情報に対するコントロールとしては、明るさをコントロールするゲインコントロールと、色合いをコントロールするホワイトバランスコントロールとがあるが、近年では、環境の照明条件の変化に影響を受け難い情報を扱うことでロボットをロバストにコントロールできるようにするため、モノクロ画像を扱うことに重点がおかれており、この際に画像情報のゲインコントロールが重要となる。
【０００４】
特に、環境内を移動する移動型のロボットでは、
▲１▼明るさが異なる部屋を行き来する
▲２▼日光などの影響により、時間によって明るさが異なる
▲３▼照明がオン・オフされ、明るさが変化する
▲４▼家具の下など、同じ部屋でも明るさの異なる場所が存在する
▲５▼同じ場所でも、向いている方向（上下左右）によって明るさが異なる
など、撮像により得られる画像の明るさが異なる場合が多く、その状況に応じた適切なゲインコントロールが行われていない場合には、画像処理や画像認識を行い難いものとなる。
【０００５】
ここで、このようなカメラデバイスにおける一般的なゲインコントロール方法としては、画像全体の輝度の平均値を目標値に収束させるようにコントロールする第１の方法（以下、これを第１のゲインコントロール方法と呼ぶ）と、画像内における最大輝度値を目標値に収束させるようにコントロールする第２の方法（以下、これを第２のゲインコントロール方法と呼ぶ）と、これら第１又は第２のゲインコントロール方法によりコントロールしたゲイン値をあるタイミングで固定する、すなわちゲインコントロールを停止する第３の方法（以下、これを第３のゲインコントロール方法と呼ぶ）とがある。
【０００６】
例えば図１９は、第１のゲインコントロール方法の一例として、画像中央部の重み付けを高くし、上部の重み付けを低くした場合を示す。このような重み付け分布としたのは、ロボットの視野において、中央部に映るものは人物の顔や認識対象物であることが多く、一方で上部は照明や太陽が映りやすいからである。
【０００７】
この例では、画像の上部、中央部及び下部の領域をそれぞれ（α、β、γ）とし、その領域に対する重みとそこに含まれる画素をそれぞれ（Ｗα、Ｗβ、Ｗγ）、（Ｐα、Ｐβ、Ｐγ）とすると、次式
【０００８】
【数１】
2004282388.tif 000003
【０００９】
又は、一般的な表記では、領域を表す添え字を「ｉ」として、次式
【００１０】
【数２】
2004282388.tif 000004
【００１１】
で与えられる合計値Ｖを目標値に収束させるようにコントロールすることになる。
【００１２】
なお、従来の輝度信号のゲインコントロールに関する公知文献として、本願出願人は以下の特許文献の存在を認識している。
【００１３】
【特許文献１】
特開平５−４１８３０号公報（第２−６頁）
【００１４】
【発明が解決しようとする課題】
ところで、一般的に顔認識やその他の画像認識を行う場合において、カメラデバイスが水平方向を向いているときには画像中の輝度の分布が広くなることが多いため、図１９について上述した第１のゲインコントロール方法が有効となる。
【００１５】
しかしながら、例えば床面に設置されたホワイトバランス調整用の特定デザインのマーク（以下、これをランドマークと呼ぶ）を認識する場合には、単一輝度の床面が画像中の広い範囲を占めてしまうことが多いためにかかる第１のゲインコントロール方法は適さず、上述の第２のゲインコントロール方法が有効な場合が多い。
【００１６】
またロボットが小型である場合において、上を見上げて太陽や照明に逆光となるユーザの認識を行うときにも、輝度の高い物体が画像中に存在するためにかかる第１のゲインコントロール方法は適さず、この場合には上述の第３のゲインコントロール方法が有効な場合が多い。
【００１７】
このように画像信号の輝度成分に対するゲインのコントロール方法は、状況に応じて最適なコントロール方法が異なるにも拘わらず、従来のロボットではゲインコントロール方法の切り換えが行えず、このため常に最適なゲインコントロールを行い難い問題があった。
【００１８】
本発明は以上の点を考慮してなされたもので、状況に応じて適切な画像信号処理を行い得る画像信号処理装置及び方法並びにロボット装置を提案しようとするものである。
【００１９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像信号処理装置において、画像信号の輝度成分に対するゲインをコントロールするゲインコントロール手段を設け、ゲインコントロール手段が、画像信号の輝度成分に対するゲインのコントロール方法を、撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に応じて選択し、当該選択したコントロール方法により画像信号の輝度成分に対するゲインをコントロールするようにした。
【００２０】
この結果この画像信号処理装置では、画像信号の輝度成分のゲインを、そのときの撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に適したコントロール方法でコントロールすることができる。
【００２１】
また本発明においては、撮像手段により外部を撮像する第１のステップと、撮像手段から出力される画像信号の輝度成分を、設定されたゲインに応じて増幅すると共に、当該ゲインをコントロールする第２のステップとを設け、第２のステップでは、画像信号の輝度成分に対するゲインのコントロール方法を、撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に応じて選択し、当該選択したコントロール方法により画像信号の輝度成分に対するゲインをコントロールするようにした。
【００２２】
この結果この画像信号処理方法によれば、画像信号の輝度成分のゲインを、そのときの撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に適したコントロール方法でコントロールすることができる。
【００２３】
さらに本発明においては、ロボット装置において、画像信号の上記輝度成分に対する上記ゲインをコントロールするゲインコントロール手段を設け、ゲインコントロール手段が、画像信号の輝度成分に対するゲインのコントロール方法を、撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に応じて選択し、当該選択したコントロール方法により画像信号の輝度成分に対するゲインをコントロールするようにした。
【００２４】
この結果このロボット装置では、画像信号の輝度成分のゲインを、そのときの撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に適したコントロール方法でコントロールすることができる。
【００２５】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００２６】
（１）本実施の形態によるロボットの概略構成
図１及び図２において、１は全体として本実施の形態による２足歩行型のロボットを示し、胴体部ユニット２の上部に頭部ユニット３が配設されると共に、当該胴体部ユニット２の上部左右にそれぞれ同じ構成の腕部ユニット４Ａ、４Ｂがそれぞれ配設され、かつ胴体部ユニット２の下部左右にそれぞれ同じ構成の脚部ユニット５Ａ、５Ｂがそれぞれ所定位置に取り付けられることにより構成されている。
【００２７】
胴体部ユニット２においては、体幹上部を形成するフレーム１０及び体幹下部を形成する腰ベース１１が腰関節機構１２を介して連結することにより構成されており、体幹下部の腰ベース１１に固定された腰関節機構１２の各アクチュエータＡ１、Ａ２をそれぞれ駆動することによって、体幹上部を図３に示す直交するロール軸１３及びピッチ軸１４の回りにそれぞれ独立に回転させ得るようになされている。
【００２８】
また頭部ユニット３は、フレーム１０の上端に固定された肩ベース１５の上面中央部に首関節機構１６を介して取り付けられており、当該首関節機構１６の各アクチュエータＡ３、Ａ４をそれぞれ駆動することによって、図３に示す直交するピッチ軸１７及びヨー軸１８の回りにそれぞれ独立に回転させ得るようになされている。
【００２９】
さらに各腕部ユニット４Ａ、４Ｂは、それぞれ肩関節機構１９を介して肩ベース１５の左右に取り付けられており、対応する肩関節機構１９の各アクチュエータＡ５、Ａ６をそれぞれ駆動することによって図３に示す直交するピッチ軸２０及びロール軸２１の回りにそれぞれ独立に回転させ得るようになされている。
【００３０】
この場合、各腕部ユニット４Ａ、４Ｂは、それぞれ上腕部を形成するアクチュエータＡ７の出力軸に肘関節機構２２を介して前腕部を形成するアクチュエータＡ８が連結され、当該前腕部の先端に手部２３が取り付けられることにより構成されている。
【００３１】
そして各腕部ユニット４Ａ、４Ｂでは、アクチュエータＡ７を駆動することによって前腕部を図３に示すヨー軸２４の回りに回転させ、アクチュエータＡ８を駆動することによって前腕部を図３に示すピッチ軸２５の回りにそれぞれ回転させることができるようになされている。
【００３２】
これに対して各脚部ユニット５Ａ、５Ｂにおいては、それぞれ股関節機構２６を介して体幹下部の腰ベース１１にそれぞれ取り付けられており、それぞれ対応する股関節機構２６の各アクチュエータＡ９〜Ａ１１をそれぞれ駆動することによって、図３に示す互いに直交するヨー軸２７、ロール軸２８及びピッチ軸２９の回りにそれぞれ独立に回転させ得るようになされている。
【００３３】
この場合各脚部ユニット５Ａ、５Ｂは、それぞれ大腿部を形成するフレーム３０の下端に膝関節機構３１を介して下腿部を形成するフレーム３２が連結されると共に、当該フレーム３２の下端に足首関節機構３３を介して足部３４が連結されることにより構成されている。
【００３４】
これにより各脚部ユニット５Ａ、５Ｂにおいては、膝関節機構３１を形成するアクチュエータＡ１２を駆動することによって、下腿部を図３に示すピッチ軸３５の回りに回転させることができ、また足首関節機構３３のアクチュエータＡ１３、Ａ１４をそれぞれ駆動することによって、足部３４を図３に示す直交するピッチ軸３６及びロール軸３７の回りにそれぞれ独立に回転させ得るようになされている。
【００３５】
一方、胴体部ユニット２の体幹下部を形成する腰ベース１１の背面側には、図４に示すように、当該ロボット１全体の動作制御を司るメイン制御部４０と、電源回路及び通信回路などの周辺回路４１と、バッテリ４５（図５）となどがボックスに収納されてなる制御ユニット４２が配設されている。
【００３６】
そしてこの制御ユニット４２は、各構成ユニット（胴体部ユニット２、頭部ユニット３、各腕部ユニット４Ａ、４Ｂ及び各脚部ユニット５Ａ、５Ｂ）内にそれぞれ配設された各サブ制御部４３Ａ〜４３Ｄと接続されており、これらサブ制御部４３Ａ〜４３Ｄに対して必要な電源電圧を供給したり、これらサブ制御部４３Ａ〜４３Ｄと通信を行うことができるようになされている。
【００３７】
また各サブ制御部４３Ａ〜４３Ｄは、それぞれ対応する構成ユニット内の各アクチュエータＡ１〜Ａ１４と接続されており、当該構成ユニット内の各アクチュエータＡ１〜Ａ１４をメイン制御部４０から与えられる各種制御コマンドに基づいて指定された状態に駆動し得るようになされている。
【００３８】
さらに頭部ユニット３には、図５に示すように、このロボット１の「目」として機能するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  ）カメラ５０、「耳」として機能するマイクロホン５１、「口」として機能するスピーカ５２、及びジャイロセンサからなる方向センサ５３などの各種デバイスがそれぞれ所定位置に配設されている。また制御ユニット４２内には、バッテリセンサ５４及び加速度センサ５５などの各種デバイスが収納されている。
【００３９】
そしてＣＣＤカメラ５０は、周囲の状況を撮像し、得られた画像信号Ｓ１Ａをメイン制御部４０に送出する一方、マイクロホン５１は、各種外部音を集音し、かくして得られた音声信号Ｓ１Ｂをメイン制御部４０に送出する。また方向センサ５３は、ＣＣＤカメラ５０の光軸方向を検出し、検出結果をＣＣＤ光軸方向検出信号Ｓ１Ｃとしてメイン制御部４０に送出する。
【００４０】
さらにバッテリセンサ５４は、バッテリ４５のバッテリ残量を所定周期で検出し、検出結果をバッテリ残量検出信号Ｓ２Ａとしてメイン制御部４０に送出する一方、加速度センサ５６は、３軸方向（ｘ軸、ｙ軸及びｚ軸）の加速度を所定周期で検出し、検出結果を加速度検出信号Ｓ２Ｂとしてメイン制御部４０に送出する。
【００４１】
メイン制御部部４０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）としての内部メモリ４０Ａ等を有するマイクロコンピュータ構成でなり、カメラ５０、マイクロホン５１、方向センサ５３、バッテリセンサ５４、加速度センサ５５等からそれぞれ与えられる画像信号Ｓ１Ａ、音声信号Ｓ１Ｂ、ＣＣＤ光軸方向検出信号Ｓ１Ｃ、バッテリ残量検出信号Ｓ２Ａ及び加速度検出信号Ｓ２Ｂ等に基づいて、ロボット１の周囲及び内部の状況を判断する。
【００４２】
そしてメイン制御部４０は、この判断結果と、予め内部メモリ４０Ａに格納されている制御プログラムと、そのとき装填されている外部メモリ５６に格納されている各種制御パラメータとに基づいて続く行動を決定し、決定結果に基づく制御コマンドを対応するサブ制御部４３Ａ〜４３Ｄに送出する。この結果、この制御コマンドに基づき、そのサブ制御部４３Ａ〜４３Ｄの制御のもとに、対応するアクチュエータＡ１〜Ａ１４が駆動され、かくして頭部ユニット３を上下左右に揺動させたり、腕部ユニット４Ａ、４Ｂを上にあげたり、歩行するなどの行動がロボット１により発現されることとなる。
【００４３】
またメイン制御部４０は、かかるマイクロホン５１から与えられる音声信号Ｓ１Ｂに対する所定の音声認識処理によりユーザの発話内容を認識し、当該認識に応じた音声信号Ｓ３をスピーカ５２に与えることにより、ユーザと対話するための合成音声を外部に出力させる。
【００４４】
このようにしてこのロボット１においては、周囲及び内部の状況等に基づいて自律的に行動することができ、またユーザと対話することもできるようになされている。
【００４５】
（２）行動生成に関するメイン制御部４０の処理
次に、行動生成に関するメイン制御部４０の処理について説明する。
【００４６】
かかるロボット１の行動生成に関するメイン制御部４０の処理内容を機能的に分類すると、図６に示すように、ハードウェア構成でなる信号処理部６０と、ソフトウェア構成でなる画像処理部６１、行動選択決定部６２及び行動生成部６３とに分けることができる。
【００４７】
この場合信号処理部６０は、ＣＣＤカメラ５０からの画像信号Ｓ１Ａに対してホワイトバランスコントロール処理や、ゲインコントロール処理等の各種所定の信号処理を施し、かくして得られた信号処理画像信号Ｓ１０を画像処理部６１に送出する。
【００４８】
具体的に、信号処理部６０には、例えば画像信号Ｓ１Ａに対してゲインコントロール処理やホワイトバランスコントロール処理を施すための手段として、図７に示すように、Ｙゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖが設けられると共に、これらＹゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖにそれぞれ対応させてＹゲインレジスタ７１Ｙ、Ｕゲインレジスタ７１Ｕ及びＶゲインレジスタ７１Ｖが設けられている。
【００４９】
このときＹゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖには、それぞれＣＣＤカメラ５０からの画像信号Ｓ１Ａを当該信号処理部６０においてＹＵＶフォーマットに変換することにより得られた輝度信号Ｓ１１Ｙ、第１の色差信号Ｓ１１Ｕ又は第２の色差信号Ｓ１１Ｖが供給される。
【００５０】
またＹゲインレジスタ７１Ｙには、画像信号Ｓ１Ａに対するゲインを規定したゲインパラメータが更新自在に格納され、Ｕゲインレジスタ７１Ｕ及びＶゲインレジスタ７１Ｖには、それぞれ画像信号Ｓ１Ａのホワイトバランス調整のための第１又は第２の色差信号Ｓ１１Ｕ、Ｓ１１Ｖに対するゲインを規定した第１又は第２のホワイトバランスパラメータが更新自在に格納されている。
【００５１】
かくしてＹゲインアンプ７０Ｙ、Ｕゲインアンプ７０Ｕ及びＶゲインアンプ７０Ｖは、それぞれ供給される輝度信号Ｓ１１Ｙ、第１の色差信号Ｓ１１Ｕ又は第２の色差信号Ｓ１１Ｖを対応するＹゲインレジスタ７１Ｙ、Ｕゲインレジスタ７１Ｕ又はＶゲインレジスタ７１Ｖに格納されたゲインパラメータ、第１のホワイトバランスパラメータ又は第２のホワイトバランスパラメータの各パラメータ値に応じて増幅する。
【００５２】
そして信号処理部６０は、このようにして得られたゲイン調整及びホワイトバランス調整された輝度信号Ｓ１１Ｙ並びに第１及び第２の色差信号Ｓ１１Ｕ、Ｓ１１Ｖに対して図示しない信号処理回路においてさらに所定の信号処理を施し、この後これら輝度信号Ｓ１１Ｙ並びに第１及び第２の色差信号Ｓ１１Ｕ、Ｓ１１Ｖを信号処理画像信号Ｓ１０として画像処理部６１に送出する。
【００５３】
画像処理部６１は、供給される信号処理画像信号Ｓ１０に基づいて、当該信号処理画像信号Ｓ１０に基づく画像内に含まれる各オブジェクトの色認識処理、当該画像内に存在する顔を認識し識別する顔認識処理、ステレオ距離計測法による対象物までの距離計測処理などの各種画像処理を実行し、かくして得られた認識結果等の画像処理結果を画像認識信号Ｓ１２として行動選択決定部６２に送出する。
【００５４】
このとき行動選択決定部６２には、マイクロホン５１（図５）からの音声信号Ｓ１Ｂ（図５）に基づく音声認識結果や話者認識結果が図示しない音声認識部から音声認識信号Ｓ１３として与えられると共に、手部２３や足部３４の底面等に配設された図示しないタッチセンサから与えられる圧力検出信号に基づく「接触した」、「接地した」等の各種接触認識結果が図示しない接触認識部から接触認識信号Ｓ１４として与えられる。
【００５５】
かくして行動選択決定部６２は、これら画像認識信号Ｓ１２、音声認識信号Ｓ１３及び接触認識信号Ｓ１４に基づいてロボット１が次に発現すべき行動を選択及び決定し、決定結果を行動決定信号Ｓ１５として行動生成部６３に送出する。
【００５６】
行動生成部６３は、どのアクチュエータＡ１〜Ａ１４をどのタイミングでどの程度駆動させるかを規定した各行動ごとのモーションファイル、及びそのときロボット１が発音すべき音声の音声データが格納されたサウンドファイルなどの各種行動内容規定ファイルを有している。
【００５７】
そして行動生成部６３は、行動決定信号Ｓ１５が行動選択決定部６２から与えられると、対応する行動内容規定ファイルを読み出し再生して、対応する各アクチュエータＡ１〜Ａ１４への指令値ＣＯＭを対応するサブ制御部４３Ａ〜４３Ｄに送出し、又は再生した音声データをアナログ変換して上述の音声信号Ｓ３（図５）としてスピーカ５２（図５）に送出することにより、かかる行動選択決定部６２により選択された行動をロボット１に発現させる。
【００５８】
（３）ゲインコントロールに関するメイン制御部４０の処理内容
次に、メイン制御部４０におけるＣＣＤカメラ５０からの画像信号Ｓ１Ａの輝度成分でなる輝度信号Ｓ１１Ｙ（以下、単に輝度信号Ｓ１１Ｙと呼ぶ）に対するゲインコントロールについて説明する。
【００５９】
このロボット１の場合、輝度信号Ｓ１１Ｙに対するゲインコントロールは、画像処理部６１の制御のもとに行われる。
【００６０】
この場合画像処理部６１は、ＣＣＤカメラ５０の向きや、信号処理画像信号Ｓ１０に基づき得られる画像の解析結果、行う画像処理又は所定の画像処理結果に応じて、輝度信号Ｓ１１Ｙに対するゲインコントロール方法として最も適切なゲインコントロール方法を選択し、当該選択したゲインコントロール方法で輝度信号Ｓ１１Ｙのゲインをコントロールする。以下、これについて説明する。
【００６１】
（３−１）ＣＣＤカメラ５０の向きに応じたゲインコントロール方法の選択
図１９について上述したように、画素の位置に応じた重み付けを行って計算した画像全体の輝度の平均値を目標値に収束させるようにゲインコントロールを行う第１のゲインコントロール方法は、図８（Ａ）のようにＣＣＤカメラ５０が水平方向を向いている場合には有効である。ＣＣＤカメラ５０が水平方向を向いている状態において、第１のゲインコントロール方法により輝度信号Ｓ１１Ｙのゲインコントロールを行った場合の画像例を図９（Ａ）に示す。この図９（Ａ）からも明らかなように、かかる第１のゲインコントロール方法により、適切にゲインコントロールされた画像が得られることが分かる。
【００６２】
しかしながら、図８（Ｂ）のように床面に表記等されたランドマーク７２を認識するときなどのようにＣＣＤカメラ５０が下向きとなる場合や、図８（Ｃ）のようにユーザと対話するときなどのようにＣＣＤカメラ５０が上向きとなる場合には、図９（Ｂ−１）及び図９（Ｃ−１）に示すように、かかる第１のゲインコントロール方法では適切にゲインコントロールされた画像を得ることができない。
【００６３】
すなわち、ＣＣＤカメラ５０が下向きとなる場合には、図９（Ｂ−２）に示すように、画像内における最大輝度値を目標値に収束させるようにゲインコントロールを行う第２のゲインコントロール方法が有効であり、またＣＣＤカメラ５０が上向きとなる場合には、図９（Ｃ−２）に示すように、ゲインを固定する（ゲインコントロールを行わない）第３のゲインコントロール方法が有効となる。
【００６４】
そこで画像処理部６１においては、方向センサ５３（図５）からのＣＣＤ光軸方向検出信号Ｓ１Ｃに基づき得られるＣＣＤカメラ５０の向き（撮像方向）に応じて、ＣＣＤ光軸方向ａ（図８）が床面となす角度（以下、これをＣＣＤ光軸角度と呼ぶ）θが３０〔°〕よりも大きい場合には第３のゲインコントロール方法によるゲインコントロールを行い、ＣＣＤ光軸角度θが３０〔°〕未満で、かつ−４０〔°〕よりも大きい場合には第１のゲインコントロール方法によるゲインコントロールを行い、ＣＣＤ光軸角度θが−４０〔°〕よりも小さい場合には第２ゲインコントロール方法によるゲインコントロールを行うように信号処理部６０を制御するようになされている。なお、ＣＣＤカメラ５０が上向きとなる場合のＣＣＤ光軸角度θをプラスとし、ＣＣＤカメラ５０が下向きとなる場合のＣＣＤ光軸角度θをマイナスとするものとする。
【００６５】
ここで、このようなＣＣＤカメラ５０の向きに応じたゲインコントロール方法の選択は、図１０に示す第１のゲインコントロール方法選択処理手順ＲＴ１に従って行われる。
【００６６】
実際上、画像処理部６１は、ステップＳＰ０においてこの第１のゲインコントロール方法選択処理手順ＲＴ１を開始すると、続くステップＳＰ１において、信号処理部６０からの信号処理画像信号Ｓ１０に基づき、１画像分の画像情報を取得する。
【００６７】
続いて画像処理部６１は、ステップＳＰ２に進んで、方向センサ５３（図５）からのＣＣＤ光軸方向検出信号Ｓ１Ｃに基づいてＣＣＤ光軸角度θを取得し、この後ステップＳＰ３に進んで、かかるＣＣＤ光軸角度θが３０〔°〕よりも大きい値であるか否かを判断する。
【００６８】
そして画像処理部６１は、このステップＳＰ３において肯定結果を得ると、ステップＳＰ４に進んで、輝度信号Ｓ１１Ｙに対するゲインコントロール方法として第３のゲインコントロール方法を選択し、この後ステップＳＰ１に戻る。
【００６９】
従って、この場合に画像処理部６１は、その後のゲインコントロール処理において、信号処理部６０のＹゲインレジスタ７１Ｙ（図７）に格納されたＹゲインパラメータのパラメータ値を固定して変化させない（ゲインコントロールを行わない）。
【００７０】
これに対して画像処理部６１は、ステップＳＰ３において否定結果を得ると、ステップＳＰ５に進んで、かかるＣＣＤ光軸角度θが−４０〔°〕よりも大きい値であったか否かを判断する。そして画像処理部６１は、このステップＳＰ５において肯定結果を得ると、ステップＳＰ６に進んで、ＣＣＤカメラ５０（図５）からの画像信号Ｓ１Ａに対するゲインコントロール方法として第２のゲインコントロール方法を選択し、この後ステップＳＰ１に戻る。
【００７１】
従って、この場合に画像処理部６１は、その後のゲインコントロール処理において、信号処理部６０から与えられる信号処理画像信号Ｓ１０に基づく画像内における画素の輝度値の最大値が予め設定された目標値（以下、これを最大輝度目標値と呼ぶ）に収束するように、信号処理部６０のＹゲインレジスタ７１Ｙ（図７）に格納されたＹゲインパラメータのパラメータ値をコントロールすることとなる。
【００７２】
一方、画像処理部６１は、ステップＳＰ５において否定結果を得ると、ステップＳＰ７に進んで、ＣＣＤカメラ５０からの画像信号Ｓ１Ａに対するゲインコントロール方法として第１のゲインコントロール方法を選択し、この後ステップＳＰ１に戻る。
【００７３】
従って、この場合に画像処理部６１は、その後のゲインコントロール処理において、信号処理部６０から与えられる信号処理画像信号Ｓ１０に基づく画像内の画素の位置に応じた重み付けを行って計算した画像全体における画素の輝度値の平均値を予め設定された目標値（以下、これを平均輝度目標値と呼ぶ）に収束するように、信号処理部６０のＹゲインレジスタ７１Ｙ（図７）に格納されたＹゲインパラメータのパラメータ値をコントロールすることとなる。
【００７４】
このようにして画像処理部６１は、ＣＣＤカメラ５０の向きに最適なゲインコントロール方法を選択し、当該選択したゲインコントロール方法によりＣＣＤカメラ５０からの画像信号Ｓ１Ａに対するゲインをコントロールし得るようになされている。
【００７５】
（３−２）画像の解析結果に応じたゲインコントロール方法の選択
一方、ＣＣＤカメラ５０が水平方向を向いている状態において、例えば白い壁に取り付けられたランドマーク７２を認識する場合などには、図１１（Ｂ−１）に示すように、第１のゲインコントロール方法では適切な明るさの画像を得ることができない。これは、画像内において壁の色が支配的になるために画像全体の画素値の平均値が大きくなり、その分画像信号Ｓ１Ａに対するゲインが抑えられる結果となるからである。この場合は、床面を見る場合と同じ第２のゲインコントロール方法を用いることで、図１１（Ｂ−３）に示すように、適切な明るさの画像を得ることができる。
【００７６】
このようにＣＣＤカメラ５０の向きが同じであっても撮像対象が一般風景であるのか、又は単一輝度の物体等であるのかによって、最適なゲインコントロール方法が異なる。よって、輝度信号Ｓ１１Ｙに対するゲインをコントロールするに際しては、撮像対象が一般風景及び単一輝度の物体等のいずれであるかによってゲインコントロール方法を切り換えることが好ましい。
【００７７】
この場合、一般風景を映した画像（以下、これを一般風景画像と呼ぶ）と、単一輝度の物体等を映した画像（以下、これを単一輝度物体画像と呼ぶ）との輝度の分散状態を調べると、図１１（Ａ−２）に示す一般風景画像のヒストグラム及び図１１（図Ｂ−２）に示す単一輝度物体画像のヒストグラムの比較からも明らかなように、一般風景画像は輝度の分散が大きく、単一輝度物体画像は輝度の分散が小さいことが分かる。
【００７８】
そこで画像処理部６１においては、信号処理部６０から与えられる信号処理画像信号Ｓ１０に基づく画像を解析してその輝度分散を調べることにより、現在ＣＣＤカメラ５０が撮像しているのが一般風景又は単一輝度の物体のいずれであるかを検出し、当該検出結果に応じて輝度信号Ｓ１１Ｙに対するゲインをその撮像対象に応じたゲインコントロール方法によりコントロールするようになされている。
【００７９】
ここで、このような画像の解析結果に応じたゲインコントロール方法の選択は、図１２に示す第２のゲインコントロール方法選択処理手順ＲＴ２に従って行われる。
【００８０】
実際上、画像処理部６１は、ステップＳＰ０においてこの第２のゲインコントロール選択処理手順ＲＴ２を開始すると、続くステップＳＰ１１において、信号処理部６０から与えられる信号処理画像信号Ｓ１０に基づいて、１画像分の画像情報を取得する。
【００８１】
続いて画像処理部６１は、ステップＳＰ１２に進んで、ステップＳＰ１１において取得した画像情報に基づいて、当該画像情報に基づく画像内の輝度の分散値Ｖｉｍｇを計算する。なお、この輝度の分散値Ｖｉｍｇは、ｉ番目の画素の輝度値をＹｉ、画像の輝度の平均値をＹＡＶ、画像内の画素数をＮとして、次式
【００８２】
【数３】
2004282388.tif 000005
【００８３】
により計算することができる。
【００８４】
続いて画像処理部６１は、ステップＳＰ１３に進んで、かかるステップＳＰ１２において計算した輝度の分散値Ｖｉｍｇと、撮像対象が一般風景及び単一輝度の物体等のいずれであるかを判別するための基準として予め設定された閾値Ｖｔｈとを比較し、分散値Ｖｉｍｇが閾値Ｖｔｈよりも大きいか否かを判断する。
【００８５】
そして画像処理部６１は、このステップＳＰ１３において肯定結果を得ると、ステップＳＰ１４に進んで、その後のゲインコントロール方法として、撮像対象が一般風景であるときのゲインコントロール方法として予め設定された上述の第１のゲインコントロール方法を選択した後、ステップＳＰ１１に戻る。
【００８６】
従って、この場合に画像処理部６１は、その後のゲインコントロール処理において、画像全体の輝度の平均値を予め設定された平均輝度目標値に収束するように、信号処理部６０のＹゲインレジスタ７１Ｙ（図７）に格納されたＹゲインパラメータのパラメータ値をコントロールすることとなる。
【００８７】
これに対して画像処理部６１は、ステップＳＰ１３において否定結果を得ると、ステップＳＰ１５に進んで、その後のゲインコントロール方法として、撮像対象が単一輝度の物体等であるときのゲインコントロール方法として予め設定された上述の第２のゲインコントロール方法を選択した後、ステップＳＰ１１に戻る。
【００８８】
従って、この場合に画像処理部６１は、その後のゲインコントロール処理において、信号処理部６０から与えられる信号処理画像信号Ｓ１０に基づく画像内における画素の輝度値の最大値が予め設定された最大輝度目標値に収束するように、信号処理部６０のＹゲインレジスタ７１Ｙ（図７）に格納されたＹゲインパラメータのパラメータ値をコントロールすることとなる。
【００８９】
このようにして画像処理部６１は、撮像対象に最適なゲインコントロール方法を選択し、当該選択したゲインコントロール方法によりＣＣＤカメラ５０からの画像信号Ｓ１Ａに対するゲインをコントロールし得るようになされている。
【００９０】
（３−３）行う画像処理内容に応じたゲインコントロール方法の選択
他方、床面に置かれたホワイトバランス調整用のランドマーク７２などを認識する場合など、色情報を用いた画像処理を行う場合には、例えば図１３（Ａ）に示すように、その色が最も鮮やかに見えるように（ＣＣＤカメラ５０のＣＣＤ素子の受光効率が最も良い）画像信号Ｓ１Ａのゲインをコントロールすることが望ましい。
【００９１】
また同じ床面を見る場合でも、輝度画像を用いたステレオ距離測定法により対象物までの距離を計測する場合には、例えば図１３（Ｂ）に示すように、一般的に得られる画像の輝度分布が広くなるように画像信号Ｓ１Ａのゲインをコントロールすることが望ましい。
【００９２】
このようにＣＣＤカメラ５０の向きが同じで、得られる画像も同じ場合であっても、行う画像処理の内容によって適切といえるゲインコントロール方法が異なる場合がある。
【００９３】
従って、例えばユーザからの『こっちに来い』という命令に対して、ステレオ距離計測法により障害物までの距離を計測しつつ、これを避けながらユーザの位置まで歩いて行こうとする場合の当該ステレオ距離計測処理ように、予め上位コントロール部からの指令等によりその後に行う画像処理が決まっている場合には、その画像処理に適切なゲインコントロール方法により画像信号Ｓ１Ａのゲインをコントロールすることが望ましい。
【００９４】
そこで画像処理部６１においては、行う画像処理が決まっている場合には、当該行うべき画像処理の内容に応じて、その画像処理を行うために適切にゲインコントロールされた信号処理画像信号Ｓ１０が得られるようなゲインコントロール方法を選択して、当該ゲインコントロール方法によりゲインコントロールを行うようになされている。
【００９５】
ここで、このような行う画像処理に応じたゲインコントロール方法の選択は、図１４に示す第３のゲインコントロール方法選択処理手順ＲＴ３に従って行われる。
【００９６】
実際上、画像処理部６１は、ステップＳＰ２０においてこの第３のゲインコントロール方法選択処理手順ＲＴ３を開始すると、続くステップＳＰ２１において、上位コントール部からの指令等に基づいて、行う画像処理を選択する。
【００９７】
次いで画像処理部６１は、ステップＳＰ２２に進んで、かかるステップＳＰ２１における選択結果に基づいて、そのとき行う画像処理に応じたゲインコントロール方法を選択し、この後ステップＳＰ２１に戻って同様の処理を繰り返す。
【００９８】
従って、この場合に画像処理部６１は、その後のゲインコントロール処理において、かかるステップＳＰ２２において選択したゲインコントロール方法により信号処理部６０のＹゲインレジスタ７１Ｙ（図７）に格納されたＹゲインパラメータのパラメータ値をコントロールすることとなる。
【００９９】
このようにして画像処理部６１は、行う画像処理に最適なゲインコントロール方法を選択し、当該選択したゲインコントロール方法により輝度信号Ｓ１１Ｙに対するゲインをコントロールするようになされている。
【０１００】
（３−４）画像処理結果に応じたゲインコントロール方法の選択
ロボット１が外部センサや内部センサを介して得られる情報に基づいて自己の行動計画を立てるアーキテクチャでは、色認識処理や顔認識処理などのいくつかの認識処理が並行して行われ、これらの認識結果の中で最も確信度の高い認識結果に基づいて行動計画を立てるのが一般的である。また一般的に、認識処理ごとに適切なゲインコントロール方法が異なる。
【０１０１】
従って、このようなアーキテクチャにおいては、各種認識処理のうち、最も確信度の高い認識結果を出力する認識処理に都合の良いようにゲインコントロールを行うことにより、かかる認識処理を安定して行うことができ、その分ロボットの行動計画をロバストにすることができる。
【０１０２】
例えば、図１５（Ａ）に示す入力画像に対して、図１５（Ｂ−１）のように顔を検出し、その確信度が他の認識処理よりも最も大きい場合には図１５（Ｂ−２）のように顔認識処理に適したゲインコントロールを行い、これに対して図１５（Ｃ−１）のようにランドマーク７２を検出し、その確信度が他の認識処理よりも最も大きい場合には図１５（Ｃ−２）のようにランドマーク認識処理に適したゲインコントロールを行うことにより、安定した顔認識処理やランドマーク認識処理を行うことができる。
【０１０３】
そこで画像処理部６１においては、信号処理部６０からの信号処理画像信号Ｓ１０に基づいて行う各種認識処理のうち、最も確信度の高い認識処理に適したゲインコントロール方法で輝度信号Ｓ１１Ｙのゲインコントロールを行うようになされている。
【０１０４】
ここで、このような画像処理結果に応じたゲインコントロール方法の選択は、図１６に示す第４のゲインコントロール方法選択処理手順に従って行われる。
【０１０５】
実際上、画像処理部６１は、ステップＳＰ３０においてこの第４のゲインコントロール方法選択処理手順ＲＴ４を開始すると、続くステップＳＰ３１において、信号処理部６０からの信号処理画像信号Ｓ１０に基づき１画像分の画像情報を取得する。
【０１０６】
続いて画像処理部６１は、ステップＳＰ３２に進んで、各種認識処理における最初の処理として、かかる取得した画像情報に基づく画像内に存在する顔やランドマーク等の所定の認識対象を検出する検出処理を実行する。
【０１０７】
そして画像処理部６１は、この後ステップＳＰ３３に進んで、かかる検出処理により検出した顔やランドマーク等の認識対象の確信度を算出する。
【０１０８】
具体的に画像処理部６１は、例えば画像内に顔を検出した場合、顔認識処理をＳＶＭ（サポートベクターマシーン）により行うときには、サポートベクタに対応する添え字の集合をＳｎ、ラグランジェ乗数をαｉ、訓練サンプルをｘｉ、訓練サンプルｉのクラスラベルｒｅをｙｉ、カーネル関数をＫ、入力ベクトルをｘ、分離面のパラメータをｈとして、次式
【０１０９】
【数４】
2004282388.tif 000006
【０１１０】
で与えられるサポートベクタによる分離面からの距離Ｄｓｖｍを、かかる顔検出の確信度として算出する。なおこの例の場合、距離Ｄｓｖｍが小さいほど確信度は高くなる。
【０１１１】
また画像処理部６１は、ランドマーク７２（図８）を検出した場合には、そのランドマーク７２の大きさをＰｒｅｃｏｇ、当該大きさＰｒｅｃｏｇに対する実際に抽出されている色領域の大きさの大きさをＰｅｘｔとして、次式
【０１１２】
【数５】
2004282388.tif 000007
【０１１３】
で与えられる比Ｐｌｍを、その確信度として算出する。なおこの例では、比Ｐｌｍの値が大きいほど、確信度は高くなる。
【０１１４】
続いて画像処理部６１は、このようにして算出した各認識対象に対する検出結果の確信度の中から最も確信度が高い検出処理（認識対象）を選択し、この後ステップＳＰ３５に進んで、かかる選択した検出処理に応じたゲインコントロール方法を選択し、この後ステップＳＰ３１に戻って同様の処理を繰り返す。
【０１１５】
従って、この場合に画像処理部６１は、その後のゲインコントロール処理において、かかるステップＳＰ３５において選択したゲインコントロール方法により信号処理部６０のＹゲインレジスタ７１Ｙ（図７）に格納されたＹゲインパラメータのパラメータ値をコントロールすることとなる。
【０１１６】
例えば、画像処理部６１は、ステップＳＰ３４において最も確信度が高い検出処理が顔検出処理であった場合のゲインコントロール方法として、一般的に画像による顔認識では顔領域の輝度のレンジが広いほど顔認識率が高まる傾向があることから、顔領域の画素数をｎ、画素ｉの輝度をｘｉ、顔領域における全画素の輝度の平均値をｘａｖとして、次式
【０１１７】
【数６】
2004282388.tif 000008
【０１１８】
で与えられるその顔領域内の輝度の分散値Ｖｆａｃｅが最大となるように、かかるＹゲインパラメータのパラメータ値を調整するゲインコントロール方法を選択し、これを実行する。
【０１１９】
また、画像処理部６１は、例えばステップＳＰ３４において最も確信度が高い検出処理がランドマーク７２の検出処理であった場合のゲインコントロール方法として、色認識のデータベース中の輝度分布と、得られる画像のランドマーク７２部分の輝度分布の重なりが多いほど色認識しやすいといえることから、認識すべき色データの輝度の平均値をＹｄｂ、取得している画像中におけるランドマーク領域の輝度の平均値をＹｉｍｇとして、次式
【０１２０】
【数７】
2004282388.tif 000009
【０１２１】
で与えられるＹｄｂ及びＹｉｍｇの差の絶対値Ｙｇａｐが最小となるように、かかるＹゲインパラメータのパラメータ値を調整するゲインコントロール方法を選択し、これを実行する。
【０１２２】
（３−５）ゲインコントロール選択方法の組合せ
次に、上述した４つのゲインコントロール選択方法を組み合わせたＣＣＤカメラ５０からの画像信号Ｓ１Ａに対する総合的なゲインコントロールの方法について説明する。
【０１２３】
このロボット１においては、輝度信号Ｓ１１Ｙに対して、上述したゲインコントロール選択方法を組み合わせた総合的なゲインコントロール処理を施すことにより、常に適切なゲインコントロール処理を行い得るようになされている。
【０１２４】
この場合、かかるゲインコントロール選択方法の組み合わせ方は、既に行う画像処理が決まっている場合と決まっていない場合とで異なり、行う画像処理が決まっている場合には、図１７に示す第１の総合ゲインコントロール処理手順ＲＴ１に従ってＣＣＤカメラ５０からの画像信号Ｓ１Ａに対する総合的なゲインコントロールが行われる。
【０１２５】
実際上、画像処理部６１は、図示しない上位コントロール部から次に行うべき画像処理が指定されると、この第１の総合ゲインコントロール処理手順ＲＴ５をステップＳＰ４０において開始し、続くステップＳＰ４１において信号処理部６１から与えられる信号処理画像信号Ｓ１０に基づく１画像分の画像情報を取得する。
【０１２６】
次いで画像処理部６１は、ステップＳＰ４２に進んで、図１４について上述した第３のゲインコントロール方法選択処理手順ＲＴ３を実行することにより、そのとき行う画像処理に応じたゲインコントロール方法を選択し、当該選択したゲインコントロール方法により輝度信号Ｓ１１Ｙのゲインをコントロールする。これにより画像信号Ｓ１Ａに基づく画像の明るさを、まず行うべき画像処理に応じた明るさに調整する。
【０１２７】
続いて画像処理部６１は、ステップＳＰ４３に進んで、図１２について上述した第２のゲインコントロール方法選択処理手順ＲＴ２を実行することにより、画像の解析結果に応じたゲインコントロール方法を選択し、当該選択したゲインコントロール方法により輝度信号Ｓ１１Ｙのゲインをコントロールする。これにより行うべき画像処理の内容として、何らかの認識対象を認識する処理を伴うときに、当該認識対象の検出率を向上させることができる。
【０１２８】
そして画像処理部６１は、この後ステップＳＰ４４に進んで、そのとき検出すべき障害物等の特定の認識対象が検出できたか否かを判断し、否定結果を得るとステップＳＰ４２に戻ってステップＳＰ４２〜ＳＰ４４−ＳＰ４２のループを繰り返す。よってこの間、画像処理部６１は、行う画像処理及びそのときの画像の解析結果に応じたゲインコントロール方法により輝度信号Ｓ１１Ｙのゲインをコントロールすることとなる。
【０１２９】
ただし、ステップＳＰ４２において選択されたゲインコントロール方法が上述の第１のゲインコントロール方法であり、ステップＳＰ４３において選択されたゲインコントロール方法が第２のゲインコントロール方法であった場合のように、ステップＳＰ４２において選択されたゲインコントロール方法と、ステップＳＰ４３において選択されたゲインコントロール方法が同時に行うことができない競合するものであった場合には、ステップＳＰ４３において選択されたゲインコントロール方法が優先される。
【０１３０】
そして画像処理部６１は、この後、行う画像処理に応じた障害物等の特定の認識対象物を検出することによりステップＳＰ４４おいて肯定結果を得ると、ステップＳＰ４５に進んで、図１６について上述した第４のゲインコントロール方法選択処理手順ＲＴ４を実行することにより、当該認識対象の認識に適したゲインコントロール方法を選択し、この選択したゲインコントロール方法により画像信号Ｓ１Ａのゲインをコントロールする。そして画像処理部６１は、その後ステップＳＰ４１に戻って、この後ステップＳＰ４１〜ステップＳＰ４５について同様の処理を繰り返す。
【０１３１】
これに対して画像処理部６１は、次にどのような行動を発現すべきかが決まっていない場合のように、次に行う画像処理が決まっていない場合には、図１８に示す第２の総合ゲインコントロール処理手順ＲＴ６に従ってＣＣＤカメラ５０からの画像信号Ｓ１Ａに対する総合的なゲインコントールを行う。
【０１３２】
実際上、画像処理部６１は、例えば動作モードが周囲を探索する探索モードに遷移したときなど、行う画像処理がなくなると、この第２の総合ゲインコントロール処理手順ＲＴ６をステップＳＰ５０において開始し、続くステップＳＰ５１において信号処理部６０から与えられる信号処理画像信号Ｓ１０に基づく１画像分の画像情報を取得する。
【０１３３】
次いで画像処理部６１は、ステップＳＰ５２に進んで、図１０について上述した第１のゲインコントロール方法選択処理手順ＲＴ１を実行することにより、そのときのＣＣＤカメラ５０の向きに応じたゲインコントロール方法を選択し、当該選択したゲインコントロール方法により輝度信号Ｓ１１Ｙのゲインをコントロールする。これにより見えるものに依らないゲインコントロール方法でゲインコントロールが行われることから、この後に適切でないゲインコントロールが施された信号処理画像信号Ｓ１０に基づいて誤ったゲインコントロール方法が選択されるのを防止することができる。
【０１３４】
続いて画像処理部６１は、ステップＳＰ５３に進んで、図１２について上述した第２のゲインコントロール方法選択処理手順ＲＴ２を実行することにより、画像の解析結果に応じたゲインコントロール方法を選択し、当該選択したゲインコントロール方法により画像信号Ｓ１Ａのゲインをコントロールする。これにより、顔やランドマーク７２（図８）等の何らかの行動のきっかけとなるような認識対象の検出率を向上させることができる。
【０１３５】
そして画像処理部６１は、この後ステップＳＰ５４に進んで、何らかの認識対象が検出できたか否かを判断し、否定結果を得るとステップＳＰ５２に戻ってステップＳＰ５２〜ＳＰ５４−ＳＰ５２のループを繰り返す。よってこの間、画像処理部６１は、ＣＣＤカメラ５０の向き及び画像の解析結果に応じたゲインコントロール方法により輝度信号Ｓ１１Ｙのゲインをコントロールすることとなる。
【０１３６】
ただし、ステップＳＰ５２において選択されたゲインコントロール方法が上述の第１のゲインコントロール方法であり、ステップＳＰ５３において選択されたゲインコントロール方法が第２のゲインコントロール方法であった場合のように、ステップＳＰ５２において選択されたゲインコントロール方法と、ステップＳＰ５３において選択されたゲインコントロール方法が同時に行うことができない競合するものであった場合には、ステップＳＰ５３において選択されたゲインコントロール方法が優先される。
【０１３７】
そして画像処理部６１は、この後、何らかの認識対象を検出することによりステップＳＰ５４おいて肯定結果を得ると、ステップＳＰ５５に進んで、図１６について上述した第４のゲインコントロール方法選択処理手順ＲＴ４を実行することにより、当該認識対象の認識に適したゲインコントロール方法を選択し、この選択したゲインコントロール方法により輝度信号Ｓ１１Ｙのゲインをコントロールする。そして画像処理部６１は、その後ステップＳＰ５１に戻って、この後ステップＳＰ５１〜ステップＳＰ５５について同様の処理を繰り返す。
【０１３８】
このようにして画像処理部６１は、行う画像処理が決まっている場合や決まっていない場合の一連の画像処理の過程において、常にその状況に最適なゲインコントロールを行い得るようになされている。
【０１３９】
（４）本実施の形態の動作及び効果
以上の構成において、画像処理部６１は、行う画像処理が既に決まっている場合には、第１の総合ゲインコントロール処理手順ＲＴ５に従って、行う画像処理、画像の解析結果及び画像処理結果に応じてゲインコントロール方法を順次選択しながら、当該選択したゲインコントロール方法で輝度信号Ｓ１１Ｙのゲインをコントロールし、行う画像処理が未だ決まっていない場合には、第２の総合ゲインコントロール処理手順ＲＴ６に従って、ＣＣＤカメラ５０の向き、画像の解析結果及び画像処理結果に応じてゲインコントロール方法を順次選択しながら、当該選択したゲインコントロール方法で輝度信号Ｓ１１Ｙのゲインをコントロールする。
【０１４０】
従って、このロボット１では、常にそのときの状況に最適なゲインコントロール方法で輝度信号Ｓ１１Ｙのゲインをコントロールすることができる。
【０１４１】
以上の構成によれば、ＣＣＤカメラ５０の向き、信号処理画像信号Ｓ１０に基づき得られる画像の解析結果、行う画像処理又は所定の画像処理結果に応じて、輝度信号Ｓ１１Ｙに対するゲインコントロール方法として最も適切なゲインコントロール方法を選択し、当該選択したゲインコントロール方法で輝度信号Ｓ１１Ｙのゲインをコントロールするようにしたことにより、常にそのときの状況に最適なゲインコントロール方法で輝度信号Ｓ１１Ｙのゲインコントロールを行うことができ、かくして状況に応じて適切な画像信号処理を行い得るロボットを実現できる。
【０１４２】
（５）他の実施の形態
なお上述の実施の形態においては、本発明を図１〜図５のように構成された２足歩行型のロボット１に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のロボット装置やロボット装置以外の機器、及びこれらロボット装置や機器に搭載される画像信号処理装置に広く適用することができる。
【０１４３】
また上述の実施の形態においては、方向センサ５３をジャイロセンサにより構成するようにした場合について述べたが、本発明はこれに限らず、要は、ＣＣＤカメラ５０の光軸方向（撮像方向）を検出することができるものであれば、この他加速度センサ等の種々のセンサデバイスを広く適用することができる。
【０１４４】
さらに上述の実施の形態においては、外部を撮像する撮像手段としてＣＣＤカメラ５０を適用するようにした場合について述べたが、本発明はこれに限らず、要は、外部の状況を撮像できるものであればこの他種々のものを広く適用することができる。
【０１４５】
さらに上述の実施の形態においては、ＣＣＤカメラ５０の向きに応じたゲインコントロール方法の選択を、ＣＣＤ光軸角度θ（図８）が３０〔°〕よりも大きいとき、３０〔°〕から−４０〔°〕の間のとき、及び−４０〔°〕よりも小さいときの３段階で行うようにした場合について述べたが、本発明はこれに限らず、これ以外の段階で行うようにしても良く、また３段階にする場合にあっても、段階を切り換えるＣＣＤ光軸角度θを３０〔°〕や−４０〔°〕以外の角度に設定するようにしても良い。またこのようにある角度でゲインコントロール方法が切り替わるという方法だけでなく、ＣＣＤ光軸角度θに応じてＹゲインパラメータを徐々に変化させるようにしても良い。
【０１４６】
さらに上述の実施の形態においては、ＣＣＤ光軸角度θを、床面とＣＣＤカメラ５０の光軸方向とのなす角度として定義するようにした場合について述べたが、本発明はこれに限らず、ＣＣＤカメラ５０の光軸方向と、床面以外の例えば水平方向とのなす角度と定義するようにしても良い。
【０１４７】
さらに上述の実施の形態においては、画像の解析結果に応じてゲインコントロール方法を選択する際に、画像内の輝度の分散状況に応じてゲインコントロール方法を切り換えるようにした場合について述べたが、本発明はこれに限らず、画像内の輝度の分散状況以外の解析結果に応じてゲインコントロール方法を切り換えるようにしても良い。
【０１４８】
またこの場合において、上述の実施の形態においては、画像が一般風景か、単一輝度の物体等であるかによってゲインコントロール方法を切り換えるようにした場合について述べたが、これに加え又は代えて他の撮像対象の条件に応じてゲインコントロール方法を切り換えるようにしても良い。
【０１４９】
さらに上述の実施の形態においては、画像の輝度の分散値Ｖｉｍｇが所定の閾値Ｖｔｈよりも大きいか否かでゲインコントロール方法を切り換えるようにした場合について述べたが、本発明はこれに限らず、分散値Ｖｉｍｇに応じてＹゲインパラメータのパラメータ値を徐々に変化するようにコントロールするようにしても良く、またこのようなゲインコントロール方法をも選択肢の１つに含めるようにしても良い。
【０１５０】
さらに上述の実施の形態においては、画像処理結果に応じてゲインコントロール方法を選択する際の当該画像処理結果が認識処理の確信度である場合について述べたが、本発明はこれに限らず、これ以外の画像処理結果に応じてゲインコントロール方法を選択するようにしても良い。
【０１５１】
さらに上述の実施の形態においては、顔認識処理やランドマーク認識の確信度をそれぞれ（４）式又は（５）式により計算するようにした場合について述べたが、本発明はこれに限らず、この他種々の計算方法を広く適用することができる。
【０１５２】
さらに上述の実施の形態においては、ＣＣＤカメラ５０の向き、信号処理画像信号Ｓ１０に基づき得られる画像の解析結果、行う画像処理又は所定の画像処理結果にそれぞれ応じたゲインコントロール方法の選択処理を図１７や図１８のように組み合わせるようにした場合について述べたが、本発明はこれに限らず、これ以外の組み合わせを広く適用することができる。
【０１５３】
さらに上述の実施の形態においては、ＣＣＤカメラ５０からの画像信号Ｓ１Ａの輝度成分でなる輝度信号Ｓ１１Ｙのゲインをコントロールするゲインコントロール手段としての機能を画像処理部６１にもたせるようにした場合について述べたが、本発明はこれに限らず、かかる機能を信号処理部６０にもたせたり、又は上位コントロール部にもたせるようにしても良い。
【０１５４】
【発明の効果】
上述のように本発明によれば、画像信号処理装置において、画像信号の輝度成分に対するゲインをコントロールするゲインコントロール手段を設け、ゲインコントロール手段が、画像信号の輝度成分に対するゲインのコントロール方法を、撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に応じて選択し、当該選択したコントロール方法により画像信号の輝度成分に対するゲインをコントロールするようにしたことにより、画像信号の輝度成分のゲインを、そのときの撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に適したコントロール方法でコントロールすることができ、かくして状況に応じて適切な画像信号処理を行い得る画像信号処理装置を実現できる。
【０１５５】
また本発明によれば、画像信号処理方法において、撮像手段により外部を撮像する第１のステップと、撮像手段から出力される画像信号の輝度成分を、設定されたゲインに応じて増幅すると共に、当該ゲインをコントロールする第２のステップとを設け、第２のステップでは、画像信号の輝度成分に対するゲインのコントロール方法を、撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に応じて選択し、当該選択したコントロール方法により画像信号の輝度成分に対するゲインをコントロールするようにしたことにより、画像信号の輝度成分のゲインを、そのときの撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に適したコントロール方法でコントロールすることができ、かくして状況に応じて適切な画像信号処理を行い得る画像信号処理方法を実現できる。
【０１５６】
さらに本発明によれば、ロボット装置において、画像信号の輝度成分に対するゲインをコントロールするゲインコントロール手段を設け、ゲインコントロール手段が、画像信号の輝度成分に対するゲインのコントロール方法を、撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に応じて選択し、当該選択したコントロール方法により画像信号の輝度成分に対するゲインをコントロールするようにしたことにより、画像信号の輝度成分のゲインを、そのときの撮像手段の撮像方向、画像信号に基づき得られる画像の解析結果、行う画像処理及び又は所定の画像処理結果に適したコントロール方法でコントロールすることができ、かくして状況に応じて適切な画像信号処理を行い得るロボット装置を実現できる。
【図面の簡単な説明】
【図１】本実施の形態によるロボットの外観構成を示す斜視図である。
【図２】本実施の形態によるロボットの外観構成を示す斜視図である。
【図３】本実施の形態によるロボットの外観構成の説明に供する概念図である。
【図４】本実施の形態によるロボットの内部構成の説明に供する概念図である。
【図５】本実施の形態によるロボットの内部構成の説明に供するブロック図である。
【図６】行動生成及びゲインコントロールに関するメイン制御部の処理内容の説明に供するブロック図である。
【図７】信号処理部の一部構成を示すブロック図である。
【図８】ＣＣＤカメラの向きに応じたゲインコントロール方法選択の説明に供する略線図である。
【図９】ロボットの向きに応じたゲインコントロール方法の選択についての説明に供する略線図である。
【図１０】第１のゲインコントロール方法選択処理手順を示すフローチャートである。
【図１１】撮像対象に応じたゲインコントロール方法の選択についての説明に供する略線図である。
【図１２】第２のゲインコントロール方法選択処理手順を示すフローチャートである。
【図１３】行う画像処理に応じたゲインコントロール方法の選択についての説明に供する略線図である。
【図１４】第３のゲインコントロール方法選択処理手順を示すフローチャートである。
【図１５】画像処理結果に応じたゲインコントロール方法の選択についての説明に供する略線図である。
【図１６】第４のゲインコントロール方法選択処理手順を示すフローチャートである。
【図１７】第１の総合ゲインコントロール処理手順を示すフローチャートである。
【図１８】第２の総合ゲインコントロール処理手順を示すフローチャートである。
【図１９】従来のゲインコントロール方法の説明に供する概念図である。
【符号の説明】
１……ロボット、４０……メイン制御部、５０……ＣＣＤカメラ、５３……方向センサ、６０……信号処理部、６１……画像処理部、７１……Ｙゲインレジスタ、Ｓ１Ａ……画像信号、Ｓ１Ｃ……ＣＣＤ光軸検出信号、ＲＴ１……第１のゲインコントロール方法選択処理手順、ＲＴ２……第２のゲインコントロール方法選択処理手順、ＲＴ３……第３のゲインコントロール方法選択処理手順、ＲＴ４……第４のゲインコントロール方法選択処理手順、ＲＴ５……第１の総合ゲインコントロール処理手順、ＲＴ６……第２のゲインコントロール処理手順。
【図１】
2004282388.tif 000010
【図２】
2004282388.tif 000011
【図３】
2004282388.tif 000012
【図４】
2004282388.tif 000013
【図５】
2004282388.tif 000014
【図６】
2004282388.tif 000015
【図７】
2004282388.tif 000016
【図８】
2004282388.tif 000017
【図９】
2004282388.tif 000018
【図１０】
2004282388.tif 000019
【図１１】
2004282388.tif 000020
【図１２】
2004282388.tif 000021
【図１３】
2004282388.tif 000022
【図１４】
2004282388.tif 000023
【図１５】
2004282388.tif 000024
【図１６】
2004282388.tif 000025
【図１７】
2004282388.tif 000026
【図１８】
2004282388.tif 000027
【図１９】
2004282388.tif 000028