(57)【要約】【課題】第１の情報を用いて算出した関心度と同等の関心度を第１の情報より粗い第２の情報を用いて得るための学習装置を提供する。【解決手段】顔を示す第１の情報から第１の特徴量を抽出する第１の特徴抽出部と、上記第１の情報より粗い情報からなる上記顔を示す第２の情報から第２の特徴量を抽出する第２の特徴抽出部と、所定の対象物に関心があるか否かについて、上記第１の特徴量と上記第２の特徴量とが近くなるように、上記第２の特徴抽出部を学習する学習部と、を設けるようにした。【選択図】図１
2020204826.tif 000002
【特許請求の範囲】
【請求項１】
顔を示す第１の情報から第１の特徴量を抽出する第１の特徴抽出部と、
前記第１の情報より粗い情報からなる前記顔を示す第２の情報から第２の特徴量を抽出する第２の特徴抽出部と、
所定の対象物に関心があるか否かについて、前記第１の特徴量と前記第２の特徴量とが近くなるように、前記第２の特徴抽出部を学習する学習部と、
を備える学習装置。
【請求項２】
前記第１の情報は、人物の顔画像であり、
前記第２の情報は、前記人物の頭部骨格情報である、
請求項１に記載の学習装置。
【請求項３】
前記人物の全身骨格情報から前記頭部骨格情報を分割する骨格分割部と、
前記全身骨格情報から第３の特徴量を抽出する第３の特徴抽出部と、
を備え、
前記学習部は、前記第１の特徴量と前記第３の特徴量とが合成された特徴ベクトルと教師情報とを入力として損失関数を用いて計算された第１の損失と、前記第２の特徴量と前記第３の特徴量とが合成された特徴ベクトルと教師情報とを入力として損失関数を用いて計算された第２の損失と、前記第１の特徴量と前記第２の特徴量とが近くなることを期待した関数を用いて計算された第３の損失とを用いて、前記第１の特徴抽出部と前記第２の特徴抽出部と前記第３の特徴抽出部とを学習する、
請求項２に記載の学習装置。
【請求項４】
顔を示す第１の情報から第１の特徴量を抽出する第１の特徴抽出部と、前記第１の情報より粗い情報からなる前記顔を示す第２の情報から第２の特徴量を抽出する第２の特徴抽出部と、所定の対象物に関心があるか否かについて、前記第１の特徴量と前記第２の特徴量とが近くなるように、前記第２の特徴抽出部を学習する学習部と、を備える学習装置において学習された前記第２の特徴抽出部を備えるロボットシステム。
【請求項５】
前記所定の対象物は、ロボットであり、
前記第１の情報は、人物の顔画像であり、
前記第２の情報は、前記人物の頭部骨格情報であり、
人物の頭部骨格情報のもとになる情報を取得する取得部と、
前記第２の特徴抽出部により抽出される前記頭部骨格情報の特徴量を用いて前記ロボットへの関心度を推定する関心度推定部と、
前記関心度推定部により推定された結果を出力する推定結果出力部と、
を備える請求項４に記載のロボットシステム。
【請求項６】
前記ロボットは、前記ロボットによる対応に係る装置を制御する制御部を備え、
前記推定結果出力部は、前記関心度推定部により推定された結果として前記人物への対応を行うように前記装置を制御するための制御指示を生成し、生成した制御指示を前記制御部に送信し、
前記制御部は、前記推定結果出力部から受信した制御指示に従って前記装置を制御する、
請求項５に記載のロボットシステム。
【請求項７】
第１の特徴抽出部が、顔を示す第１の情報から第１の特徴量を抽出する第１のステップと、
第２の特徴抽出部が、前記第１の情報より粗い情報からなる前記顔を示す第２の情報から第２の特徴量を抽出する第２のステップと、
学習部が、所定の対象物に関心があるか否かについて、前記第１の特徴量と前記第２の特徴量とが近くなるように、前記第２の特徴抽出部を学習する第３のステップと、
を備える学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習装置、ロボットシステムおよび学習方法に関し、例えば、特徴抽出部を学習する学習装置および学習方法、および学習した特徴抽出部を用いるロボットシステムに適用して好適なものである。
【背景技術】
【０００２】
近年、小売店、公共施設等において、来店客に対し、従業員に代わって対話サービスを提供するロボットの開発が盛んである。特に、人通りの多い環境でロボットを利用するにあたっては、ロボットは、周囲を行き交う複数の人物の中から対話の対象となる人物を選択して、対応しなければならない。対話の対象となる人物を選択するために、ロボットには、人物が自装置に対してどの程度の関心を持っているか（関心度）を推定する機能が求められる。
【０００３】
特に、人物が遠方よりロボットに接近する場合、ロボットは、実際に人物に接近され、声を掛けられる以前に人物の接近中の動作から人物のロボットに対する関心度を推定し、対話の対象であるか否かを識別することが望まれる。人物が対話の対象である場合には、能動的に応対することがユーザビリティを向上させる観点からも望ましいためである。
【０００４】
この点、システムが自装置に対する関心度を推定する技術が開示されている（特許文献１参照）。特許文献１に記載の技術は、システムの前を移動する人物の視線、身体の姿勢方向を基に、システムに対する関心度を推定するものである。特に、特許文献１に記載の技術では、システムとして広告表示ディスプレイが想定され、人物の関心度に合わせて広告のコンテンツがディスプレイに描画される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−５０９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術は、人物の顔画像と身体の姿勢方向とから、人物の関心度を推定するものである。このうち、顔画像の抽出にあたっては、顔検出手法を用いてこれを取得する必要がある。しかしながら、画像中に人物の顔が含まれている場合でも、画像中に占める顔の領域が小さいとき、人物のカメラに対する顔の向きが悪いとき等では、顔の検出が困難となる。
【０００７】
このように、画像中に人物の顔が映り込んでいたとしても、顔領域の検出に欠損が生じた場合、システムは正しく人物の関心度を計算できなくなり、システムは人物に対して正しく応対することが不可能となる。
【０００８】
本発明は、以上の点を考慮してなされたもので、第１の情報を用いて算出した関心度と同等の関心度を第１の情報より粗い第２の情報を用いて得るための学習装置等を提案しようとするものである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため本発明においては、顔を示す第１の情報から第１の特徴量を抽出する第１の特徴抽出部と、前記第１の情報より粗い情報からなる前記顔を示す第２の情報から第２の特徴量を抽出する第２の特徴抽出部と、所定の対象物に関心があるか否かについて、前記第１の特徴量と前記第２の特徴量とが近くなるように、前記第２の特徴抽出部を学習する学習部と、を設けるようにした。
【００１０】
上記構成では、第１の特徴抽出部が抽出する第１の特徴量と第２の特徴抽出部が抽出する第２の特徴量とが近しくなるように第２の特徴抽出部が学習される。例えば、第２の特徴抽出部を所定の対象物に実装することで、当該所定の対象物は、顔を示す粗い情報からなる第２の情報に基づいて、自装置に関心があるか否かを、顔を示す細かい情報からなる第１の情報を用いたときと同等に推定することができる。例えば、第１の情報から顔を安定的に検出できない場合でも、第２の情報を検出できるときには、ロバストに所定の対象物への関心を推定することが可能になる。
【発明の効果】
【００１１】
本発明によれば、関心度をより確実に得ることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態によるロボットシステムに係る構成の一例を示す図である。
【図２】第１の実施の形態によるロボットシステムに係るハードウェア構成の一例を示す図である。
【図３】第１の実施の形態によるロボットシステムに係る機能構成の一例を示す図である。
【図４】第１の実施の形態による学習装置に係る機能構成の一例を示す図である。
【図５】第１の実施の形態による学習処理に係るフローチャートの一例を示す図である。
【図６】第１の実施の形態によるサーバ装置に係る機能構成の一例を示す図である。
【図７】第１の実施の形態による運用処理に係るフローチャートの一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面について、本発明の一実施の形態を詳述する。本実施の形態に示す技術は、概して、複数の人物が行き交う環境において利用され、対話の対象となり得る人物を識別し、事前に対話の準備を行う技術に関するものである。
【００１４】
ここで、人物の顔画像からは、視線方向等、ロボットに対する関心度を計算する上で密な特徴を抽出することが可能である。しかしながら、顔画像の検出の精度は、人物の顔の画像に対する映り込みに依存する。これは、顔検出技術が顔の検出に際して、人物の顔の全体的な特徴を要求するためである。
【００１５】
一方で、骨格推定技術は、本来、人物の姿勢情報を取得するための技術である。骨格推定技術は、人物の眼、鼻、耳といった顔の特徴点（顔特徴点）のおおまかな座標情報を推定可能である。骨格推定技術は、人物が横を向いている場合でも、映り込んだ顔のパーツの位置（顔の向き）を推定することが可能となっている。これは、顔検出技術と異なり、顔の特徴点の検出に際して、顔の全体感ではなく、顔の特徴点を個別に検出するためである。しかしながら、顔の特徴点の座標情報は、顔画像に比べて疎な情報である上に、骨格推定技術による座標位置の推定精度は高くない。
【００１６】
本実施の形態では、学習時には顔画像と顔特徴点とを対応付けながら学習し、顔特徴点から抽出される特徴量と、顔画像から抽出される特徴量とが近しいものになるようにする。これにより、情報量的に疎であるはずの顔特徴点から、密な特徴を抽出可能となる学習を期待する。運用時には、顔画像の検出が困難であることを考慮して、顔特徴点を代替として入力とし、姿勢情報と組み合わせることで関心度の推定を実現する。いか、詳細について、説明する。
【００１７】
（１）第１の実施の形態
図１において、１００は全体として第１の実施の形態によるロボットシステムを示す。
【００１８】
図１は、ロボットシステム１００に係る構成の一例を示す図である。図１では、人物が往来する環境下における、ロボットシステム１００の使用状態の例を示す。ロボットシステム１００は、人物と対話するロボット１１０と、ロボット１１０からの情報（データ）に基づき、ロボット１１０を制御するサーバ装置１２０とを含んで構成されている。
【００１９】
ロボット１１０は、カメラ１１１、スピーカ１１２、マイクアレイ１１３、内部サーバ１１４、駆動装置１１５および第１通信インターフェース（以下、ＩＦと示す）１１６を備える。
【００２０】
カメラ１１１は、画像を取り込む撮像装置である。より具体的には、カメラ１１１は、ロボット１１０の周囲を撮影する撮像装置である。カメラ１１１は、例えば、被写体までの距離を計測可能な３次元測量機能を備えていてもよい。なお、カメラ１１１は、深度センサであってもよい。付言するならば、カメラ１１１と深度センサとの各々は、人物の顔を示す粗い情報（例えば、後述の頭部骨格情報）を取得するための取得装置の一例である。
【００２１】
スピーカ１１２は、音声等を出力する。マイクアレイ１１３は、環境音、人物の音声を取り込む。内部サーバ１１４は、計算機である。内部サーバ１１４は、例えば、第１の通信ＩＦ１１６を介して、カメラ１１１、マイクアレイ１１３等で得た情報をサーバ装置１２０に送信する。
【００２２】
駆動装置１１５は、ロボット１１０を駆動させる機構であり、ロボット１１０の腕、足等の関節に位置し、感情表現のための動作、移動等を実現する、駆動装置１１５は、モーター、減速機等である。例えば、駆動装置１１５は、ロボット１１０を歩行動作させる装置であってもよいし、車輪によってロボット１１０を移動させる装置であってもよいし、ロボット１１０の腕、指等を動かしてロボット１１０の感情を表現させる装置であってもよいし、首を振ることでカメラ１１１の向きを変える装置であってもよい。
【００２３】
第１の通信ＩＦ１１６は、サーバ装置１２０と無線通信する。第１の通信ＩＦ１１６は、ネットワーク（図示せず）を介してサーバ装置１２０に接続し、情報を送受信する。
【００２４】
なお、スピーカ１１２と駆動装置１１５との各々は、ロボット１１０による対応に係る装置１１７の一例である。
【００２５】
サーバ装置１２０は、ロボット１１０の動作を制御するための情報（制御指示）を送信等する計算機であり、第１の通信ＩＦ１１６と通信を行う第２の通信ＩＦ１２１を備える。例えば、サーバ装置１２０は、ロボット１１０から画像情報、音声情報等の情報を受信し、受信した情報に応じて制御指示を生成し、生成した制御指示を第２の通信ＩＦ１２１および第１の通信ＩＦ１１６を介してロボット１１０に送信する。
【００２６】
なお、第１の通信ＩＦ１１６および第２の通信ＩＦ１２１は、無線インターフェースであり、無線通信を利用して情報の送受信を行うＬＡＮシステム、例えば、ＩＥＥＥ  ８０２．１１に規定されるものが挙げられる。第１の通信ＩＦ１１６と第２の通信ＩＦ１２１との間は、インターネット等のネットワークを介することもある。
【００２７】
また、サーバ装置１２０のロボット１１０を制御する処理を内部サーバ１１４に処理させることもできる。その場合、サーバ装置１２０および第１通信インターフェース１２６は不要となり、ロボット１１０が独立して人物と対話する構成とすることができる。
【００２８】
以上の構成のロボットシステム１００は、主として、ロボット１１０の周囲の人物に対し、対話を働きかけたり、対話を行ったりする対話システムとして利用される。
【００２９】
＜ハードウェア構成例＞
図２は、ロボットシステム１００に係るハードウェア構成の一例を示す図である。
【００３０】
ロボット１１０は、カメラ１１１と、マイクアレイ１１３と、内部サーバ１１４と、装置１１７と、カメラ１１１とマイクアレイ１１３と内部サーバ１１４と装置１１７とを接続するバス２１１とを備える。
【００３１】
内部サーバ１１４は、第１のプロセッサ２１２と、第１の記憶デバイス２１３と、第１の通信ＩＦ１１６とを備える。第１のプロセッサ２１２と、第１の記憶デバイス２１３と、第１の通信ＩＦ１１６とは、バス２１１で接続されている。
【００３２】
第１のプロセッサ２１２は、例えば、ＣＰＵ（Central Processing Unit）であり、ロボット１１０に係る各種の処理を行う。第１の記憶デバイス２１３は、第１のプロセッサ２１２の作業エリアとなる。第１の記憶デバイス２１３は、ロボット１１０の機能を実現するための各種のプログラム、各種の情報等を記憶する非一時的な記憶媒体または一時的な記憶媒体である。第１の記憶デバイス２１３は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＧＰＵ（Graphics Processing Unit）、フラッシュメモリ等である。
【００３３】
ロボット１１０の機能（例えば、後述する、画像受信部３１１、第１の送受信部３１２、音出力制御部３１３、駆動制御部３１４等）は、例えば、第１のプロセッサ２１２がプログラムを第１の記憶デバイス２１３に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、ロボット１１０の機能の一部は、ロボット１１０と通信可能な他の計算機（例えば、サーバ装置１２０）により実現されてもよい。
【００３４】
装置１１７は、ロボット１１０による対応に係る装置であり、スピーカ１１２、駆動装置１１５等である。
【００３５】
サーバ装置１２０は、第２の通信ＩＦ１２１と、第２のプロセッサ２２１と、第２の記憶デバイス２２２と、第２の通信ＩＦ１２１、第２のプロセッサ２２１および第２の記憶デバイス２２２を接続するバス２２３とを備える。
【００３６】
第２のプロセッサ２２１は、例えば、ＣＰＵであり、サーバ装置１２０に係る各種の処理を行う。第２の記憶デバイス２２２は、第２のプロセッサ２２１の作業エリアとなる。第２の記憶デバイス２２２は、サーバ装置１２０の機能を実現するための各種のプログラム、各種の情報等を記憶する非一時的な記憶媒体または一時的な記憶媒体である。第２の記憶デバイス２２２としては、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＧＰＵ、フラッシュメモリがある。
【００３７】
サーバ装置１２０の機能（例えば、後述する、第２の送受信部３２１、人検出部３２２、人追跡部３２３、骨格推定部３２４、特徴抽出部３２５、関心度推定部３２６、推定結果出力部３２７等）は、例えば、第２のプロセッサ２２１がプログラムを第２の記憶デバイス２２２に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、サーバ装置１２０の機能の一部は、サーバ装置１２０と通信可能な他の計算機（例えば、ロボット１１０）により実現されてもよい。
【００３８】
＜機能構成例＞
図３は、ロボットシステム１００に係る機能構成の一例を示す図である。図３では、ロボットシステム１００の運用時の機能構成の一例を示す。
【００３９】
ロボット１１０は、画像受信部３１１と、第１の送受信部３１２と、音出力制御部３１３と、駆動制御部３１４とを備える。
【００４０】
画像受信部３１１は、カメラ１１１からの画像情報を受信する。なお、画像受信部３１１は、取得装置（カメラ１１１、深度センサ等）で取得された情報（画像情報、深度センサ情報等）を取得する取得部の一例である。第１の送受信部３１２は、第１の通信ＩＦ１１６を制御してサーバ装置１２０と情報を送受する。
【００４１】
音出力制御部３１３は、スピーカ１１２およびマイクアレイ１１３を制御し、音を入力したり、音を出力したりする。駆動制御部３１４は、駆動装置１１５を制御し、駆動装置１１５を駆動する。例えば、音出力制御部３１３によりスピーカ１１２およびマイクアレイ１１３を制御することで、人物との対話、複数の人物との会話等を実現する。また、例えば、駆動制御部３１４により駆動装置１１５を制御することで、ロボット１１０の感情表現のための動作、ロボット１１０の移動等を実現する。音出力制御部３１３および駆動制御部３１４との各々は、装置１１７を制御する装置制御部３１５の一例である。
【００４２】
サーバ装置１２０は、第２の送受信部３２１と、人検出部３２２と、人追跡部３２３と、骨格推定部３２４と、特徴抽出部３２５と、関心度推定部３２６と、推定結果出力部３２７とを備える。
【００４３】
ここで、カメラ１１１によって撮像されたロボット１１０の周囲の環境を示す画像情報は、リアルタイム、所定の周期等、任意のタイミングでサーバ装置１２０に送信されている。
【００４４】
人検出部３２２は、人検出処理を行い、カメラ１１１からの画像情報から人物が存在する領域（人領域）を推定する。人領域は、人物の領域を囲む矩形の位置であってもよい。人検出部３２２で推定された人領域または人領域内の画像情報は、骨格推定部３２４と人追跡部３２３とに送信される。人検出部３２２にて実行される人検出処理は、現在公知の技術を用いることができる。用いる技術は、画素ごとに周囲の画素値との勾配から人物の輪郭を特徴にして存在を推定する技術でもよいし、畳み込みフィルタを利用したＣＮＮ（Convolutional Neural Network）等を利用して人物の存在を示す矩形を出力する技術でもよい。人検出部３２２では、上述した技術を利用することで、複数人が存在している場合でも、人ごとに人領域（領域情報）を取得することができる。
【００４５】
人追跡部３２３は、人検出部３２２にて推定された人領域に基づいて、連続する画像フレーム間で同一人物の対応をとる。連続するフレーム間での人追跡技術は、人検出部３２２の出力の人領域内での特徴量と、連続するフレームでの特徴量とを比較し、類似する特徴である場合に同一人物としてもよく、フレーム間の対応付けを行う。
【００４６】
骨格推定部３２４は、例えば、人検出部３２２で得られた人ごとの人領域に対し、人物の画像中における骨格情報を抽出する。骨格情報の取得に関しては、画像からＣＮＮを利用して骨格情報を抽出する技術、深度センサを利用して骨格情報を取得する技術等を用いることができる。
【００４７】
特徴抽出部３２５は、骨格推定部３２４と人追跡部３２３とから人物ごとに、時系列的な骨格特徴を抽出する。ここでは、例えば、人物がロボット１１０に対して接近する行動と、素通りする等の接近しない行動との識別に向けた骨格特徴を抽出する。この具体的処理については後述する。
【００４８】
関心度推定部３２６は、特徴抽出部３２５において抽出した時系列の骨格特徴を基に、画像中の人物ごとにロボット１１０への関心度を算出する。
【００４９】
推定結果出力部３２７は、関心度推定部３２６により推定された結果を出力する。例えば、推定結果出力部３２７は、画像中の人物がロボット１１０に関心を持つかを識別し、人物が対話の対象であると判定した場合、第２の通信ＩＦ１２１および第１の通信ＩＦ１１６を介して、駆動制御部３１４に対して制御指示を送信し、スピーカ１１２、駆動装置１１５等を制御し、能動的な声掛け、応対姿勢等を実現する。
【００５０】
＜学習処理＞
図４は、関心度の推定に向けた学習処理を行う学習装置４００に係る機能構成の一例を示す図を示す。以下の学習処理については、例えば、サーバ装置１２０で行ってもよく、第２のプロセッサ２２１と第２の記憶デバイス２２２とを用いて行ってよい。なお、サーバ装置１２０と同じ機能については、同じ符号を用いてその説明を適宜省略する。
【００５１】
学習装置４００は、例えば、計算機であり、図示は省略するプロセッサおよび記憶デバイスを備える。プロセッサは、例えば、ＣＰＵであり、学習装置４００に係る各種の処理を行う。記憶デバイスは、プロセッサの作業エリアとなる。記憶デバイスは、学習装置４００の機能を実現するための各種のプログラム、各種の情報等を記憶する非一時的な記憶媒体または一時的な記憶媒体である。記憶デバイスとしては、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＧＰＵ、フラッシュメモリがある。
【００５２】
学習装置４００の機能（例えば、画像入力部４０１、人検出部３２２、人追跡部３２３、骨格推定部３２４、顔検出部４１１、顔特徴抽出部４１２、骨格分割部４２１、頭部骨格特徴抽出部４２２、全身骨格特徴抽出部４２３、第１の損失計算部４３１、第２の損失計算部４３２、第３の損失計算部４３３、学習部４４１等）は、例えば、プロセッサがプログラムを記憶デバイスに読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、学習装置４００の機能の一部は、学習装置４００と通信可能な他の計算機により実現されてもよい。
【００５３】
画像入力部４０１は、ロボット１１０付近での人物の挙動を収めた連続画像を入力する。連続画像としては、ロボット１１０のカメラ１１１で撮像された画像を用いてもよいし、図示は省略する学習用のカメラで撮像された画像を用いてもよい。
【００５４】
人検出部３２２は、連続画像を構成する各々の画像に対して人検出処理を実行し、人領域を画像毎に得る。画像中に人物が複数映り込んでいる場合、ここで得られる人領域は、一枚の画像に対して複数得られることもある。
【００５５】
人追跡部３２３は、連続画像を構成する各々の画像に対し、人検出部３２２で得られた人領域の内部の画像から特徴量を抽出する。人追跡部３２３は、抽出した特徴量を基に、連続画像内の人領域に対して類似度計算を行い、同一人物の判定を行い、人物の追跡を実現する。上述した処理は、公知の手法を用いて行い、同一人物の追跡を行うものであれば、上述した手法に限定しない。
【００５６】
以下の処理では、上述した人検出処理および人追跡処理により、同一人物の保証がとれた識別対象の人物の行動を収めた連続画像を構成する、各々の画像に対して処理を行うものとする。
【００５７】
顔検出部４１１は、識別対象の人物の顔領域（例えば、人物の顔領域を囲む矩形であってもよい。）を画像から検出する。ここでの検出手法は、顔検出に関する公知の手法を用いる。例えば、Ｈａａｒ−ｌｉｋｅ特徴量を利用してもよいし、ＣＮＮを利用した検出手法を利用してもよい。また、顔検出部４１１は、人物の画像に対する映り込みによっては顔の検出が困難であるため、学習に向けた学習データの作成に関しては手動で顔領域を抽出してもよい。顔検出部４１１は、得られた顔領域を基に画像から顔画像を切り出す。
【００５８】
顔特徴抽出部４１２は、例えば、ＣＮＮからなる特徴抽出器（第１の特徴抽出部の一例）である。顔特徴抽出部４１２は、顔検出部４１１にて得られた顔画像から顔特徴（第１の特徴量の一例）を抽出する。顔特徴抽出部４１２は、ＣＮＮの他にもＲＮＮのように時系列特徴を抽出する機能を備えていてもよく、これらを用いて時系列的な顔特徴を抽出してもよい。
【００５９】
骨格推定部３２４は、例えば、画像を入力すると、画像中に映り込む人物の骨格の位置（骨格情報）を出力する。例えば、骨格推定部３２４が画像のみを入力する構成である場合、現在公知のＣＮＮを用いた手法により人物の骨格の位置を出力できる。骨格推定部３２４は、人物を構成する関節等の各部位の画像中における位置情報を、部位ごとにヒートマップとして得る。全ての部位のヒートマップを全身骨格（全身骨格情報）と呼称する。
【００６０】
骨格分割部４２１は、骨格推定部３２４で得られた全身骨格のうち、人物の頭部の特徴点に関する部分（ヒートマップ）を抽出する。ここで頭部の特徴点とは、例えば、人物の目、鼻、耳等の座標である。人物の頭部の特徴点に関するヒートマップを頭部骨格（頭部骨格情報）と呼称する。
【００６１】
頭部骨格特徴抽出部４２２は、例えば、ＣＮＮからなる特徴抽出器（第２の特徴抽出部の一例）である。頭部骨格特徴抽出部４２２は、骨格分割部４２１にて得た頭部骨格を入力とし、頭部骨格の特徴として、頭部骨格特徴（第２の特徴量の一例）を抽出する。頭部骨格特徴抽出部４２２は、ＣＮＮの他にもＲＮＮのように時系列特徴を抽出する機能を備えていてもよく、これらを用いて時系列的な頭部骨格特徴を抽出してもよい。
【００６２】
全身骨格特徴抽出部４２３は、例えば、ＣＮＮからなる特徴抽出器（第３の特徴抽出部の一例）である。全身骨格特徴抽出部４２３は、骨格推定部３２４にて得られた全身骨格を入力とし、全身骨格特徴（第３の特徴量の一例）を抽出する。全身骨格特徴抽出部４２３は、ＣＮＮの他にもＲＮＮのように時系列特徴を抽出する機能を備えていてもよく、これらを用いて時系列的な全身骨格特徴を抽出してもよい。
【００６３】
次に、学習装置４００は、顔特徴抽出部４１２、頭部骨格特徴抽出部４２２および全身骨格特徴抽出部４２３で得られた各特徴量と、識別対象の人物がロボット１１０と対話した人物であるか否かの教師情報とを用いて損失を計算する。
【００６４】
第１の損失計算部４３１は、顔特徴抽出部４１２で得られた顔特徴と、全身骨格特徴抽出部４２３で得られた全身骨格特徴とを、例えば、特徴ベクトルとして結合させる。その後、第１の損失計算部４３１は、例えば、結合させた特徴ベクトルを全結合のニューラルネットワークを介して、特徴ベクトルの次元を圧縮し、教師情報を用いて、識別に向けた交差誤差関数のような損失関数、予測に向けたＥＬ（Exponential loss）のような損失関数等によって損失を計算し、第１の損失とする。
【００６５】
第２の損失計算部４３２は、頭部骨格特徴抽出部４２２で得られた頭部骨格特徴と、全身骨格特徴抽出部４２３で得られた全身骨格特徴とを、例えば、特徴ベクトルとして結合させる。その後、第２の損失計算部４３２は、例えば、結合させた特徴ベクトルを全結合のニューラルネットワークを介して、特徴ベクトルの次元を圧縮し、教師情報を用いて、識別に向けた交差誤差関数のような損失関数、予測に向けたＥＬのような損失関数等によって損失を計算し、第２の損失とする。
【００６６】
第３の損失計算部４３３は、顔特徴抽出部４１２で得られた顔特徴と、頭部骨格特徴抽出部４２２で得られた頭部骨格特徴とが互いに近しい特徴になるように損失を計算する。例えば、第３の損失計算部４３３は、顔特徴と頭部骨格特徴とに対して、最小誤差２乗関数等、特徴量の距離が近しくなることを期待した関数を用いて損失の計算を行う。これにより、頭部骨格特徴抽出部４２２と顔特徴抽出部４１２とが類似した特徴量を抽出する特徴抽出器となることを期待する。第３の損失計算部４３３にて得られる損失を第３の損失とする。
【００６７】
学習部４４１では、第１の損失計算部４３１で得られた第１の損失と、第２の損失計算部４３２で得られた第２の損失と、第３の損失計算部４３３で得られた第３の損失とを加算し、全体損失とする。学習部４４１は、全体損失を用いて、例えば、顔特徴抽出部４１２が内包するパラメタと、頭部骨格特徴抽出部４２２が内包するパラメタと、全身骨格特徴抽出部４２３が内包するパラメタとを更新し、精度の高い特徴を抽出させる学習を促す。
【００６８】
図５は、関心度の推定に向けた学習処理に係るフローチャートの一例を示す図である。
【００６９】
ステップＳ５０１では、学習装置４００は、学習データの事前処理を行う。例えば、人検出部３２２は、画像入力部４０１により入力された連続画像を構成する各々の画像に対して人検出処理を行い、人領域を得る。人追跡部３２３は、人検出部３２２において得られた人領域内部の画像を利用し、連続画像から同一人物の人領域を抽出する。ステップＳ５０１では、以上のような処理により、連続画像から、同一人物の人領域を得る。
【００７０】
ステップＳ５０２では、学習装置４００は、全身骨格を抽出する。例えば、骨格推定部３２４は、ステップＳ５０１にて得られた連続画像に渡る同一人物の人領域内部の人物画像に対して骨格推定を行い、全身骨格を得る。
【００７１】
ステップＳ５０３では、学習装置４００は、全身骨格から頭部骨格を抽出する。例えば、骨格分割部４２１は、ステップＳ５０２にて取得された全身骨格から、頭部に該当する部位を頭部骨格として抽出する。
【００７２】
ステップＳ５０４では、学習装置４００は、顔画像を取得する。例えば、顔検出部４１１は、ステップＳ５０２で得られた全身骨格に対応する人物の顔領域を抽出し、抽出した顔領域をもとに画像から顔画像を切り出す。なお、学習処理においては、顔領域の検出が失敗した場合は、手動で顔領域を取得してもよい。
【００７３】
ステップＳ５０５では、学習装置４００は、人物の特徴を抽出する。例えば、全身骨格特徴抽出部４２３は、ステップＳ５０２より得られる全身骨格から全身骨格特徴を抽出する。頭部骨格特徴抽出部４２２は、ステップＳ５０３より得られる頭部骨格から頭部骨格特徴を抽出する。顔特徴抽出部４１２は、ステップＳ５０４より得られる顔画像から顔特徴を抽出する。
【００７４】
ステップＳ５０６では、学習装置４００は、ステップＳ５０５で抽出した特徴から損失の計算を行う。より具体的には、第１の損失計算部４３１は、全身骨格特徴と顔特徴とから第１の損失を計算する。第２の損失計算部４３２は、全身骨格特徴と頭部骨格特徴とから第２の損失を計算する。第３の損失計算部４３３は、頭部骨格特徴と顔特徴とから第３の損失を計算する。
【００７５】
ステップＳ５０７では、学習装置４００は、特徴抽出部のパラメタを更新する。例えば、学習部４４１は、ステップＳ５０５にて得られた第１の損失と第２の損失と第３の損失とから得られる全体損失が小さくなるように、顔特徴抽出部４１２が内包するパラメタと、頭部骨格特徴抽出部４２２が内包するパラメタと、全身骨格特徴抽出部４２３が内包するパラメタとを更新する。
【００７６】
以上の処理により、学習装置４００は、関心度の推定に向けた学習を実施する。
【００７７】
＜運用処理＞
図６は、図４にて学習された頭部骨格特徴抽出部４２２および全身骨格特徴抽出部４２３を用いて運用処理を実行するサーバ装置１２０に係る機能構成の一例を示す図である。図６は、図３の一部の構成の関係を示したものである。以下の運用処理については、例えば、サーバ装置１２０で行われ、例えば、第２のプロセッサ２２１と第２の記憶デバイス２２２とを用いて行われる。なお、運用処理については、ロボット１１０で行われてもよい。
【００７８】
第２の送受信部３２１は、カメラ１１１を用いて撮像されたロボット１１０視点での画像をロボット１１０から受信する。
【００７９】
人検出部３２２は、例えば、ＣＮＮを用いた公知の手法によってカメラ１１１にて取得された画像内の人領域を、例えば、矩形領域として同定する。
【００８０】
人追跡部３２３は、人検出部にて抽出した、例えば、人領域を示す矩形領域を用いて、前の時刻で得た矩形領域との対応を取ることで、同一人物の連続フレームに渡る追跡処理を実現する。
【００８１】
骨格推定部３２４は、各時刻に入力される画像から全身骨格を出力する。ここで用いる手法は、例えば、ＣＮＮを利用した手法であって、画像のみを入力として要求する現在公知の手法であってよい。
【００８２】
特徴抽出部３２５は、骨格分割部４２１と、学習済みの頭部骨格特徴抽出部４２２と、学習済みの全身骨格特徴抽出部４２３とからなる。
【００８３】
関心度推定部３２６は、識別処理を行う。例えば、関心度推定部３２６は、頭部骨格特徴抽出部４２２で得られた頭部骨格特徴と、全身骨格特徴抽出部４２３で得られた全身骨格特徴とを、特徴ベクトルとして結合させる。これらの特徴は、フレームごとの特徴であってもよいし、ＲＮＮ、ＬＳＴＭといった時系列を加味した特徴であってもよい。その後、関心度推定部３２６は、例えば、結合させた特徴ベクトルを全結合のニューラルネットワークを介して、特徴ベクトルの次元を圧縮し、人物がロボット１１０にどの程度の関心を持っているかを示す関心度を算出（推定）する。関心度の算出にあたっては、例えば、ソフトマックス関数を用いてもよい。
【００８４】
推定結果出力部３２７は、関心度推定部３２６により推定された結果を出力する。例えば、推定結果出力部３２７は、関心度推定部３２６にて人物のロボット１１０に対する関心度がしきい値より高いと判定した場合、所定の制御指示を装置制御部３１５に送信する。例えば、音出力制御部３１３は、当該制御指示に従って、スピーカ１１２を用いて該当人物に対して声掛けをする。例えば、駆動制御部３１４は、当該制御指示に従って、駆動装置１１５を用いてロボット１１０の身体を該当人物に向ける、ロボット１１０に向かっていく。このように、ロボット１１０は、能動的な応対を行う。
【００８５】
図７は、運用処理に係るフローチャートの一例を示す図である。
【００８６】
ステップＳ７０１では、サーバ装置１２０は、関心度の推定に向けた事前処理を行う。ここでは、例えば、カメラ１１１で得られた画像を毎時刻入力とする。人検出部３２２は、入力された画像に対して人検出処理を行い、人領域を得る。人追跡部３２３は、現在得られた人領域と、前時刻に得られた人領域とを用いて人追跡を行う。これ以降の処理は追跡済みの人物に対して各々行う。
【００８７】
ステップＳ７０２では、サーバ装置１２０は、全身骨格を抽出する。例えば、骨格推定部３２４は、追跡済みの人物に対して骨格推定処理を実行し、全身骨格を得る。
【００８８】
ステップＳ７０３では、サーバ装置１２０は、全身骨格から頭部骨格を抽出する。例えば、骨格分割部４２１は、ステップＳ７０２で得られた全身骨格から頭部骨格を抽出する。
【００８９】
ステップＳ７０４では、サーバ装置１２０は、人物の特徴を抽出する。例えば、全身骨格特徴抽出部４２３は、ステップＳ７０２にて得られた全身骨格を入力とし、全身骨格特徴を抽出する。頭部骨格特徴抽出部４２２は、ステップＳ７０３にて得られた頭部骨格を入力とし、頭部骨格特徴を抽出する。
【００９０】
ステップＳ７０３およびステップＳ７０４で得られる特徴は、時刻ごとの特徴であってもよいし、これまでの入力情報を加味した時系列特徴であってもよく、学習時に抽出した特徴と同様のものとなる。
【００９１】
ステップＳ７０５では、サーバ装置１２０は、抽出した特徴から関心度を推定する。例えば、関心度推定部３２６は、ステップＳ７０４で得られた全身骨格特徴と頭部骨格特徴とを、例えば、１つの特徴量（特徴ベクトル）として結合し、結合された特徴ベクトルに対して識別処理を実行し、識別対象となる人物の関心度を推定する。
【００９２】
ステップＳ７０６では、サーバ装置１２０は、関心度が高い人物に応対する。例えば、推定結果出力部３２７は、ステップＳ７０５にてロボット１１０に対する関心度がしきい値より高いと識別された人物に対して、ロボット１１０に制御指示を与える。例えば、ロボット１１０は、上述したように能動的な応対を行う。
【００９３】
本実施の形態によれば、例えば、運用時、人物の関心度の推定において顔検出器が不要となる。更には、人物の関心度の推定において顔検出器による顔の検出を行う必要がないので、人物の関心度をより短時間で推定できるようになる。また、例えば、本実施の形態によれば、顔検出器が顔の検出に失敗する場合でも、ロバストに人物の関心度を推定することが可能となる。また、例えば、本実施の形態によれば、顔検出器が顔を検出できない環境で、従来の方式を動作させることが可能となる。
【００９４】
（２）他の実施の形態
なお、上述の実施の形態においては、本発明を学習装置に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。
【００９５】
また、上述の実施の形態においては、人物の顔を例に挙げて述べたが、本発明はこれに限らず、人以外の生き物の顔、ロボットの顔等に適用するようにしてもよい。
【００９６】
また、上述の実施の形態においては、顔の位置を特定可能な粗い位置情報として、頭部骨格（目、耳、鼻、口等）を例に挙げて述べたが、本発明はこれに限らず、その他の頭部特徴位置情報（サングラス、メガネ、イアリング、マスク等、顔に装着される物）を用いるようにしてもよいし、頭部骨格と頭部特徴位置情報との任意の組合せ（第２の情報）を用いるようにしてもよい。
【００９７】
また、上述の実施の形態においては、顔特徴抽出部４１２が内包するパラメタと、頭部骨格特徴抽出部４２２が内包するパラメタと、全身骨格特徴抽出部４２３が内包するパラメタとを更新する場合について述べたが、本発明はこれに限らない。例えば、頭部骨格特徴抽出部４２２が内包するパラメタを更新するようにしてもよい。また、例えば、顔特徴抽出部４１２が内包するパラメタと、頭部骨格特徴抽出部４２２が内包するパラメタとを更新するようにしてもよい。また、例えば、頭部骨格特徴抽出部４２２が内包するパラメタと、全身骨格特徴抽出部４２３が内包するパラメタとを更新するようにしてもよい。
【００９８】
また、上述の実施の形態においては、第１の損失と第２の損失と第３の損失とを加算した全体損失が小さくなるように学習する場合について述べたが、本発明はこれに限らず、第１の損失と第２の損失と第３の損失とを用いて算出される損失（平均、各損失に重みを付けて平均をとった加重平均等）が小さくなるように学習するようにしてもよい。
【００９９】
また、上述の実施の形態においては、全体損失を用いて、顔特徴抽出部４１２が内包するパラメタと、頭部骨格特徴抽出部４２２が内包するパラメタと、全身骨格特徴抽出部４２３が内包するパラメタとを更新する場合について述べたが、本発明はこれに限らず、更に、全体損失を用いて、識別器（全結合のニューラルネットワーク）のパラメタを更新するようにしてもよい。
【０１００】
また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【０１０１】
上述した実施の形態は、例えば、以下の特徴的な構成を有する。
【０１０２】
学習装置（例えば、学習装置４００）は、顔（例えば、人の顔、人以外の生物の顔、ロボットの顔等）を示す第１の情報（例えば、顔画像）から第１の特徴量を抽出する第１の特徴抽出部（例えば、顔特徴抽出部４１２）と、上記第１の情報より粗い情報からなる上記顔を示す第２の情報（例えば、頭部骨格情報）から第２の特徴量を抽出する第２の特徴抽出部（例えば、頭部骨格特徴抽出部４２２）と、所定の対象物（例えば、ロボット１１０）に関心があるか否かについて、上記第１の特徴量と上記第２の特徴量とが近くなるように、上記第２の特徴抽出部を学習する学習部（例えば、学習部４４１）と、を備える。
【０１０３】
上記構成では、第１の特徴抽出部が抽出する第１の特徴量と第２の特徴抽出部が抽出する第２の特徴量とが近しくなるように第２の特徴抽出部が学習される。例えば、第２の特徴抽出部を所定の対象物に実装することで、当該所定の対象物は、顔を示す粗い情報からなる第２の情報に基づいて、自装置に関心があるか否かを、顔を示す細かい情報からなる第１の情報を用いたときと同等に推定することができる。例えば、第１の情報から顔を安定的に検出できない場合でも、第２の情報を検出できるときには、ロバストに所定の対象物への関心を推定することが可能になる。
【０１０４】
上記第１の情報は、人物の顔画像であり、上記第２の情報は、上記人物の頭部骨格情報である。
【０１０５】
上記構成によれば、例えば、第２の特徴抽出部をロボットに適用することで、当該ロボットは、人物の顔を示す粗い情報からなる頭部骨格情報に基づいて、当該ロボットに関心があるか否かを、人物の顔を示す細かい情報からなる顔画像を用いたときと同等に推定することができる。頭部骨格情報は、検出が容易であるので、例えば、ロボットに向かう人物の顔画像（顔領域）を安定的に検出できない場合でも、ロバストに人物のロボットへの関心を推定することが可能になる。
【０１０６】
上記人物の全身骨格情報から上記頭部骨格情報を分割する骨格分割部（例えば、骨格分割部４２１）と、上記全身骨格情報から第３の特徴量を抽出する第３の特徴抽出部（例えば、全身骨格特徴抽出部４２３）と、を備え、上記学習部は、上記第１の特徴量と上記第３の特徴量とが合成された特徴ベクトルと教師情報とを入力として損失関数を用いて計算された第１の損失と、上記第２の特徴量と上記第３の特徴量とが合成された特徴ベクトルと教師情報とを入力として損失関数を用いて計算された第２の損失と、上記第１の特徴量と上記第２の特徴量とが近くなることを期待した関数を用いて計算された第３の損失とを用いて、上記第１の特徴抽出部と上記第２の特徴抽出部と上記第３の特徴抽出部とを学習する（例えば、図４参照）。
【０１０７】
上記構成では、例えば、顔画像と頭部骨格情報との各々が全身骨格情報と対応付けられて第２の特徴抽出部が学習される。かかる学習により、第２の特徴抽出部は、全身と頭部との関係が加味された第２の特徴量を抽出するようになるので、より精度よく関心度を推定することができるようになる。
【０１０８】
顔を示す第１の情報から第１の特徴量を抽出する第１の特徴抽出部と、上記第１の情報より粗い情報からなる上記顔を示す第２の情報から第２の特徴量を抽出する第２の特徴抽出部と、所定の対象物に関心があるか否かについて、上記第１の特徴量と上記第２の特徴量とが近くなるように、上記第２の特徴抽出部を学習する学習部と、を備える学習装置において学習された上記第２の特徴抽出部を備えるロボットシステム（例えば、ロボットシステム１００）。
【０１０９】
上記構成によれば、例えば、ロボットシステムは、顔を示す粗い情報からなる第２の情報に基づいて、ロボットに関心があるか否かを、顔を示す細かい情報からなる第１の情報を用いたときと同等に推定することができる。例えば、第１の情報を安定的に検出できない場合でも、第２の情報を取得できるときには、ロバストにロボットへの関心を推定することが可能になる。
【０１１０】
上記所定の対象物は、ロボット（例えば、ロボット１１０）であり、上記第１の情報は、人物の顔画像であり、上記第２の情報は、上記人物の頭部骨格情報であり、人物の頭部骨格情報を取得する取得部（例えば、画像受信部３１１）と、上記第２の特徴抽出部により抽出される上記頭部骨格情報の特徴量を用いて上記ロボットへの関心度を推定する関心度推定部（例えば、関心度推定部３２６）と、上記関心度推定部により推定された結果を出力する推定結果出力部（例えば、推定結果出力部３２７）と、を備える。
【０１１１】
上記構成によれば、例えば、ロボットシステムでは、関心度を出力するので、関心度に応じた処理（例えば、当該ロボットの制御、他のロボットの制御等）を行うことができるようになる。
【０１１２】
上記ロボットは、上記ロボットによる対応に係る装置を制御する制御部（例えば、音出力制御部３１３、駆動制御部３１４）を備え、上記推定結果出力部は、上記関心度推定部により推定された結果として上記人物への対応を行うように上記装置を制御するための制御指示を生成し、生成した制御指示を上記制御部に送信し、上記制御部は、上記推定結果出力部から受信した制御指示に従って上記装置を制御する（例えば、図７参照）。
【０１１３】
上記構成によれば、例えば、制御部は、関心があると推定された人物に対して、スピーカを用いて声がけをしたり、ロボットの身体を人物に向けたり、ロボットが人物のところに向かって行ったりする制御を行うことができる。このように、ロボットが能動的に対応することで、ユーザビリティを向上させることができる。
【０１１４】
また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
【符号の説明】
【０１１５】
１００……ロボットシステム、１１０……ロボット、１２０……サーバ装置。
【図１】
2020204826.tif 000003
【図２】
2020204826.tif 000004
【図３】
2020204826.tif 000005
【図４】
2020204826.tif 000006
【図５】
2020204826.tif 000007
【図６】
2020204826.tif 000008
【図７】
2020204826.tif 000009