(57)【要約】【課題】人の顔の位置を正しく推測し続けることが可能な情報端末、情報処理方法、情報処理およびプログラムおよび回路装置を提供する。【解決手段】情報処理端末であって、同一直線上に並ばないように情報処理端末上に配置された３つ以上のマイクロフォンと、マイクロフォンの各々で取得された音声情報から使用者の音声を特定する音声特定手段と、情報処理端末に対する使用者の頭部の３次元位置を推定する３次元位置推定手段とを備え、３次元位置推定手段は、特定した使用者の音声の位相差に基づいて、情報処理端末に対する使用者の頭部の位置を算出する位置算出手段と、特定した使用者の音声の大きさの変化に基づいて、情報処理端末から使用者までの距離を算出する距離算出手段とを含み、３次元位置推定手段は、算出された使用者の頭部の位置と、算出された情報処理端末から使用者までの距離とを用いて、使用者の頭部の３次元位置を推定する。【選択図】図２
2016099966.tif 000002
【特許請求の範囲】
【請求項１】
情報処理端末であって、
同一直線上に並ばないように前記情報処理端末上に配置された３つ以上のマイクロフォンと、
前記マイクロフォンの各々で取得された音声情報から使用者の音声または呼吸音を特定する音声特定手段と、
前記情報処理端末に対する前記使用者の頭部の３次元位置を推定する３次元位置推定手段とを備え、
前記３次元位置推定手段は、
前記音声特定手段が特定した前記使用者の音声または呼吸音の位相差に基づいて、前記情報処理端末に対する前記使用者の頭部の位置を算出する位置算出手段と、
前記音声特定手段が特定した前記使用者の音声または呼吸音の大きさの変化に基づいて、前記情報処理端末から前記使用者までの距離を算出する距離算出手段とを含み、
前記３次元位置推定手段は、前記位置算出手段によって算出された前記使用者の頭部の位置と、前記距離算出手段によって算出された前記情報処理端末から前記使用者までの距離とを用いて、前記使用者の頭部の３次元位置を推定する、情報処理端末。
【請求項２】
カメラと、
前記カメラの撮影画像に含まれる前記使用者の顔を識別する顔識別手段と、
前記顔識別手段が識別した前記使用者の顔の画像上の座標値から、前記情報処理端末に対する前記使用者の顔の３次元位置を特定する３次元位置特定手段とを更に備え、
前記顔識別手段が前記カメラの撮影画像に含まれる前記使用者の顔を識別できる場合には、前記３次元位置特定手段が前記使用者の顔の３次元位置を特定し、
前記顔識別手段が前記カメラの撮影画像に含まれる前記使用者の顔を識別できない場合には、前記３次元位置推定手段が前記使用者の顔の３次元位置を推定する、請求項１に記載の情報処理端末。
【請求項３】
前記顔識別手段は、前記使用者の顔の識別を繰り返し実行し、
前記顔識別手段による前記使用者の顔の識別結果に応じて、前記３次元位置特定手段による前記３次元位置の特定、または、前記３次元位置推定手段による前記３次元位置の推定が行われる、請求項２に記載の情報処理端末。
【請求項４】
同一直線上に並ばないように情報処理端末上に配置された３つ以上のマイクロフォンを備える情報処理端末における情報処理方法であって、
前記マイクロフォンの各々で取得された音声情報から使用者の音声または呼吸音を特定する音声特定ステップと、
前記情報処理端末に対する前記使用者の頭部の３次元位置を推定する３次元位置推定ステップとを備え、
前記３次元位置推定ステップは、
前記音声特定ステップで特定した前記使用者の音声または呼吸音の位相差に基づいて、前記情報処理端末に対する前記使用者の頭部の位置を算出する位置算出ステップと、
前記音声特定ステップで特定した前記使用者の音声または呼吸音の大きさの変化に基づいて、前記情報処理端末から前記使用者までの距離を算出する距離算出ステップとを含み、
前記３次元位置推定ステップでは、前記位置算出ステップで算出された前記使用者の頭部の位置と、前記距離算出ステップで算出された前記情報処理端末から前記使用者までの距離とを用いて、前記使用者の頭部の３次元位置を推定する、情報処理方法。
【請求項５】
前記情報処理端末は、カメラを更に備え、
前記カメラの撮影画像に含まれる前記使用者の顔を識別する顔識別ステップと、
前記顔識別ステップで識別した前記使用者の顔の画像上の座標値から、前記情報処理端末に対する前記使用者の顔の３次元位置を特定する３次元位置特定ステップとを更に備え、
前記顔識別ステップで前記カメラの撮影画像に含まれる前記使用者の顔を識別できる場合には、前記３次元位置特定ステップを行い、
前記顔識別ステップで前記カメラの撮影画像に含まれる前記使用者の顔を識別できない場合には、前記３次元位置推定ステップを行う、請求項４に記載の情報処理方法。
【請求項６】
前記顔識別ステップを繰り返し実行し、
前記顔識別ステップにおける前記使用者の顔の識別結果に応じて、前記３次元位置特定ステップ、または、前記３次元位置推定ステップを行う、請求項５に記載の情報処理方法。
【請求項７】
同一直線上に並ばないように情報処理端末上に配置された３つ以上のマイクロフォンと、コンピュータとを備える情報処理端末の前記コンピュータが実行可能な情報処理プログラムであって、
前記コンピュータに、
前記マイクロフォンの各々で取得された音声情報から使用者の音声または呼吸音を特定する音声特定ステップと、
前記情報処理端末に対する前記使用者の頭部の３次元位置を推定する３次元位置推定ステップとを実行させ、
前記３次元位置推定ステップにおいて、前記コンピュータに、
前記音声特定ステップで特定した前記使用者の音声または呼吸音の位相差に基づいて、前記情報処理端末に対する前記使用者の頭部の位置を算出する位置算出ステップと、
前記音声特定ステップで特定した前記使用者の音声または呼吸音の大きさの変化に基づいて、前記情報処理端末から前記使用者までの距離を算出する距離算出ステップとを実行させ、
前記３次元位置推定ステップにおいて、前記コンピュータに、前記位置算出ステップで算出された前記使用者の頭部の位置と、前記距離算出ステップで算出された前記情報処理端末から前記使用者までの距離とを用いて、前記使用者の頭部の３次元位置を推定させる、情報処理プログラム。
【請求項８】
前記情報処理端末はカメラを更に備え、
前記コンピュータに、
前記カメラの撮影画像に含まれる前記使用者の顔を識別する顔識別ステップと、
前記顔識別ステップで識別した前記使用者の顔の画像上の座標値から、前記情報処理端末に対する前記使用者の顔の３次元位置を特定する３次元位置特定ステップとを更に実行させ、
前記顔識別ステップで前記カメラの撮影画像に含まれる前記使用者の顔を識別できる場合には、前記コンピュータに、前記３次元位置特定ステップを実行させ、
前記顔識別ステップで前記カメラの撮影画像に含まれる前記使用者の顔を識別できない場合には、前記コンピュータに、前記３次元位置推定ステップを実行させる、請求項７に記載の情報処理プログラム。
【請求項９】
前記コンピュータに、前記顔識別ステップを繰り返し実行させ、
前記顔識別ステップにおける前記使用者の顔の識別結果に応じて、前記コンピュータに、前記３次元位置特定ステップ、または、前記３次元位置推定ステップを実行させる、請求項８に記載の情報処理プログラム。
【請求項１０】
同一直線上に並ばないように情報処理端末上に配置された３つ以上のマイクロフォンを備える情報処理端末に用いられる回路装置であって、
前記マイクロフォンの各々で取得された音声情報から使用者の音声または呼吸音を特定する音声特定手段と、
前記情報処理端末に対する前記使用者の頭部の３次元位置を推定する３次元位置推定手段とを備え、
前記３次元位置推定手段は、
前記音声特定手段が特定した前記使用者の音声または呼吸音の位相差に基づいて、前記情報処理端末に対する前記使用者の頭部の位置を算出する位置算出手段と、
前記音声特定手段が特定した前記使用者の音声または呼吸音の大きさの変化に基づいて、前記情報処理端末から前記使用者までの距離を算出する距離算出手段とを含み、
前記３次元位置推定手段は、前記位置算出手段によって算出された前記使用者の頭部の位置と、前記距離算出手段によって算出された前記情報処理端末から前記使用者までの距離とを用いて、前記使用者の頭部の３次元位置を推定する、回路装置。
【請求項１１】
前記情報処理端末は、カメラを更に備え、
前記回路装置は、
前記カメラの撮影画像に含まれる前記使用者の顔を識別する顔識別手段と、
前記顔識別手段が識別した前記使用者の顔の画像上の座標値から、前記情報処理端末に対する前記使用者の顔の３次元位置を特定する３次元位置特定手段とを更に備え、
前記顔識別手段が前記カメラの撮影画像に含まれる前記使用者の顔を識別できる場合には、前記３次元位置特定手段が前記使用者の顔の３次元位置を特定し、
前記顔識別手段が前記カメラの撮影画像に含まれる前記使用者の顔を識別できない場合には、前記３次元位置推定手段が前記使用者の顔の３次元位置を推定する、請求項１０に記載の回路装置。
【請求項１２】
前記顔識別手段は、前記使用者の顔の識別を繰り返し実行し、
前記顔識別手段による前記使用者の顔の識別結果に応じて、前記３次元位置特定手段による前記３次元位置の特定、または、前記３次元位置推定手段による前記３次元位置の推定が行われる、請求項１１に記載の回路装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理端末、情報処理方法、情報処理プログラムおよび回路装置に関する。
【背景技術】
【０００２】
近年、タブレット端末などの小型情報端末の高性能化・多機能化によって、様々なアプリケーションが増えており、端末に搭載されたセンサを利用したアプリケーションも少なくない。拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）の分野ではカメラを利用して識別子を認識させることで、処理を行うアプリケーション等があり、アプリケーションによっては顔の位置を識別してその情報を利用するものも存在している。
【０００３】
近年の情報端末は、搭載されているカメラの性能も高く、識別子を認識するのは容易だが、使用者の側に搭載されたインカメラは画角が非常に狭いため、端末を傾けたり、斜めから覗き込んだりすることで、使用者の顔がカメラの画角から外れる場合がある。この場合、使用者の顔や顔の一部の位置を推定し続けるのは非常に困難である。
【０００４】
特許文献１には、センサデータに基づいて特定される識別子と情報処理端末自身との位置関係に応じてオブジェクトの向きを変える処理部と、識別子と情報処理端末自身との位置関係に応じて向きを変えたオブジェクトを画像に重ねて表示させる表示制御部とを備え、識別子を認識できなくなった場合でも、識別子に対応する情報を表示させ続けることが可能な情報処理端末が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１３４５３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１は、識別対象そのものが移動することを想定していない。例えば人の顔を識別対象とした場合、当該人の顔がカメラ範囲から外れた際に、ジャイロセンサや加速度センサから取得した情報だけを用いてその位置の推定を継続することができないという課題がある。
【０００７】
本発明は、人の顔やその一部などが識別可能な範囲から外れた場合に、その位置を正しく推測し続けることが可能な情報端末、情報処理方法、情報処理およびプログラムおよび回路装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、情報処理端末であって、同一直線上に並ばないように情報処理端末上に配置された３つ以上のマイクロフォンと、マイクロフォンの各々で取得された音声情報から使用者の音声または呼吸音を特定する音声特定手段と、情報処理端末に対する使用者の頭部の３次元位置を推定する３次元位置推定手段とを備え、３次元位置推定手段は、音声特定手段が特定した使用者の音声または呼吸音の位相差に基づいて、情報処理端末に対する使用者の頭部の位置を算出する位置算出手段と、音声特定手段が特定した使用者の音声または呼吸音の大きさの変化に基づいて、情報処理端末から使用者までの距離を算出する距離算出手段とを含み、３次元位置推定手段は、位置算出手段によって算出された使用者の頭部の位置と、距離算出手段によって算出された情報処理端末から使用者までの距離とを用いて、使用者の頭部の３次元位置を推定する。
【０００９】
また、カメラと、カメラの撮影画像に含まれる使用者の顔を識別する顔識別手段と、顔識別手段が識別した使用者の顔の画像上の座標値から、情報処理端末に対する使用者の顔の３次元位置を特定する３次元位置特定手段とを更に備え、顔識別手段がカメラの撮影画像に含まれる使用者の顔を識別できる場合には、３次元位置特定手段が使用者の顔の３次元位置を特定し、顔識別手段がカメラの撮影画像に含まれる使用者の顔を識別できない場合には、３次元位置推定手段が使用者の顔の３次元位置を推定しても良い。
【００１０】
また、顔識別手段は、使用者の顔の識別を繰り返し実行し、顔識別手段による使用者の顔の識別結果に応じて、３次元位置特定手段による３次元位置の特定、または、３次元位置推定手段による３次元位置の推定が行われても良い。
【００１１】
また、本発明は、同一直線上に並ばないように情報処理端末上に配置された３つ以上のマイクロフォンを備える情報処理端末における情報処理方法であって、マイクロフォンの各々で取得された音声情報から使用者の音声または呼吸音を特定する音声特定ステップと、情報処理端末に対する使用者の頭部の３次元位置を推定する３次元位置推定ステップとを備え、３次元位置推定ステップは、音声特定ステップで特定した使用者の音声または呼吸音の位相差に基づいて、情報処理端末に対する使用者の頭部の位置を算出する位置算出ステップと、音声特定ステップで特定した使用者の音声または呼吸音の大きさの変化に基づいて、情報処理端末から使用者までの距離を算出する距離算出ステップとを含み、３次元位置推定ステップでは、位置算出ステップで算出された使用者の頭部の位置と、距離算出ステップで算出された情報処理端末から使用者までの距離とを用いて、使用者の頭部の３次元位置を推定する。
【００１２】
また、情報処理端末は、カメラを更に備え、カメラの撮影画像に含まれる使用者の顔を識別する顔識別ステップと、顔識別ステップで識別した使用者の顔の画像上の座標値から、情報処理端末に対する使用者の顔の３次元位置を特定する３次元位置特定ステップとを更に備え、顔識別ステップでカメラの撮影画像に含まれる使用者の顔を識別できる場合には、３次元位置特定ステップを行い、顔識別ステップでカメラの撮影画像に含まれる使用者の顔を識別できない場合には、３次元位置推定ステップを行っても良い。
【００１３】
また、顔識別ステップを繰り返し実行し、顔識別ステップにおける使用者の顔の識別結果に応じて、３次元位置特定ステップ、または、３次元位置推定ステップを行っても良い。
【００１４】
また、本発明は、同一直線上に並ばないように情報処理端末上に配置された３つ以上のマイクロフォンと、コンピュータとを備える情報処理端末のコンピュータが実行可能な情報処理プログラムであって、コンピュータに、マイクロフォンの各々で取得された音声情報から使用者の音声または呼吸音を特定する音声特定ステップと、情報処理端末に対する使用者の頭部の３次元位置を推定する３次元位置推定ステップとを実行させ、３次元位置推定ステップにおいて、コンピュータに、音声特定ステップで特定した使用者の音声または呼吸音の位相差に基づいて、情報処理端末に対する使用者の頭部の位置を算出する位置算出ステップと、音声特定ステップで特定した使用者の音声または呼吸音の大きさの変化に基づいて、情報処理端末から使用者までの距離を算出する距離算出ステップとを実行させ、３次元位置推定ステップにおいて、コンピュータに、位置算出ステップで算出された使用者の頭部の位置と、距離算出ステップで算出された情報処理端末から使用者までの距離とを用いて、使用者の頭部の３次元位置を推定させる。
【００１５】
また、情報処理端末はカメラを更に備え、コンピュータに、カメラの撮影画像に含まれる使用者の顔を識別する顔識別ステップと、顔識別ステップで識別した使用者の顔の画像上の座標値から、情報処理端末に対する使用者の顔の３次元位置を特定する３次元位置特定ステップとを更に実行させ、顔識別ステップでカメラの撮影画像に含まれる使用者の顔を識別できる場合には、コンピュータに、３次元位置特定ステップを実行させ、顔識別ステップでカメラの撮影画像に含まれる使用者の顔を識別できない場合には、コンピュータに、３次元位置推定ステップを実行させても良い。
【００１６】
また、コンピュータに、顔識別ステップを繰り返し実行させ、顔識別ステップにおける使用者の顔の識別結果に応じて、コンピュータに、３次元位置特定ステップ、または、３次元位置推定ステップを実行させても良い。
【００１７】
また、本発明は、同一直線上に並ばないように情報処理端末上に配置された３つ以上のマイクロフォンを備える情報処理端末に用いられる回路装置であって、マイクロフォンの各々で取得された音声情報から使用者の音声または呼吸音を特定する音声特定手段と、情報処理端末に対する使用者の頭部の３次元位置を推定する３次元位置推定手段とを備え、３次元位置推定手段は、音声特定手段が特定した使用者の音声または呼吸音の位相差に基づいて、情報処理端末に対する使用者の頭部の位置を算出する位置算出手段と、音声特定手段が特定した使用者の音声または呼吸音の大きさの変化に基づいて、情報処理端末から使用者までの距離を算出する距離算出手段とを含み、３次元位置推定手段は、位置算出手段によって算出された使用者の頭部の位置と、距離算出手段によって算出された情報処理端末から使用者までの距離とを用いて、使用者の頭部の３次元位置を推定する。
【００１８】
また、情報処理端末は、カメラを更に備え、回路装置は、カメラの撮影画像に含まれる使用者の顔を識別する顔識別手段と、顔識別手段が識別した使用者の顔の画像上の座標値から、情報処理端末に対する使用者の顔の３次元位置を特定する３次元位置特定手段とを更に備え、顔識別手段がカメラの撮影画像に含まれる使用者の顔を識別できる場合には、３次元位置特定手段が使用者の顔の３次元位置を特定し、顔識別手段がカメラの撮影画像に含まれる使用者の顔を識別できない場合には、３次元位置推定手段が使用者の顔の３次元位置を推定しても良い。
【００１９】
また、顔識別手段は、使用者の顔の識別を繰り返し実行し、顔識別手段による使用者の顔の識別結果に応じて、３次元位置特定手段による３次元位置の特定、または、３次元位置推定手段による３次元位置の推定が行なわれても良い。
【発明の効果】
【００２０】
本発明によれば、人の顔やその一部などが識別可能な範囲から外れた場合に、その位置を正しく推測し続けることが可能な情報端末、情報処理方法、情報処理およびプログラムおよび回路装置を実現できる。
【図面の簡単な説明】
【００２１】
【図１】実施形態に係る情報処理端末の構成例の説明図
【図２】実施形態に係る情報処理端末の機能ブロック図
【図３】図１に示すカメラの有効画角範囲外にユーザーの顔が移動した状態を示す図
【図４】ユーザーが図１の情報処理端末を利用する際に想定される動きを説明する図
【図５】想定されるユーザーの他の動きを説明する図
【図６】想定されるユーザーの他の動きを説明する図
【図７】実施形態に係る情報処理端末で実行される処理の詳細を説明するフローチャート
【図８】図７のステップＦ１２２の処理の詳細を説明するフローチャート
【発明を実施するための形態】
【００２２】
本発明の実施形態について、以下に例示的な詳細を説明する。以下に挙げる実施形態は、本発明の本質的な特徴を特定することを意図しておらず、請求項の範囲を決定することも意図されていない。
【００２３】
図１は、本発明の一実施形態に係る情報処理端末の外観を示す図である。情報処理端末（１００）には、一般的なタブレット端末であり、正面にはタッチ操作を入力可能な画像表示装置１０３と、使用者を写すことができるカメラ（１０１）と、使用者の息や声を認識することができる３つのマイクロフォン（１０２−１〜３）とが設けられている。１つのマイクロフォン（１０２−１）は、画像表示装置１０３の上部中央に配置され、２つのマイクロフォン（１０２−２及び３）は、画像表示装置１０３の左右にそれぞれ配置されている。
【００２４】
情報処理端末（１００）は、ＣＰＵと、メモリ（ＲＡＭ）と、不揮発性メモリやハードディスク等の記憶装置（いずれも図示せず）とを備える。記憶装置には、ＣＰＵが実行可能なプログラムであって、情報処理端末の向きと、使用者の顔の位置とに応じて、画面上にコンピュータグラフィックス（以下ＣＧ）によって再現された物体の表示方向を変更するプログラムがインストールされている。
【００２５】
図２は、本発明の実施形態に係る情報処理端末（１００）の機能ブロック図である。情報処理端末（１００）は、上述した画像表示装置（１０３）と、カメラ（１０１）と、マイクロフォン（１０２−１〜３）とに加えて、画像解析・顔識別部（Ｕ１００）と、顔位置算出部（Ｕ１０１）と、データ保存部（Ｕ１０２）と、音声解析部（Ｕ１０３）と、距離推定部（Ｕ１０４）と、顔位置推定部（Ｕ１０５）と、結果出力部（Ｕ１０６）とを備える。
【００２６】
画像解析・顔識別部（Ｕ１００）は、情報処理端末（１００）に備えられたカメラ（１０１）から取得した画像データを解析して、ユーザーの顔を識別し、識別結果を顔位置算出部（Ｕ１０１）に出力する。なお、画像データから特定の顔を識別するための手法は、特に限定されず、既存の技術を利用可能である。
【００２７】
顔位置算出部（Ｕ１０１）は、画像解析・顔識別部（Ｕ１００）から出力された顔の識別結果に基づき、カメラ（１０１）からユーザーの顔の３次元位置を算出する。ユーザーの顔の３次元位置は、カメラ（１０１）からユーザーの顔までの距離と、カメラ（１０１）に対するユーザー顔の位置（情報処理端末１００の平面方向）とによって特定される。顔までの距離及び顔の位置は、取得した画像データに含まれる顔部分の大きさと画像内における顔の位置（座標）とに基づいて算出される。顔位置算出部（Ｕ１０１）は、算出した顔までの距離を示す距離データと、算出した顔の位置を示す位置データとを、データ保存部（Ｕ１０２）に記憶させると共に、結果出力部（Ｕ１０６）に出力する。
【００２８】
データ保存部（Ｕ１０２）は、顔位置算出部（Ｕ１０１）から出力された距離データ及び位置データを保存する。また、データ保存部（Ｕ１０２）は、後述する音声解析部（Ｕ１０３）から出力された音声データ及び顔位置推定部（Ｕ１０５）から出力された推定位置データと、推定距離データとを保存する。データ保存部（Ｕ１０２）に記憶される距離データ、位置データ、推定距離データ、推定位置データは、後述する結果出力部（Ｕ１０６）からＣＧの表示制御部またはＣＧを表示する他のアプリケーションへと出力され、ユーザーの顔位置の変化に応じて画像表示装置（１０３）に表示させる表示内容（ＣＧ等）を変化させるために用いられる。また、データ保存部（Ｕ１０２）に記憶される距離データ及び音声データは、後述する距離推定部（Ｕ１０４）がユーザーの顔の推定距離を算出するために用いられる。
【００２９】
音声解析部（Ｕ１０３）は、３つのマイクロフォン（１０２−１〜３）のそれぞれから異なるタイミングで音声データを取得する。マイクロフォン（１０２−１〜３）から取得したデータは、そのままではノイズなどによって解析は難しい。そこで、音声解析部（Ｕ１０３）は、３つのマイクロフォン（１０２−１〜３）のそれぞれから取得した音声データからユーザーの声または息の音声データを識別して抽出する。音声解析部（Ｕ１０３）は、抽出した声または息の音声データをデータ保存部（Ｕ１０２）に記憶させる。なお、音声解析部（Ｕ１０３）が音声データから声または息のような特定の音を識別するための手法は問わない。音声解析部（Ｕ１０３）は、３つのマイクロフォン（１０２−１〜３）のそれぞれから音声データを取得する。
【００３０】
音声解析部（Ｕ１０３）がデータ保存部（Ｕ１０２）に出力した音声データは、ユーザーの３次元位置を特定する情報（距離データ、位置データ、推定距離データ、推定位置データ）と関連付けて記憶され、後述する距離推定部（Ｕ１０４）がユーザーの顔までの距離を推定する際に、ユーザーの声または息の音声の大きさと、カメラ（１０１）からユーザーの顔までの距離との関係（最後に認識された音声の大きさと距離との関係）を特定するために用いられる。
【００３１】
距離推定部（Ｕ１０４）は、画像解析・顔識別部（Ｕ１００）がユーザーの顔を認識できない場合に、音声解析部（Ｕ１０３）が識別した声または息の音声データに基づいて、カメラ（１０１）からユーザーの顔までの距離を推定する。マイクロフォン（１０２−１〜３）から取得された音声の大きさは、音源からの距離の２乗に反比例する。そこで、距離推定部（Ｕ１０４）は、ユーザーの声または息の音声の大きさの変化量から、ユーザーの顔の移動距離を求める。より詳細には、まず、距離推定部（Ｕ１０４）は、データ保存部（Ｕ１０２）に保存された音声データと、当該保存された音声データの取得より後に音声解析部（Ｕ１０３）によって取得された声または息の音声データとから、音声の大きさの変化量を求める。次に、距離推定部（Ｕ１０４）は、予め保存した音声の大きさの変化量と音源の移動距離との対応関係に基づいて、音源、すなわち、ユーザーの顔の移動量を算出する。ユーザーの声または息の音声の大きさの変化量と、音源の移動距離との関係は、テーブルや関数として、予めＲＡＭや不揮発性記憶装置等に保存されている。そして、距離推定部（Ｕ１０４）は、データ保存部（Ｕ１０２）に最後に保存された距離データまたは推定距離データが示す距離に、算出したユーザーの顔の移動量を加算または減算することによって、カメラ（１０１）からユーザーの顔までの推定距離を求める。距離推定部（Ｕ１０４）は、求めた推定距離を示す推定距離データを顔位置推定部（Ｕ１０５）に出力する。
【００３２】
顔位置推定部（Ｕ１０５）は、音声解析部（Ｕ１０４）によって抽出された声または息の音声データを用いて、情報処理端末（１００）に対してユーザーの顔がどの位置にあるのかを推定する。より詳細には、音声解析部（Ｕ１０３）がマイクロフォン（１０２−１〜３）から異なるタイミングで取得した音声データの位相差に基づいて、音源位置、すなわち、ユーザーの顔の位置を算出する。情報処理端末（１００）の正面の３箇所に配置されたマイクロフォン（１０２−１〜３）から取得した音声データで識別できるのは、３つのマイクロフォン（１０２−１〜３）を含む２次元平面上の１点の位置情報のみである。そこで、顔位置推定部（Ｕ１０５）は、求めたユーザーの顔の推定位置に加えて、距離推定部（Ｕ１０４）から出力された推定距離データを用いて、ユーザーの顔の３次元位置を推定する。顔位置推定部（Ｕ１０５）は、求めたユーザーの顔の推定位置を示す推定位置データと、距離推定部（Ｕ１０４）から受け取った推定距離データとをデータ保存部（Ｕ１０２）に記憶させると共に、結果出力部（Ｕ１０６）に出力する。
【００３３】
結果出力部（Ｕ１０６）は、顔位置算出部（Ｕ１０１）から出力された距離データ及び位置データの組、もしくは、顔位置推定部（Ｕ１０５）から出力された推定距離データ及び推定位置データの組を画像表示装置（１０３）上で表示内容を変化させる機能ブロックまたは他のアプリケーション（いずれも図示せず）等に出力する。
【００３４】
以下、上記のように構成された情報処理端末（１００）が行う制御処理を説明する。ここでは、情報処理端末（１００）に備えられたカメラ（１０１）から取得した画像を解析して顔を識別する画像解析・顔識別部（Ｕ１００）については、既存の技術で応用可能なものとし、マイクロフォン（１０２−１〜３）から得た音声を解析したデータと、データ保存部（Ｕ１０２）に保存されたデータの組合せによって顔位置を推測する手法を示す。なお、以下に挙げる実施例は、顔位置を推測するための手法の一例であり、機能・構造以外の手法・機器構成はこれに限定されるものではない。
【００３５】
図３は、図１におけるカメラ（１０１）の有効画角外にユーザーの顔が移動した状態を示す図である。また、図４〜６は、ユーザーが図１の情報処理端末を利用する際に想定される動きを説明する図である。
【００３６】
まず、図３に示す位置２００−1においてユーザーが情報処理端末（１００）を見ている間、ユーザーの顔はカメラ（１０１）の有効画角内にあるので、カメラ（１０１）の撮影画像を用いて、既存の顔認識方法によって顔の位置の認識を行う。カメラ（１０１）の有効画角内にユーザーの顔がある場合、カメラ（１０１）の撮影画像から認識された顔の位置に応じて、顔の位置の変化に応じて画面内のＣＧに変化を与える事が可能である。
【００３７】
次に、ユーザーの顔がカメラ（１０１）の有効画角外の位置２００−２に移動した場合、画像解析・顔識別部（Ｕ１００）が顔を認識できないので、ＣＧに変化を与える事ができなくなる。
【００３８】
このとき、図４に示すように、ヨー方向Ｗ３０２及び／またはピッチ方向Ｗ３０３に情報処理端末のみが回転している場合には、情報処理端末が備える角速度センサ等の出力に基づく既存の手法によって顔の相対位置を推定し続けることで、画面上のＣＧに変化を与えることが可能となる。しかしながら、図５および図６に示すように、カメラ（１０１）の画角範囲外で顔の動き（例えば、Ｗ３０１で示す方向への移動）が発生した際は、ユーザーの顔の位置変化を推定することは不可能となる。
【００３９】
そこで、本実施形態に係る情報処理端末（１００）では、ユーザーの顔の位置がカメラ（１０１）の有効画角外に移動した場合、距離推定部（Ｕ１０４）及び顔位置推定部（Ｕ１０５）がユーザーの声または息の音声データに基づいてユーザーの顔の３次元位置を推定し、推定した３次元位置を、ＣＧを変化させるために使用する。
【００４０】
上記の原理に則り、ユーザーの顔位置の推定を行う手順を図７及び図８のフローチャートに沿って説明する。
【００４１】
図７は、実施形態に係る情報処理端末（１００）で実行される処理の詳細を説明するフローチャートである。
【００４２】
最初に、ステップＦ１１１において、画像解析・顔識別部（Ｕ１００）は、情報処理端末（１００）に備えられたカメラ（１０１）から画像データを取得する。その後、処理はステップＦ１１２に移る。
【００４３】
ステップＦ１１２において、画像解析・顔識別部（Ｕ１００）は、カメラ（１０１）から取得した画像データを解析して、ユーザーの顔を識別する。ユーザーの顔を認識できた場合（ステップＦ１１２でＹｅｓ）、識別結果を顔位置算出部（Ｕ１０１）に出力し、処理はステップＦ１１３に移る。それ以外の場合（ステップＦ１１２でＮｏ）、処理はステップＦ１２１に移る。
【００４４】
ステップＦ１１３において、顔位置算出部（Ｕ１０１）は、ステップＦ１１２で解析した画像データを用いて、カメラ（１０１）からユーザーの顔までの距離を算出する。その後、処理はステップＦ１１４に移る。
【００４５】
ステップＦ１１４において、顔位置算出部（Ｕ１０１）は、Ｆ１１２で解析した画像データを用いて、ユーザーの顔の位置を算出する。また、ステップＦ１１３で算出した距離データとステップＦ１１４で算出した位置データとを、データ保存部（Ｕ１０２）及び結果出力部（Ｕ１０６）に出力する。その後、処理はステップＦ１１５に移る。
【００４６】
ステップＦ１１５において、音声解析部（Ｕ１０３）は、情報処理端末（１００）に備えられたマイクロフォン（１０２−１〜３）から、音声データを取得する。本実施形態ではマイクロフォンは３つ備え付けられているため、異なるタイミングで３つの音声データを取得する。その後、処理はステップＦ１１６に移る。
【００４７】
Ｆ１１６において、音声解析部（Ｕ１０３）は、ステップＦ１１５で取得したすべての音声データから、ユーザーの発する声または息を識別する。声の識別を行う際は、独立成分分析などを用いて分解し、声または息の音のみを識別すればよいが、方法は問わない。また、識別した声または息の音声データをデータ保存部（Ｕ１０２）に出力する。その後、処理はステップＦ１１７に移る。
【００４８】
Ｆ１１７において、データ保存部（Ｕ１０２）は、生成もしくは取得されたデータを保存する。より詳細には、ステップＦ１１２においてＹｅｓと判定された場合は、データ保存部（Ｕ１０２）は、ステップＦ１１３で算出した距離データと、ステップＦ１１４で算出した位置データと、ステップＦ１１６で識別した声または息の音声データとを保存する。一方、ステップＦ１１２においてＮｏと判定された場合は、後述するステップＦ２０１で識別した声または息の音声データと、後述するステップＦ２０４で算出された推定距離データと、後述するステップＦ２０５で算出された推定位置データとを保存する。その後、処理はステップＦ１１８に移る。
【００４９】
ステップＦ１１８において、結果出力部（Ｕ１０６）は、距離データと位置データとの組、または、推定距離データと推定位置データとの組を出力する。その後、処理はステップＦ１１９に移る。
【００５０】
ステップＦ１１９において、終了指示があった場合（ステップＦ１１９でＹｅｓ）は、処理を終了する。それ以外の場合（ステップＦ１１９でＮｏ）、処理はステップＦ１１１に移る。ステップＦ１１９における終了指示とは、ユーザーの顔の３次元位置の検出または推定処理の終了指示、あるいは、アプリケーション自体の終了指示等である。ステップＦ１１９の判定がＮｏの場合は、所定のインターバル時間が経過した後に、ステップＦ１１１に戻るようにしてもよい。
【００５１】
ステップＦ１２１において、距離推定部（Ｕ１０４）は、最後に保存された距離データ、位置データ、音声データの組と、最後に保存された推定距離データ、推定位置データ、音声データの組とのうち、最新のものをデータ保存部（Ｕ１０２）から読み出す。その後、処理はステップＦ１２２に移る。
【００５２】
ステップＦ１２２において、顔位置推定部（Ｕ１０５）は、顔の３次元位置推定処理を行う。その後、処理はステップＦ１１７に移る。なお、ステップＦ１２２の詳細については後述する。
【００５３】
なお、ステップＦ１１２で画像の解析を行い、顔の認識をする手段と、ステップＦ１１３でカメラ（１０１）からユーザーの顔までの距離を算出する手段は、既存の手法が様々存在しているため、どのような手段を用いても良い。また、図７に示す制御処理は、結果を受け取る側の要求が続く限り、例えば、一定の時間間隔で繰り返される。
【００５４】
図８は、図７のステップＦ１２２の処理の詳細を説明するフローチャートである。
【００５５】
まず、ステップＦ２０１において、音声解析部（Ｕ１０３）は、ステップＦ１１５と同様に、情報処理端末（１００）に備えられたマイクロフォン（１０２−１〜３）から、３つの音声データを取得する。その後、処理はステップＦ２０２に移る。
【００５６】
ステップＦ２０２において、音声解析部（Ｕ１０３）は、ステップＦ１１６と同様に、ステップＦ２０１で取得した音声データから、ユーザーの声または息の音を識別する。識別した音声データを、距離推定部（Ｕ１０４）及びデータ保存部（Ｕ１０２）に出力する。その後、処理はステップＦ２０３に移る。
【００５７】
ステップＦ２０３において、距離推定部（Ｕ１０４）は、ステップＦ２０２で識別した音声データと、図７のステップＦ１２１で読み出された最後に保存された音声データとに基づいて、音声（声または息）の大きさの変化量を求め、音声の大きさの変化量からユーザーの顔の移動距離を推定する。その後、処理はステップＦ２０４に移る。
【００５８】
ステップＦ２０４において、距離推定部（Ｕ１０４）は、ステップＦ１２１で読み出された距離データまたは推定距離データが示す距離に対して、ステップＦ２０３で推定した移動距離を反映させることにより、現時点のカメラ（１０１）からユーザーの顔までの推定距離を算出する。距離推定部（Ｕ１０４）は、算出した推定距離を示す推定距離データを、顔位置推定部（Ｕ１０４）に出力する。その後、処理はステップＦ２０５に移る。
【００５９】
ステップＦ２０５において、顔位置推定部（Ｕ１０５）は、ステップＦ２０２で識別した３つの音声データの位相差から情報処理端末（１００）上に射影したユーザーの顔の位置を算出する。顔位置推定部（Ｕ１０５）は、ステップＦ２０４で距離推定部（Ｕ１０４）が算出した推定距離データと、ステップＦ２０５で算出した推定位置を示す推定位置データとを、結果出力部（Ｕ１０６）及びデータ保存部（Ｕ１０２）に出力する。その後、処理はステップＦ１１７に移る。
【００６０】
尚、本実施形態では、データ保存部（Ｕ１０２）が、カメラ（１０１）の撮影画像に基づいて生成された距離データ及び位置データと、マイクロフォン（１０２−１〜３）からの取得音声に基づいて生成された推定距離データ及び推定位置データとを区別して保存する例を説明した。ただし、データ保存部（Ｕ１０２）は、最後に生成された距離データ及び位置データの組と、最後に生成された推定距離データ及び推定位置データの組とのうち、最新のデータの組を保存していれば良いので、両者を区別して保存しなくても良い。つまり、データ保存部（Ｕ１０２）は、推定距離データ及び推定位置データを受け取った場合、これらを距離データ及び位置データとして保存しても良い。
【００６１】
尚、上記の実施形態に係る情報処理端末の機能のブロック（図２）は、集積回路であるＬＳＩとして実現されても良い。これらの機能のブロックは、１チップ化されても良いし、一部または全部を含むように１チップ化されていても良い。ここでは、ＬＳＩと述べたが、集積度の違いによっては、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称呼されることもある。また、集積回路化の手法は、ＬＳＩに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行っても良い。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを用いても良い。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能部（Ｕ１１０）のブロックを集積化しても良い。
【産業上の利用可能性】
【００６２】
本発明によれば、人の顔やその一部などが識別可能な範囲から外れた場合に、その位置を正しく推測し続けることが可能な情報端末、情報処理方法、情報処理およびプログラムおよび回路装置に利用できる。
【符号の説明】
【００６３】
１００：情報処理端末
１０１：カメラ
１０２−１〜３：マイクロフォン
１０３：画像表示装置
２００−１〜２：ユーザーの顔の位置
Ｗ３０１：情報処理端末を見るユーザーの頭部の動き
Ｗ３０２：情報処理端末を見るユーザーの腕の動き
Ｗ３０３：情報処理端末を見るユーザーの腕の動き
Ｕ１００：画像解析・顔識別部
Ｕ１０１：顔位置算出部
Ｕ１０２：データ保存部
Ｕ１０３：音声解析部
Ｕ１０４：距離推定部
Ｕ１０５：顔位置推定部
Ｕ１０６：結果出力部
【図２】
2016099966.tif 000003
【図３】
2016099966.tif 000004
【図４】
2016099966.tif 000005
【図７】
2016099966.tif 000006
【図８】
2016099966.tif 000007
【図１】
2016099966.tif 000008
【図５】
2016099966.tif 000009
【図６】
2016099966.tif 000010