(57)【要約】【課題】携帯型の端末装置において利用するユーザの方向をより正確に把握する技術を提供する。【解決手段】携帯型の端末装置１は、特定の座標系における端末装置１の姿勢を取得するためのセンサの出力に基づいて、端末装置１の姿勢を取得する端末姿勢取得部２８と、複数のマイク１２，１４の出力に基づいて、ユーザが発した音声の到来方向を推定する音声到来方向推定部１６と、を有している。この端末装置１が有するユーザ方向算出部（実方向算出部５２）は、端末姿勢取得部２８が取得した端末装置１の姿勢と、音声到来方向推定部１６が推定した音声の到来方向とに基づいて、特定の座標系におけるユーザの方向を算出する。【選択図】図２
2015129718.tif 000002
【特許請求の範囲】
【請求項１】
携帯型の端末装置であって、
特定の座標系における前記端末装置の姿勢を取得するためのセンサの出力に基づいて、前記端末装置の姿勢を取得する端末姿勢取得部と、
複数のマイクの出力に基づいて、ユーザが発した音声の到来方向を推定する音声到来方向推定部と、
前記端末姿勢取得部が取得した前記端末装置の姿勢と、前記音声到来方向推定部が推定した音声の到来方向とに基づいて、前記特定の座標系における前記ユーザの方向を算出するユーザ方向算出部と、
を備える端末装置。
【請求項２】
請求項１記載の端末装置であって、さらに、
前記ユーザに情報を提示するための表示画面を備え、
前記端末装置は、前記ユーザ方向算出部により算出された前記ユーザの前記特定の座標系における方向に応じて、前記表示画面に提示される情報を変更する、
端末装置。
【請求項３】
請求項１記載の端末装置であって、さらに、
前記ユーザの行動ログを格納するための行動ログ格納部と、
前記行動ログとして、前記ユーザ方向算出部により算出された前記ユーザの前記特定の座標系における方向を前記行動ログ格納部に記録する行動ログ記録部と、
を備え、
前記特定の座標系として、地表面座標系を用いる、
端末装置。
【請求項４】
携帯型の端末装置であって、
特定の座標系における前記端末装置の姿勢を取得するためのセンサの出力に基づいて、前記端末装置の姿勢を取得する端末姿勢取得部と、
複数のマイクの出力に基づいて、ユーザが発した音声の到来方向を推定する音声到来方向推定部と、
前記端末姿勢取得部が取得した前記端末装置の姿勢と、前記音声到来方向推定部が推定した音声の到来方向とに基づいて、前記端末装置に対する前記ユーザの方向を算出するユーザ方向算出部と、
を備える端末装置。
【請求項５】
請求項４記載の端末装置であって、さらに、
前記ユーザ方向算出部により算出された前記端末装置に対する前記ユーザの方向に基づいて、前記ユーザの発した音声を明瞭化する音声明瞭化部を備える、
端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯型の端末装置において、端末装置のユーザが向いている方向を検出する技術に関する。
【背景技術】
【０００２】
近年では、携帯電話機などの端末装置において、ＧＰＳによる測位機能を利用して、ユーザを目的地まで案内するナビゲーション機能を提供することが広く行われている。このような端末装置でナビゲーションを行う場合、ユーザの利便性を向上させるために、端末装置内の方位検出手段により端末装置の正面方向の方位を検出し、その方位がユーザの正面方位であるとしてユーザの正面方位を基準に地図の演算・描画を行うことが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１０８３２６
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、端末装置内の方位検出手段により検出された方位は、ユーザの実際の正面方位と必ずしも一致しない。そのため、検出された方位がユーザの正面方位であるとしてユーザの正面方位を基準に地図の演算・描画を行っても、ユーザに適切な情報を提示することができない虞があった。
【０００５】
同様の問題は、ナビゲーションを行う場合に限らず、携帯型の端末装置において、現実の空間における地表面座標系等の特定の座標系におけるユーザの方向（正面方位）を利用する際においても発生する虞がある。
【０００６】
また、地表面座標系等の特定の座標系に対して端末装置の姿勢が変わる場合においては、端末装置に対するユーザの方向を正確に把握することが困難となる場合がある。
【０００７】
本発明は、上述した従来の課題を解決するためになされたものであり、携帯型の端末装置において利用されるユーザの方向をより正確に把握する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題の少なくとも一部を達成するために、本発明の第１の態様に係る端末装置は、携帯型の端末装置であって、特定の座標系における前記端末装置の姿勢を取得するためのセンサの出力に基づいて、前記端末装置の姿勢を取得する端末姿勢取得部と、複数のマイクの出力に基づいて、ユーザが発した音声の到来方向を推定する音声到来方向推定部と、前記端末姿勢取得部が取得した前記端末装置の姿勢と、前記音声到来方向推定部が推定した音声の到来方向とに基づいて、前記特定の座標系における前記ユーザの方向を算出するユーザ方向算出部と、を備えることを特徴とする。
【０００９】
この構成によれば、端末姿勢取得部により取得される特定の座標系における端末装置の姿勢と、ユーザが発した音声の到来方向から推定される端末装置に対するユーザの相対的な方向と、により特定の座標系におけるユーザの方向が算出されるので、特定の座標系におけるユーザの方向をより正確に把握することができる。
【００１０】
本発明の第１の態様に係る端末装置は、さらに、前記ユーザに情報を提示するための表示画面を備え、前記端末装置は、前記ユーザ方向算出部により算出された前記ユーザの前記特定の座標系における方向に応じて、前記表示画面に提示される情報を変更するものとしても良い。
【００１１】
この構成によれば、より正確に把握された特定の座標系におけるユーザの方向に応じて、表示画面に提示される情報が変更されるので、ユーザが向いている方向に合わせた画像をユーザに提示することが可能となる。
【００１２】
本発明の第１の態様に係る端末装置は、さらに、前記ユーザの行動ログを格納するための行動ログ格納部と、前記行動ログとして、前記ユーザ方向算出部により算出された前記ユーザの前記特定の座標系における方向を前記行動ログ格納部に記録する行動ログ記録部と、を備え、前記特定の座標系として、地表面座標系を用いるものとしても良い。
【００１３】
この構成によれば、より正確に把握された地表面座標系におけるユーザの方向が行動ログとして記録されるので、現実の空間においてユーザが向いた方向をより正確に記録することができる。
【００１４】
本発明の第２の態様に係る端末装置は、携帯型の端末装置であって、特定の座標系における前記端末装置の姿勢を取得するためのセンサの出力に基づいて、前記端末装置の姿勢を取得する端末姿勢取得部と、複数のマイクの出力に基づいて、ユーザが発した音声の到来方向を推定する音声到来方向推定部と、前記端末姿勢取得部が取得した前記端末装置の姿勢と、前記音声到来方向推定部が推定した音声の到来方向とに基づいて、前記端末装置に対する前記ユーザの方向を算出するユーザ方向算出部と、を備えることを特徴とする。
【００１５】
一般的に、端末装置の姿勢が変化した場合における端末装置に対するユーザの方向（ユーザ相対方向）の変化は、端末装置の姿勢が変化しない場合よりも速くなるので、音声到来方向推定部により逐次推定されたユーザ相対方向と、実際のユーザ相対方向との差が大きくなる虞がある。これに対し、本発明の第２の態様に係る端末装置では、端末姿勢取得部が取得した端末装置の姿勢と、音声到来方向推定部が推定した音声の到来方向とに基づいて、端末装置に対するユーザの方向が算出される。そのため、算出されたユーザの相対方向と、実際のユーザ相対方向との差を十分に小さくすることができるので、端末装置に対するユーザの方向をより正確に把握することが可能となる。
【００１６】
本発明の第２の態様に係る端末装置は、さらに、前記ユーザ方向算出部により算出された前記端末装置に対する前記ユーザの方向に基づいて、前記ユーザの発した音声を明瞭化する音声明瞭化部を備えるものとしても良い。
【００１７】
この構成によれば、実際のユーザ相対方向との差が十分に小さいユーザ方向算出部により算出されたユーザの相対方向に基づいて、ユーザの発した音声が明瞭化されるので、端末装置の姿勢が変化した場合においても、ユーザの発する音声を十分に明瞭化することができる。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態における携帯電話機の外観を示す説明図。
【図２】携帯電話機においてナビゲーション機能を実現するための構成を示すブロック図。
【図３】第１実施形態の携帯電話機において、ユーザが目的地に案内される様子を示す説明図。
【図４】第２実施形態における携帯電話機の機能的な構成を示すブロック図。
【図５】携帯電話機の使用状態の一例を示す説明図。
【図６】第３実施形態における携帯電話機の機能的な構成を示すブロック図。
【図７】携帯電話機の使用状態の一例を示す説明図。
【発明を実施するための形態】
【００１９】
Ａ．第１実施形態：
図１は、第１実施形態における携帯電話機１の外観を示す説明図である。携帯電話機１は、ナビゲーション機能を有しており、ユーザを目的地に案内するための画像（案内画像）を表示画面６４上に表示する。具体的には、携帯電話機１は、目的地の位置情報（目的地位置情報）と、携帯電話機１の位置情報（端末位置情報）と、携帯電話機１の姿勢に関する情報（端末姿勢情報）と、２つのマイク１２，１４により推定される携帯電話機１に対するユーザの方向（ユーザ相対方向）とに基づいて、現実空間においてユーザが向いている方向（ユーザ実方向）に合わせた画像を表示画面６４上に表示する。
【００２０】
ここで、携帯電話機１の姿勢とは、水平東方向Ｅ、水平北方向Ｎおよび鉛直上方Ｕで定義づけられる地表面座標系における携帯電話機１の回転状態をいう。ユーザ実方向も、携帯電話機１の姿勢と同様に、地表面座標系における方向として規定される。図１に示す、Ｘ，Ｙ，Ｚの各軸は、携帯電話機１における横方向、縦方向および表示画面６４を正面から見た方向を向いた座標軸であり、携帯電話機１を基準とした局所的な座標系を表している。
【００２１】
携帯電話機１は、また、ナビゲーション機能として、ユーザを目的地に案内するための音声（案内音声）として、ユーザ実方向に合わせた音声を、スピーカあるいはケーブルや無線伝送路で接続されたヘッドフォン（いずれも図示しない）から出力する。なお、第１実施形態では、携帯電話機１のナビゲーション機能は、画像および音声を用いてユーザを目的地に案内しているが、画像と音声のいずれか一方のみを用いてユーザを目的地に案内するものとしても良い。
【００２２】
図２は、携帯電話機１においてナビゲーション機能を実現するための構成を示すブロック図である。携帯電話機１は、２つのマイク１２，１４、地磁気検出部２２、加速度検出部２４、角速度検出部２６、ＧＰＳ受信部３２および表示画面６４と、図示しないＣＰＵ、ＲＯＭ、ＲＡＭおよび二次記憶装置と、を有するコンピュータとして構成されている。携帯電話機１のナビゲーション機能は、ＣＰＵがＲＯＭあるいはＲＡＭに格納されたプログラムを実行することにより実現される。ナビゲーション機能を実現するための機能部として、携帯電話機１は、音声到来方向推定部１６と、端末姿勢取得部２８と、端末位置測定部３４と、目的地入力部４２と、目的地位置算出部４４と、案内情報生成部５０と、画面表示部６２と、音声出力部６６と、を有している。
【００２３】
音声到来方向推定部１６は、２つのマイク１２，１４から入力された音声信号に基づいて、ユーザ相対方向を推定する。ユーザ相対方向は、ユーザが発した声が２つのマイク１２，１４のそれぞれに到来する際の時間差により推定される（遅延時間推定法）。図１に示すように、第１実施形態の携帯電話機１では、２つのマイク１２，１４がＸ軸の方向（以下、「Ｘ方向」とも呼ぶ、また、Ｙ軸，Ｚ軸の方向をそれぞれＹ方向，Ｚ方向とも呼ぶ）に離間して配置されている。そのため、ユーザが発した声の到来方向として推定されるユーザ相対方向は、Ｘ方向（Ｙ軸を中心とする回転方向）についてしか分からない。しかしながら、一般に、携帯電話機１は、Ｙ方向が上方に向くように保持されるので、Ｚ軸を中心とする回転については無いものとして扱うことができる。そこで、第１実施形態においては、携帯電話機１に対するユーザの方向を、Ｙ軸を中心とする回転角として与えている。
【００２４】
第１実施形態では、２つのマイク１２，１４を用いて音源であるユーザの方向を推定しているが、３つ以上のマイクを用いてユーザの方向を推定することも可能である。この場合、２つのマイク１２，１４に加えて、送話口に設けられたマイク（図示しない）や、ノイズ低減のために受話口に設けられたマイク（図示しない）を用いることも可能である。３つ以上のマイクを用いると、携帯電話機１に対するユーザの方向は、Ｘ，Ｙ軸の各軸を中心とする回転角として与えられる。ユーザ（すなわち、音源）の方向は、ビームフォーミング法やサブスペース法等を用いることでも推定することができる。なお、遅延時間推定法、ビームフォーミング法、サブスペース法等の音源方向の具体的な推定方法については、例えば、電気情報通信学会の知識ベース（http://www.ieice-hbkb.org/portal/）の２群−６編−３章に開示されている。
【００２５】
地磁気検出部２２は、Ｘ，Ｙ，Ｚの３軸のそれぞれに対応する３つの地磁気センサを備えており、各地磁気センサの出力をＡ／Ｄ変換して得られる３成分の地磁気データを出力する。この３成分の地磁気データからなるベクトルは、携帯電話機１を基準とした磁北極方向を表している。加速度検出部２４は、Ｘ，Ｙ，Ｚの３軸のそれぞれに対応する３つの加速度センサを備えており、各加速度センサの出力をＡ／Ｄ変換して得られる３成分の加速度データを出力する。この３成分の加速度データからなるベクトルは、携帯電話機１に加わる慣性力と重力との合力を表している。角速度検出部２６は、Ｘ，Ｙ，Ｚの３軸のそれぞれに対応する３つの角速度センサを備えており、各角速度センサの出力をＡ／Ｄ変換して得られる３成分の角速度データを出力する。角速度データは、Ｘ，Ｙ，Ｚの各軸の回りの角速度を表している。これらの地磁気検出部２２、加速度検出部２４および角速度検出部２６が有する各センサは、地表面座標系における携帯電話機１の姿勢を取得するためのセンサである。
【００２６】
端末姿勢取得部２８は、地磁気検出部２２、加速度検出部２４および角速度検出部２６から出力される合計９成分のデータから携帯電話機１の姿勢を推定する。具体的には、合計９成分のデータに非線形カルマンフィルタを用いた演算を施し、携帯電話機１の姿勢をクォータニオンと呼ばれる４次元数で表した端末姿勢情報を生成する（例えば、特開２０１２−１３２７１３号公報参照）。
【００２７】
ＧＰＳ受信部３２は、ＧＰＳ衛星から送信される電波を受信し、受信した電波に含まれる信号を端末位置測定部３４に送出する。端末位置測定部３４は、ＧＰＳ受信部３２から供給される信号に基づいて、経度や緯度等の携帯電話機１の位置情報（端末位置情報）を取得する。
【００２８】
目的地入力部４２は、ユーザによる携帯電話機１の操作状態を取得して、予めユーザに目的地を入力させるためのユーザインタフェースとしての機能を実現する。目的地位置算出部４４は、地図データベースを用いて、目的地入力部４２を用いて入力された目的地（施設名や地名等）から目的地の位置情報（経度や緯度等）を算出する。
【００２９】
案内情報生成部５０は、実方向算出部５２と、目的地方向算出部５４とを有している。実方向算出部５２は、音声到来方向推定部１６により推定された携帯電話機１に対するユーザの方向（ユーザ相対方向）と、端末姿勢取得部２８により生成された端末姿勢情報とから、現実空間においてユーザが向いている方向（ユーザ実方向）を算出する。端末姿勢は、クォータニオンから生成され、基準姿勢からの回転を表す回転行列として表すことができる。そこで、ユーザ相対方向に対応するベクトルに、端末姿勢を表す回転行列を乗ずることにより、地表面座標系におけるユーザの向きであるユーザ実方向を表すベクトルを得ることができる。なお、実方向算出部５２は、ユーザが向いている方向を算出するので、ユーザ方向算出部とも言うことができる。
【００３０】
なお、上述のように、２つのマイク１２，１４を有する携帯電話機１では、ユーザ相対方向は、Ｙ軸を中心とする回転角として与えられ、Ｘ軸を中心とする回転角は特定できない。そのため、実方向算出部５２は、ユーザが表示画面６４と向き合う方向にいるものとして、表示画面６４の方向（−Ｚ方向）が携帯電話機１から見たユーザの方向に最も近くなるように、Ｘ軸を中心とする回転角を決定する。また、３つ以上のマイクを使用した場合であっても、マイクは板状の携帯電話機１に配置されるので、ユーザが表示画面６４の方向（−Ｚ方向）に位置するのか、その反対方向（Ｚ方向）に位置するのかを判別するのは困難である。そのため、実方向算出部５２は、ユーザが表示画面６４の方向（−Ｚ方向）に位置するものとして、ユーザ相対方向を取り扱う。
【００３１】
目的地方向算出部５４は、実方向算出部５２により算出されたユーザ実方向と、端末位置測定部３４が取得した端末位置情報と、目的地位置算出部４４が算出した目的地位置情報とから、ユーザ実方向を基準とした目的地の方向を算出する。そして、案内情報生成部５０は、このように算出された目的地の方向に基づいて、表示画面６４により表示される案内画像と、音声出力部６６により出力される案内音声とを生成する。
【００３２】
画面表示部６２は、案内情報生成部５０により生成された案内画像に基づいて表示画面６４を制御して、表示画面６４上に案内画像を表示する。また、音声出力部６６は、案内情報生成部５０により生成された案内音声をスピーカ等に出力する。これにより、第１実施形態の携帯電話機１は、現実空間においてユーザが向いている方向（ユーザ実方向）に合わせた画像や音声を用いてユーザを目的地に案内することが可能となる。
【００３３】
図３は、第１実施形態の携帯電話機１において、ユーザＵＳＲが目的地ＤＳＴに案内される様子を示す説明図である。図３（ａ）は、ユーザＵＳＲと、携帯電話機１と、目的地ＤＳＴとの位置関係を示している。図３（ａ）において、ユーザＵＳＲは、携帯電話機１を左手方向に保持している。そのため、ユーザＵＳＲは、携帯電話機１の表示画面６４を見るために、やや左方を向いている。また、目的地ＤＳＴは、一点鎖線で示すユーザＵＳＲの視線の方向に位置している。
【００３４】
図３（ａ）の例では、携帯電話機１の表示画面６４を正面から見る方向（Ｚ方向）には、目的地ＤＳＴとは異なるビルが位置している。そのため、携帯電話機１の姿勢のみに基づいて案内画像を表示した場合、図３（ｂ）に示すように、ユーザＵＳＲの視線方向に目的地ＤＳＴがあるにもかかわらず、目的地ＤＳＴの右側に位置するビルの画像と、目的地ＤＳＴが左方に位置することを表す矢印が表示される。
【００３５】
一方、第１実施形態の携帯電話機１においては、音声到来方向推定部１６により推定されたユーザ相対方向と、端末姿勢取得部２８により生成された端末姿勢情報とから、ユーザ実方向を算出することにより、ユーザ実方向に合わせた案内画像が表示画面６４に表示される。具体的には、図３（ｃ）に示すように、ユーザＵＳＲの視線方向に位置する目的地ＤＳＴの画像と、目的地ＤＳＴが目の前にあることを示すメッセージが表示される。また、携帯電話機１からは、目的地ＤＳＴが目の前にあることを通知する音声が発せられる。そのため、ユーザＵＳＲは、目的地ＤＳＴの位置をより的確に把握することが可能となる。
【００３６】
このように、第１実施形態によれば、音声到来方向推定部１６により推定された携帯電話機１に対するユーザの方向（ユーザ相対方向）と、端末姿勢取得部２８により取得された端末姿勢情報とから、現実空間においてユーザが向いている方向（ユーザ実方向）を算出することにより、ユーザ実方向をより正確に把握することができる。そのため、ユーザＵＳＲに、より的確な情報を提示することが可能となるので、より適切にユーザＵＳＲを目的地ＤＳＴに案内することができる。なお、図３（ｂ）および（ｃ）に示すように、携帯電話機１の表示画面６４に表示される画像は、ユーザ実方向に応じて異なったものとなっている。そのため、携帯電話機１は、ユーザ実方向に応じて表示画面に提示される情報を変更する機能を有しているとも言うことができる。
【００３７】
第１実施形態では、ユーザ相対方向と端末姿勢情報とからユーザ実方向を算出する技術をナビゲーション機能に適用しているが、この技術は、ナビゲーション機能に限らず、現実空間におけるユーザの方向を利用した種々の用途に適用することができる。ユーザ相対方向と端末姿勢情報とからユーザ実方向を算出する技術は、例えば、仮想現実（Virtual Reality）の空間（仮想現実空間）を画像表示する場合においても利用することが可能である。この場合、ユーザ相対方向と端末姿勢情報とから算出されるユーザ実方向に合わせて仮想現実空間を表す画像を表示することにより、より現実に近い画像をユーザに提示することが可能となる。なお、この場合においても、携帯電話機１の表示画面６４に表示される画像は、ユーザ実方向に応じて異なったものとなるので、携帯電話機１は、ユーザ実方向に応じて表示画面に提示される情報を変更する機能を有しているとも言うことができる。
【００３８】
また、仮想現実空間の画像を表示する場合、携帯電話機１の姿勢と、ユーザの方向とは、仮想現実空間内における姿勢および方向として与えられていれば良いため、現実空間における東西南北の方角とは無関係に設定することが可能である。そのため、携帯電話機１の姿勢と、ユーザの方向とは、鉛直上下および東西南北を示す地表面座標系とは異なる任意の座標系において規定することができる。鉛直上下および東西南北を示す地表面座標系と異なる座標系としては、例えば、地表面座標系を水平に回転した座標系や、仮想現実空間の表示を開始した時点における携帯電話機１を基準とした局所的な座標系（Ｘ，Ｙ，Ｚ）を用いることが可能である。一般に、携帯電話機１の姿勢と、ユーザの方向とは、特定の座標系において規定されていればよい。なお、携帯電話機１の姿勢と、ユーザの方向とを、地表面座標系と異なる特定の座標系で規定する場合、方角の特定を省略することができるので、地磁気検出部２２を省略することも可能である。
【００３９】
Ｂ．第２実施形態：
図４は、第２実施形態における携帯電話機１ａの機能的な構成を示すブロック図である。第２実施形態の携帯電話機１ａは、ユーザの行動記録（行動ログ）をとる機能を有している。携帯電話機１ａは、第１実施形態の携帯電話機１（図２）と同様に、２つのマイク１２，１４と、音声到来方向推定部１６と、地磁気検出部２２と、加速度検出部２４と、角速度検出部２６と、端末姿勢取得部２８と、を備えている。これらの各部の構成及び機能は第１実施形態の携帯電話機１と同様であるので、ここではその説明を省略する。
【００４０】
第２実施形態における携帯電話機１ａは、行動ログをとる機能を実現する機能部として、行動ログ記録部７０と、行動ログ格納部７８と、を備えている。行動ログ記録部７０は、実方向算出部７２と、実方向記録部７４と、を有している。実方向算出部７２は、第１実施形態の実方向算出部５２と同様に、音声到来方向推定部１６により推定された携帯電話機１ａに対するユーザの方向（ユーザ相対方向）と、端末姿勢取得部２８により生成された端末姿勢情報とから、現実空間においてユーザが向いている方向（ユーザ実方向）を算出する。実方向記録部７４は、携帯電話機１ａが有する二次記憶装置（図示しない）の所定の領域である行動ログ格納部７８に、実方向算出部７２が算出したユーザ実方向を表す情報と、当該ユーザ実方向を算出した時刻を表す情報とを行動ログとして格納する。但し、ユーザ実方向の算出が一定時間間隔で行われる場合等においては、行動ログに格納する情報から、時刻を表す情報を省略することも可能である。
【００４１】
行動ログ格納部７８に行動ログを格納することにより、携帯電話機１ａにおいて行動ログを解析するためのプログラムを実行して、事後的にユーザの行動を確認することが可能である。また、行動ログを他のコンピュータに移して、そのコンピュータ上で行動ログを解析するためのプログラムを実行し、ユーザの行動を確認することも可能である。
【００４２】
図５は、携帯電話機１ａの使用状態の一例を示す説明図である。図５の例では、ユーザＵＳＲは、携帯電話機１ａが有するスピーカホンの機能を用いて通話をしている。ここで、スピーカホンとは、携帯電話機１ａの受話口を耳に押し当てることなく、通話を可能にする機能をいう。
【００４３】
図５の例に示すように、スピーカホンの機能を用いて通話をする場合、ユーザＵＳＲは、携帯電話機１ａを一点鎖線で示す自身の正面方向に保持し、携帯電話機１ａの表示画面６４（図１）に向かって通話する。一方、携帯電話機１ａは、表示画面６４を正面から見る方向（Ｚ方向）がユーザＵＳＲの正面方向に近くなるものの、Ｚ方向がユーザＵＳＲの正面方向に必ずしも一致しない。そのため、携帯電話機１ａの姿勢のみに基づいてユーザＵＳＲの向きを記録した場合、現実空間においてユーザＵＳＲが向いている方向を正確に記録することは難しい。
【００４４】
一方、第２実施形態の携帯電話機１ａにおいては、音声到来方向推定部１６により推定されたユーザ相対方向と、端末姿勢取得部２８により生成された端末姿勢情報とから、ユーザ実方向を算出する。これにより、現実空間の地表面座標系におけるユーザの方向であるユーザ実方向がより正確に把握されるので、現実空間においてユーザＵＳＲが向いている方向をより正確に記録することが可能となる。
【００４５】
なお、図５では、ユーザＵＳＲがスピーカホンの機能を用いて通話をする場合の例を示しているが、ユーザＵＳＲが、音声により携帯電話機１ａに指示を与える場合等、ユーザＵＳＲの声が携帯電話機１ａに到達する場合であれば、現実空間においてユーザＵＳＲが向いている方向を正確に記録することが可能である。
【００４６】
第２実施形態では、行動ログとして、ユーザ実方向を行動ログ格納部７８に記録しているが、ユーザ実方向と併せて、端末姿勢情報を行動ログ格納部７８に記録するものとしても良い。このように、ユーザ実方向と端末姿勢情報とを行動ログとして記録することにより、行動ログから携帯電話機１ａとユーザＵＳＲとの相対的な位置関係を把握することができる。さらに、ユーザ実方向と併せて、ＧＰＳ受信部３２と端末位置測定部３４（図２）を用いて得られる端末位置情報を行動ログとして記録するものとしても良く、ユーザ実方向と、端末姿勢情報と、端末位置情報とを行動ログとして記録するものとしても良い。
【００４７】
Ｃ．第３実施形態：
図６は、第３実施形態における携帯電話機１ｂの機能的な構成を示すブロック図である。第３実施形態の携帯電話機１ｂは、周辺雑音を低減するとともにユーザの音声を強調することによりユーザの音声を明瞭に取得する機能を有している。携帯電話機１ｂは、第１実施形態の携帯電話機１（図２）と同様に、２つのマイク１２，１４と、音声到来方向推定部１６と、地磁気検出部２２と、加速度検出部２４と、角速度検出部２６と、端末姿勢取得部２８と、を備えている。これらの各部の構成及び機能は第１実施形態の携帯電話機１と同様であるので、ここではその説明を省略する。
【００４８】
第３実施形態における携帯電話機１ｂは、ユーザの音声を明瞭に取得するためのユーザ音声明瞭化部８０を備えている。ユーザ音声明瞭化部８０は、実相対方向推定部８２と、指向性制御部８４と、を有している。実相対方向推定部８２は、音声到来方向推定部１６により推定された携帯電話機１ｂに対するユーザの方向（ユーザ相対方向）と、端末姿勢取得部２８により生成された端末姿勢情報とを用いてユーザを追跡し、携帯電話機１ｂに対して相対的に移動するユーザの実際の方向（ユーザ実相対方向）を推定する。
【００４９】
ユーザ実相対方向の推定は、音声到来方向推定部１６により推定されたユーザ相対方向を、端末姿勢の変化量により補正することにより行うことができる。具体的には、例えば、ユーザ相対方向に対応するベクトルに、端末姿勢の変化に対応する回転の逆回転を表す回転行列を乗ずることにより、携帯電話機１ｂから見たユーザ実相対方向を表すベクトルを得ることができる。なお、実相対方向推定部８２は、ユーザ相対方向を端末姿勢の変化量により補正する演算によりユーザ実相対方向を求めている。そのため、実相対方向推定部８２は、ユーザ実相対方向を算出するユーザ方向算出部とも言うことができる。
【００５０】
指向性制御部８４は、実相対方向推定部８２により推定されたユーザ実相対方向に基づいて、２つのマイク１２，１４から入力された音声信号に対してビームフォーミングを施すことにより（例えば、電気情報通信学会の知識ベース（http://www.ieice-hbkb.org/portal/）の２群−６編−２章参照）収音指向性を制御する。これにより、携帯電話機１ｂに対して相対的に移動するユーザの方向からの音声が強調されるとともに、他の方向からの音声が低減される。そのため、より明瞭なユーザの音声を送話することができるので、ユーザはより快適に通話することが可能となる。
【００５１】
図７は、携帯電話機１ｂの使用状態の一例を示す説明図である。図７の例においても、ユーザＵＳＲは、携帯電話機１ｂが有するスピーカホンの機能を用いて通話をしている。そして、図７の例では、携帯電話機１ｂがＹ軸を中心に回転することにより、携帯電話機１ｂに対してユーザＵＳＲが相対的に移動している。
【００５２】
一般的に、携帯電話機１ｂが固定されている場合等、携帯電話機１ｂの姿勢が変わらない場合には、携帯電話機１ｂに対するユーザＵＳＲの方向は急速に変化しない。そのため、携帯電話機１ｂの姿勢が変わらない場合には、音声到来方向推定部１６により逐次推定されたユーザ相対方向を用いても、実際のユーザＵＳＲの方向と、音声到来方向推定部１６により推定されたユーザ相対方向との差は小さく、ユーザ相対方向に基づいて収音指向性を制御することにより、ユーザＵＳＲが発した音声を明瞭に取得することができる。
【００５３】
しかしながら、図７の例に示すように、携帯電話機１ｂの姿勢が変化する場合、携帯電話機１ｂに対するユーザＵＳＲの方向が急速に変化する可能性がある。このように、携帯電話機１ｂの姿勢が変化して、携帯電話機１ｂに対するユーザＵＳＲの方向が急速に変化する場合、音声到来方向推定部１６により逐次推定されたユーザ相対方向と、実際のユーザＵＳＲの方向との差が大きくなり、ユーザ相対方向に基づいて収音指向性を制御しても、ユーザＵＳＲが発した音声を十分に明瞭化することができなくなる虞がある。
【００５４】
一方、第３実施形態の携帯電話機１ｂにおいては、音声到来方向推定部１６により推定されたユーザ相対方向と、端末姿勢取得部２８により生成された端末姿勢情報とを用いてユーザを追跡し、携帯電話機１ｂに対して相対的に移動するユーザの実際の方向（ユーザ実相対方向）を推定する。そのため、携帯電話機１ｂの姿勢が変化した場合においても、推定されたユーザ実相対方向と、実際のユーザの方向との差は、十分に小さくすることができる。言い換えれば、携帯電話機１ｂに対するユーザの実際の方向をより正確に把握することができる。そして、指向性制御部８４は、実際のユーザの方向との差が小さいユーザ実相対方向に基づいて、２つのマイク１２，１４から入力された音声信号に対してビームフォーミングを施すので、携帯電話機１ｂの姿勢が変化した場合においても、ユーザの発する音声を十分に明瞭化することができる。
【００５５】
なお、第３実施形態では、ユーザ実相対方向の推定は、音声到来方向推定部１６により推定されたユーザ相対方向を、端末姿勢の変化量により補正することにより行っているが、他の方法によりユーザ実相対方向を推定するものとしても良い。例えば、ユーザ相対方向と端末姿勢情報とにカルマンフィルタを用いた演算を施して、ユーザ実相対方向を推定することも可能である。この場合、より正確にユーザの実際の方向を推定することが可能となる。但し、計算量をより小さくすることが可能な点で、音声到来方向推定部１６により推定されたユーザ相対方向を端末姿勢の変化量により補正するのが好ましい。
【００５６】
また、第３実施形態で収音指向性の制御に使用されるユーザ実相対方向は、携帯電話機１ｂを基準とする相対的な方向であるので、ユーザ実相対方向の推定に使用される携帯電話機１ｂの姿勢は、鉛直上下および東西南北を示す地表面座標系と異なる任意の座標系において規定することもできる。鉛直上下および東西南北を示す地表面座標系と異なる座標系としては、例えば、地表面座標系を水平に回転した座標系や、通話を開始した時点における携帯電話機１ｂを基準とした局所的な座標系（Ｘ，Ｙ，Ｚ）を用いることが可能である。一般に、携帯電話機１ｂの姿勢は、特定の座標系において規定されていればよい。なお、携帯電話機１ｂの姿勢を地表面座標系と異なる特定の座標系で規定する場合、方角の特定を省略することができるので、地磁気検出部２２を省略することも可能である。
【００５７】
第３実施形態では、携帯電話機１ｂを用いて通話する際に、ユーザ音声の明瞭化機能を利用する例を示しているが、ユーザ音声の明瞭化機能は、通話に限らず、種々の使用態様において利用することが可能である。例えば、録音機能を有する携帯電話機を用いてユーザの音声を録音する際に、ユーザ音声の明瞭化機能を利用するものとしても良い。
【００５８】
第３実施形態では、ユーザ音声の明瞭化にユーザ相対方向と端末姿勢とからユーザ実相対方向を推定する技術を利用しているが、この技術は、ユーザ音声の明瞭化に限らず、種々の用途において利用することができる。ユーザ相対方向と端末姿勢とからユーザ実相対方向を推定する技術は、例えば、複数のユーザ（話者）の音声を弁別する際に利用することも可能である。この場合、話者を弁別した結果と、複数の話者の音声とを併せて記録することにより、話者ごとの発言内容を事後的に判別することがより容易となる。
【００５９】
Ｄ．変形例：
本発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
【００６０】
Ｄ１．変形例１：
上記各実施形態では、ナビゲーション機能、ユーザ行動のロギング機能、音声強調機能等を別個の携帯電話機１，１ａ，１ｂにおいて実現しているが、上記各実施形態で示した種々の機能から任意に選んだ複数の機能を単一の携帯電話機で実現することも可能である。
【００６１】
Ｄ２．変形例２：
上記各実施形態では、携帯電話機１，１ａ，１ｂにおいて種々の機能を実現しているが、必ずしも携帯電話機１，１ａ，１ｂを用いる必要はない。一般的には、特定の座標系における姿勢を取得するためのセンサと、複数のマイクと、それぞれの機能の実現に必要な構成要素とを有し、コンピュータとして構成された携帯型の端末装置であれば、上記各実施形態に示した機能を実現することが可能である。例えば、携帯型ナビゲーション装置、タブレット型端末、デジタルスチルカメラ、デジタルビデオカメラ、携帯型録音装置等を用いて上記各実施形態に示した機能を実現するものとしても良い。
【符号の説明】
【００６２】
１，１ａ，１ｂ…携帯電話機、１２，１４…マイク、１６…音声到来方向推定部、２２…地磁気検出部、２４…加速度検出部、２６…角速度検出部、２８…端末姿勢取得部、３２…ＧＰＳ受信部、３４…端末位置測定部、４２…目的地入力部、４４…目的地位置算出部、５０…案内情報生成部、５２…実方向算出部、５４…目的地方向算出部、６２…画面表示部、６４…表示画面、６６…音声出力部、７０…行動ログ記録部、７２…実方向算出部、７４…実方向記録部、７８…行動ログ格納部、８０…ユーザ音声明瞭化部、８２…実相対方向推定部、８４…指向性制御部、ＤＳＴ…目的地、ＵＳＲ…ユーザ
【図１】
2015129718.tif 000003
【図２】
2015129718.tif 000004
【図３】
2015129718.tif 000005
【図４】
2015129718.tif 000006
【図５】
2015129718.tif 000007
【図６】
2015129718.tif 000008
【図７】
2015129718.tif 000009