(57)【要約】【課題】  通話中に、例えば、目的の場所や人物、通話相手の方向をリアルタイムで提示することのできる電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムを提供する。【解決手段】  位置情報取り込み手段、方位情報取り込み手段、および、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、ならびに、出力部が、制御部に接続されており、制御部が、目標位置特定手段と目標方向特定手段と、目標方向と電子機器の基準方向との差分を検出する手段と、取り込まれた画像情報から電子機器とユーザの顔との相対姿勢を特定する手段と、特定された目標方向と相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、座標変換後の目標方向と座標変換前の目標方向との差分を検出する手段と、検出された差分情報に基づき、出力部を制御する出力部制御手段とを備えることを特徴とする。【選択図】  図１
2011205205.tif 000002
【特許請求の範囲】
【請求項１】
位置情報取り込み手段、方位情報取り込み手段、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、制御部および出力部を備え、
前記各取り込み手段が、前記制御部に接続され、
前記制御部が、前記出力部に接続され、
前記制御部が、
目標物の位置を特定する目標位置特定手段と、
前記位置情報取り込み手段を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段と、
前記目標方向と電子機器の基準方向との差分を検出する第１の差分検出手段と、
前記画像情報取り込み手段を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第２の差分検出手段と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御手段とを
備えることを特徴とする電子機器。
【請求項２】
前記制御部が、前記画像情報から特徴点を抽出する手段を有することを特徴とする、請求項１記載の電子機器。
【請求項３】
前記相対姿勢特定手段が、前記画像情報と、予め取得した基準方向の画像情報とを比較する手段を有していることを特徴とする、請求項１または２記載の電子機器。
【請求項４】
前記画像情報取り込み手段が、間欠的に画像情報を取り込むことを特徴とする、請求項１から３のいずれか一項に記載の電子機器。
【請求項５】
前記差分がベクトル情報であることを特徴とする、請求項１から４のいずれか一項に記載の電子機器。
【請求項６】
前記出力部が、方向提示手段を有していることを特徴とする、請求項１から５のいずれか一項に記載の電子機器。
【請求項７】
前記出力部制御手段が、前記座標変換後の目標方向と座標変換前の目標方向との差分がある場合に作動することを特徴とする、請求項１から６のいずれか一項に記載の電子機器。
【請求項８】
請求項１から７のいずれか一項に記載の電子機器を使用し、
位置情報取り込み工程、方位情報取り込み工程、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み工程、制御工程および出力工程を備え、
前記制御工程が、
目標物の位置を特定する目標位置特定工程と、
前記位置情報取り込み工程において取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定工程と、
前記目標方向と電子機器の基準方向との差分を検出する第１の差分検出工程と、
前記画像情報取り込み工程を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定工程と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換工程と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第２の差分検出工程と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御工程とを
備えることを特徴とする電子機器の方向提示方法。
【請求項９】
請求項８記載の電子機器の方向提示方法を、電子機器上で実行可能なことを特徴とするプログラム。
【請求項１０】
請求項８記載の電子機器の方向提示方法による方向提示機能を提供することを特徴とする電子機器の方向提示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムに関する。
【背景技術】
【０００２】
モバイル電子機器の機能は年々増加する方向にあり、電話、メール、画像、動画、チャット、など多種のコミュニケーション手段が利用されている。しかしながら従来のコミュニケーションは、音声や、テキスト、画像を中心としたいわゆる視覚や聴覚を利用したコミュニケーションが中心で、通話相手の方向をリアルに感じ取りより臨場感のあるコミュニケーションの提案や、視覚や、聴覚情報に加えて、人と人とがより感性豊かにコミュニケーションできる新たなコミュニケーション手段や機能は、模索されているものの実現に至っていない。
【０００３】
ユーザインタフェースでは人の触覚や、力を感じる感覚機能（以下力覚と呼ぶ）を使ったコミュニケーションも研究はされているものの実用化された事例は無く、携帯電話での呼び出しにバイブレーションモータが使われているが、あくまでも着信を知らせるためのものであり、コミュニケーションのツールとしては利用されていないのが現状である。
【０００４】
関連技術として、測位情報を用いて、登録されている連絡先の情報が直感的にわかるように、ディスプレイ上に、今いる方向や、その距離に応じてアイコンの大きさを変えて表現することで、臨場感を提供するものが提案されている（例えば、特許文献１参照）。ディスプレイを使った方向提示の場合は、ユーザはディスプレイを確認するには、ＴＶ電話のように本体を耳から離した状態で通話しなくてならず、通話内容が周囲に漏れたり、騒音のある環境では聞き取りにくくなるという問題がある。また、カーナビゲーションのような音声による方向提示では通話を邪魔してしまうという問題もある。ディスプレイに地図を表示して方向提示する携帯端末も提案されているが（例えば、特許文献２参照）、ユーザは画面を見ながら目的の方向をサーチすることが前提となっており、上記と同様の問題がある。
【０００５】
一方、触覚感覚・力覚感覚を利用してユーザに進むべき方向を直感的に理解し易い形で提示する力覚型ヒューマンナビゲーションシステムが提案されている（例えば、特許文献３参照）。しかし、通話時に（電子機器を直接耳にあてた状態の時）、通話相手または目標方向へユーザの顔（視線）を基準に直接誘導する機能の例はなかった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００９−５１７７６２号公報
【特許文献２】特開２００１−０２３０７６号公報
【特許文献３】特開２００４−１７７３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明では新たなコミュニケーション手段として、通話中に、例えば、目的の場所や人物、通話相手の方向をリアルタイムで提示することのできる電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記目的を達成するために、本発明の電子機器は、
位置情報取り込み手段、方位情報取り込み手段、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、制御部および出力部を備え、
前記各取り込み手段が、前記制御部に接続され、
前記制御部が、前記出力部に接続され、
前記制御部が、
目標物の位置を特定する目標位置特定手段と、
前記位置情報取り込み手段を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段と、
前記目標方向と電子機器の基準方向との差分を検出する第１の差分検出手段と、
前記画像情報取り込み手段を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第２の差分検出手段と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御手段とを
備えることを特徴とする。
【０００９】
また、本発明の電子機器の方向提示方法は、前記本発明の電子機器を使用し、
位置情報取り込み工程、方位情報取り込み工程、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み工程、制御工程および出力工程を備え、
前記制御工程が、
目標物の位置を特定する目標位置特定工程と、
前記位置情報取り込み工程において取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定工程と、
前記目標方向と電子機器の基準方向との差分を検出する第１の差分検出工程と、
前記画像情報取り込み工程を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定工程と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換工程と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第２の差分検出工程と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御工程とを
備えることを特徴とする。
【００１０】
また、本発明のプログラムは、前記本発明の電子機器の方向提示方法を、電子機器上で実行可能なことを特徴とする。
【００１１】
また、本発明の電子機器の方向提示システムは、前記本発明の電子機器の方向提示方法による方向提示機能を提供することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、通話中であっても、例えば、目的の場所や人物、通話相手の方向をリアルタイムで提示することのできる電子機器、電子機器の方向提示方法、プログラムおよび電子機器の方向提示システムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る電子機器の構成の一例を示す図である。
【図２】本発明の実施形態に係る電子機器の構成の一例を示す図である。
【図３】本発明の電子機器の一例の概略斜視図である。
【図４】本発明の実施形態に係る通話時のユーザの顔（視線）方向と電子機器の相対姿勢の関係の一例を示す模式図である。
【図５】本発明の実施形態に係る通話時のユーザの顔（視線）方向と電子機器の相対姿勢の関係のその他の例を示す模式図である。
【図６】本発明の実施形態に係る通話時のユーザの顔（視線）方向と電子機器の相対姿勢の関係のさらにその他の例を示す模式図である。
【図７】本発明の電子機器の動作の一例を示すフローチャートである。
【図８】本発明の実施形態に係る電子機器による方向提示の一例を示す模式図である。
【発明を実施するための形態】
【００１４】
以下、本発明の電子機器、電子機器の方向提示方法について、詳細に説明する。ただし、本発明は、以下の実施形態に限定されない。
【００１５】
（実施形態１）
図１に、本発明の電子機器の構成の一例を示す。図１に示すように、本例の電子機器１０は、位置情報取り込み手段２０６、方位情報取り込み手段２０７、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段２０４、制御部１００および出力部２００を備えている。そして、前記各取り込み手段は、前記制御部１００に接続されており、前記制御部１００は、前記出力部２００に接続されている。前記制御部１００は、目標物の位置を特定する目標位置特定手段１０１と、前記位置情報取り込み手段２０６を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段１０２と、前記目標方向と電子機器の基準方向との差分を検出する第１の差分検出手段１０３と、前記画像情報取り込み手段２０４を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段１０６と、前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段１０７と、前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第２の差分検出手段１０８と、前記検出された差分情報に基づき、前記出力部２００を制御する出力部制御手段１０９とを備えている。
【００１６】
前記制御部１００には、本例の電子機器１０が携帯電話端末である場合、通話時の通話相手、目標物または場所等の方向提示機能を有効にするか、無効にするかの切替えソフトウエアを備えることもできる。これらのソフトウエアは、表示メニューやショートカットキーにより切り替え選択を可能としておくと、ユーザは必要に応じて切り替えることができる。
【００１７】
通話時の通話相手や目標物や場所の前記方向提示機能が有効な場合には、位置情報取り込み手段２０６および方位情報取り込み手段２０７によって取り込まれる情報から、電子機器本体の地上に対する位置や姿勢が検出される。また、制御部１００に備えられた目標位置特定手段１０１は、通話相手、目標物または場所等の目標位置を特定する。目標方向特定手段１０２は、前記電子機器本体の位置情報と前記特定された目標位置情報を用い、前記電子機器から目標への方向（目標方向）を特定する。
【００１８】
また、電子機器１０本体の姿勢は、方位情報取り込み手段２０７により取り込んだ情報から確定される。電子機器１０本体の基準方向（例えば、電子機器１０のディスプレイの法線方向など）と、目標方向との差分を検出する、第１の差分検出手段１０３により、電子機器１０本体の姿勢に応じた目標方向との差分を特定することができる。この差分に基づき、制御部１００は出力部２００を制御し、ユーザが目的の方向の認識を可能にする。
【００１９】
図２は、本実施形態に係る電子機器の構成の一部を更に詳細に示した図である。制御部１００には画像情報取り込み手段２０４が接続されている。前記画像情報取り込み手段２０４としては、カメラを使用することができるが、画像情報が取り込めるものであれば制限はなく、通話時のユーザの顔の特徴が写る位置に配置されていれば配置レイアウトにも制限はない。またこのカメラは複数であっても構わないし、通話時の画角がユーザの顔に特徴が写る角度に調整される制御がされていても良い。また、携帯電話では、通話時にユーザ側に面する表示画面側に搭載されるカメラの他に、自分以外の対象物を撮像する、表示画面の反対側に搭載されるカメラなど、複数で複数の画角を写すカメラが一般的に搭載されている。
【００２０】
位置情報取り込み手段２０６としては、ＧＰＳを使用することができる。その他にもワイヤレスの基地局を使った位置情報システムなど、位置が特定できる機能を有していれば制限はない。また、方位情報取り込み手段２０７は磁気センサを用いることができる。前記磁気センサは、地磁気などを検出し、電子機器の地球に対する方位を検出する。さらに、場合によっては重力を検出し、電子機器の姿勢を検出する必要がある場合も想定されるが、その場合は、重力方向情報取り込み手段２０８が制御部１００に接続されており、情報を取り込むことが可能である。重力の検出には加速度センサを用いることができる。近年では、３軸の加速度センサが搭載され、重力だけでなく、動きや動作を検出して操作の代用に使われることができるようになってきた。
【００２１】
ユーザの顔（視線）を目標の方向に誘導するために、制御部１００には顔情報検出手段１０４、顔情報の方向別パターン記憶手段１０５が設けられている。さらに、前記顔情報検出手段１０４と、顔情報の方向別パターン記憶手段１０５に格納された顔情報の方向別パターン情報とを使い、ユーザと電子機器との相対位置や姿勢を特定するために相対姿勢特定手段１０６が設けられている。さらに、位置情報取り込み手段２０６から電子機器の位置を特定し、目標位置特定手段１０１を使い電子機器を基準とした通話相手や対象物など目標方向を特定する、目標方向特定手段１０２が設けられている。
【００２２】
さらに、前述の相対姿勢特定手段１０６と電子機器を基準とした目標の方向から、ユーザの顔（視線）を基準とした目標の方向へ座標を変換する手段１０７があり、さらに、座標変換後のユーザの顔（視線）を基準とした目標方向データと、座標変換前の電子機器を基準とした目標方向データとの差分を検出する、第２の差分検出手段１０８が設けられている。
【００２３】
本実施形態においては、電子機器本体の制御部１００には、他の機器と情報をやり取りする送受信手段２０２および記憶手段２０３が接続されている。この送受信手段２０２には、さらにアンテナ２０１が接続されている。本例では、無線による接続である形態を示したが、これに限定されず、有線による接続であってもよい。さらに制御部１００には、他の機器とのＩ／Ｆ２０５が接続されている。前記他の機器とのＩ／Ｆ２０５としては、具体的には、ＵＳＢ、ＩＥＥ１３９４、カードメモリスロット、ＩｒＤａ、Ｂｌｕｅｔｏｏｔｈなどを用いることができる。また、その他のセンサ２０９が接続されている。その他のセンサ２０９としては、加速度センサ、温度センサ、湿度センサ、圧力センサおよび光センサなどをあげることができる。
【００２４】
出力部２００には、スピーカ２１０、表示部２１１、発光部２１２、振動発生部２１３、触覚（力覚）提示部２１６などを備えることができる。これらの各構成要素は、単独で用いてもよいし、複数を組み合わせて用いることもできる。
【００２５】
また、電子機器１０は、音声取り込み手段２１４、操作部２１５などを備えるが、これらの実装構造については、周知の構造を採用することができるため詳細は省略する。
【００２６】
前記制御部１００は、カメラ等の画像情報取り込み手段２０４によって取り込まれる情報を取り込み、前記制御部１００内にある顔情報検出手段１０４によって、例えば、顔の輪郭や、鼻、口などの特徴のある情報の抽出が行われる。この顔情報検出手段１０４により抽出された情報と、顔情報の方向別パターン記憶手段１０５に格納された情報とのパターンマッチングにより、通話時のユーザの顔（視線）と電子機器との相対位置または姿勢を特定する。その特定は、同じく制御部１００内にある相対姿勢特定手段１０６により行われる。
【００２７】
（実施形態２）
次に、画像を使った相対位置または姿勢の検出例を、図３から図６を用いて説明する。図３は、本発明の電子機器（携帯電話端末）の一例の概略斜視図である。図３（ａ）は、本例の電子機器を、表示面側（ディスプレイやタッチパネルのある側）から見た図であり、図３（ｂ）は、背面側から見た図である。前記電子機器１０は、スピーカ２１０、音声取り込み手段２１４および画像情報取り込み手段（カメラ）２０４を備えている。本例の電子機器１０において、前記画像情報取り込み手段（カメラ）２０４は、前記音声取り込み手段２１４付近（通話時の口元付近）に取り付けられている。本図においては、折畳みタイプの携帯電話端末を例示したが、本発明の電子機器はこれに限定されず、ストレートタイプやスライドタイプのものであってもよい。また、本図においては、電子機器に通常備えられている、ディスプレイ部分や操作ボタンあるいはタッチパネル等の部材の表示は省略している。
【００２８】
図４は電子機器（携帯電話端末）１０を左手で把持し左耳で受話している場合のユーザの頭部を示した模式図である。図４は、顔を前方向から見た斜視図であり、各々の下段に、前記電子機器の前記画像情報取り込み手段（カメラ）２０４から取り込まれる画像イメージを示している。各図は、耳のつけ当て部を中心にして、顔（視線）の向きと平行な面内において電子機器１０を回転させた状態を示している。図５は、同じ電子機器（携帯電話端末）１０を右手で把持し右耳で受話している場合のユーザの頭部を、図４と同様に示した模式図である。図４および図５において、各図共に電子機器の表示面の法線方向と、ユーザの顔（視線）方向とがほぼ直行した例を示している。
【００２９】
図４および図５の各々の中央の図は、電子機器が、標準的な状態で把持された場合を示している。図４左図および図５右図は、電子機器が、耳のつけ当て部を中心にして、手前側に回転した状態で把持された場合を示している。また、図４右図および図５左図は、電子機器が、耳のつけ当て部を中心にして、後ろ側に回転した状態で把持された場合を示している。前記画像情報取り込み手段（カメラ）２０４から取り込まれた画像は、前記制御部１００内にある顔情報検出手段１０４によって、例えば、顎、口元、額の頂点といった特徴点の各部分を検出し、各部を結ぶ仮想線の角度情報を得る。この角度情報を、顔情報の方向別パターン記憶手段１０５に格納された角度情報とのパターンマッチングにより、通話時のユーザの顔（視線）と電子機器との相対位置または姿勢を特定することができる。その特定は、同じく制御部１００内にある相対姿勢特定手段１０６により行われる。前記顔情報の方向別パターン記憶手段１０５には、予め、ユーザが電子機器を通話状態に構えた時の画像を取り込んでおく。取り込まれる画像は、顔、顔の一部または身体の一部でもよい。取り込んだ画像から、特徴点を抽出する。特徴点としては、顔の輪郭、鼻、口および頬等の顔の一部の輪郭、ホクロや皺等、ユーザの身体の部位を特定できるものであれば、適宜用いることができる。このように、予め作成しておいた通常の通話状態の画像情報と、新たに取得した画像情報とを用いて、その都度比較することによって、ユーザの顔の向きと電子機器との相対位置をリアルタイムで求めることができる。
【００３０】
前記の予め作成する通常の通話状態の画像情報と、相対位置との紐付けは、ユーザと電子機器とが既知の方向に向いた状態で、画像を取り込むことで校正することができる（キャリブレーション）。例えば、ユーザが真北を向いて、電子機器を通話状態に構えた時の画像情報を取り込むことにより、電子機器自体も方向情報を有するため、ユーザが右手で電子機器を持ったときの画像と、左手で電子機器を持ったときの画像とを識別することが可能となる。さらに、特徴点を少なくとも３点以上識別することができれば、極座標変換により、通話時の通常の構えからの相対位置変化を算出することが可能となり、ユーザの顔の向きを基準とした方向提示が可能となる。
【００３１】
前記特徴点の抽出には、カメラを用いることができるが、ＣＣＤやＣＭＯＳカメラでは、赤外線も認識するため、ホクロや皺等を際立てて検出することができる。その中の３点以上の位置を記録できれば、相似変形では距離を、回転角度では回転を、形状変形では面に対する平行度が変化したことが検出できるため、ユーザの顔に対してどのような姿勢で保持されているのかを、精度よく計算することができる。また、通話時の人の動きの速度を考慮すると、前記画像情報取り込み手段（カメラ）は常時作動している必要はなく、画像情報を間欠的に取り込むことでも使用可能である。
【００３２】
前記顔情報の方向別パターン記憶手段１０５に記憶されるパターンは、一般的な特徴を基準としたデータテーブルとしておいてもよく、ユーザ本人の顔画像を直接取り込みテーブル化して画像マッチングに利用しても良い。
【００３３】
図６は左右方向に加えて重力の方向にユーザの顔（視線）の方向が変化した場合の模式図である。ユーザの向きや、３次元の位置情報特定が可能である場合、重力方向を考慮しなくてはならない場合もあり得る。この場合も、重力方向の情報を加味する他は、前記図４および図５を用いて説明した形態と同様に動作させることができる。
【００３４】
電子機器と目標との位置関係を特定する際、ユーザの電子機器では位置情報取り込み手段２０６（通常はＧＰＳが使われる）により特定され、通話相手などの目標の位置情報は、目標位置特定手段１０１により特定される。ただし、前提として、通話相手や目標には位置情報の開示を許可されていることが条件となる。目標位置特定手段１０１と位置情報取り込み手段２０６との情報から、電子機器を基準とした目標の方向が目標方向特定手段１０２により特定される。さらに前述のユーザの顔（視線）と電子機器との相対姿勢との情報により目的の場所や人物、通話相手の方向をユーザの顔（視線）を基準とした方向へ座標変換手段１０７により変換する。これにより、制御部１００はユーザの顔（視線）を基準とした目標方向と電子機器本体を基準とした目標方向との差分を計算することが可能となる。この計算には制御部１００内の第２の差分検出手段１０８によって実行される。３次元の座標変換については、座標ベクトル（要素数３）に対し、回転を表す行列（３×３）と平行移動のベクトル（要素数３）を加えることにより変換が可能である。また、地球上の方向を特定する計算に関しては、カーナビゲーションシステムなどで使われる球面三角法の手法を用いることができる。上記の検出された方向の差分に基づいて制御部１００は出力部２００の各出力手段を制御する。
【００３５】
図７に以上の動作をフローチャートで示す。目標物を検知すると、電子機器は、目標方向を検出し（Ｓ１）、ついで、電子機器自体の方向検出を行う（Ｓ２）。そして、ユーザの顔の一部等の画像情報を取り込む（Ｓ３）。取り込まれた画像情報は、予め取り込まれた既知の相対姿勢と画像とのテーブルの情報と比較され（Ｓ４）、ユーザの顔の向きと電子機器との相対位置の情報が得られる。求められた相対位置の情報から、ユーザの顔の向きを基準とした目標方向への変換がなされる（Ｓ５）。次のステップ（Ｓ６）においては、目標方向とユーザの顔の方向との差分があるか否かが判断される。前記差分がある（Ｙｅｓ）と判断された場合には、出力部制御手段が作動して、差分に応じた方向提示をするように（Ｓ７）、出力部に指示を出す。前記差分がない（Ｎｏ）と判断された場合には、方向提示は完了する（Ｓ８）。通話が引き続き行われ、さらに方向提示が必要な場合には、Ｓ２以降のステップが繰り返される。
【００３６】
（実施形態３）
本実施形態では、ユーザへの方向提示について説明する。制御部１００により生成された制御信号は、接続される出力部２００を使ってユーザに方向を提示する。例えば、４方向に倒れるジョイスティックや、あらゆる方向に回転するジョグボールのような触覚提示部２１６を使えば、ユーザの顔（視線）に対する目標となる方向へダイレクトに誘導することができる。また、方向提示に振動や、提示のタイミングなどの情報を付加することで、距離感なども提示することもできる。
【００３７】
前記触覚提示部２１６が、例えば、ジョイスティックである場合では、現在のユーザの顔（視線）の向きから目標の方向に最も近い方向にジョイスティックを傾斜させて提示したり、同様に図８に示すようなジョグボール２１６などを使って提示させることも可能である。また、２次元では表現出来ない方向に対しては、表現できる角度範囲に到達するまで、表示の領域限界まで方向を指定し、方向および量が表現できる範囲に到達したところからベクトル表現するなどの表示方法が考えられる。さらに、３次元での方向提示が可能である手段を用いれば、ユーザの姿勢や電子機器の把持状態に関わらずダイレクトに方向をベクトル表示することが可能となる。図８に示す例では、通話時にジョグボール２１６を人差し指で触れ、その回転方向を触覚により感じることでユーザは方向を読み取ることができる。
【００３８】
以上のように、本発明の電子機器によると、ユーザは電子機器本体に設けた基準に対する目標方向の差分を知ることができるため、電子機器を使った目標方向のサーチが可能となる。また、ユーザが通話をしている状態で目的の場所や人物、通話相手の方向を提示された場合でも、電子機器が、ユーザの顔（視線）の向きと電子機器との相対位置関係や、相対する姿勢を認識することができる。したがって、ユーザの顔（視線）の向きを考慮した方向提示と、通話時の聴覚や、視覚を妨害しない方向提示機能を提供することができる。これにより、よりストレスのない通話時の方向提示サービスを提供できるという効果がある。
【００３９】
また、人混みでの待ち合わせでお互いの方向を確認できたり、面識の無い人同士が互いを識別できたり、目の不自由な人同士がお互いの方向を認識することもできるので、よりスムーズに待ち合わせを出来るなどの効果を奏する。さらに、通話相手や目標物、場所の方向が判ることで、より臨場感や感性に訴えるコミュニケーションも実現可能である。
【産業上の利用可能性】
【００４０】
本発明は、例えば、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ、あるいは、Ｐｅｒｓｏｎａｌ  Ｄａｔａ  Ａｓｓｉｓｔａｎｃｅ）、ノートＰＣなどの情報をやり取りする電子機器全般に適用でき、その用途は広い。
【００４１】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００４２】
（付記１）位置情報取り込み手段、方位情報取り込み手段、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み手段、制御部および出力部を備え、
前記各取り込み手段が、前記制御部に接続され、
前記制御部が、前記出力部に接続され、
前記制御部が、
目標物の位置を特定する目標位置特定手段と、
前記位置情報取り込み手段を用いて取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定手段と、
前記目標方向と電子機器の基準方向との差分を検出する第１の差分検出手段と、
前記画像情報取り込み手段を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定手段と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換手段と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第２の差分検出手段と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御手段とを
備えることを特徴とする電子機器。
【００４３】
（付記２）前記制御部が、前記画像情報から特徴点を抽出する手段を有することを特徴とする、付記１に記載の電子機器。
【００４４】
（付記３）前記特徴点を抽出する手段が、前記特徴点として、３点以上を抽出することを特徴とする、付記２に記載の電子機器。
【００４５】
（付記４）前記相対姿勢特定手段が、前記画像情報と、予め取得した基準方向の画像情報とを比較する手段を有していることを特徴とする、付記１から３のいずれかに記載の電子機器。
【００４６】
（付記５）前記画像情報取り込み手段がカメラであることを特徴とする、付記１から４のいずれかに記載の電子機器。
【００４７】
（付記６）前記画像情報取り込み手段が、間欠的に画像情報を取り込むことを特徴とする、付記１から５のいずれかに記載の電子機器。
【００４８】
（付記７）前記差分がベクトル情報であることを特徴とする、付記１から６のいずれかに記載の電子機器。
【００４９】
（付記８）前記出力部が、方向提示手段を有していることを特徴とする、付記１から７のいずれかに記載の電子機器。
【００５０】
（付記９）前記出力部制御手段が、前記座標変換後の目標方向と座標変換前の目標方向との差分がある場合に作動することを特徴とする、付記１から８のいずれかに記載の電子機器。
【００５１】
（付記１０）付記１から９のいずれかに記載の電子機器を使用し、
位置情報取り込み工程、方位情報取り込み工程、ユーザの顔の少なくとも一部の画像情報を取り込む画像情報取り込み工程、制御工程および出力工程を備え、
前記制御工程が、
目標物の位置を特定する目標位置特定工程と、
前記位置情報取り込み工程において取り込まれた位置情報と、前記特定された目標物の位置の情報とから、目標物の方向である目標方向を特定する目標方向特定工程と、
前記目標方向と電子機器の基準方向との差分を検出する第１の差分検出工程と、
前記画像情報取り込み工程を用いて取り込まれた前記画像情報から電子機器とユーザの顔との相対姿勢を特定する相対姿勢特定工程と、
前記特定された目標方向と前記相対姿勢の情報に基づき、ユーザの顔の向きを基準とした目標方向に座標を変換する座標変換工程と、
前記座標変換後の目標方向と座標変換前の目標方向との差分を検出する第２の差分検出工程と、
前記検出された差分情報に基づき、前記出力部を制御する出力部制御工程とを
備えることを特徴とする電子機器の方向提示方法。
【００５２】
（付記１１）前記制御工程が、前記画像情報から特徴点を抽出する工程を有することを特徴とする、付記１０に記載の電子機器の方向提示方法。
【００５３】
（付記１２）前記特徴点を抽出する工程が、前記特徴点として、３点以上を抽出することを特徴とする、付記１１に記載の電子機器の方向提示方法。
【００５４】
（付記１３）前記相対姿勢特定工程が、前記画像情報と、予め取得した基準方向の画像情報とを比較する工程を有していることを特徴とする、付記１０から１２のいずれかに記載の電子機器の方向提示方法。
【００５５】
（付記１４）前記画像情報取り込み工程が、間欠的に画像情報を取り込む工程であることを特徴とする、付記１０から１３のいずれかに記載の電子機器の方向提示方法。
【００５６】
（付記１５）前記差分がベクトル情報であることを特徴とする、付記１０から１４のいずれかに記載の電子機器の方向提示方法。
【００５７】
（付記１６）前記出力工程が、方向提示工程を有していることを特徴とする、付記１０から１５のいずれかに記載の電子機器の方向提示方法。
【００５８】
（付記１７）前記出力部制御工程が、前記座標変換後の目標方向と座標変換前の目標方向との差分がある場合に実行されることを特徴とする、付記１０から１６のいずれかに記載の電子機器の方向提示方法。
【００５９】
（付記１８）付記１０から１７のいずれかに記載の電子機器の方向提示方法を、電子機器上で実行可能なことを特徴とするプログラム。
【００６０】
（付記１９）付記１０から１７のいずれかに記載の電子機器の方向提示方法による方向提示機能を提供することを特徴とする電子機器の方向提示システム。
【符号の説明】
【００６１】
１０  電子機器（携帯電話端末）
１００  制御部
１０１  目標位置特定手段
１０２  目標方向特定手段
１０３  （本体基準方向と目標方向との）第１の差分検出手段
１０４  顔情報検出手段
１０５  顔情報の方向別パターン記憶手段
１０６  相対姿勢特定手段
１０７  （端末基準からユーザの顔の向き基準へ）座標変換手段
１０８  （ユーザの顔の向きと目標方向との）第２の差分検出手段
１０９  出力部制御手段
２００  出力部
２０１  アンテナ
２０２  送受信手段
２０３  記憶手段
２０４  画像情報取り込み手段（カメラ）
２０５  他の機器とのＩ／Ｆ
２０６  位置情報取り込み手段
２０７  方位情報取り込み手段
２０８  重力方向情報取り込み手段
２０９  その他のセンサ
２１０  スピーカ
２１１  表示部
２１２  発光部
２１３  振動発生部
２１４  音声取り込み手段
２１５  操作部
２１６  触覚提示部（ジョグボール）
【図１】
2011205205.tif 000003
【図２】
2011205205.tif 000004
【図３】
2011205205.tif 000005
【図４】
2011205205.tif 000006
【図５】
2011205205.tif 000007
【図６】
2011205205.tif 000008
【図７】
2011205205.tif 000009
【図８】
2011205205.tif 000010