(57)【要約】【課題】ユーザが携帯電子機器を使用する状況に応じて、ユーザごとに最適な表示態様で情報を表示すること。【解決手段】携帯電子機器は、表示部と、表示部と同一方向を向くように配置された撮像部と、撮像部が撮影したユーザの顔画像に基づいて、ユーザの顔に対する表示部の角度を示す情報を、角度情報として算出する角度情報生成部と、角度情報に基づいて表示部に表示する情報の表示態様を決定する表示態様決定部と、を備える。【選択図】図１
2013242771.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
前記表示部と同一方向を向くように配置された撮像部と、
前記撮像部が撮影したユーザの顔画像に基づいて、ユーザの顔に対する前記表示部の角度を示す情報を、角度情報として算出する角度情報生成部と、
前記角度情報に基づいて前記表示部に表示する情報の表示態様を決定する表示態様決定部と、
を備えることを特徴とする携帯電子機器。
【請求項２】
ユーザの顔と前記表示部との間の距離を示す情報を、距離情報として算出する距離情報生成部を備え、
前記表示態様決定部は、前記角度情報及び前記距離情報に基づいて、前記表示態様を決定する請求項１に記載の携帯電子機器。
【請求項３】
前記顔画像から複数の特徴点を抽出する特徴点抽出部を備え、
前記距離情報生成部は、ユーザの顔と前記表示部との間の距離が、予め定めた基準距離の状態でユーザの顔を撮影することで得られた基準顔画像の面積と前記顔画像の面積の比を、前記距離情報として算出し、
前記角度情報生成部は、前記複数の特徴点を頂点とする多角形の形状の一辺の長さと、前記基準顔画像から算出した前記多角形に相当する形状の一辺の長さと、から前記角度情報を算出する請求項２に記載の携帯電子機器。
【請求項４】
前記角度情報及び前記距離情報と、前記表示態様と、の対応情報を生成する対応関係生成部を備え、
前記表示態様決定部は、前記対応関係生成部が生成した前記対応情報に基づいて、前記表示態様を決定する請求項２又は３に記載の携帯電子機器。
【請求項５】
前記表示態様決定部は、前記角度情報又は前記距離情報のいずれかが予め定めた閾値を超えて変化した後、所定の時間以上、前記角度情報及び前記距離情報の変化が所定の範囲内に留まる場合に、前記表示態様を変更する請求項４に記載の携帯電子機器。
【請求項６】
前記対応関係生成部は、前記対応情報を追加する機能設定画面に対するユーザの操作に基づいて、前記対応情報を生成する請求項５に記載の携帯電子機器。
【請求項７】
加速度センサと、
前記加速度センサの出力に基づき、ユーザの所定の操作を検出した場合に、前記機能設定画面を前記表示部に表示する制御部と、
を備える請求項６に記載の携帯電子機器。
【請求項８】
さらに、角速度センサを備え、
前記角度情報生成部は、前記撮像部がユーザの顔を撮影できない場合に、前記角速度センサの出力を積分した結果を前記角度情報とする請求項１乃至７のいずれか一に記載の携帯電子機器。
【請求項９】
前記表示態様決定部が決定する表示態様には、画像の大きさ、前記表示部の輝度、前記表示部の視野角、のうち少なくともいずれかを含む請求項１乃至８のいずれか一に記載の携帯電子機器。
【請求項１０】
表示部と、前記表示部と同一方向を向くように配置された撮像部と、を備える携帯電子機器の制御方法であって、
ユーザの顔画像に基づいて、ユーザの顔に対する前記表示部の角度を示す情報を、角度情報として算出する角度情報生成工程と、
前記角度情報に基づいて前記表示部に表示する情報の表示態様を決定する表示態様決定工程と、
を含むことを特徴とする携帯電子機器の制御方法。
【請求項１１】
ユーザの顔と前記表示部との間の距離を示す情報を、距離情報として算出する距離情報生成工程をさらに含み、
前記表示態様決定工程は、前記角度情報及び前記距離情報に基づいて、前記表示態様を決定する請求項１０に記載の携帯電子機器の制御方法。
【請求項１２】
前記顔画像から複数の特徴点を抽出する工程をさらに含み、
前記距離情報生成工程は、ユーザの顔と前記表示部との間の距離が、予め定めた基準距離の状態でユーザの顔を撮影することで得られた基準顔画像の面積と前記顔画像の面積の比を、前記距離情報として算出し、
前記角度情報生成工程は、前記複数の特徴点を頂点とする多角形の形状の一辺の長さと、前記基準顔画像から算出した前記多角形に相当する形状の一辺の長さと、から前記角度情報を算出する請求項１１に記載の携帯電子機器の制御方法。
【請求項１３】
前記角度情報及び前記距離情報と、前記表示態様と、の対応情報を生成する対応関係生成工程をさらに含み、
前記表示態様決定工程は、前記対応関係生成工程によって生成された前記対応情報に基づいて、前記表示態様を決定する請求項１１又は１２に記載の携帯電子機器の制御方法。
【請求項１４】
前記表示態様決定工程は、前記角度情報又は前記距離情報のいずれかが予め定めた閾値を超えて変化した後、所定の時間以上、前記角度情報及び前記距離情報の変化が所定の範囲内に留まる場合に、前記表示態様を変更する請求項１３に記載の携帯電子機器の制御方法。
【請求項１５】
表示部と、前記表示部と同一方向を向くように配置された撮像部と、を備える携帯電子機器を制御するコンピュータに実行させるプログラムであって、
ユーザの顔画像に基づいて、ユーザの顔に対する前記表示部の角度を示す情報を、角度情報として算出する角度情報生成処理と、
前記角度情報に基づいて前記表示部に表示する情報の表示態様を決定する表示態様決定処理と、
を実行するプログラム。
【請求項１６】
ユーザの顔と前記表示部との間の距離を示す情報を、距離情報として算出する距離情報生成処理をさらに実行し、
前記表示態様決定処理は、前記角度情報及び前記距離情報に基づいて、前記表示態様を決定する請求項１５に記載のプログラム。
【請求項１７】
前記顔画像から複数の特徴点を抽出する処理をさらに実行し、
前記距離情報生成処理は、ユーザの顔と前記表示部との間の距離が、予め定めた基準距離の状態でユーザの顔を撮影することで得られた基準顔画像の面積と前記顔画像の面積の比を、前記距離情報として算出し、
前記角度情報生成処理は、前記複数の特徴点を頂点とする多角形の形状の一辺の長さと、前記基準顔画像から算出した前記多角形に相当する形状の一辺の長さと、から前記角度情報を算出する請求項１６に記載のプログラム。
【請求項１８】
前記角度情報及び前記距離情報と、前記表示態様と、の対応情報を生成する対応関係生成処理をさらに実行し、
前記表示態様決定処理は、前記対応関係生成処理によって生成された前記対応情報に基づいて、前記表示態様を決定する請求項１６又は１７に記載のプログラム。
【請求項１９】
前記表示態様決定処理は、前記角度情報又は前記距離情報のいずれかが予め定めた閾値を超えて変化した後、所定の時間以上、前記角度情報及び前記距離情報の変化が所定の範囲内に留まる場合に、前記表示態様を変更する請求項１８に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電子機器、その制御方法及びプログラムに関する。特に、表示部を備える携帯電子機器、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォン等の携帯電子機器が広く普及し、老若男女を問わず多くのユーザに使用されている。そのため、あるユーザに最適な文字サイズであっても、別のユーザにとっては必ずしも最適ではないということが起こりうる。特許文献１には、相対するユーザの顔画像を撮影し、撮影した顔画像のサイズに基づいて、文字サイズを設定する表示制御装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０７７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明の観点からなされたものである。
【０００５】
上述のとおり、多くのユーザが携帯電子機器を使用している。また、ユーザが携帯電子機器を使用する場所や時間帯も様々である。例えば、自宅で椅子に座って携帯電子機器を操作する場合もあれば、ベッドに横たわって操作する場合もある。あるいは、満員電車の中のように限られた姿勢で携帯電子機器を操作する場合もある。このように、多くのユーザが様々な状況で携帯電子機器を使用する際に、特定のユーザが特定の状況で携帯電子機器を使用すると、不都合が生じる場合がある。
【０００６】
例えば、遠近両用眼鏡を着用していると、対象物までの距離及び対象物を見るユーザの視線角度によっては、対象物の見え方が大きく異なる。より具体的には、対象物までの距離が同じであっても対象物を見下ろす時と見上げる時とでは、その見え方が大きく異なる。
【０００７】
即ち、遠近両用眼鏡を着用しているユーザが、満員電車の中で携帯電子機器を使用する際、携帯電子機器を限られた角度で視認しなければならない場合など、表示内容を確認することが極めて困難な場合がある。即ち、ユーザと携帯電子機器との間の角度によっては、その表示内容を確認することが極めて難しい状況が存在する。
【０００８】
そのため、ユーザが携帯電子機器を使用する状況に応じて、ユーザごとに最適な表示態様で情報を表示する携帯電子機器、その制御方法及びプログラムが、望まれる。なお、特許文献１で開示された技術では、ユーザの顔に対する表示画面の角度は考慮されておらず、ユーザと携帯電子機器との間の距離及び角度によっては、表示内容を確認することが極めて難しい状況を解決できない。
【課題を解決するための手段】
【０００９】
本発明の第１の視点によれば、表示部と、前記表示部と同一方向を向くように配置された撮像部と、
前記撮像部が撮影したユーザの顔画像に基づいて、ユーザの顔に対する前記表示部の角度を示す情報を、角度情報として算出する角度情報生成部と、前記角度情報に基づいて前記表示部に表示する情報の表示態様を決定する表示態様決定部と、を備える携帯電子機器が提供される。
【００１０】
本発明の第２の視点によれば、表示部と、前記表示部と同一方向を向くように配置された撮像部と、を備える携帯電子機器の制御方法であって、ユーザの顔画像に基づいて、ユーザの顔に対する前記表示部の角度を示す情報を、角度情報として算出する角度情報生成工程と、前記角度情報に基づいて前記表示部に表示する情報の表示態様を決定する表示態様決定工程と、を含む携帯電子機器の制御方法が提供される。
【００１１】
本発明の第３の視点によれば、表示部と、前記表示部と同一方向を向くように配置された撮像部と、を備える携帯電子機器を制御するコンピュータに実行させるプログラムであって、ユーザの顔画像に基づいて、ユーザの顔に対する前記表示部の角度を示す情報を、角度情報として算出する角度情報生成処理と、前記角度情報に基づいて前記表示部に表示する情報の表示態様を決定する表示態様決定処理と、を実行するプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ−ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
【発明の効果】
【００１２】
本発明の各視点によれば、ユーザが携帯電子機器を使用する状況に応じて、ユーザごとに最適な表示態様で情報を表示する携帯電子機器、その制御方法及びプログラムが、提供される。
【図面の簡単な説明】
【００１３】
【図１】一実施形態を説明するための図である。
【図２】第１の実施形態に係る携帯電子機器１の全体構成の一例を示す平面図である。
【図３】第１の実施形態に係る携帯電子機器１の内部構成の一例を示す図である。
【図４】携帯電子機器１の使用態様の一例を示す図である。
【図５】携帯電子機器１とユーザの位置関係の一例を示す図である。
【図６】携帯電子機器１とユーザの位置関係の一例を示す図である。
【図７】基準顔画像の一例を示す図である。
【図８】携帯電子機器１の使用態様の一例を示す図である。
【図９】携帯電子機器１の使用態様の一例を示す図である。
【図１０】携帯電子機器１の使用態様の一例を示す図である。
【図１１】基準多角形及び対象多角形の一例を示す図である。
【図１２】表示態様決定テーブルの一例を示す図である。
【図１３】携帯電子機器１の使用態様の一例を示す図である。
【図１４】携帯電子機器１の使用態様の一例を示す図である。
【図１５】携帯電子機器１の動作の一例を示すフローチャートである。
【図１６】表示部２０に画像を表示している携帯電子機器１の一例である。
【図１７】携帯電子機器１の動作の一例を示すフローチャートである。
【図１８】第３の実施形態に係る携帯電子機器１の内部構成の一例を示す図である。
【発明を実施するための形態】
【００１４】
初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
【００１５】
上述のとおり、ユーザが携帯電子機器を使用する状況に応じて、ユーザの顔に対する表示画面の角度は様々である。ユーザの顔に対する表示画面の角度によっては、表示内容を確認することが困難なユーザも存在する。従って、ユーザが携帯電子機器を使用する状況に応じて、ユーザごとに最適な表示態様で画像を表示する携帯電子機器が、望まれる。
【００１６】
そこで、一例として図１に示す携帯電子機器１００を提供する。携帯電子機器１００は、表示部１０１と、表示部１０１と同一方向を向くように配置された撮像部１０２と、撮像部１０２が撮影したユーザの顔画像に基づいて、ユーザの顔に対する表示部１０１の角度を示す情報を、角度情報として算出する角度情報生成部１０３と、角度情報に基づいて表示部１０１に表示する情報の表示態様を決定する表示態様決定部１０４と、を備える。
【００１７】
携帯電子機器１００の使用状況が同一であっても、最適な文字の大きさ等の表示態様はユーザごとに異なる。例えば、ユーザによっては、携帯電子機器１００を使用する状況が同一であっても、表示部１０１に情報を表示する際の最適な表示態様は異なる。具体的には、携帯電子機器１００を見下ろす場合と見上げる場合とでは、ユーザによっては表示部１０１に対する視認性が異なる場合がある。このような場合であっても、携帯電子機器１００は、ユーザの顔に対する表示画面の角度を推定し、推定した角度に基づいて、使用するユーザにとって最適な表示態様で情報の提供を行う。即ち、ユーザが携帯電子機器を使用する状況に応じて、ユーザごとに最適な表示態様で画像を表示する携帯電子機器が提供できる。
【００１８】
本発明において下記の形態が可能である。
【００１９】
［形態１］上記第１の視点に係る携帯電子機器のとおりである。
【００２０】
［形態２］前記携帯電子機器は、ユーザの顔と前記表示部との間の距離を示す情報を、距離情報として算出する距離情報生成部を備え、前記表示態様決定部は、前記角度情報及び前記距離情報に基づいて、前記表示態様を決定することが好ましい。
【００２１】
［形態３］前記携帯電子機器は、前記顔画像から複数の特徴点を抽出する特徴点抽出部を備え、前記距離情報生成部は、ユーザの顔と前記表示部との間の距離が、予め定めた基準距離の状態でユーザの顔を撮影することで得られた基準顔画像の面積と前記顔画像の面積の比を、前記距離情報として算出し、前記角度情報生成部は、前記複数の特徴点を頂点とする多角形の形状の一辺の長さと、前記基準顔画像から算出した前記多角形に相当する形状の一辺の長さと、から前記角度情報を算出することが好ましい。
【００２２】
［形態４］前記携帯電子機器は、前記角度情報及び前記距離情報と、前記表示態様と、の対応情報を生成する対応関係生成部を備え、前記表示態様決定部は、前記対応関係生成部が生成した前記対応情報に基づいて、前記表示態様を決定することが好ましい。
【００２３】
［形態５］前記表示態様決定部は、前記角度情報又は前記距離情報のいずれかが予め定めた閾値を超えて変化した後、所定の時間以上、前記角度情報及び前記距離情報の変化が所定の範囲内に留まる場合に、前記表示態様を変更することが好ましい。
【００２４】
［形態６］前記対応関係生成部は、前記対応情報を追加する機能設定画面に対するユーザの操作に基づいて、前記対応情報を生成することが好ましい。
【００２５】
［形態７］前記携帯電子機器は、加速度センサと、前記加速度センサの出力に基づき、ユーザの所定の操作を検出した場合に、前記機能設定画面を前記表示部に表示する制御部と、を備えることが好ましい。
【００２６】
［形態８］前記携帯電子機器は、角速度センサを備え、前記角度情報生成部は、前記撮像部がユーザの顔を撮影できない場合に、前記角速度センサの出力を積分した結果を前記角度情報とすることが好ましい。
【００２７】
［形態９］前記表示態様決定部が決定する表示態様には、画像の大きさ、前記表示部の輝度、前記表示部の視野角、のうち少なくともいずれかを含むことが好ましい。
【００２８】
［形態１０］上記第２の視点に係る携帯電子機器の制御方法のとおりである。
【００２９】
［形態１１］前記携帯電子機器の制御方法は、ユーザの顔と前記表示部との間の距離を示す情報を、距離情報として算出する距離情報生成工程をさらに含み、前記表示態様決定工程は、前記角度情報及び前記距離情報に基づいて、前記表示態様を決定することが好ましい。
【００３０】
［形態１２］前期携帯電子機器の制御方法は、前記顔画像から複数の特徴点を抽出する工程をさらに含み、前記距離情報生成工程は、ユーザの顔と前記表示部との間の距離が、予め定めた基準距離の状態でユーザの顔を撮影することで得られた基準顔画像の面積と前記顔画像の面積の比を、前記距離情報として算出し、前記角度情報生成工程は、前記複数の特徴点を頂点とする多角形の形状の一辺の長さと、前記基準顔画像から算出した前記多角形に相当する形状の一辺の長さと、から前記角度情報を算出することが好ましい。
【００３１】
［形態１３］前記携帯電子機器の制御方法は、前記角度情報及び前記距離情報と、前記表示態様と、の対応情報を生成する対応関係生成工程をさらに含み、前記表示態様決定工程は、前記対応関係生成工程によって生成された前記対応情報に基づいて、前記表示態様を決定することが好ましい。
【００３２】
［形態１４］前記表示態様決定工程は、前記角度情報又は前記距離情報のいずれかが予め定めた閾値を超えて変化した後、所定の時間以上、前記角度情報及び前記距離情報の変化が所定の範囲内に留まる場合に、前記表示態様を変更することが好ましい。
【００３３】
［形態１５］上記第３の視点に係るプログラムのとおりである。
【００３４】
［形態１６］前記プログラムは、ユーザの顔と前記表示部との間の距離を示す情報を、距離情報として算出する距離情報生成処理をさらに実行し、前記表示態様決定処理は、前記角度情報及び前記距離情報に基づいて、前記表示態様を決定することが好ましい。
【００３５】
［形態１７］前記プログラムは、前記顔画像から複数の特徴点を抽出する処理をさらに実行し、前記距離情報生成処理は、ユーザの顔と前記表示部との間の距離が、予め定めた基準距離の状態でユーザの顔を撮影することで得られた基準顔画像の面積と前記顔画像の面積の比を、前記距離情報として算出し、前記角度情報生成処理は、前記複数の特徴点を頂点とする多角形の形状の一辺の長さと、前記基準顔画像から算出した前記多角形に相当する形状の一辺の長さと、から前記角度情報を算出することが好ましい。
【００３６】
［形態１８］前記プログラムは、前記角度情報及び前記距離情報と、前記表示態様と、の対応情報を生成する対応関係生成処理をさらに実行し、前記表示態様決定処理は、前記対応関係生成処理によって生成された前記対応情報に基づいて、前記表示態様を決定することが好ましい。
【００３７】
［形態１９］前記表示態様決定処理は、前記角度情報又は前記距離情報のいずれかが予め定めた閾値を超えて変化した後、所定の時間以上、前記角度情報及び前記距離情報の変化が所定の範囲内に留まる場合に、前記表示態様を変更することが好ましい。
【００３８】
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。
【００３９】
［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。
【００４０】
図２は、本実施形態に係る携帯電子機器１の全体構成の一例を示す平面図である。
【００４１】
携帯電子機器１は、撮像部１０と、表示部２０と、操作部３０と、を含んでいる。なお本実施形態に係る携帯電子機器１を、図２で示す形態に限定する趣旨ではない。携帯電子機器１には、例えば、スマートフォン、携帯電話、ゲーム機、タブレットＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ノートＰＣ、スレートＰＣ等が相当する。
【００４２】
撮像部１０は、表示部２０と同一面に配置され、表示部２０と相対するユーザの顔画像を撮影できる。撮像部１０は、携帯電子機器１のインカメラとしての機能を持つものでも良い。
【００４３】
ユーザは、表示部２０により携帯電子機器１が表示する情報（文字や写真等）を視認する。表示部２０には、液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等を使用することができる。
【００４４】
操作部３０は、携帯電子機器１に対するユーザの操作を受け付ける。図２では、操作部３０としてハードウエアキーを図示しているが、タッチパネル等の操作手段を採用することもできる。
【００４５】
図３は、携帯電子機器１の内部構成の一例を示す図である。携帯電子機器１は、撮像部１０と、表示部２０と、操作部３０と、制御部４０と、記憶部５０と、を含んで構成される。図３には、簡単のため、本実施形態に係る携帯電子機器１に関係するモジュールのみを記載する。なお、表示部２０と、操作部３０は、上述のとおりであるため、更なる説明を省略する。
【００４６】
撮像部１０は、上述のとおり、ユーザの顔を撮影する。撮影された顔画像は記憶部５０に記憶される。記憶された顔画像は、制御部４０からアクセス可能である。なお、撮像部１０はユーザの操作によって起動するようにしてもよい。あるいは、撮像部１０から得られる画像を逐次解析し、画像の中にユーザの顔を認識した場合に撮影を開始してもよい。さらには、撮像部１０と同一方向を向くように配置された赤外線センサ等が存在する場合には、このような赤外線センサの出力から所定の範囲内に、何かしらの対象物が検出されたと判断した際に、撮影を開始してもよい。
【００４７】
制御部４０は、図２に示す撮像部１０等の機能モジュールだけではなく、携帯電子機器１の全体を制御する。制御部４０は、特徴点抽出部４１と、距離情報生成部４２と、角度情報生成部４３と、対応関係生成部４４と、表示態様決定部４５と、画像信号生成部４６と、を含んで構成される。
【００４８】
特徴点抽出部４１は、顔画像から、予め定めた特徴を持つ複数の特徴点を抽出する。具体的には、特徴点抽出部４１は、顔画像から、眼、及び口の端点等を特徴点として抽出する。さらに、特徴点抽出部４１は、抽出した特徴点を頂点とする多角形を検出する。検出した多角形の詳細については、後述する。
【００４９】
距離情報生成部４２は、表示部２０とユーザの顔との間の距離を、距離情報として算出する。具体的には、距離情報生成部４２は、特徴点抽出部４１が検出した多角形の面積に基づいて、距離情報を算出する。
【００５０】
角度情報生成部４３は、ユーザの顔に対する表示部２０の角度を、角度情報として算出する。具体的には、角度情報生成部４３は、特徴点抽出部４１が検出した多角形の形状に基づいて、角度情報を算出する。距離情報及び角度情報の詳細については、後述する。
【００５１】
対応関係生成部４４は、距離情報及び角度情報と、ユーザに提供する情報の表示態様との対応関係を規定する対応情報（以下、表示態様決定テーブルと呼ぶ）を生成する。表示態様決定テーブルの詳細については、後述する。対応関係生成部４４は、生成した表示態様決定テーブルを記憶部５０に記憶する。
【００５２】
表示態様決定部４５は、対応関係生成部４４が生成した表示態様決定テーブルに基づいて、ユーザに提供する情報の表示態様を決定する。
【００５３】
画像信号生成部４６は、決定された表示態様に基づいて、表示部２０に表示する画像の画像信号を生成する。
【００５４】
ここで、上述の距離情報及び角度情報の詳細について説明する。
【００５５】
図４は、ユーザによる携帯電子機器１の使用態様の一例を示す図である。距離情報及び角度情報を説明するにあたり、撮像部１０の位置を三次元空間における原点（Ｘ，Ｙ，Ｚ）＝（０，０，０）とする。さらに、撮像部１０をユーザと正対させ、撮像部１０とユーザを結ぶ直線をＸ軸とし、Ｘ軸と直交する２軸をＹ軸及びＺ軸と規定する。
【００５６】
図５（ａ）は、図４に示すＸＹ平面の一例を示す図である。図５（ａ）に示す角度θは、Ｚ軸周りでの回転角である。図５（ｂ）は、図４に示すＸＺ軸平面の一例を示す図である。図５（ｂ）に示す角度φは、Ｙ軸周りの回転角である。Ｘ軸周りの回転は、携帯電子機器１の上下反転に相当する。ユーザが携帯電子機器１を使用する際に、表示部２０の上下を反転させることは想定し難い。従って、携帯電子機器１では、Ｘ軸周りの回転角については考慮しない（Ｘ軸周りの回転角は０度とする）。以上のことから、携帯電子機器１の姿勢は、（φ，θ）を用いた２つの変数で表すことができる。
【００５７】
次に、距離情報生成部４２及び角度情報生成部４３が距離情報及び角度情報を算出する際の基準となる画像について説明する。図６（ａ）は、ユーザと携帯電子機器１を含むＸＹ平面の一例を示す図である。図６（ａ）においては、ユーザと携帯電子機器１は正対している。ユーザと携帯電子機器１は、正対しているので、上述した角度θ（Ｚ軸周りでの回転角）と角度φ（Ｙ軸周りの回転角）は共に０度である。このような状態で、撮像部１０が取得したユーザの顔画像を、基準顔画像とする。距離情報生成部４２及び角度情報生成部４３は、この基準顔画像に基づいて、距離情報及び角度情報の算出を行う。なお、基準顔画像を取得した際のユーザと表示部２０との間の距離を基準距離とする。
【００５８】
次に、特徴点抽出部４１が検出する多角形について説明する。
【００５９】
図７は、基準顔画像を説明するための図である。図７（ａ）は、ユーザと携帯電子機器１が正対し、かつ、両者の間が基準距離である場合のＸＺ平面の一例を示す図である。図７（ｂ）は、図７（ａ）の状態で、撮像部１０が取得する顔画像を表す図である。図７（ｂ）に示す顔画像が、基準顔画像となる。
【００６０】
特徴点抽出部４１は、基準顔画像から、特徴点の抽出を行う。より具体的には、特徴点抽出部４１は、図７（ｂ）の点ｐ１、点ｐ２、点ｐ３、点ｐ４の４点を特徴点として検出する。点ｐ１は、右目の目尻である。点ｐ２は、左目の目尻である。点ｐ３、点ｐ４は口の左右の端点である。特徴点ｐ１〜点ｐ４を頂点とする多角形Ｒ１を基準多角形とする。
【００６１】
基準顔画像を取得する際には、表示部２０にメッセージ等を表示し、ユーザに携帯電子機器１と正対するように促すことが好ましい。あるいは、携帯電子機器１が、角速度センサ（図３において図示せず）等のセンサを備えている場合には、角速度センサ等の出力に基づいて、ユーザが携帯電子機器１を傾けて把持していないか確認してもよい。
【００６２】
次に、距離情報生成部４２及び角度情報生成部４３の動作について説明する。
【００６３】
携帯電子機器１を購入したユーザ（携帯電子機器１を初めて使用する場合）は、携帯電子機器１の通常使用に先立ち、基準顔画像を予め取得するものとする。また、撮像部１０は、携帯電子機器１の通常使用時には、予め定められた間隔（サンプリング）で、ユーザの顔画像を取得する。この通常使用時に取得する顔画像を対象顔画像とし、特徴点抽出部４１が対象顔画像の特徴点を抽出することで形成される多角形を対象多角形とする。距離情報生成部４２及び角度情報生成部４３は、基準多角形と対象多角形に基づいて、ユーザと携帯電子機器１との位置関係（距離情報及び角度情報）を求める。
【００６４】
初めに、距離情報生成部４２の動作について説明する。
【００６５】
距離情報生成部４２は、特徴点抽出部４１が検出した多角形の面積に基づいて、ユーザと携帯電子機器１との間の距離情報を算出する。より具体的には、距離情報生成部４２は、基準多角形と対象多角形の面積の比を、距離情報として算出する。例えば、対象多角形の面積が、基準多角形の面積より大きい場合には、基準顔画像の取得時と比較して、ユーザが表示部２０に近接していると考えられる。一方、対象多角形の面積が、基準多角形の面積より小さい場合には、基準顔画像の取得時と比較して、ユーザと表示部２０は離れていると考えられる。そこで、距離情報生成部４２は、対象多角形の面積の基準多角形の面積に対する比を算出し、算出した結果を距離情報として管理する。なお、距離情報生成部４２は、距離情報として、表示部２０とユーザの着用している眼鏡との距離を測定することとしてもよい。より具体的には、特徴点抽出部４１は、眼鏡のフレームの頂点を特徴点として抽出する。その後、距離情報生成部４２は、眼鏡のフレームを特徴点として生成された基準多角形、及び対象多角形の面積の比を、距離情報として算出してもよい。
【００６６】
図８は、ユーザの使用態様の一例を示す図である。図８（ａ）は、ユーザが携帯電子機器１を把持した場合のＸＺ平面の一例を示す図である。図８（ｂ）は、図８（ａ）の状態で、撮像部１０が取得する顔画像を表す図である。図８（ｂ）に示すように、特徴点抽出部４１は、点ｐ１１、点ｐ１２、点ｐ１３、点ｐ１４の４点を特徴点として検出する。図８（ｂ）の多角形Ｒ１１が対象多角形である。図７（ａ）と比較すると、ユーザは携帯電子機器１をより顔から離して把持しているため、図８（ｂ）の多角形Ｒ１１の面積は、図７（ｂ）に示す基準多角形Ｒ１の面積より小さい。距離情報生成部４２は、対象多角形の面積と基準多角形の面積の比を、距離情報として算出することで、ユーザの顔が基準距離に対して相対的に近い又は相対的に遠い、を管理する。
【００６７】
次に、角度情報生成部４３の動作について説明する。
【００６８】
角度情報生成部４３は、特徴点抽出部４１が検出した多角形の形状に基づいて、角度情報を算出する。具体的には、角度情報生成部４３は、基準多角形と対象多角形の形状を比較することで角度情報を算出する。その際、ユーザの顔との間の距離は、基準距離とは異なるのが通常であるため、角度情報生成部４３は対象多角形を正規化した後に角度情報を算出する。なお、対象多角形の正規化についての詳細は後述する。
【００６９】
図９は、ユーザの使用態様の一例を示す図である。図９（ａ）は、ユーザは携帯電子機器１を見下ろすように把持した場合のＸＺ平面の一例を示す図である。図９（ｂ）は、図９（ａ）の状態で、撮像部１０が取得する顔画像を表す図である。図９（ｂ）に示すように、特徴点抽出部４１は、点ｐ２１、点ｐ２２、点ｐ２３、点ｐ２４の４点を特徴点として抽出する。図９（ｂ）の多角形Ｒ２１が対象多角形である。
【００７０】
図９（ａ）に示すように、ユーザが携帯電子機器１を見下ろした場合、図９（ｂ）に示すように、対象多角形は基準多角形と比較して、垂直方向に圧縮された形状となる。従って、角度情報生成部４３は、対象多角形と基準多角形の垂直方向の長さの比に基づいて、角度φ（Ｙ軸周りの回転角）を推定できる。
【００７１】
図１０は、ユーザの使用態様の一例を示す図である。図１０（ａ）は、ユーザが携帯電子機器１を横から見るように把持した場合のＸＺ平面の一例を示す図である。図１０（ｂ）は、図１０（ａ）の状態で、撮像部１０が取得する顔画像を表す図である。図１０（ｂ）に示すように、特徴点抽出部４１は、点ｐ３１、点ｐ３２、点ｐ３３、点ｐ３４の４点を特徴点として抽出する。図１０（ｂ）の多角形Ｒ３１が対象多角形である。
【００７２】
図１０（ｂ）に示すように、ユーザが携帯電子機器１を横方向から見た場合、対象多角形は基準多角形と比較して、水平方向に圧縮された形状となる。従って、角度情報生成部４３は、対象多角形と基準多角形の水平方向の長さの比に基づいて、角度θ（Ｚ軸周りでの回転角）を推定できる。
【００７３】
図１１は、基準多角形及び対象多角形の一例を示す図である。図１１（ａ）は、基準多角形を示す図である。図１１（ｂ）は対象多角形を示す図である。図１１（ａ）に示すように、基準多角形の頂点を点ｐ４１〜点ｐ４４とする。図１１（ｂ）に示す対象多角形の頂点を点ｐ５１〜点ｐ５４とする。図１１（ａ）に示す点ｐ４１から点ｐ４２までの線分を線分ＬＷ１とし、その長さをＷ１とする。点ｐ４１から点ｐ４３の方向に下ろした垂線を、線分ＬＨ１とし、その長さをＨ１とする。図１１（ｂ）に示すように、点ｐ５１から点ｐ５２までの線分を線分ＬＷ１１、その長さをＷ１１、点ｐ５１から点ｐ５３に向けた下ろした垂線を線分ＬＨ１１、その長さをＨ１１とする。
【００７４】
ここで、図１１（ａ）と図１１（ｂ）に示す多角形の関係について説明する。上述したように、図１１（ａ）の多角形は基準多角形であるため、図１１の基準多角形を取得した際には、表示部２０とユーザの顔との間の距離は基準距離である。一方、図１１（ｂ）に示す対象多角形は、表示部２０とユーザの顔との間の距離を基準距離としつつ、ユーザから角度φだけ下方の位置で取得した対象顔画像から検出した多角形とする。そのため、図１１（ａ）及び図１１（ｂ）のどちらの場合も、表示部２０とユーザの顔との間の距離は、基準距離で一致する。従って、線分ＬＷ１の長さＷ１と、線分ＬＷ１１の長さＷ１１もほぼ一致する。すると、図１１（ｂ）に示す対象多角形が取得された際の回転角φ（Ｙ軸周りの回転角）は、下記の式（１）から算出することができる。
2013242771.tif 000003
【００７５】
同様に、Ｚ軸周りの回転角θは、下記の式（２）から算出することができる。
2013242771.tif 000004
なお、式（２）を用いた回転角θの算出は、図１１（ａ）に示す線分ＬＨ１の長さＨ１と、図１１（ｂ）に示す線分ＬＨ１１の長さＨ１１と、が一致する場合に行える。
【００７６】
次に、対象多角形の正規化について説明する。
【００７７】
式（１）及び（２）を用いた回転角θ及びφの算出は、対象顔画像を取得した際の表示部２０とユーザの顔との間の距離は、基準距離であることが前提である。しかし、上述したように、通常使用状態において、このようなことは希であり、対象多角形を取得した際の表示部２０とユーザの顔との間の距離は、基準距離とは異なるのが通常である。そこで、対象多角形を取得した際の表示部２０とユーザの顔との間の距離が、基準距離と異なる場合には、角度情報生成部４３は対象多角形を正規化する。角度情報生成部４３は、対象多角形を正規化した後、式（１）及び（２）を用いて角度情報を算出する。より具体的には、角度情報生成部４３は、図１１（ｂ）に示す線分ＬＷ１１の長さＷ１１が、線分ＬＷ１の長さＷ１に一致するように、図１１（ｂ）の対象多角形を拡大又は縮小することで、対象多角形を正規化する。その後、角度情報生成部４３は、式（１）及び（２）を使用し、角度情報を算出する。なお、角度情報生成部４３は、表示部２０とユーザの着用している眼鏡との関係に基づいて、角度情報を算出することとしてもよい。より具体的には、角度情報生成部４３は、眼鏡のフレームを特徴点として生成された基準多角形、及び対象多角形の形状の比較結果から、角度情報を算出してもよい。
【００７８】
次に、距離情報及び角度情報を用いて、画像を表示部２０表示する際の表示態様の変更について説明する。
【００７９】
上述したように、対応関係生成部４４は、距離情報及び角度情報と、表示態様の対応関係を規定する対応情報（表示態様決定テーブル）を生成する。対応関係生成部４４は、生成した表示態様決定テーブルを記憶部５０に記憶する。ここで、表示態様決定テーブルに含まれる表示態様には画像（文字を含む）を表示する際の大きさや、表示部２０の輝度等の情報が含まれる。なお、表示態様決定テーブルの生成は、ユーザが携帯電子機器１を初めて使用する際に行うことが好ましい。その場合には、表示態様決定テーブルを追加するための機能設定画面を設け、この機能設定画面を用いた設定を完了した後でなければ、携帯電子機器１の通常使用が行えない等の動作にする。
【００８０】
図１２は、表示態様決定テーブルの一例を示す図である。図１２では、距離情報及び角度情報と、表示部２０に画像を表示する際の画像の大きさの関係を例示している。なお、図１２に示す距離情報が１００％の場合に、ユーザと携帯電子機器１との間は基準距離に等しいものとする。
【００８１】
さらに、図１２（ａ）と図１２（ｂ）は、異なるユーザに対する表示態様の対応関係である。例えば、図１２（ａ）のユーザは、携帯電子機器１を身体に近づけている場合でも、遠ざけている場合でも、携帯電子機器１を見上げる（角度情報が−４５度）場合には、画像等を拡大しなければ、その視認が困難であるという特徴をもつ。このようなユーザが、携帯電子機器１を見上げて使用している場合には、表示部２０の表示を拡大する。
【００８２】
一方、図１２（ｂ）のユーザは、図１２（ａ）のユーザとは異なり、携帯電子機器１を見上げた場合に、視認が困難とはならない。そのため、距離情報に応じてのみ、表示の拡大率が変わる。なお、図１２においては、角度θについては、０度の場合のみを示しているが、角度θが変わった場合の情報も同様に、表示態様決定テーブルに含ませ、角度θに応じた最適な表示態様によりユーザに情報を提供する。
【００８３】
図１３及び図１４は、ユーザと携帯電子機器１との位置関係と表示画面の一例を示す図である。なお、図１３（ａ）及び図１４（ａ）は、表示部２０を視認するユーザを側面から観察した図である。
【００８４】
図１３（ａ）では、ユーザが表示部２０に正対している。従って、図１３（ａ）の場合、角度φは０度である。また、図１３（ａ）においては、距離情報はｍ１％である。表示態様決定部４５は、これらの情報に基づいて、表示態様を決定する。具体的には、表示態様決定部４５は、表示態様決定テーブルを検索することで、距離情報（ｍ１％）と角度情報（０度）に相当する表示態様を決定する。図１３（ｂ）は、図１３（ａ）の場合に、表示態様決定部４５が決定した表示態様で、画像を表示した一例である。なお、算出された距離情報及び角度情報が、表示態様決定テーブルに存在しない場合には、表示態様決定部４５は、表示態様決定テーブルに含まれる複数の距離情報及び角度情報を一次関数等でモデル化し、モデル化した関数により表示態様を決定してもよい。
【００８５】
図１４（ａ）では、ユーザは、携帯電子機器１を傾け、表示部２０を見下ろすように視認している。図１４（ａ）の場合、角度情報はｄ２である。また、距離情報はｍ２％である。表示態様決定部４５は、これらの情報に基づいて、表示態様を決定する。図１４（ｂ）は、図１４（ａ）の場合に、表示態様決定部４５が決定した表示態様で、画像を表示した一例である。
【００８６】
以上のように、表示態様決定部４５は、距離情報及び角度情報に基づいて、携帯電子機器１を使用するユーザにとって、最適な表示となるように、表示部２０に表示する情報の表示態様を変更する。
【００８７】
次に、携帯電子機器１の動作について説明する。
【００８８】
図１５は、携帯電子機器１の動作の一例を示すフローチャートである。
【００８９】
ステップＳ０１において、撮像部１０は、ユーザの顔画像を取得する。
【００９０】
ステップＳ０２において、距離情報生成部４２は、ユーザの顔画像に基づいて、距離情報を算出する。
【００９１】
ステップＳ０３において、角度情報生成部４３は、ユーザの顔画像に基づいて、角度情報を算出する。
【００９２】
ステップＳ０４において、表示態様決定部４５は、表示態様決定テーブルを参照して、表示部２０に表示する情報の表示態様を決定する。
【００９３】
ステップＳ０５において、画像信号生成部４６は、表示態様決定部４５が決定した表示態様に基づく画像信号を生成する。
【００９４】
ここで、表示態様決定テーブルに記載されていない距離情報や角度情報が算出される場合がある。このような場合には、表示態様決定テーブルに距離情報及び角度情報に基づき、モデル関数を算出し、モデル関数を用いて表示態様の決定が可能な点を既に説明した。ここでは、このような表示態様決定テーブルに記載されていない距離情報や角度情報が検出された場合の携帯電子機器１の他の動作について説明する。
【００９５】
携帯電子機器１は、表示態様決定テーブルに記載されていない距離情報及び角度情報を算出した場合には、その表示態様決定テーブルに記載されていない距離情報及び角度情報に対応した最適な表示態様を、ユーザが表示態様決定テーブルに追加できるインターフェイスを備えることができる。より具体的には、表示態様決定テーブルに記載されていない距離情報又は角度情報が算出された場合は、携帯電子機器１は機能設定画面等を表示する。表示された機能設定画面を用いて、ユーザが、そのような距離情報や角度情報を視認する際の最適な表示態様を決定する。即ち、携帯電子機器１は、そのような距離情報及び角度情報（ユーザが携帯電子機器１を把持する姿勢）において、最も見やすい画像の大きさや表示部２０の明るさを決定し、表示態様決定テーブルに追加する。
【００９６】
あるいは、表示態様決定テーブルに記載されていない距離情報又は角度情報が算出された場合に、表示態様決定テーブルを変更する方法には以下のような方法も考えられる。図１６は、表示部２０に画像を表示している携帯電子機器１の一例である。図１６（ａ）〜図１６（ｃ）では、画像の大きさ、輝度が異なる。例えば、制御部４０は、図１６（ａ）、図１６（ｂ）、図１６（ｃ）の順に、表示部２０に表示する画像の表示態様を切り替えて、画像を表示部２０に表示する。ユーザは、提示された表示態様の中から、視認性の最も高い表示態様を決定する。つまり、ユーザは、視認性の高い表示態様で画像が表示部２０に表示された際に、決定を指示するボタンを押下する等の操作を行う。そして、制御部４０は、その時点での距離情報、角度情報、決定された表示態様を、表示態様決定テーブルに追加する。
【００９７】
次に、図１７は、ユーザの操作に基づいて、表示態様決定テーブルを生成（更新）する動作の一例を示すフローチャートである。
【００９８】
ステップＳ１０１において、撮像部１０は、ユーザの顔画像を取得する。
【００９９】
ステップＳ１０２において、距離情報生成部４２は、距離情報を算出する。
【０１００】
ステップＳ１０３において、角度情報生成部４３は、角度情報を算出する。
【０１０１】
ステップＳ１０４において、制御部４０は、表示態様を切り替えて画像を表示する（図１６参照）。例えば、段階的に画像の大きさを変更して、表示部２０に画像を表示してもよい。あるいは、段階的に、画像の輝度を変更して、表示部２０に画像を表示してもよい。
【０１０２】
制御部４０は、表示態様を切り替える際に所定の時間間隔で表示態様を切り替えてもよい。あるいは、ユーザの操作に基づいて、制御部４０は表示態様を切り替えてもよい。具体的には、ユーザが表示態様の切り替えを指示するボタンを押下した場合に、制御部４０は表示態様を切り替えてもよい。若しくは、制御部４０は、ユーザが表示態様を切り替えるアイコンを表示部２０に表示し、ユーザが表示態様を切り替えるアイコンを選択した場合に、表示態様を切り替えてもよい。
【０１０３】
ステップＳ１０５において、操作部３０が表示態様の決定操作を検出したか否かを、制御部４０は判断する。
【０１０４】
表示態様の決定操作を検出した場合（ステップＳ１０５のＹｅｓ分岐）には、ステップＳ１０６に遷移する。表示態様の決定操作を検出しない場合（ステップＳ１０５のＮｏ分岐）には、ステップＳ１０７に遷移する。
【０１０５】
ステップＳ１０６において、対応関係生成部４４は、選択された表示態様を表示態様決定テーブルに追加し、表示態様決定テーブルを生成する処理を終了する。
【０１０６】
ステップＳ１０７において、操作部３０が表示態様決定テーブル生成の終了操作を検出したか否かを、制御部４０は判断する。ここで、終了操作は、ユーザがボタンを押下する操作であってもよい。あるいは、終了操作は、表示部２０に表示されるアイコンをユーザが選択する等の操作であっても良い。
【０１０７】
終了操作を検出した場合（ステップＳ１０７のＹｅｓ分岐）には、制御部４０は表示態様決定テーブルを生成する処理を終了する。終了操作を検出しない場合（ステップＳ１０７のＮｏ分岐）には、ステップＳ１０１に遷移し、処理を継続する。
【０１０８】
なお、距離情報生成部４２は、顔の色調に基づいて、顔画像の大きさを算出してもよい。具体的には、距離情報生成部４２は、肌色の部分を顔画像の領域であると算出する。そして、距離情報生成部４２は、肌色の部分の画素数に基づいて、顔画像の面積を算出してもよい。あるいは、距離情報の算出に顔画像を使用せず、赤外線センサ等の距離センサを用いて、ユーザの顔と携帯電子機器１との間の距離を測定してもよい。即ち、距離情報を、基準多角形の面積に対する対象多角形の面積の比として相対的な距離とするのではなく、ユーザと携帯電子機器１との間の距離を直接測定してもよい。
【０１０９】
また、対応関係生成部４４は、携帯電子機器１の所有者（携帯電子機器１の使用頻度が最も高いユーザ）に最適化された表示態様決定テーブルを生成するのが原則である。なぜなら、ユーザごとに視力等が異なるために、表示部２０を見る際の最適な距離情報、角度情報は異なるからである。しかし、複数のユーザが携帯電子機器を使用する場合には、対応関係生成部４４は、表示態様決定テーブルに、ユーザを識別する情報を含め、それぞれのユーザごとに表示態様決定テーブルを生成するのが好ましい。
【０１１０】
さらに、例えば、ユーザが携帯電子機器１を軽く上下に振った場合に、携帯電子機器１は、表示態様決定テーブルを更新する機能設定画面等を表示部２０に表示してもよい。具体的には、携帯電子機器１は、加速度センサ等（図示せず）を備えており、自機器の移動が検出可能であるとする。そして、加速度センサが所定の移動（ユーザの所定の操作）を検出した場合には、携帯電子機器１は、表示態様決定テーブルを更新する機能設定画面等を表示部２０に表示してもよい。その結果、ユーザが必要とする状況で、ユーザは、最適であると考える表示態様を選択することができる。
【０１１１】
［変形例１］
第１の実施形態に係る携帯電子機器１の変形例１として、周囲の照度に応じて、表示部２０の輝度を変更してもよい。その場合には、携帯電子機器１は、周囲の照度を検出する照度センサ（図示せず）を備えることが好ましい。そして、表示態様決定テーブルとして、携帯電子機器１は、周囲の照度と、輝度等の表示態様との関係を記憶する。その結果、例えば、携帯電子機器１は、周囲の照度が低い（周囲が暗い）場合には、表示部２０に表示する画像の輝度を高くする等の対応を行う。
【０１１２】
［変形例２］
第１の実施形態に係る携帯電子機器１の変形例２として、距離情報及び角度情報に基づいて、表示部２０の視野角を変更してもよい。例えば、ユーザが携帯電子機器１を自らの正面ではなく、左側に偏って把持している場合に、表示部２０の視野角が初期値のままでは、携帯電子機器１の表示が視認し辛いことも考えられる。そこで、このような角度情報（この場合は、Ｚ軸周りの角度である角度θ）を検出した場合には、表示部２０の視野角を調整し、最適な表示態様を提供してもよい。なお、表示部２０の視野角を変更する場合には、特開２０１１−１７５３０１号公報で開示された技術を用いることが考えられる。具体的には、制御部４０は、液晶パネルの液晶層に印加する電圧を変更して、液晶パネルの視野角を変更してもよい。
【０１１３】
以上のように、本実施形態に係る携帯電子機器１では、ユーザの顔に対する表示部２０の距離及び角度に基づいて、ユーザごとに最適な表示態様で、画像を表示する。例えば、遠近両用眼鏡を着用するユーザには、焦点位置が合わない距離情報及び角度情報が存在する場合がある。このような距離情報及び角度情報で携帯電子機器１の表示部を視認する際に、表示部に表示する画像の大きさが共通では、ユーザは提示された情報を理解することができない恐れがある。しかし、本実施形態に係る携帯電子機器１は、そのような焦点位置が合わない距離情報及び角度情報を検出した場合には、画像等が視認できるように表示態様を切り替える。即ち、ユーザが携帯電子機器を使用する状況に応じて、ユーザごとに最適な表示態様で情報を提供する。
【０１１４】
［第２の実施形態］
続いて、第２の実施形態について、詳細に説明する。
【０１１５】
本実施形態に係る携帯電子機器１ａは、顔画像を取得できない場合に、自機器の姿勢変化の推移に基づいて、角度情報を算出する。なお、本実施形態における説明では、第１の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、第１の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。
【０１１６】
第１の実施形態に係る携帯電子機器１は、距離情報又は角度情報のいずれかが変化した場合に、画像の表示態様を変更することを既に説明した。しかし、ユーザの顔に対する表示部２０の角度によっては、撮像部１０が、ユーザの顔画像を取得できない恐れがある。つまり、ユーザの顔が撮像部１０の画角内に収まらないと、特徴点抽出部４１ａは、ユーザの顔画像から特徴点を抽出できない。
【０１１７】
そこで、本実施形態に係る携帯電子機器１ａは、このような場合も考慮し、角度情報の算出を行う。
【０１１８】
より具体的には、本実施形態に係る携帯電子機器１ａは角速度センサを備えるものとする。制御部４０ａは、角速度センサの出力をサンプリングし、サンプリングした結果を積分することで、携帯電子機器１ａの姿勢を得る事ができる。従って、制御部４０ａによるサンプリング間隔を十分短くすることで、携帯電子機器１ａの角度の遷移を正確に把握することができる。即ち、ユーザの顔の位置が撮像部１０の画角内に収まらない場合には、角速度センサの出力から算出した携帯電子機器１ａの姿勢の変化を、角度情報生成部４３ａは、角度情報として算出する。
【０１１９】
また、制御部４０ａは、角速度センサの出力から算出した携帯電子機器１ａの姿勢に基づいて、ユーザの顔画像の取得を行うか否かを決定してもよい。具体的には、携帯電子機器１ａの姿勢（地面に対する角度）が所定の範囲内にある場合に限り、表示態様決定部４５ａは、距離情報及び角度情報に基づいて、表示態様を決定してもよい。つまり、携帯電子機器１ａが、通常あり得ない姿勢である場合には、表示態様を変更したとしても無意味であると考えられるためである。
【０１２０】
以上のように、本実施形態に係る携帯電子機器１ａでは、顔画像を取得できない場合には、自機器の姿勢変化の推移に基づいて、角度情報を算出する。さらに、本実施形態に係る携帯電子機器１ａは、角速度センサ等の出力に基づいて、顔画像を取得できるか否かを判断する。その結果、本実施形態に係る携帯電子機器１ａでは、不適切な表示態様で表示する可能性が低下する。
【０１２１】
［第３の実施形態］
続いて、第３の実施形態について、図面を参照して詳細に説明する。
【０１２２】
本実施形態に係る携帯電子機器１ｂは、表示態様の変更が、ユーザの負担とならないようにする。なお、本実施形態における説明では、第１の実施形態と重複する部分の説明は省略する。さらに、本実施形態における説明では、第１の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。
【０１２３】
ユーザが、携帯電子機器１ｂを通常使用する状況下では、距離情報及び角度情報が全く動かないという事は想定できない。例えば、歩きながら携帯電子機器１を操作すれば、振動によって、多少なりとも距離情報及び角度情報が変化する。このような距離情報及び角度情報の突発的な変更に追従して、逐次、表示態様が変更されると、ユーザの負担となる恐れがある。さらに、頻繁に表示態様を変更すると、ユーザが表示部２０に提示された情報を理解できない恐れもある。そこで、本実施形態に係る携帯電子機器１ｂは、携帯電子機器１ｂが大きく移動した後、携帯電子機器１ｂの移動が所定の範囲内に収まったと判断された場合に、表示態様を変更する。
【０１２４】
図１８は、本実施形態に係る携帯電子機器１ｂの内部構成の一例を示す図である。図３と図１８の相違点は、計時部６０を備える点である。
【０１２５】
制御部４０は、距離情報又は角度情報のいずれかが予め定めた閾値を超えて変化した場合に、携帯電子機器１ｂが大きく移動したと判断する。その後、制御部４０は、距離情報又は角度情報の変化が所定の範囲内に収束したと判断した場合に、計時部６０に対して時間測定の開始を指示する。そして、時間計測の開始から所定の時間経過してもなお、距離情報及び角度情報が一定値であると判断される場合に、表示態様決定部４５ｂは、表示態様を変更する。距離情報及び角度情報が一定値であると判断するには、距離情報及び角度情報のそれぞれに対して、変動が許容できる所定の範囲を定めておき、この所定の範囲内で距離情報及び角度情報が変動したとしても、そのような変動は検出しないとすることができる。
【０１２６】
より具体的には、距離情報又は角度情報が所定の範囲を超えて変化するまで、計時部６０は時間計測を継続する。そして、計時部６０が、所定の時間を計測しても、距離情報又は角度情報が所定の範囲内に留まっていると判断された場合に、表示態様決定部４５ｂは、記憶部５０に記憶された表示態様決定テーブルを参照して、画像を表示部２０に表示する際の表示態様を決定する。
【０１２７】
あるいは、携帯電子機器１ｂが、角速度センサ等を備えており、携帯電子機器１ｂの姿勢の検出ができるのであれば、携帯電子機器１ｂの姿勢が所定の時間以上、同じであれば、表示態様の変更を行ってもよい。
【０１２８】
以上のように、本実施形態に係る携帯電子機器１ｂでは、ユーザの顔の位置及び角度が安定した場合に、画像の表示態様を変更する。従って、本実施形態に係る携帯電子機器１ｂでは、適切なタイミングで、画像の表示態様を変更できる。そのため、より一層、利便性の高い携帯電子機器が提供できる。
【０１２９】
なお、ユーザの顔の位置及び角度に対応する表示態様を示す情報を、携帯電子機器を縦長に把持しているか、横長に把持しているかという情報と併せて保持しても良い。より具体的には、角速度センサ等の出力に基づいて、Ｘ軸（撮像部１０とユーザを結ぶ直線）周りの回転角を算出する。そして、Ｘ軸周りの回転角に基づいて、携帯電子機器は、携帯電子機器の姿勢（縦長に把持されているか、横長に把持されているか）を判断してもよい。これにより携帯電子機器が縦長の状態か、横長の状態かを判断して、算出した距離情報と角度情報とに応じた表示態様に変更することができる。
【０１３０】
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【符号の説明】
【０１３１】
１、１ａ、１ｂ、１００  携帯電子機器
１０、１０２  撮像部
２０、１０１  表示部
３０  操作部
４０、４０ａ  制御部
４１、４１ａ  特徴点抽出部
４２、４２ｂ  距離情報生成部
４３、４３ａ、４３ｂ、１０３  角度情報生成部
４４  対応関係生成部
４５、４５ａ、４５ｂ、１０４  表示態様決定部
４６  画像信号生成部
５０、５０  記憶部
６０  計時部
【図１】
2013242771.tif 000005
【図２】
2013242771.tif 000006
【図３】
2013242771.tif 000007
【図４】
2013242771.tif 000008
【図５】
2013242771.tif 000009
【図６】
2013242771.tif 000010
【図７】
2013242771.tif 000011
【図８】
2013242771.tif 000012
【図９】
2013242771.tif 000013
【図１０】
2013242771.tif 000014
【図１１】
2013242771.tif 000015
【図１２】
2013242771.tif 000016
【図１３】
2013242771.tif 000017
【図１４】
2013242771.tif 000018
【図１５】
2013242771.tif 000019
【図１６】
2013242771.tif 000020
【図１７】
2013242771.tif 000021
【図１８】
2013242771.tif 000022