(57)【要約】【課題】ユーザがさまざまな姿勢で端末装置に表示された画像をみる場合に、ユーザの姿勢に適した向きで画像表示を行うことを可能とする端末装置を提供すること。【解決手段】画像を表示する携帯型の端末装置１０の向き判定部１６ａが、端末装置１０を操作するユーザの顔の向きを判定し、端末装置１０の表示制御部１６ｂが、向き判定部１６ａによりなされたユーザの顔の向きの判定結果に基づいて、端末装置１０に表示される画像の表示の向きを制御する。【選択図】図１
2014056402.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する携帯型の端末装置であって、
ユーザの顔の向きを判定する向き判定部と、
該向き判定部による判定結果に基づいて、前記画像の表示の向きを制御する表示制御部と、
を備えることを特徴とする端末装置。
【請求項２】
所定の座標系における重力の検出方向の変化を検出する変化検出部と、該変化検出部により前記重力の検出方向の変化が検出された場合に、前記ユーザの顔の映像を撮影する撮像部とをさらに備え、前記向き判定部は、該撮像部により撮影されたユーザの顔の映像に基づいて前記ユーザの顔の向きを判定することを特徴とする請求項１に記載の端末装置。
【請求項３】
前記向き判定部は、前記ユーザの両目の位置に基づいて前記顔の向きを判定することを特徴とする請求項１または２に記載の端末装置。
【請求項４】
前記向き判定部は、前記ユーザの白目および黒目の位置に基づいて前記顔の向きを判定することを特徴とする請求項１または２に記載の端末装置。
【請求項５】
前記向き判定部は、前記ユーザがかけているメガネの形状に基づいて前記顔の向きを判定することを特徴とする請求項１または２に記載の端末装置。
【請求項６】
前記向き判定部は、前記ユーザの顔認識を行い、該顔認識の結果に基づいて前記顔の向きを判定することを特徴とする請求項１または２に記載の端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置に関し、詳しくは、画像を表示する携帯型の端末装置に関する。
【背景技術】
【０００２】
近年、スマートフォンやタブレットＰＣなどの携帯型の端末装置が広く普及している。このような端末装置には、画像表示の下方向を重力の方向に常に一致させる画像表示の回転機能が備わっている。すなわち、端末装置を縦に持っても横に持っても、画像表示の方向が変化しないようにすることができる（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２２９４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、ユーザの姿勢に適した画像表示を行うことが難しいという問題があった。図１６、図１７は、このような従来の問題について説明する図である。
【０００５】
図１６に示すように、体を起こしている姿勢（姿勢Ａ）から、横になった姿勢（姿勢Ｂ）にユーザが姿勢を変えると、上述した画像表示の回転機能により、画像表示の下方向が重力の方向と一致するように画像表示の向きが変更される。
【０００６】
しかし、画像表示の向きが変更されると、横になったユーザにとって画像表示が横になり、画像がかえって見にくくなるという問題がある。横になったユーザにとって、画像表示の方向は維持されることが望ましい。
【０００７】
また、図１７に示すように、姿勢Ｂ以外でも、ユーザはさまざまな姿勢で端末装置の画像をみる可能性があるので、それぞれの姿勢に適した画像表示を行うことができれば、ユーザにとって端末装置がより使いやすいものとなる。しかし、上述した従来技術は、このような目的を達するものではない。
【０００８】
本発明は、上記実情に鑑み、ユーザがさまざまな姿勢で端末装置に表示された画像をみる場合に、その姿勢に適した向きで画像表示を行うことを可能とする端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決する為に、本発明の第１の技術手段は、画像を表示する携帯型の端末装置であって、ユーザの顔の向きを判定する向き判定部と、該向き判定部による判定結果に基づいて、前記画像の表示の向きを制御する表示制御部と、を備えることを特徴とする。
【００１０】
本発明の第２の技術手段は、第１の技術手段において、所定の座標系における重力の検出方向の変化を検出する変化検出部と、該変化検出部により前記重力の検出方向の変化が検出された場合に、前記ユーザの顔の映像を撮影する撮像部とをさらに備え、前記向き判定部は、該撮像部により撮影されたユーザの顔の映像に基づいて前記ユーザの顔の向きを判定することを特徴とする。
【００１１】
本発明の第３の技術手段は、第１または第２の技術手段において、前記向き判定部は、前記ユーザの両目の位置に基づいて前記顔の向きを判定することを特徴とする。
【００１２】
本発明の第４の技術手段は、第１または第２の技術手段において、前記向き判定部は、前記ユーザの白目および黒目の位置に基づいて前記顔の向きを判定することを特徴とする。
【００１３】
本発明の第５の技術手段は、第１または第２の技術手段において、前記向き判定部は、前記ユーザがかけているメガネの形状に基づいて前記顔の向きを判定することを特徴とする。
【００１４】
本発明の第６の技術手段は、第１または第２の技術手段において、前記向き判定部は、前記ユーザの顔認識を行い、該顔認識の結果に基づいて前記顔の向きを判定することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ユーザの顔の向きを判定し、その判定結果に基づいて、画像の表示の向きを制御することとしたので、ユーザがさまざまな姿勢で端末装置に表示された画像をみる場合に、その姿勢に適した向きで画像表示を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態１に係る端末装置の構成の一例を示す図である。
【図２】顔の向きの判定について説明する図である。
【図３】両目の位置関係から顔の向きを判定する処理について説明する図である。
【図４】白目・黒目の位置から顔の向きを判定する処理について説明する図である。
【図５】メガネの形状から顔の向きを判定する処理について説明する図である。
【図６】画像の表示の向きの制御について説明する図である。
【図７】本発明の実施形態１に係る画像表示制御処理の処理手順の一例を示すフローチャートである。
【図８】図７のステップＳ１０４に示した顔向き判定処理の処理手順の一例を示すフローチャートである。
【図９】図７のステップＳ１０４に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。
【図１０】図７のステップＳ１０４に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。
【図１１】図７のステップＳ１０４に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。
【図１２】本発明の実施形態２に係る端末装置の構成の一例を示す図である。
【図１３】画像の表示の向きの制御について説明する図である。
【図１４】本発明の実施形態２に係る画像表示制御処理の処理手順の一例を示すフローチャートである。
【図１５】本発明の実施形態２に係る画像表示制御処理の処理手順の一例を示すフローチャートである。
【図１６】従来の問題について説明する図である。
【図１７】従来の問題について説明する図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１８】
（実施形態１）
図１は、本発明の実施形態１に係る端末装置１０の構成の一例を示す図である。端末装置１０は、例えば、スマートフォンやタブレットＰＣなどの携帯型の端末装置である。端末装置１０は、撮像部１１、タッチパネル部１２、通信処理部１３、記憶部１４、制御部１５を備える。
【００１９】
撮像部１１は、カメラを備え、カメラで映像を撮影する処理部である。タッチパネル部１２は、ユーザから情報の入力を受け付ける入力部と、種々の情報を表示する表示部とからなるタッチパネルである。通信処理部１３は、無線ネットワーク、または、有線ネットワークを介して、他の装置と無線通信、または、有線通信をそれぞれ行う処理部である。
【００２０】
記憶部１４は、メモリやハードディスク装置などの記憶デバイスである。記憶部１４は、画像データ１４ａ、顔向きデータ１４ｂなどを記憶する。画像データ１４ａは、タッチパネル部１２により表示される画像のデータである。顔向きデータ１４ｂは、後に説明する向き判定部１５ａにより判定されたユーザの顔の向きのデータである。
【００２１】
制御部１５は、端末装置１０の各部を制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの制御デバイスである。制御部１５は、向き判定部１５ａ、および、表示制御部１５ｂを備える。
【００２２】
向き判定部１５ａは、ユーザの顔の向きを判定する処理部である。具体的には、向き判定部１５ａは、撮像部１１により撮影された映像を用いて顔全体を認識する認識処理を行い、その結果に基づいてユーザの顔の向きを判定する。このように、顔全体を認識することにより、ユーザの顔の向きを精度よく判定することができる。
【００２３】
図２は、顔の向きの判定について説明する図である。向き判定部１５ａは、顔認識処理の結果、ユーザの顔全体が認識できた場合、ユーザの顔が、図２（Ａ）に示すように、縦向きなのか、図２（Ｂ）に示すように、横向きなのかを判定する。その際、向き判定部１５ａは、端末装置１０を基準として、縦向きか横向きかを判定する。
【００２４】
ここで、撮像部１１は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部１５ａは、撮影された各顔画像について順次顔認識処理を行い、顔が縦向きや横向きに変化しているか否かを判定する。向き判定部１５ａは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。
【００２５】
図２（Ａ）には、ユーザの顔の向きが上下逆さまではない例が示されており、図２（Ｂ）には、ユーザの顔が、ユーザの左側に傾いている例が示されている。
【００２６】
また、向き判定部１５ａは、撮影された映像に対する顔認識処理により両目を検出し、両目の位置関係から顔の向きを判定することとしてもよい。これにより、効率的に顔の向きを判定することができる。図３は、両目の位置関係から顔の向きを判定する処理について説明する図である。
【００２７】
図３（Ａ）に示されるように、両目が横に並んでいる場合は、向き判定部１５ａは、ユーザの顔が縦向きであると判定する。また、図３（Ｂ）に示されるように、両目が縦に並んでいる場合は、向き判定部１５ａは、ユーザの顔が横向きであると判定する。この判定の際、向き判定部１５ａは、端末装置１０を基準として、縦向きか横向きかを判定する。
【００２８】
この場合も、撮像部１１は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部１５ａは、撮影された各顔画像について順次顔認識処理を行い、両目の位置関係が変化しているか否かを判定する。向き判定部１５ａは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。
【００２９】
図３（Ａ）には、ユーザの顔の向きが上下逆さまではない例が示されており、図３（Ｂ）には、ユーザの顔が、ユーザの左側に傾いている例が示されている。
【００３０】
さらに、向き検出部１６ａは、ユーザの白目・黒目の位置からユーザの顔の向きを判定することとしてもよい。これにより、ユーザの顔の映像において片目しか認識されない場合でも、顔の向きを判定することが可能となる。図４は、白目・黒目の位置から顔の向きを判定する処理について説明する図である。
【００３１】
図４（Ａ）に示されるように、白目と黒目が横に並んでいる場合は、向き判定部１５ａは、ユーザの顔が縦向きであると判定する。また、図４（Ｂ）に示されるように、白目と黒目が縦に並んでいる場合は、向き判定部１５ａは、ユーザの顔が横向きであると判定する。この判定の際、向き判定部１５ａは、端末装置１０を基準として、縦向きか横向きかを判定する。
【００３２】
この場合も、撮像部１１は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部１５ａは、撮影された各顔画像について順次顔認識処理を行い、白目・黒目の位置が変化しているか否かを判定する。向き判定部１５ａは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。
【００３３】
図４（Ａ）には、ユーザの顔の向きが上下逆さまではない例が示されており、図４（Ｂ）には、ユーザの顔が、ユーザの左側に傾いている例が示されている。
【００３４】
また、ユーザがサングラスなどのメガネを着用している場合は、撮影した映像の画像認識処理によりメガネを検出し、メガネの形状から顔の向きを判定することとしてもよい。これにより、たとえユーザがサングラスなどのメガネを着用している場合でも、ユーザの顔の向きを判定することができる。図５は、メガネの形状から顔の向きを判定する処理について説明する図である。
【００３５】
図５（Ａ）に示されるように、２つのレンズが横に並んでいる場合は、向き判定部１５ａは、ユーザの顔が縦向きであると判定する。また、図５（Ｂ）に示されるように、２つのレンズが縦に並んでいる場合は、向き判定部１５ａは、ユーザの顔が横向きであると判定する。この判定の際、向き判定部１５ａは、端末装置１０を基準として、縦向きか横向きかを判定する。
【００３６】
この場合も、撮像部１１は、短い所定の間隔でユーザの顔画像を撮影する。そして、向き判定部１５ａは、撮影された各顔画像について順次顔認識処理を行い、レンズの位置関係が変化しているか否かを判定する。向き判定部１５ａは、この変化を追跡することにより、ユーザの顔が逆さまか否か、ユーザの顔が右側に傾いているのか、左側に傾いているのかを判定することができる。
【００３７】
図５（Ａ）には、ユーザの顔の向きが上下逆さまではない例が示されており、図５（Ｂ）には、ユーザの顔が、ユーザの左側に傾いている例が示されている。
【００３８】
図１の説明に戻ると、表示制御部１５ｂは、向き判定部１５ａによる判定結果に基づいて、画像の表示の向きを制御する処理部である。図６は、画像の表示の向きの制御について説明する図である。
【００３９】
表示制御部１５ｂは、向き判定部１５ａによりユーザの顔が横向きであると判定された場合に、タッチパネル部１２に、画像２０を横向きに表示させる。その際、表示制御部１５ｂは、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかに応じて、ユーザに対して画像２０が逆さまに表示されないようにする。
【００４０】
また、表示制御部１５ｂは、向き判定部１５ａによりユーザの顔が縦向きであると判定された場合に、タッチパネル部１２に、画像２０を縦向きに表示させる。その際、表示制御部１５ｂは、ユーザの顔の向きが、上下逆さまか否かに応じて、ユーザに対して画像２０が逆さまに表示されないようにする。
【００４１】
つぎに、本発明の実施形態１に係る画像表示制御処理の処理手順について説明する。図７は、本発明の実施形態１に係る画像表示制御処理の処理手順の一例を示すフローチャートである。
【００４２】
まず、図１に示した端末装置１０の撮像部１１は、カメラを起動し（ステップＳ１０１）、ユーザの映像を撮影する（ステップＳ１０２）。そして、向き判定部１５ａは、ユーザの映像から、図２〜図５で説明したようにして、ユーザの顔の向きの判定処理を行う（ステップＳ１０３）。この処理の処理手順については、後に詳しく説明する。
【００４３】
続いて、向き判定部１５ａは、ステップＳ１０３における顔の向きの判定処理が初回の判定処理か否かを判定する（ステップＳ１０４）。顔の向きの判定処理が初回の判定処理である場合（ステップＳ１０４においてＹＥＳの場合）、記憶部１４は、判定の結果得られた顔の向きの情報を、顔向きデータ１４ｂとして記憶する（ステップＳ１０５）。その後、ステップＳ１０２以降の処理が再度実行される。
【００４４】
ステップＳ１０４において、顔の向きの判定処理が初回の判定処理でないと判定された場合（ステップＳ１０４においてＮＯの場合）、向き判定部１５ａは、顔向きデータ１４ｂとして記憶部１４に記憶された顔の向きの情報と、ステップＳ１０３における判定の結果得られた顔の向きの情報とを比較し、顔の向きが変化したか否かを判定する（ステップＳ１０６）。
【００４５】
顔の向きが変化した場合（ステップＳ１０６においてＹＥＳの場合）、表示制御部１５ｂは、顔の向きに応じて、図６を用いて説明したように、画像の表示の向きを変更する（ステップＳ１０７）。そして、記憶部１４は、ステップＳ１０３で判定された顔の向きの情報を、顔向きデータ１４ｂとして記憶する（ステップＳ１０８）。この情報は、つぎにステップＳ１０６の判定処理がなされる場合に参照される。
【００４６】
ステップＳ１０８の処理の後、または、ステップＳ１０６において、顔の向きが変化していない場合（ステップＳ１０６においてＮＯの場合）、向き判定部１５ａは、この画像表示制御処理の終了指示をユーザから受け付けたか否かを判定する（ステップＳ１０９）。この終了指示は、例えば、画像の向きの変更を行わないようにする指示などである。
【００４７】
ステップＳ１０９において、画像表示制御処理の終了指示をユーザから受け付けた場合（ステップＳ１０９においてＹＥＳの場合）、撮像部１１は、カメラを停止する（ステップＳ１１０）。そして、この画像表示制御処理は終了する。画像表示制御処理の終了指示をユーザから受け付けていない場合（ステップＳ１０９においてＮＯの場合）、ステップＳ１０２以降の処理が再度実行される。
【００４８】
つぎに、図７のステップＳ１０３に示した顔向き判定処理について説明する。図８は、図７のステップＳ１０３に示した顔向き判定処理の処理手順の一例を示すフローチャートである。具体的には、図８は、図２で説明した顔認識処理により顔の向きを判定する場合のフローチャートである。
【００４９】
まず、端末装置１０の向き判定部１５ａは、顔認識処理を実行する（ステップＳ２０１）。そして、向き判定部１５ａは、顔の認識が成功したか否かを判定する（ステップＳ２０２）。顔の認識が成功した場合（ステップＳ２０２においてＹＥＳの場合）、向き判定部１５ａは、顔の認識結果に基づいて、図２で説明したようにして、端末装置１０を基準とした顔の向きを判定する（ステップＳ２０３）。
【００５０】
具体的には、向き判定部１５ａは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部１５ａは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部１５ａは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。
【００５１】
ステップＳ２０２において、顔の認識が成功しなかった場合（ステップＳ２０２においてＮＯの場合）、図７に示したステップＳ１０９以降の処理が実行される。
【００５２】
つぎに、図３で説明したように、ユーザの顔の両目を検出することにより顔の向きを判定する場合について説明する。図９は、図７のステップＳ１０３に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。
【００５３】
まず、端末装置１０の向き判定部１５ａは、両目の認識処理を実行する（ステップＳ３０１）。そして、向き判定部１５ａは、両目の認識が成功したか否かを判定する（ステップＳ３０２）。両目の認識が成功した場合（ステップＳ３０２においてＹＥＳの場合）、向き判定部１５ａは、両目の認識結果に基づいて、図３で説明したようにして、端末装置１０を基準とした顔の向きを判定する（ステップＳ３０３）。
【００５４】
具体的には、向き判定部１５ａは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部１５ａは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部１５ａは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。
【００５５】
ステップＳ３０２において、両目の認識が成功しなかった場合（ステップＳ３０２においてＮＯの場合）、図７に示したステップＳ１０９以降の処理が実行される。
【００５６】
つぎに、図４で説明したように、ユーザの白目および黒目を検出することにより顔の向きを判定する場合について説明する。図１０は、図７のステップＳ１０３に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。
【００５７】
まず、端末装置１０の向き判定部１５ａは、白目および黒目の認識処理を実行する（ステップＳ４０１）。そして、向き判定部１５ａは、白目および黒目の認識が成功したか否かを判定する（ステップＳ４０２）。白目および黒目の認識が成功した場合（ステップＳ４０２においてＹＥＳの場合）、向き判定部１５ａは、白目および黒目の認識結果に基づいて、図４で説明したようにして、端末装置１０を基準とした顔の向きを判定する（ステップＳ３０３）。
【００５８】
具体的には、向き判定部１５ａは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部１５ａは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部１５ａは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。
【００５９】
ステップＳ４０２において、白目および黒目の認識が成功しなかった場合（ステップＳ４０２においてＮＯの場合）、図７に示したステップＳ１０９以降の処理が実行される。
【００６０】
つぎに、図５で説明したように、ユーザが着用するメガネの形状を検出することにより顔の向きを判定する場合について説明する。図１１は、図７のステップＳ１０３に示した顔向き判定処理の処理手順の別の一例を示すフローチャートである。
【００６１】
まず、端末装置１０の向き判定部１５ａは、メガネの２つのレンズの認識処理を実行する（ステップＳ５０１）。そして、向き判定部１５ａは、２つのレンズの認識が成功したか否かを判定する（ステップＳ５０２）。２つのレンズの認識が成功した場合（ステップＳ５０２においてＹＥＳの場合）、向き判定部１５ａは、２つのレンズの認識結果に基づいて、図５で説明したようにして、端末装置１０を基準とした顔の向きを判定する（ステップＳ５０３）。
【００６２】
具体的には、向き判定部１５ａは、顔の向きが縦向きか、横向きかを判定する。さらに、向き判定部１５ａは、ユーザの顔の向きが縦向きの場合、それが上下逆さまか否かを判定する。また、向き判定部１５ａは、ユーザの顔の向きが横向きの場合、ユーザの顔が、ユーザの右側に傾いているのか、左側に傾いているのかを判定する。
【００６３】
ステップＳ５０２において、２つのレンズの認識が成功しなかった場合（ステップＳ５０２においてＮＯの場合）、図７に示したステップＳ１０９以降の処理が実行される。
【００６４】
（実施形態２）
上記実施形態１では、顔の向きの判定結果に基づいて、画像の表示の向きを制御することとしたが、さらに重力の方向に基づいて、画像の表示の向きを制御することとしてもよい。本実施形態２では、このような場合について説明する。
【００６５】
図１２は、本発明の実施形態２に係る端末装置３０の構成の一例を示す図である。端末装置３０は、例えば、スマートフォンやタブレットＰＣなどの携帯型の端末装置である。端末装置３０は、重力方向検出部３１、撮像部３２、タッチパネル部３３、通信処理部３４、記憶部３５、制御部３６を備える。
【００６６】
重力方向検出部３１は、端末装置３０において設定された所定の座標系における重力の方向を検出するセンサである。撮像部３２は、カメラを備え、カメラで映像を撮影する処理部である。この撮像部３２は、後述する変化検出部３６ａにより、上記所定の座標系における重力の検出方向の変化が検出された場合に、ユーザの映像を撮影する。撮影された映像は、ユーザの顔の向きを判定するために用いられる。
【００６７】
重力の検出方向の変化が検出された場合、ユーザの顔の向きが変化した可能性が高いと考えられる。そのため、重力の検出方向の変化が検出された場合にカメラでユーザの映像を撮影し、ユーザの顔の向きを判定することにより、ユーザの顔の向きの判定を効率的に行うことができる。
【００６８】
図１２の説明に戻ると、タッチパネル部３３、通信処理部３４は、図１で説明したタッチパネル部１２、通信処理部１３と同様のものである。
【００６９】
記憶部３５は、メモリやハードディスク装置などの記憶デバイスである。記憶部３５は、画像データ３５ａ、顔向きデータ３５ｂ、重力方向データ３５ｃなどを記憶する。画像データ３５ａ、顔向きデータ３５ｂは、図１で説明した画像データ１４ａ、顔向きデータ１４ｂと同様のものである。重力方向データ３５ｃは、重力方向検出部３１により検出された重力の方向のデータである。
【００７０】
制御部３６は、端末装置３０の各部を制御するＣＰＵなどの制御デバイスである。制御部３６は、変化検出部３６ａ、向き判定部３６ｂ、および、表示制御部３６ｃを備える。
【００７１】
変化検出部３６ａは、重力の検出方向の変化を検出する処理部である。向き判定部３６ｂは、図１で説明した向き判定部１５ａと同様のものである。表示制御部３６ｃは、変化検出部３６ａによる検出結果や、向き判定部３６ｂによる判定結果に基づいて、画像の表示の向きを制御する処理部である。図１３は、画像の表示の向きの制御について説明する図である。
【００７２】
図１３（Ａ）には、顔の向きは変化しないが、重力の向きが変化する場合が示されている。重力の向きがｘ方向からｙ方向に変化する場合、すなわち、縦向きに保持されていた端末装置１０が横向きに保持される場合、表示制御部３６ｃは、画面２０を９０度左に回転させる。その際、表示制御部３６ｃは、ユーザの顔の向きが、上下逆さまか否かに応じて、ユーザに対して画像２０が逆さまに表示されないようにする。
【００７３】
また、重力の向きがｙ方向からｘ方向に変化する場合、すなわち、横向きに保持されていた端末装置１０が縦向きに保持される場合、表示制御部３６ｃは、画面２０を右に９０度回転させる。この場合も、表示制御部３６ｃは、ユーザの顔の向きが、上下逆さまか否かに応じて、ユーザに対して画像２０が逆さまに表示されないようにする。
【００７４】
一方、図１３（Ｂ）には、顔の向きと、重力の向きがともに変化する場合が示されている。顔の向きが縦向きから横向きに変化するとともに、重力の向きがｘ方向からｙ方向に変化する場合、すなわち、縦向きに保持されていた端末装置１０が横向きに保持される場合、表示制御部３６ｃは、画面２０の表示の方向を維持する。
【００７５】
また、顔の向きが横向きから縦向きに変化するとともに、重力の向きがｙ方向からｘ方向に変化する場合、すなわち、横向きに保持されていた端末装置１０が縦向きに保持される場合も、表示制御部３６ｃは、画面２０の表示の方向を維持する。
【００７６】
つぎに、本発明の実施形態２に係る画像表示制御処理の処理手順について説明する。図１４、図１５は、本発明の実施形態２に係る画像表示制御処理の処理手順の一例を示すフローチャートである。
【００７７】
まず、図１２に示した端末装置３０の撮像部３２は、カメラを起動し（ステップＳ６０１）、ユーザの映像を撮影する（ステップＳ６０２）。そして、向き判定部１５ａは、ユーザの映像から、図２〜図５で説明したようにして、ユーザの顔の向きの判定処理を行う（ステップＳ６０３）。この処理の処理手順は、図８〜図１１を用いて説明したものと同様である。
【００７８】
そして、記憶部３５は、ステップＳ６０３で判定された顔の向きの情報を、顔向きデータ３５ｂとして記憶する（ステップＳ６０４）。この情報は、ステップＳ６１２の判定処理がなされる場合に参照される。
【００７９】
その後、重力方向検出部３１は、重力の方向を検出する（ステップＳ６０５）。そして、変化検出部３６ａは、ステップＳ６０５における重力の検出処理が初回の検出処理か否かを判定する（ステップＳ６０６）。
【００８０】
重力の方向の検出処理が初回の検出処理である場合（ステップＳ６０６においてＹＥＳの場合）、記憶部３５は、検出の結果得られた重力の方向の情報を、重力方向データ３５ｂｃとして記憶する（ステップＳ６０７）。その後、ステップＳ６０５以降の処理が再度実行される。
【００８１】
重力の方向の検出処理が初回の検出処理でない場合（ステップＳ６０６においてＮＯの場合）、変化検出部３６ａは、重力方向データ３５ｃとして記憶部３５に記憶された重力の方向の情報と、ステップＳ６０５における検出の結果得られた重力の方向の情報とを比較し、重力の検出方向が変化したか否かを判定する（ステップＳ６０８）。
【００８２】
ステップＳ６０８において、重力の検出方向が変化していない場合（ステップＳ６０８においてＮＯの場合）、ステップＳ６０５以降の処理が再度実行される。ステップＳ６０８において、重力の検出方向が変化した場合（ステップＳ６０８においてＹＥＳの場合）、記憶部３５は、ステップＳ６０５で検出された重力の方向を重力方向データ３５ｃとして記憶する（ステップＳ６０９）。
【００８３】
その後、図１５に示されるように、撮像部３２は、ユーザの映像を撮影する（ステップＳ６１０）。続いて、向き判定部３６ｂは、ユーザの映像から、図２〜図５で説明したようにして、ユーザの顔の向きを判定する処理を行う（ステップＳ６１１）。この判定処理の処理手順は、図８〜図１１を用いて説明したものと同様である。
【００８４】
そして、向き判定部３６ｂは、顔向きデータ３５ｂとして記憶部３５に記憶された顔の向きの情報と、ステップＳ６１１における判定の結果得られた顔の向きの情報とを比較し、端末装置３０を基準として、顔の向きが変化したか否かを判定する（ステップＳ６１２）。
【００８５】
顔の向きが変化した場合（ステップＳ６１２においてＹＥＳの場合）、表示制御部３６ｃは、図１３（Ａ）を用いて説明したように、重力の方向に応じて、画像の表示の向きを変更する（ステップＳ６１３）。そして、記憶部３５は、ステップＳ６１１で判定された顔の向きの情報を、顔向きデータ３５ｂとして記憶する（ステップＳ６１４）。この情報は、つぎにステップＳ６１２の判定処理がなされる場合に参照される。
【００８６】
一方、ステップＳ６１２において、顔の向きが変化していない場合（ステップＳ６１２においてＮＯの場合）、表示制御部３６ｃは、図１３（Ｂ）を用いて説明したように、画像の表示の向きを維持する（ステップＳ６１５）。
【００８７】
ステップＳ６１４の処理の後、ステップＳ６１５の処理の後、または、図８のステップＳ２０２、図９のステップＳ３０２、図１０のステップＳ４０２、若しくは、図１１のステップＳ５０２においてＮＯと判定された場合、向き判定部３６ｂは、この画像表示制御処理の終了指示をユーザから受け付けたか否かを判定する（ステップＳ６１６）。この終了指示は、例えば、画像の向きの変更を行わないようにする指示などである。
【００８８】
画像表示制御処理の終了指示をユーザから受け付けた場合（ステップＳ６１６においてＹＥＳの場合）、撮像部３２は、カメラを停止する（ステップＳ６１７）。その後、この画像表示制御処理は終了する。
【００８９】
ステップＳ６１６において、画像表示制御処理の終了指示をユーザから受け付けていない場合（ステップＳ６１６においてＮＯの場合）、図１４に示したステップＳ６０５以降の処理が再度実行される。
【００９０】
また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能である。
【符号の説明】
【００９１】
１０…端末装置、１１…撮像部、１２…タッチパネル部、１３…通信処理部、１４…記憶部、１４ａ…画像データ、１４ｂ…顔向きデータ、１５…制御部、１５ａ…向き判定部、１５ｂ…表示制御部、２０…画像、３０…端末装置、３１…重力方向検出部、３２…撮像部、３３…タッチパネル部、３４…通信処理部、３５…記憶部、３５ａ…画像データ、３５ｂ…顔向きデータ、３５ｃ…重力方向データ、３６…制御部、３６ａ…変化検出部、３６ｂ…向き判定部、３６ｃ…表示制御部。
【図１】
2014056402.tif 000003
【図２】
2014056402.tif 000004
【図３】
2014056402.tif 000005
【図４】
2014056402.tif 000006
【図５】
2014056402.tif 000007
【図６】
2014056402.tif 000008
【図７】
2014056402.tif 000009
【図８】
2014056402.tif 000010
【図９】
2014056402.tif 000011
【図１０】
2014056402.tif 000012
【図１１】
2014056402.tif 000013
【図１２】
2014056402.tif 000014
【図１３】
2014056402.tif 000015
【図１４】
2014056402.tif 000016
【図１５】
2014056402.tif 000017
【図１６】
2014056402.tif 000018
【図１７】
2014056402.tif 000019