(57)【特許請求の範囲】
【請求項１】
コンテンツを表示する表示部および姿勢を検出する検出部を有し、前記検出部によって検出された傾斜に応じて前記表示部の表示方向が変化する、携帯端末であって、
撮影画像を出力するカメラモジュール、
回転を検出する回転検出部、
前記検出部によって水平姿勢または略水平姿勢が検出されている状態で、前記回転検出部によって回転が検出されたとき、前記カメラモジュールを起動する起動部、
前記起動部により起動された前記カメラモジュールから出力された撮影画像から顔を検出する顔検出処理を実行する実行部、
前記顔検出処理によって検出された顔の方向を検出する方向検出部、
前記方向検出部によって検出された顔の方向に基づいて、前記表示部の表示方向を設定する設定部、および
前記設定部によって設定された表示方向に従って、前記表示部にコンテンツを表示する表示処理部を備える、携帯端末。
【請求項２】
前記起動部は、前記検出部によって水平姿勢または略水平姿勢が検出された状態であれば、所定時間毎に前記カメラモジュールを起動する、請求項１記載の携帯端末。
【請求項３】
前記顔検出処理が実行された後に、前記カメラモジュールを停止する停止部をさらに備える、請求項１または２記載の携帯端末。
【請求項４】
前記顔検出処理によって複数の顔が検出されたとき、最も大きい顔を特定する特定部をさらに備え、
前記方向検出部は、前記特定部によって特定された顔の方向を検出する、請求項１ないし３のいずれかに記載の携帯端末。
【請求項５】
コンテンツを表示する表示部、姿勢を検出する検出部および撮影画像を出力するカメラモジュールおよび回転を検出する回転検出部を有し、前記検出部によって検出された傾斜に応じて前記表示部の表示方向が変化する、携帯端末のプロセッサを、
前記検出部によって水平姿勢または略水平姿勢が検出されている状態で、前記回転検出部によって回転が検出されたとき、前記カメラモジュールを起動する起動部、
前記起動部により起動された前記カメラモジュールから出力された撮影画像から顔を検出する顔検出処理を実行する実行部、
前記顔検出処理によって検出された顔の方向を検出する方向検出部、
前記方向検出部によって検出された顔の方向に基づいて、前記表示部の表示方向を設定する設定部、および
前記設定部によって設定された表示方向に従って、前記表示部にコンテンツを表示する表示処理部として機能させる、表示方向制御プログラム。
【請求項６】
コンテンツを表示する表示部、姿勢を検出する検出部および撮影画像を出力するカメラモジュールおよび回転を検出する回転検出部を有し、前記検出部によって検出された傾斜に応じて前記表示部の表示方向が変化する、携帯端末における表示方向制御方法であって、前記携帯端末のプロセッサが、
前記検出部によって水平姿勢または略水平姿勢が検出されている状態で、前記回転検出部によって回転が検出されたとき、前記カメラモジュールを起動する起動ステップ、
前記起動ステップにより起動された前記カメラモジュールから出力された撮影画像から顔を検出する顔検出処理を実行する実行ステップ、
前記顔検出処理によって検出された顔の方向を検出する方向検出ステップ、
前記方向検出ステップによって検出された顔の方向に基づいて、前記表示部の表示方向を設定する設定ステップ、および
前記設定ステップによって設定された表示方向に従って、前記表示部にコンテンツを表示する表示処理ステップを実行する、表示方向制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯端末、表示方向制御プログラムおよび表示方向制御方法に関し、特にディスプレイの表示方向が変化する、携帯端末、表示方向制御プログラムおよび表示方向制御方法に関する。
【背景技術】
【０００２】
ディスプレイの表示方向が変化する、携帯端末の一例が特許文献１に開示されている。特許文献１の携帯端末装置は、ディスプレイおよび加速度センサ部などを備えている。そして、加速度センサ部からの携帯端末装置の回転方向および回転角度に基づいて、ディスプレイの表示画面に合うように、コンテンツの表示方向が自動的に回転される。
【特許文献１】特開２００８−１３１６１６号公報［H04M 1/00, H04M 1/725, H04Q 7/38, H04Q 7/32］
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ところが、特許文献１の携帯端末装置が水平な場所に平置きされると、加速度センサ部が出力する回転方向および回転角度だけでは、ユーザの位置が分からないため、ディスプレイの表示方向が、ユーザによって見やすいように回転されないことがある。
【０００４】
それゆえに、この発明の主たる目的は、新規な、携帯端末、表示方向制御プログラムおよび表示方向制御方法を提供することである。
【０００５】
この発明の他の目的は、ディスプレイの表示が見やすい、携帯端末、表示方向制御プログラムおよび表示方向制御方法を提供することである。
【課題を解決するための手段】
【０００７】
第１の形態は、コンテンツを表示する表示部および姿勢を検出する検出部を有し、検出部によって検出された傾斜に応じて表示部の表示方向が変化する、携帯端末であって、撮影画像を出力するカメラモジュール、回転を検出する回転検出部、検出部によって水平姿勢または略水平姿勢が検出されている状態で、回転検出部によって回転が検出されたとき、カメラモジュールを起動する起動部、起動部により起動されたカメラモジュールから出力された撮影画像から顔を検出する顔検出処理を実行する実行部、顔検出処理によって検出された顔の方向を検出する方向検出部、方向検出部によって検出された顔の方向に基づいて、表示部の表示方向を設定する設定部、および設定部によって設定された表示方向に従って、表示部にコンテンツを表示する表示処理部を備える、携帯端末である。
【００２１】
第２の形態は、コンテンツを表示する表示部、姿勢を検出する検出部および撮影画像を出力するカメラモジュールおよび回転を検出する回転検出部を有し、検出部によって検出された傾斜に応じて表示部の表示方向が変化する、携帯端末のプロセッサを、検出部によって水平姿勢または略水平姿勢が検出されている状態で、回転検出部によって回転が検出されたとき、カメラモジュールを起動する起動部、起動部により起動されたカメラモジュールから出力された撮影画像から顔を検出する顔検出処理を実行する実行部、顔検出処理によって検出された顔の方向を検出する方向検出部、方向検出部によって検出された顔の方向に基づいて、表示部の表示方向を設定する設定部、および設定部によって設定された表示方向に従って、表示部にコンテンツを表示する表示処理部として機能させる、表示方向制御プログラムである。
【００２３】
第３の形態は、コンテンツを表示する表示部、姿勢を検出する検出部および撮影画像を出力するカメラモジュールおよび回転を検出する回転検出部を有し、検出部によって検出された傾斜に応じて表示部の表示方向が変化する、携帯端末における表示方向制御方法であって、携帯端末のプロセッサが、検出部によって水平姿勢または略水平姿勢が検出されている状態で、回転検出部によって回転が検出されたとき、カメラモジュールを起動する起動ステップ、起動ステップにより起動されたカメラモジュールから出力された撮影画像から顔を検出する顔検出処理を実行する実行ステップ、顔検出処理によって検出された顔の方向を検出する方向検出ステップ、方向検出ステップによって検出された顔の方向に基づいて、表示部の表示方向を設定する設定ステップ、および設定ステップによって設定された表示方向に従って、表示部にコンテンツを表示する表示処理ステップを実行する、表示方向制御方法である。
【発明の効果】
【００２５】
この発明によれば、表示方向が適切に設定されるため、表示部の表示を見やすくすることができる。
【００２６】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２７】
【図１】図１はこの発明の一実施例の携帯電話機を示す外観図であり、図１（Ａ）は携帯電話機の表面を示す外観図であり、図１（Ｂ）は携帯電話機の裏面を示す外観図である。
【図２】図２は図１に示す携帯電話機の電気的な構成を示す図解図である。
【図３】図３は図１に示すディスプレイに表示される画像の一例を示す図解図であり、図３（Ａ）は携帯電話機が縦方向で持たれた状態のディスプレイの表示例を示し、図３（Ｂ）は携帯電話機が横方向で持たれた状態のディスプレイの表示例を示す。
【図４】図４は図１に示すディスプレイの表示方向を示す図解図であり、図４（Ａ）は表示方向が通常方向の表示例であり、図４（Ｂ）は表示方向が逆方向の表示例であり、図４（Ｃ）は表示方向が右方向の表示例であり、図４（Ｄ）は表示方向が左方向の表示例である。
【図５】図５は図２に示す第１カメラモジュールから出力された撮影画像の領域を示す図解図であり、図５（Ａ）は上領域と下領域とに分けられた撮影画像を示す図解図であり、図５（Ｂ）は左領域と右領域とに分けられた撮影画像を示す図解図である。
【図６】図６は図１に示す携帯電話機が机に置かれときに撮影されたユーザの顔の一例を示す図解図であり、図６（Ａ）は机に置かれた携帯電話機とユーザの位置関係の一例を示す図解図であり、図６（Ｂ）は図６（Ａ）の状態で撮影されたユーザの顔の一例を示す図解図である。
【図７】図７は図１に示す携帯電話機が机に置かれときに撮影されたユーザの顔の他の一例を示す図解図であり、図７（Ａ）は机に置かれた携帯電話機とユーザの位置関係の他の一例を示す図解図であり、図７（Ｂ）は図７（Ａ）の状態で撮影されたユーザの顔の一例を示す図解図である。
【図８】図８は図２に示すＲＡＭのメモリマップの一例を示す図解図である。
【図９】図９は図２に示すプロセッサの表示制御処理の一例を示すフロー図である。
【図１０】図１０は図２に示すプロセッサの表示方向設定処理の一部の一例を示すフロー図である。
【図１１】図１１は図２に示すプロセッサの表示方向設定処理の他の一部の一例であって、図１０に後続するフロー図である。
【図１２】図１２は図２に示す第１カメラモジュールから出力された撮影画像に設定される方向の一例を示す図解図である。
【図１３】図１３は図２に示す第１カメラモジュールから出力された撮影画像から顔の方向を検出する手順の一例を示す図解図であり、図１３（Ａ）は撮影されたユーザの顔の一例を示す図解図であり、図１３（Ｂ）は図１３（Ａ）に示す撮影画像から抽出された顔領域の一例を示す図解図であり、図１３（Ｃ）は図１３（Ｂ）に示す抽出画像から検出された顔の方向の一例を示す図解図である。
【図１４】図１４は図２に示すプロセッサの第２実施例の表示方向設定処理の一部の一例を示すフロー図である。
【発明を実施するための形態】
【００２８】
＜第１実施例＞
図１（Ａ），（Ｂ）を参照して、この発明の一実施例の携帯電話機１０は、一例としてスマートフォン（smart phone）であり、縦長の扁平矩形のハウジング１２を含む。ただし、この発明は、タブレット端末、ＰＤＡなど任意の携帯端末に適用可能であることを予め指摘しておく。
【００２９】
ハウジング１２の一方主面（表面）には、表示部として機能する、たとえば液晶や有機ＥＬなどのディスプレイ１４が設けられる。ディスプレイ１４の上には、タッチパネル１６が設けられる。したがって、この実施例の携帯電話機１０では、後述のハードキーの操作によるものを除く大部分の入力操作は、このタッチパネル１６を介して行われる。
【００３０】
ハウジング１２の縦方向一端の表面側にスピーカ１８が内蔵され、縦方向他端の表面側にマイク２０が内蔵される。
【００３１】
タッチパネル１６と共に、入力操作手段を構成するハードキーとして、この実施例では、通話キー２２ａ、終話キー２２ｂおよびメニューキー２２ｃが設けられる。
【００３２】
たとえば、ユーザは、ディスプレイ１４に表示されたダイヤルキー（図示せず）に対して、タッチパネル１６によってタッチ操作を行うことで電話番号を入力でき、通話キー２２ａを操作して音声通話を開始することができる。終話キー２２ｂを操作すれば、音声通話を終了することができる。なお、ユーザは、この終話キー２２ｂを長押しすることによって、携帯電話機１０の電源をオン／オフすることができる。
【００３３】
また、メニューキー２２ｃを操作すれば、ディスプレイ１４にメニュー画面が表示され、その状態でディスプレイ１４に表示されているソフトキーやメニューアイコン（ともに図示せず）などに対して、タッチパネル１６によるタッチ操作を行うことによってメニューを選択し、その選択を確定させることができる。
【００３４】
ハウジング１２の縦方向一端の表面側には、後述の第１カメラモジュール５０（図２）のためのレンズ開口２４が設けられている。また、ハウジング１２の縦方向一端の表面側には、第２カメラモジュール５２のためのレンズ開口２６が設けられている。したがって、第１カメラモジュール５０および第２カメラモジュール５２は、レンズ開口２４およびレンズ開口２６を通した画像を撮影することになる。
【００３５】
図２を参照して、図１に示す実施例の携帯電話機１０は、コンピュータまたはＣＰＵと呼ばれるプロセッサ３０を含む。プロセッサ３０には、無線通信回路３２、Ａ／Ｄ変換器３６、Ｄ／Ａ変換器３８、入力装置４０、表示ドライバ４２、フラッシュメモリ４４、ＲＡＭ４６、タッチパネル制御回路４８、第１カメラモジュール５０、第２カメラモジュール５２、加速度センサ５４および方位センサ５６などが接続される。
【００３６】
プロセッサ３０は、携帯電話機１０の全体制御を司る。ＲＡＭ４６には、フラッシュメモリ４４に予め設定されているプログラムの全部または一部が使用に際して展開され、プロセッサ３０はこのＲＡＭ４６上のプログラムに従って動作する。なお、ＲＡＭ４６はさらに、プロセッサ３０のワーキング領域ないしバッファ領域として用いられる。
【００３７】
入力装置４０は、図１に示すタッチパネル１６、ハードキー２２ａ−２２ｃを含むものであり、操作部または入力部を構成する。ユーザが操作したハードキーの情報（キーデータ）はプロセッサ３０に入力される。
【００３８】
無線通信回路３２は、アンテナ３４を通して、音声通話やメールなどのための電波を送受信するための回路である。実施例では、無線通信回路３２は、ＣＤＭＡ方式での無線通信を行うための回路である。たとえば、ユーザが入力装置４０を操作して電話発信（発呼）を指示すると、無線通信回路３２は、プロセッサ３０の指の下、電話発信処理を実行し、アンテナ３４を介して電話発信信号を出力する。電話発信信号は、基地局および通信網を経て相手の電話機に送信される。そして、相手の電話機において着信処理が行われると、通信可能状態が確立され、プロセッサ３０は通話処理を実行する。
【００３９】
通常の通話処理について具体的に説明すると、相手の電話機から送られてきた変調音声信号はアンテナ３４によって受信される。受信された変調音声信号には、無線通信回路３２によって復調処理および復号処理が施される。そして、これらの処理によって得られた受話音声信号は、Ｄ／Ａ変換器３８によって音声信号に変換された後、スピーカ１８から出力される。一方、マイク２０を通して取り込まれた送話音声信号は、Ａ／Ｄ変換器３６によって音声データに変換された後、プロセッサ３０に与えられる。音声データには、プロセッサ３０の指示の下、無線通信回路３２によって符号化処理および変調処理が施され、アンテナ３４を介して出力される。したがって、変調音声信号は、基地局および通信網を介して相手の電話機に送信される。
【００４０】
また、相手の電話機からの電話発信信号がアンテナ３４によって受信されると、無線通信回路３２は、電話着信（着呼）をプロセッサ３０に通知する。これに応じて、プロセッサ３０は、表示ドライバ４２を制御して、着信通知に記述された発信元情報（電話番号など）をディスプレイ１４に表示する。また、上記処理に伴い、プロセッサ３０は、スピーカ１８から着信音（着信メロディ、着信音声と言うこともある。）を出力させる。
【００４１】
そして、ユーザが入力装置４０に含まれる通話キー２２（図１）を用いて応答操作を行うと、無線通信回路３２は、プロセッサ３０の指示の下、電話着信処理を実行する。さらに、通信可能状態が確立され、プロセッサ３０は上述した通話処理を実行する。
【００４２】
また、通話可能状態に移行した後に入力装置４０に含まれる終話キー２４（図１）によって通話終了操作が行われると、プロセッサ３０は、無線通信回路３２を制御して、通話相手に通話終了信号を送信する。そして、通話終了信号の送信後、プロセッサ３０は通話処理を終了する。また、先に通話相手から通話終了信号を受信した場合も、プロセッサ３０は通話処理を終了する。さらに、通話相手によらず、移動通信網から通話終了信号を受信した場合も、プロセッサ３０は通話処理を終了する。
【００４３】
Ａ／Ｄ変換器３６には図１に示すマイク２０が接続され、上述のようにマイク２０からの音声信号はこのＡ／Ｄ変換器３６を通してディジタルの音声データとしてプロセッサ３０に入力される。Ｄ／Ａ変換器３８にはスピーカ１８が接続される。Ｄ／Ａ変換器３８は、ディジタルの音声データを音声信号に変換して、アンプを介してスピーカ１８に与える。したがって、音声データの音声がスピーカ１８から出力される。
【００４４】
なお、プロセッサ３０は、たとえばユーザによるボリュームの操作に応答して、Ｄ／Ａ変換器３８に接続されるアンプの増幅率を制御することによって、スピーカ１８から出力される音声の音量を調整することができる。
【００４５】
表示ドライバ４２には図１に示すディスプレイ１４が接続され、したがって、ディスプレイ１４はプロセッサ３０から出力される映像または画像データに従って画像などのコンテンツを表示する。つまり、表示ドライバ４２は、プロセッサ３０の指示の下、当該表示ドライバ４２に接続されたディスプレイ１４の表示を制御する。また、表示ドライバ４２は表示する画像データを一時的に記憶するビデオメモリを含む。ディスプレイ１４には、たとえばＬＥＤなどを光源とするバックライトが設けられており、表示ドライバ４２はプロセッサ３０の指示に従って、そのバックライトの明るさや、点灯／消灯を制御する。
【００４６】
タッチパネル制御回路４８には、図１に示すタッチパネル１６が接続される。タッチパネル制御回路４８は、タッチパネル１６に必要な電圧などを付与するとともに、タッチパネル１６に対するユーザによるタッチの開始を示すタッチ開始信号、ユーザによるタッチの終了を示す終了信号、およびユーザがタッチしたタッチ位置を示す座標データをプロセッサ３０に入力する。したがって、プロセッサ３０はこの座標データに基づいて、そのときユーザがどのアイコンやキーにタッチしたかを判断することができる。
【００４７】
実施例では、タッチパネル１６は、指などの物体が表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式で、たとえば１本または複数本の指がタッチパネル１６に触れたことを検出する。また、タッチパネル１６は、ディスプレイ１４の上に設けられ、その画面内で、任意の位置を指示するためのポインティングデバイスである。タッチパネル制御回路４８は検出部として機能し、タッチパネル１６のタッチ有効範囲内でのタッチ操作を検出して、そのタッチ操作の位置を示す座標データをプロセッサ３０に出力する。つまり、ユーザは、タッチパネル１６の表面をタッチ、スライド、リリースおよびそれらの組み合わせを行うことで、操作位置や、操作方向などを携帯電話機１０に入力する。
【００４８】
なお、タッチパネル１６の検出方式には、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などであってもよい。また、タッチ操作はユーザの指だけに限らず、スタイラスペンなどによって行われてもよい。
【００４９】
第１カメラモジュール５０はサブカメラまたはインカメラとも呼ばれ、制御回路、レンズおよびイメージセンサなどを含む。また、第１カメラモジュール５０は、ユーザの顔を撮影できるように設けられている。そのため、後述するテレビ電話機能（ビデオチャット機能）が実行されると、第１カメラモジュール５０が起動される。そして、第１カメラモジュール５０によって撮影された画像は、相手の端末に送信される。
【００５０】
第２カメラモジュール５２はメインカメラとも呼ばれ、第１カメラモジュール５０と同様、カメラ機能を実行するために必要な制御回路や、レンズおよびイメージセンサなどを含む。プロセッサ３０は、カメラ機能が実行されると、第２カメラモジュール５２を起動し、背景や被写体に対応するスルー画像（プレビュー画像）をディスプレイ１４に表示する。そして、第２カメラモジュール５２は、ユーザが撮影操作を行うと、画像を撮影する処理を実行する。
【００５１】
加速度センサ５４は、検出部と呼ばれることもあり、半導体式の３軸の加速度センサである。そのため、加速度センサ５４は、携帯電話機１０に対する３軸(X,Y,Z)の加速度データをプロセッサ３０に出力する。プロセッサ３０は、３軸の加速度データの変化を検出することで、携帯電話機１０の動きを判断する。また、プロセッサ３０は、加速度センサ５４が検出する重力加速度に対して三角関数を用いることで、携帯電話機１０の傾斜角を算出することができる。そして、プロセッサ３０は、携帯電話機１０の動作状態によっては、算出された傾斜角に基づいてディスプレイ１４の表示方向を設定することがある。
【００５２】
方位センサ５６は、電子コンパスまたは回転検出部とも呼ばれ、３つの地磁気センサおよび制御回路を含む。制御回路は、３つの地磁気センサによって検出された磁気データから地磁気データを抽出して、プロセッサ３０に出力する。プロセッサ３０は、制御回路から出力された地磁気データに基づいて、方位角（方位）データを算出し、端末方向としてＲＡＭ４６のバッファに記憶させる。なお、各地磁気センサは、ホール素子が用いられているが、ＭＲ(Magnet - Resistive)素子やＭＩ(Magnet - Impedance)素子が用いられてもよい。
【００５３】
また、携帯電話機１０は、ハンズフリー通話を行うこともできる。そして、第１カメラモジュール５０（インカメラ）およびハンズフリー通話を利用して、テレビ電話機能を実行することもできる。たとえば、テレビ電話機が実行されると、相手の端末と通話状態が確立され、相手から送信された画像をディスプレイ１４に表示すると共に、第１カメラモジュール５０によって撮影された画像を相手の端末に送信する。そして、ユーザは、相手の姿を確認しながら、ハンズフリー通話を行う。
【００５４】
図３（Ａ），（Ｂ）は、携帯電話機１０のディスプレイ１４に撮影画像が表示されている状態を示す図解図である。ディスプレイ１４の表示範囲は、状態表示領域６０および機能表示領域６２を含む。図３（Ａ），（Ｂ）を参照して、状態表示領域６０には、アンテナ１２による電波受信状態を示すアイコン（ピクト）、二次電池の残電池容量を示すアイコンおよび日時が表示される。また、機能表示領域６２には、フラッシュメモリ４４に保存されている撮影画像データに対応する画像が表示される。
【００５５】
また、ディスプレイ１４に撮影画像が表示されている場合、携帯電話機１０が保持される姿勢、つまり傾斜角がプロセッサ３０によって算出され、撮影画像の表示態様が変化する。たとえば、携帯電話機１０が縦向きに保持されると、ディスプレイ１４もユーザに対して縦向きの状態となるため、図３（Ａ）に示すように、画像が表示される。一方、携帯電話機１０が横向きに保持されると、ディスプレイ１４もユーザに対して横向きの状態となるため、図３（Ｂ）に示すように、９０度回転した画像が表示される。なお、画像を縮小する場合は、アスペクト比が変化しないように縮小される。
【００５６】
図４（Ａ）−（Ｄ）を参照して、ユーザが携帯電話機１０を通常利用する状態（傾斜）に対して、ディスプレイ１４に表示される画像などのコンテンツが表示される方向（表示方向）を示す。図４（Ａ）の状態は、ユーザによって利用されることが多い状態であり、通常状態と言う。そのため、本実施例では、通常状態におけるディスプレイ１４の表示方向を通常方向と言う。そして、この通常状態の通常方向に対して、図４（Ｂ）の表示方向を逆方向と言い、図４（Ｃ）の表示方向を右方向と言い、図４（Ｄ）の表示方向を左方向と言う。
【００５７】
なお、表示方向が変わると、ディスプレイ１４に表示される画像には、回転処理および縮小処理などが表示前に施される。ただし、他の実施例ではディスプレイ１４の描画開始位置を変更することで表示方向を変化させてもよい。
【００５８】
ここで、携帯電話機１０が机などの上に平置きされ、加速度センサ５４によって水平姿勢または略水平姿勢が検出された場合、加速度センサ５４の出力だけでは、ユーザの顔が在る方向を特定できない。そのため、このような場合に、ディスプレイ１４の表示方向とユーザの顔の向きとが一致しないことがある。
【００５９】
そこで、本実施例では、携帯電話機１０が加速度センサ５４の出力に基づいて水平姿勢または略水平姿勢を検出すると、第１カメラモジュール５０が出力した撮影画像からユーザなどの顔が検出される。そして、検出された顔の方向と、撮影画像における顔の位置とに基づいて、ディスプレイ１４の表示方向が設定される。なお、本実施例では、水平方向に対する傾きが１０度以下の携帯電話機１０の状態を、「略水平姿勢」と呼ぶ。もちろん、「略水平姿勢」とされる傾きは１０度以下に限定されるものではなく、その他、適宜な値を採用することが出来る。
【００６０】
まず、ユーザの顔の方向は、目と口との位置関係に基づいて検出される。具体的には、２つの目の重心を中心として縦方向または横方向に対応する領域が設定される。そして、口の重心（中心）が縦方向の領域に含まれていれば、顔の方向が縦方向として検出される。一方、口の重心が横方向の領域に含まれていれば、顔の方向が横方向として検出される。
【００６１】
次に、図５（Ａ），（Ｂ）を参照して、撮影画像は「上領域」および「下領域」、または「左領域」および「右領域」に分けられる。そして、顔の方向が縦方向であれば、ユーザの顔の位置（重心）が「上領域」または「下領域」に含まれているかが判断される。一方、顔の方向が横方向であれば、ユーザの顔の位置が「左領域」または「右領域」に含まれているかが判断される。
【００６２】
顔の位置が「上領域」に含まれていると判断された場合、表示方向が逆方向（図４（Ｂ））に設定される。一方、顔の位置が「下領域」に含まれていると判断された場合、表示方向が通常方向（図４（Ａ））に設定される。また、顔の位置が「左領域」に含まれていると判断された場合、表示方向が左方向（図４（Ｄ））に設定される。一方、顔の位置が「右領域」に含まれていると判断された場合、表示方向が右方向（図４（Ｃ））に設定される。
【００６３】
たとえば、図６（Ａ）を参照して、ディスプレイ１４がユーザに対して縦向きの状態となるように、携帯電話機１０が平置きされると、図６（Ｂ）に示すような撮影画像が第１カメラモジュール５０から出力される。この撮影画像では、ユーザの顔の向きが縦向きと判断されると共に、顔の位置が「下領域」に含まれていると判断される。そのため、ディスプレイ１４の表示方向は、図４（Ａ）に示すような、通常方向となる。
【００６４】
次に、図７（Ａ）を参照して、ディスプレイ１４がユーザに対して横向きの状態となるように、携帯電話機１０が平置きされると、図７（Ｂ）に示すような撮影画像が第１カメラモジュール５０から出力される。図７（Ｂ）に示す撮影画像では、ユーザの顔の方向が横方向と判断されると共に、顔の位置が「右領域」に含まれていると判断される。その結果、ディスプレイ１４の表示方向は、図４（Ｃ）に示すような、右方向となる。
【００６５】
詳細な説明は省略するが、使用者の顔が「上領域」に含まれていると判断されると表示方向は逆方向となり、「左領域」に含まれていると判断されると表示方向は左方向となる。
【００６６】
このように、本実施例では、ユーザが携帯電話機１０を平置きしても、ユーザの顔の位置に合わせてディスプレイ１４の表示方向が設定される。そのため、ディスプレイ１４の表示を見やすくすることができる。
【００６７】
また、方位センサ５６が出力する方位角データに基づいて、平置きされた状態（水平姿勢または略水平姿勢）で回転を検出すると、第１カメラモジュール５０が撮影画像を再出力する。つまり、水平姿勢で回転が生じるとユーザの顔の位置が変化するため、再出力された撮影画像に基づいてディスプレイ１４の表示方向が再設定される。これにより、水平姿勢または略水平姿勢で携帯電話機１０が回転したとしても、ディスプレイ１４の表示方向がユーザの顔の方向と一致するように、修正することができる。
【００６８】
また、ディスプレイ１４の表示方向が設定されてから所定時間（たとえば、３０秒）が経過した場合も、第１カメラモジュール５０は撮影画像を再出力する。つまり、ユーザの顔の位置は変化することがあるため、変化したユーザの顔の位置に対応するために、ユーザの顔が所定時間毎に撮影される。これにより、ユーザの位置が変わったとしても、表示方向を適切に修正することができる。
【００６９】
また、撮影画像に複数の人物の顔が写り込んでいる場合、最も多く顔が写っている人物、つまり携帯電話機１０に最も近い人物を特定し、その人物を基準としてディスプレイ１４の表示方向が設定される。これにより、複数の人物が撮影画像に写り込んでいたとしても、ディスプレイ１４を見ている可能性が最も高い人物に合わせて、表示部の表示方向を設定できる。
【００７０】
また、第１カメラモジュール５０は、たとえば水平姿勢で起動すると、画像を撮影し顔検出処理が終了した後に停止される。つまり、ユーザの顔を検出する必要が無いときには、第１カメラモジュール５０の電源はオフにされる。そのため、携帯電話機１０の消費電力を抑えることができる。
【００７１】
なお、本実施例では、撮影画像の左右を反転させて、ディスプレイ１４の表示方向を判断している。これは、図７（Ａ），（Ｂ）を用いて説明する際に、撮影画像の左右を反転させた方が、本実施例を理解しやすいからである。たとえば、撮影画像の左右が反転していない場合、図７（Ｂ）の撮影画像では、ユーザが左側に位置することになり、撮影画像におけるユーザの顔の位置と、携帯電話機１０に対するユーザの位置と一致していないように感じられる。そのため、本実施例では撮影画像の左右を反転させて説明を行っている。ただし、他の実施例では、処理を単純にするために、撮影画像の左右を反転させずに、表示方向が設定されてもよい。
【００７２】
以上で実施例の特徴を概説したが、以下には、図８に示す携帯電話機１０のＲＡＭ４６のメモリマップ、図９、図１０および図１１に示す携帯電話機１０のプロセッサ３０によるフロー図を用いて詳細に説明する。
【００７３】
図８を参照して、図２に示すＲＡＭ４６には、プログラム記憶領域３０２とデータ記憶領域３０４とが形成される。プログラム記憶領域３０２は、先に説明したように、フラッシュメモリ４４（図２）に予め設定しているプログラムデータの一部または全部を読み出して記憶（展開）しておくための領域である。
【００７４】
プログラム記憶領域３０２には、ディスプレイ１４の表示を制御するための表示制御プログラム３１０および表示方向を設定するための表示方向設定プログラム３１２などが含まれる。なお、プログラム記憶領域３０２には、電話機能、留守番電話機能およびメール機能などを実行するためのプログラムも含まれる。
【００７５】
続いて、ＲＡＭ４６のデータ記憶領域３０４には、タッチバッファ３３０、加速度バッファ３３２、方位バッファ３３４および表示画像バッファ３３６が設けられると共に、タッチ座標マップデータ３３８が記憶される。また、データ記憶領域３０４には、タッチフラグ３４０、通常方向フラグ３４２、逆方向フラグ３４４、右方向フラグ３４６および左方向フラグ３４８が設けられる。
【００７６】
タッチバッファ３３０には、タッチパネル制御回路４８が出力するタッチ座標のデータが記憶される。加速度バッファ３３２には、加速度センサ５４から出力された加速度データが一時的に記憶される。方位バッファ３３４には、方位センサ５６から出力された方位角データが一時的に記憶される。表示画像バッファ３３６には、ディスプレイ１４に表示するための画像データが一時的に記憶される。また、表示方向が変化する場合、この表示画像バッファ３３６に格納されている画像データに対して、回転処理および拡大／縮小処理などが施される。
【００７７】
タッチ座標マップデータ３３８は、タッチ操作におけるタッチ座標と、ディスプレイ１４の表示座標とを対応付けるためのデータである。つまり、タッチ座標マップデータ３３８に基づいて、タッチパネル１６に対して行われたタッチ操作の結果が、ディスプレイ１４の表示に反映される。
【００７８】
タッチフラグ３４０は、タッチパネル１６に対してタッチされているか否かを判断するためのフラグである。たとえば、タッチフラグ３４０は、１ビットのレジスタで構成される。タッチフラグ３４０がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、タッチフラグ３４０がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。なお、タッチフラグ３４０は、タッチパネル制御回路４８が出力する信号に基づいてオン／オフが切り換えられる。
【００７９】
通常方向フラグ３４２は、ディスプレイ１４の表示方向が通常方向に設定されたかを判断するためのフラグである。逆方向フラグ３４４は、表示方向が逆方向に設定されたかを判断するためのフラグである。右方向フラグ３４６は、表示方向が右方向に設定されたかを判断するためのフラグである。左方向フラグ３４８は、表示方向が左方向に設定されたかを判断するためのフラグである。そして、これらのフラグの構成は、タッチフラグ３４０と略同じであるため、構成についての詳細な説明は省略する。
【００８０】
なお、データ記憶領域３０４には、待機状態で表示される画像データや、文字列のデータなどが記憶されると共に、携帯電話機１０の動作に必要なカウンタや、フラグも設けられる。
【００８１】
プロセッサ３０は、Ａｎｄｒｏｉｄ（登録商標）およびＲＥＸなどのＬｉｎｕｘ（登録商標）ベースのＯＳや、その他のＯＳの制御下で、図９に示す表示制御処理や、図１０および図１１に示す表示方向判定処理などを含む、複数のタスクを並列的に処理する。
【００８２】
表示制御処理は、たとえば、ディスプレイ１４の電源がオンになると開始される。ステップＳ１では、プロセッサ３０は、タイマ処理を実行する。つまり、所定時間をカウント（計測）するためのカウンタをリセットして、所定時間の計測を始める。続いて、ステップＳ３でプロセッ３０は、タイマが満了したか否かを判断する。つまり、所定時間の計測が終了したか否かを判断する。ステップＳ３で“ＮＯ”であれば、つまり計測を始めてから所定時間が経過していなければ、ステップＳ５で回転を検出したか否かを判断する。つまり、方位バッファ３３４に記憶されている方位角データが変化したかが判断される。ステップＳ５で“ＮＯ”であれば、つまり回転が検出されなければ、ステップＳ３に戻る。
【００８３】
そして、所定時間が経過してステップＳ３で“ＹＥＳ”と判断されると、プロセッサ３０はステップＳ７で、表示方向設定処理を実行する。つまり、水平姿勢または略水平姿勢でれば、所定時間毎に表示方向設定処理が実行され、第１カメラモジュール５０が起動される。また、回転が検出されステップＳ５で“ＹＥＳ”と判断されても、表示方向設定処理が実行される。たとえば水平姿勢で回転が検出されば、表示方向設定処理が実行され、第１カメラモジュール５０が起動される。なお、ステップＳ７の処理が終了すると、ステップＳ１に戻る。
【００８４】
図１０は表示方向設定処理のフロー図である。表示方向設定処理が実行されると、プロセッサ３０はステップＳ２１で水平か否かを判断する。つまり、加速度バッファ３３２に記憶されている加速度データに基づいて、携帯電話機１０が水平姿勢または略水平姿勢であるかが判断される。ステップＳ２１で“ＮＯ”であれば、たとえば携帯電話機１０が傾けられた状態でユーザに保持されていれば、プロセッサ３０はステップＳ２１の処理を繰り返す。
【００８５】
ステップＳ２１で“ＹＥＳ”であれば、つまり水平姿勢または略水平姿勢となるように、携帯電話機１０が机の上に平置きされると、ステップＳ２３でプロセッサ３０は第１カメラモジュール５０を起動する。つまり、ユーザの顔を撮影ために第１カメラモジュール５０が起動される。続いて、ステップＳ２５で顔検出処理を実行する。たとえば、起動した第１カメラモジュール５０によってユーザの顔が撮影され、第１カメラモジュール５０から出力された撮影画像から、目および口などを含む領域が『顔』として検出される。なお、ステップＳ２３の処理を実行するプロセッサ３０は起動部として機能し、ステップＳ２５の処理を実行するプロセッサ３０は実行部として機能する。
【００８６】
図１１を参照して、ステップＳ２７でプロセッサ３０は、顔が検出されたか否かを判断する。つまり、顔検出処理によって顔が検出されたかが判断される。ステップＳ２７で“ＮＯ”であれば、つまり、顔が検出されていなければ、プロセッサ３０は表示方向設定処理を終了して、表示制御処理に戻る。一方、ステップＳ２７で“ＹＥＳ”であれば、つまり顔が検出されると、ステップＳ２９でプロセッサ３０は、複数の顔が検出されたか否かを判断する。つまり、撮影画像に複数の人物の顔が写っているかが判断される。
【００８７】
ステップＳ２９で“ＮＯ”であれば、つまり撮影画像から検出された顔が１つであれば、プロセッサ３０はステップＳ３３に進む。また、ステップＳ２９で“ＹＥＳ”であれば、たとえば３つの顔が検出されると、ステップＳ３１でプロセッサ３０は、最も大きい顔領域を特定する。つまり、携帯電話機１０に最も近い人物の顔を特定する。また、具体的には目および口などを含む領域の面積をそれぞれ求めて、最も大きい顔領域を特定する。なお、ステップＳ３１の処理を実行するプロセッサ３０は特定部として機能する。
【００８８】
続いて、ステップＳ３３で顔の方向を検出する。つまり、顔領域における目と口との位置関係から、縦方向または横方向が判断される。なお、ステップＳ３５の処理を実行するプロセッサ３０は方向検出部として機能する。
【００８９】
続いて、ステップＳ３５では、顔が縦方向か否かを判断する。ステップＳ３５で“ＹＥＳ”であれば、たとえば図６（Ｂ）に示すようにユーザの顔が縦方向で撮影されていれば、ステップＳ３７でプロセッサ３０は、顔が下領域に含まれているか否かを判断する。つまり、プロセッサ３０は、図５（Ａ）に示す下領域に、検出された顔が含まれているかを判断する。ステップＳ３７で“ＹＥＳ”であれば、たとえば図６（Ｂ）に示すように、縦方向のユーザの顔が下領域に含まれていれば、プロセッサ３０は、ステップＳ３９で表示方向を通常方向に設定し、ステップＳ４９に進む。つまり、表示方向が図４（Ａ）の状態となるように、通常方向フラグ３４２がオンにされる。一方、ステップＳ３７で“ＮＯ”であれば、つまり顔が上領域に含まれていれば、プロセッサ３０は、ステップＳ４１で表示方向を逆方向に設定し、ステップＳ４９に進む。つまり、表示方向が図４（Ｂ）の状態となるように、逆方向フラグ３４４がオンにされる。
【００９０】
また、ステップＳ３５で“ＮＯ”であれば、たとえば図７（Ｂ）に示すように、ユーザの顔が横方向で撮影されていれば、ステップＳ４３でプロセッサ３０は、顔が右領域に含まれているか否かを判断する。つまり、プロセッサ３０は、図５（Ｂ）に示す右領域に、検出された顔が含まれているかを判断する。ステップＳ４３で“ＹＥＳ”であれば、たとえば図７（Ｂ）に示すように、横方向のユーザの顔が右領域に含まれていれば、プロセッサ３０は表示方向を右方向に設定し、ステップＳ４９に進む。つまり、表示方向が図４（Ｃ）の状態となるように、右方向フラグ３４６がオンにされる。一方、ステップＳ４３で“ＮＯ”であれば、つまり顔が左領域に含まれていれば、プロセッサ３０は、ステップＳ４７で表示方向を左方向に設定し、ステップＳ４９に進む。つまり、表示方向が図４（Ｄ）の状態となるように、左方向フラグ３４８がオンにされる。
【００９１】
なお、ステップＳ３９，Ｓ４１，Ｓ４５，Ｓ４７の処理を実行するプロセッサ３０は設定部として機能する。
【００９２】
続いて、ステップＳ４９でプロセッサ３０は、設定された表示方向で表示する。たとえば、通常方向フラグ３４２、逆方向フラグ３４４、右方向フラグ３４６および左方向フラグ３４８のうち、右方向フラグ３４６がオンであれば、表示画像バッファ３３６に格納されている画像に対して回転処理および縮小処理などが施される。これにより、ディスプレイ１４には、左方向の画像が表示される。なお、ステップＳ４９の処理を実行するプロセッサ３０は表示処理部として機能する。
【００９３】
続いて、ステップＳ５１でプロセッサ３０は、第１カメラモジュール５０を停止する。つまり、第１カメラモジュール５０の電源がオフにされる。そして、ステップＳ５１の処理が終了すると、プロセッサ３０は表示方向設定処理を終了して、表示制御処理に戻る。なお、ステップＳ５１の処理を実行するプロセッサ３０は停止部として機能する。
【００９４】
＜第２実施例＞
第２実施例では、ユーザの顔の方向を角度で求め、その角度に基づいてディスプレイ１４の表示方向を決める。なお、第２実施例の携帯電話機１０は、第１実施例とほぼ同じであるため、携帯電話機１０の電気的な構成、外観、ＲＡＭ３４のメモリマップおよび図９に示す表示制御処理など説明を省略する。
【００９５】
図１２を参照して、第１カメラモジュール５０から出力された撮影画像には、下方向を基準（０度）として、時計回りに角度が大きくなるよう角度が設定される。つまり、下方向が０度となり、左方向が９０度となり、上方向が１８０度となり、右方向が２７０度となる。
【００９６】
そして、顔の角度θが「０度≦θ＜４５度」または「３１５度≦θ＜３６０度」の範囲に含まれていれば、表示方向が通常方向に設定される。顔の角度θが「４５度≦θ＜１３５度」の範囲に含まれていれば、表示方向が左方向に設定される。顔の角度θが「１３５度≦θ＜２２５度」の範囲に含まれていれば、表示方向が逆方向に設定される。そして、顔の角度θが「２２５度≦θ＜３１５度」に含まれていれば、表示方向が右方向に設定される。
【００９７】
次に、顔の角度θは、撮影画像から顔領域を抽出し、抽出画像の重心Ｇと、ユーザの口との位置関係に基づいて求められる。たとえば、図１３（Ａ）を参照して、ユーザの顔を撮影した撮影画像から、図１３（Ｂ）に示すように顔領域が抽出され、抽出画像における重心Ｇが求められる。そして、図１３（Ｃ）に示すように、重心Ｇと口の中点とを通る線が示す方向が顔の角度θ、つまり顔の方向となる。そのため、図１３（Ａ）に示す顔の角度は「２７０度」と検出され、表示方向が右方向に設定される。
【００９８】
なお、他の実施例では、顔の角度θは、２つの目の座標を結ぶ線分と水平方向の線とが成す角度を利用して検出されてもよい。
【００９９】
図１４は、第２実施例の表示方向設定処理の一部のフロー図である。なお、ステップＳ１−Ｓ３１およびステップＳ４９−Ｓ５１は、第１実施例の表示方向設定処理と同じであるため、図示および説明を省略する。
【０１００】
第２実施例の表示方向処理でステップＳ３１の処理が終了すると、プロセッサ３０はステップＳ３３で顔の方向を検出する。たとえば、図１３（Ａ）−（Ｃ）に示すように、撮影画像から顔領域を抽出し、抽出画像の重心Ｇとユーザの口とに基づいて、顔の角度θを算出する。続いて、ステップＳ６３でプロセッサ３０は、顔の方向は正常方向の範囲に含まれているか否かを判断する。つまり、プロセッサ３０は、顔の角度θが「０度≦θ＜４５度」または「３１５度≦θ＜３６０度」に含まれているかを判断する。ステップＳ６３で“ＹＥＳ”であれば、たとえば、顔の角度θが０度であれば、プロセッサ３０は、ステップＳ３９で表示方向を通常方向に設定し、ステップＳ４９に進む。
【０１０１】
一方、ステップＳ６３で“ＮＯ”であれば、つまり顔の方向が正常方向の範囲に含まれていれければ、ステップＳ６３でプロセッサ３０は、顔の方向が逆方向の範囲に含まれているか否かを判断する。つまり、プロセッサ３０は、顔の角度θが「１３５度≦θ＜２２５度」の範囲に含まれているかを判断する。ステップＳ６３で“ＹＥＳ”であれば、たとえば顔の角度θが１８０度であれば、プロセッサ３０は、ステップＳ４１で表示方向を逆方向に設定し、ステップＳ４９に進む。
【０１０２】
ステップＳ６３で“ＮＯ”であれば、つまり顔の方向が逆方向の範囲に含まれていなければ、ステップＳ６５でプロセッサ３０は、顔の方向が右方向の範囲か否かを判断する。つまり、プロセッサ３０は、顔の角度θが「２２５度≦θ＜３１５度」の範囲に含まれているかを判断する。ステップＳ６５で“ＹＥＳ”であれば、たとえば顔の角度θが２７０度であれば、プロセッサ３０は、ステップＳ４５で表示方向を右方向に設定し、ステップＳ４９に進む。
【０１０３】
そして、ステップＳ６５で“ＮＯ”であれば、つまり顔の方向が左方向の範囲（「４５度≦θ＜１３５度」）に含まれていれば、プロセッサ３０は、ステップＳ４７で表示方向を左方向に設定して、ステップＳ４９に進む。
【０１０４】
なお、他の実施例では、各方向に対応する顔のテンプレート画像を利用して、顔の方向が検出されてもよい。
【０１０５】
また、本実施例では、ディスプレイ１４に表示されるコンテンツを静止画像として説明したが、他の実施例では動画像や、テレビの映像、ＨＰなどの様々なコンテンツがディスプレイ１４に表示されてもよい。そして、これらのコンテンツが表示されている場合でも、表示方向は変更される。
【０１０６】
また、加速度センサ５４および方位センサ５６に代えて、ジャイロセンサなどによって携帯電話機１０の姿勢および回転が検出されてもよい。
【０１０７】
また、本実施例で用いられたプログラムは、データ配信用のサーバのＨＤＤに記憶され、ネットワークを介して携帯電話機１０に配信されてもよい。また、ＣＤ，ＤＶＤ，ＢＤ（Blue-Ray Disk）などの光学ディスク、ＵＳＢメモリおよびメモリカードなどの記憶媒体に複数のプログラムを記憶させた状態で、その記憶媒体が販売または配布されてもよい。そして、上記したサーバや記憶媒体などを通じてダウンロードされた、プログラムが本実施例と同等の構成の携帯端末にインストールされた場合、本実施例と同等の効果が得られる。
【０１０８】
そして、本明細書中で挙げた、具体的な数値は、いずれも単なる一例であり、製品の仕様変更などに応じて適宜変更可能である。
【符号の説明】
【０１０９】
１０    …  携帯電話機
１４    …  ディスプレイ
１６    …  タッチパネル
３０    …  プロセッサ
４０    …  入力装置
４４    …  フラッシュメモリ
４６    …  ＲＡＭ
５０    …  第１カメラモジュール
５４    …  加速度センサ
５６    …  方位センサ
【図１】
0005805503.tif 000002
【図２】
0005805503.tif 000003
【図３】
0005805503.tif 000004
【図４】
0005805503.tif 000005
【図５】
0005805503.tif 000006
【図６】
0005805503.tif 000007
【図７】
0005805503.tif 000008
【図８】
0005805503.tif 000009
【図９】
0005805503.tif 000010
【図１０】
0005805503.tif 000011
【図１１】
0005805503.tif 000012
【図１２】
0005805503.tif 000013
【図１３】
0005805503.tif 000014
【図１４】
0005805503.tif 000015