(57)【特許請求の範囲】
【請求項１】
画像情報を表示する表示部と、
この表示部と同じ側に設けられたカメラと、
携帯端末の動き及び静止状態を検出する動き検出手段と、
前記カメラで撮影した画像から顔の上下方向を判断して、前記表示部に表示する画像の上下方向を制御する画像制御手段と、
前記動き検出手段が携帯端末の動き状態から静止状態に変化したことを検出したときに前記カメラを起動し、前記顔の上下方向判断が終わると前記カメラを停止するカメラ起動手段と
を具備することを特徴とする携帯端末。
【請求項２】
画像情報を表示する表示部と、
この表示部と同じ側に設けられたカメラと、
携帯端末の動き及び静止状態を検出する動き検出手段と、
前記カメラで撮影した画像から顔の上下方向を判断して、前記表示部に表示する画像の上下方向を制御する画像制御手段と、
前記動き検出手段が携帯端末の静止状態が継続していることを検出した場合は、定期的に前記カメラを起動し、前記顔の上下方向判断が終わると前記カメラを停止するカメラ起動手段と
を具備することを特徴とする携帯端末。
【請求項３】
前記画像制御手段は、前記表示部の四角い枠の内、判断した前記顔の上方向に最も近い方向の枠の方向になるように前記表示部に表示する画像の上下方向をさらに制御することを特徴とする、請求項１に記載の携帯端末。
【請求項４】
画像情報を表示する表示部と、
この表示部と同じ側に設けられたカメラと、
携帯端末の動き及び静止状態を検出する動き検出手段と、
前記カメラで撮影した画像から顔の上下方向を判断し、前記表示部の四角い枠の内、前記顔の上方向に最も近い方向の枠の方向になるように前記表示部に表示する画像の上下方向を制御する画像制御手段と、
前記動き検出手段が携帯端末の静止状態が継続していることを検出した場合は、定期的に前記カメラを起動し、前記顔の上下方向判断が終わると前記カメラを停止するカメラ起動手段と
を具備することを特徴とする携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ付き携帯端末に関し、ユーザの視認方向に応じて表示方向の変更を行う携帯端末に関する。
【背景技術】
【０００２】
ユーザの視認方向に応じて表示方向の変更を行う携帯端末がある（例えば、特許文献１、特許文献２参照。）。これらの特許文献の携帯端末では、携帯端末に搭載されたカメラでユーザの顔の向きを検出し、画像や文字等の表示方向をそれに合わせて表示する。これにより、ユーザの姿勢や携帯端末の持ち方に依存せずに、常に表示画像の表示方向がユーザの顔の向きに合って、ユーザにとって見易くなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１７７８１９号公報（段落００２５、００３０、図３、図５）
【特許文献２】特開２００３−１８６４６２号公報（段落００２４、図３）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の図３、段落００２５に記載されているように、携帯端末において、電子メールが着信し、入力操作により表示が指示されると、カメラが起動し、カメラによる顔画像撮影、顔画像の上下方向の判断、その上下方向に合わせて、通信データの表示方向の制御が行われれる。そして、電子メールの通信データの表示が終了するまで、カメラによる顔画像撮影が継続してユーザの顔の向きの変化にも対応している。また、図５、段落００３０に記載されているように、入力操作によりブラウザが起動すると、カメラが起動し、カメラによる顔画像撮影、顔画像の上下方向の判断、その上下方向に合わせて、ブラウザ画像の表示方向の制御が行われれる。そして、ブラウザの表示が終了するまで、カメラによる顔画像撮影が継続してユーザの顔の向きの変化にも対応している。
【０００５】
しかし、表示状態では、カメラが常時起動しており、カメラの消費電力が大きいため、携帯端末の電池の電力消費が速くなってしまうという問題がある。
【０００６】
また、特許文献２の図３に記載されているように、図３（ａ）のユーザの顔方向が角度θで傾いている場合、図３（ｂ）の角度θだけ同一方向に傾かせた画像が生成されて画面に表示される。
【０００７】
これは、ユーザが画面を見た場合に、ユーザの顔の方向と画像の方向とが一致して見易いと思われるが、他方、人の感覚として、画面の四角い枠に対して画像が斜めに表示された場合、違和感を感じることもある。
【０００８】
本発明は、カメラでユーザの顔の向きを検出し、画像や文字等の表示方向をそれに合わせて表示する場合において、カメラの消費電力を低減することを目的とする。また、カメラでユーザの顔の向きを検出し、画像や文字等の表示方向をそれに合わせて表示する場合において、ユーザが違和感を感じない表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の携帯端末は、画像情報を表示する表示部と、この表示部と同じ側に設けられたカメラと、携帯端末の動き及び静止状態を検出する動き検出手段と、前記カメラで撮影した画像から顔の上下方向を判断して、前記表示部に表示する画像の上下方向を制御する画像制御手段と、前記動き検出手段が携帯端末の動き状態から静止状態に変化したことを検出したときに前記カメラを起動し、前記顔の上下方向判断が終わると前記カメラを停止するカメラ起動手段とを具備することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、カメラでユーザの顔の向きを検出し、画像や文字等の表示方向をそれに合わせて表示する場合において、カメラの消費電力を低減することができる。また、ユーザが違和感を感じない表示方法を提供することを目的とする。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例に係る携帯端末１００とカメラ画像１０の相対関係を説明する図。
【図２】本発明の実施例に係るユーザ、カメラ画像、表示画像の相対関係を説明する図。
【図３】本発明の実施例に係る携帯端末１００の関連部分のブロック図。
【図４】本発明の実施例に係る携帯端末１００の画像制御のフローチャート。
【発明を実施するための形態】
【００１２】
図１は、本発明の実施例に係る携帯端末１００とカメラ画像１０の相対関係を説明する図であり、特許文献１、２等に記載の技術と同様であり、簡単に説明する。携帯端末１００の主面側には、カメラ１、表示部２などが搭載される。表示部２を見るユーザをカメラ１が撮影することを前提とするので、カメラ１と表示部２とは同じ側に設けられる。
【００１３】
携帯端末１００の側面の４方向部分の向きを、頂部３、左部４、底部５、右部６とする。カメラ１で撮影したカメラ画像の４方向部分の向きを、頂部１３、左部１４、底部１５、右部１６とする。この携帯端末１００の主面の４方向部分の向きとカメラ画像の４方向部分の向きとは、携帯端末１００を傾けても常に同じ相対関係にある。カメラ画像は、カメラが撮影した画像の鏡像が得られるものとする。
【００１４】
図２は、本発明の実施例に係るユーザ、カメラ画像、表示画像の相対関係を説明する図である。ユーザが携帯端末１００の主面を見ている状態を表し、ユーザの図は、背中側から見た状態を示す。ユーザの顔は、カメラ１で撮影されてカメラ画像１０(鏡像)が得られる。ユーザは、表示部２の表示画像２２ｂを見る。
【００１５】
図２の（Ａ）〜（Ｅ）は、従来の技術と同様であり、ユーザと携帯端末１００の色々な相対関係について説明する。
【００１６】
図２の（Ａ）は、ユーザの顔の上方向（矢印で図示）と携帯端末１００の頂部３の方向とが同じ相対関係にある場合である。この状態でカメラ１でユーザを撮影すると、カメラ画像１０の顔の上方向（矢印で図示）は、頂部１３と同じ方向になる。このカメラ画像１０の顔の上方向（矢印方向）に対して、表示部２に表示する色々な表示画像２２ｂの上方向（矢印方向）を合わせるように表示制御する。表示画像２２ｂとしては、例えば、文字画像や、ＴＶ画像や、Ｗｅｂ画像等などがある。図２では、例として「ＡＢＣ」の文字表示を行っている。これにより、ユーザは、ユーザの向きと同じ表示画像２２ｂを見ることになり、見易い状態が得られるものである。
【００１７】
図２の（Ｂ）は、ユーザが右へ２５度程度傾いて携帯端末１００を見ている状態である。カメラ画像１０の顔の方向は、鏡像表示なので、同様に右に２５度傾いた画像となる。この傾きに合わせて、表示画像２２ｂを傾けて表示制御する。
【００１８】
図２の（Ｃ）、（Ｄ）、（Ｅ）は、ユーザと携帯端末１００との相対関係の異なる状態を示すが、常に、ユーザは、表示画像２２ｂを正対して見ることができる。
【００１９】
このように、ユーザと携帯端末１００との相対関係に基づいて、表示画像の向きが制御されるので、ユーザが直立した状態であれ、横たわった状態であれ、対応することができる。
【００２０】
図２の（Ｆ）は、本発明の実施例である。図２の（Ｂ）の状態では、ユーザは、表示画像２２ｂを正対して見ることができるが、人の感覚として、表示部２の四角い枠に対して、表示画像２２ｂが傾いていると、違和感を感じる場合もある。それを防ぐ方法として、カメラ画像１０の顔が傾いても、表示画像２２ｂをそれに合わせて常時傾けるのではなく、カメラ画像１０の顔の傾きが最も近い表示部２の頂部３、左部４、底部５、右部６のいずれかの方向、すなわち、表示部２の四角い枠のいずれかに直角に向くように表示画像２２ｂを表示制御する。したがって、ユーザと携帯端末の相対関係が２５度傾いていても、カメラ画像１０の顔の傾きが最も近い表示部２の頂部３側に表示画像２２ｂの向きとなるように表示制御する。図示しないが、例えばユーザが右へ５０度傾いた場合には、表示画像２２ｂの向きを表示部２の右部６側になるように表示制御する。
【００２１】
（Ｆ）の実施例では、ユーザの向きと、表示画像２２ｂの向きとは完全には正対しないが、両者の向きが近い状態で、表示部２の四角い枠に対して、表示画像２２ｂが水平または垂直となるので、違和感が少なくなる。また、この程度の正対しない状態であれば、人は、問題なく表示画像２２ｂを見ることができる。
【００２２】
図３は、本発明の実施例に係る携帯端末１００の関連部分のブロック図である。携帯端末１００は、カメラ１、表示部２、顔上下方向検出部２１、画像方向制御部２２、加速度センサ２３、動き検出部２４、カメラ起動部２５などから構成される。
【００２３】
顔上下方向検出部２１は、カメラ１からのカメラ画像１０（鏡像）から顔を検出して、顔上下方向の検出を行う。そして、顔上下方向検出２１ａを画像方向制御部２２へ送出する。
【００２４】
画像方向制御部２２は、文字画像やＴＶ画像やＷｅｂ画像等の表示画像データ２２ａを、顔上下方向検出２１ａの検出角度に合わせて、同じ方向を向くように回転させ、表示画像２２ｂを作成し、表示部２に表示させる。
【００２５】
上記の顔上下方向検出部２１および画像方向制御部２２の機能の詳細は、特許文献１、２、その他に記載されており、詳細説明は省略する。
【００２６】
本発明の特徴の１つである図２の（Ｆ）の実施例に対しては、画像方向制御部２２は、カメラ画像１０の顔が傾いても、表示画像２２ｂをそれに合わせて常時傾けるのではなく、カメラ画像１０の顔の傾きが最も近い表示部２の頂部３、左部４、底部５、右部６のいずれかの方向、すなわち、表示部２の四角い枠のいずれかに直角に向くように表示画像２２ｂを表示制御する。
【００２７】
本発明のもう１つの特徴であるカメラの起動に関する制御について次に説明する。本発明では、携帯端末１００自体の動き状態と静止状態を検出して、動き状態から静止状態に変化したことを起点として、カメラの電源をオンにする。また、静止状態が連続している場合には、定期的にカメラの電源をオンにする。
【００２８】
これは、携帯端末１００が静止したときに、カメラの電源をオンにして、顔上下方向の判定を行って表示画像の方向制御を行うことにより、必要なときのみカメラの電源をオンにすることで、省電力を行いながら、表示画像の方向制御を行うものである。以下、詳しく説明する。
【００２９】
加速度センサ２３は、例えば、３軸の加速度センサである。動き検出部２４は、この３軸の加速度センサのそれぞれの出力の変化が閾値以上であれば携帯端末が動いていると判断し、３軸の加速度センサのそれぞれの出力の変化が閾値以下であれば携帯端末が静止していると判断する。
【００３０】
３軸の加速度センサには、重力加速度は、常に検出されるが、携帯端末１００のゆっくりとした回転に対しても３軸のそれぞれの出力に重力加速度のベクトル値の変化として現れるので、傾いたことが検出できる。また、傾かない場合でも、携帯端末１００がユーザにより振られたりすると、その加速度が加速度センサ出力の変化として現れるので検出することができる。逆に、加速度センサの出力に変化がなけらば、携帯端末１００が静止していることが判断できる。
【００３１】
そして、動き検出部２４は、携帯端末１００が動き状態から静止状態に変化したことを表す信号２４ａをカメラ起動部２５に通知する。また、静止状態が連続している場合にも、定期的に信号２４ａをカメラ起動部２５に通知する。
【００３２】
カメラ起動部２５は、静止状態になった通知２４ａを受けると、起動／停止信号２５ａを起動状態にしてカメラ１を起動する。この時点でカメラ１の電源がオンになる。または、カメラ１がウェイクアップ状態になる。この状態で前述の顔上下方向検出部２１の処理が実行される。
【００３３】
そして、顔上下方向検出部２１が顔上下方向を検出して、顔上下方向検出２１ａを通知すると、カメラ起動部２５は、起動／停止信号２５ａを停止状態にしてカメラ１を停止する。この時点でカメラ１の電源のオフになる。または、カメラ１がスリープ状態になる。
【００３４】
なお、動き検出部２４およびカメラ起動部２５の機能は、機能を分担してもよいし、同じ処理部で行ってもよい。
【００３５】
図４は、本発明の実施例に係る携帯端末１００の画像制御のフローチャートである。表示部２に何らかの画像を表示するアプリケーションが開始すると、画像制御（ステップＳ１）が開始する。
【００３６】
画像制御では、まず、動き検出部２４の処理により、携帯端末１００自体が、動き状態から静止状態に変化したかをチェックする（ステップＳ２）。静止状態に変化した場合（ＹＥＳ）は、カメラを起動する（ステップＳ４）。
【００３７】
ステップＳ２でＮＯの場合は、静止状態が所定時間以上継続しているかをチェックし（ステップＳ３）、ＹＥＳならば、カメラを起動する（ステップＳ４）。ステップＳ２、Ｓ３ともＮＯの場合は、ループして待つ。
【００３８】
上記ステップＳ２のＹＥＳおよびＳ３のＹＥＳで、カメラ１を起動、たとえば、カメラ１の電源オン、またはカメラ１をウェイクアップ状態にする（ステップＳ４）。そして、カメラ１で撮影したカメラ画像１０から顔の検出および顔上下方向の検出を行う（ステップＳ５）。
【００３９】
顔上下方向の検出が出来なければ（ステップＳ６でＮＯ）、カメラを停止、たとえば、カメラ１の電源オフ、またはカメラ１をスリープ状態にし（ステップＳ８）、ステップＳ２に戻る。ステップＳ６で顔上下方向の検出ができたら（ＹＥＳ）、カメラを停止する（ステップＳ７）。
【００４０】
そして、検出した顔の上下方向に合わせて表示部の画像の上下方向を変える（ステップＳ９）。または、ステップＳ９の他の実施例のＳ１９として、カメラ画像１０の顔の傾きが最も近い表示部２の頂部３、左部４、底部５、右部６のいずれかの方向、すなわち、表示部２の四角い枠のいずれかに直角に向くように表示画像２２ｂを表示制御する。
【００４１】
具体的には、絶対角度を右部６＝０度、頂部３＝９０度、左部４＝１８０度、底部５＝２７０度とすると、カメラ画像１０の顔の傾き（絶対角度）に対して、表示画像２２ｂの絶対角度を以下のように表示制御する。
【００４２】
顔の傾き（絶対角度）  ＶＳ  表示画像２２ｂの絶対角度
・０〜４５度          →      ・０度
・４５〜９０度        →      ・９０度
・９０〜１３５度      →      ・９０度
・１３５〜１８０度    →      ・１８０度
・１８０〜２２５度    →      ・１８０度
・２２５〜２７０度    →      ・２７０度
・２７０〜３１５度    →      ・２７０度
・３１５〜３６０度    →      ・３６０度
そして、ステップＳ２へ戻る。
【００４３】
本発明の実施例によれば、ユーザが携帯端末１００を手に持って、携帯端末１００の角度を変えた場合、携帯端末１００が静止状態になったときにカメラ１が起動されて顔方向の検出と表示画像２２ｂの表示方向の制御が行われ、カメラ１は停止する。また、携帯端末１００が机上に置かれて静止状態が継続しているような場合、ユーザ単独の動きにも対応できるように定期的にカメラ１が起動されてユーザの顔方向の検出と表示画像２２ｂの表示方向の制御が行われ、カメラ１は停止する。したがって、カメラ１の起動時間は少なくて済み、電池の消費を減らすことができる。
【００４４】
また、ユーザの顔の傾きどおりに表示画像２２ｂの表示方向を制御するのではなく、ユーザの顔の傾きに近い状態で表示画像２２ｂの表示方向が表示部２の四角い枠に対して斜めにならないように制御するので、ユーザが違和感を感じない表示を得ることができる。
【符号の説明】
【００４５】
１  カメラ
２  表示部
３  頂部
４  左部
５  底部
６  右部
１０  カメラ画像
１３  頂部
１４  左部
１５  底部
１６  右部
２１  顔上下方向検出部
２２  画像方向制御部
２３  加速度センサ
２４  動き検出部
２５  カメラ起動部
１００  携帯端末
【図１】
0005397081.tif 000002
【図２】
0005397081.tif 000003
【図３】
0005397081.tif 000004
【図４】
0005397081.tif 000005