(57)【要約】【課題】キー操作などによるスクロール又はズームを行うことなく、所望の画像位置と表示倍率で表示を行うこと。【解決手段】携帯電話機１００は、対象となる画像情報を入力するアウトカメラ１０２と、主にユーザの顔などを撮影するインカメラ１０４とを備え、制御部１５０は、アウトカメラ１０２及びインカメラ１０４により撮影された画像を解析し、移動方向、移動量、移動速度、前後移動を算出し、アウトカメラ１０２により撮影された画像を解析した移動方向とインカメラ１０４により撮影された画像を解析した移動方向とを比較して、移動又は回転の動き種別を判定し、判定結果に応じて、表示画面のスクロール又はズームを行う第１の処理、及び、この第１の処理とは異なる第２の処理の２種類の処理を区別して実行する。【選択図】図２
2007324893.tif 000002
【特許請求の範囲】
【請求項１】
第１の方向に向けて被写体を撮影する第１の撮影手段と、
第２の方向に向けて被写体を撮影する第２の撮影手段と、
前記第１及び第２の撮影手段により撮影された画像を解析し、移動方向を算出する算出手段と、
前記第１の撮影手段により撮影された画像を解析した移動方向と前記第２の撮影手段により撮影された画像を解析した移動方向とを比較して、移動又は回転の動き種別を判定する判定手段と、
前記動き種別に基づいて所定の処理を実行する制御手段と、
を具備する画像表示装置。
【請求項２】
前記第１の方向と前記第２の方向は、互いに反対方向である請求項１記載の画像表示装置。
【請求項３】
前記制御手段は、前記判定手段において動き種別を移動と判定した場合、前記算出手段の算出結果に応じて画像を移動する第１処理を実行し、前記判定手段において動き種別を回転と判定した場合、前記回転動作の終了時に前記第１処理と異なる第２処理を実行する請求項１または請求項２記載の画像表示装置。
【請求項４】
前記第２の撮影手段により撮影された画像を解析して顔を検出し、検出した顔が所定領域内にあるか否かを判定する顔検出手段を具備し、
前記判定手段は、前記顔検出手段において前記所定領域内にあった顔が前記所定領域内から外れたと判定した場合、移動又は回転の動き種別の判定を実行する請求項１から請求項３のいずれかに記載の画像表示装置。
【請求項５】
前記制御手段は、前記判定手段において動き種別を回転と判定した後、前記顔検出手段において前記所定領域外にあった顔が再び前記所定領域内に入ったことを判定した場合、回転動作が終了したと判断する請求項４記載の画像表示装置。
【請求項６】
前記制御手段は、前記顔検出手段において前記顔が所定領域内に一定時間以上あると判定した場合、前記算出手段の算出結果に応じて画像を移動する第１処理を実行する請求項４または請求項５記載の画像表示装置。
【請求項７】
前記請求項１から請求項６のいずれかに記載の画像表示装置を備える携帯端末装置。
【請求項８】
第１の方向に向けて被写体を撮影するステップと、
第２の方向に向けて被写体を撮影するステップと、
撮影された画像を解析し、移動方向を算出するステップと、
前記第１の撮影手段により撮影された画像を解析した移動方向と前記第２の撮影手段により撮影された画像を解析した移動方向とを比較して、移動又は回転の動き種別を判定するステップと、
前記動き種別に基づいて所定の処理を実行するステップと、
を有する画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやカメラ付き携帯電話機、携帯情報端末等に用いられる画像表示装置及び画像表示方法に関する。
【背景技術】
【０００２】
近年、小型で、低消費電力のイメージセンサが開発されたことに伴い、ＰＤＡ（Personal Digital Assistants）や携帯電話機などの携帯型装置にカメラを内蔵することが可能となり、内蔵カメラにより撮影した画像を、画像表示装置に表示することが可能となっている。
【０００３】
図１３は、撮影画像を表示する画像表示装置の表示方法を説明する図であり、図１３（ａ）は、画像全体を、図１３（ｂ）は、画像表示装置に表示される画像を示す。
【０００４】
図１３（ａ）において、１１は画像表示装置の表示画面に表示される最初の表示位置・倍率の画像、１２は表示させたい位置・倍率の画像である。図１３（ａ）の画像１１から画像１２には、キー操作などでスクロールし、またズームを行う。
【０００５】
従来のカメラ付き携帯端末装置では、このような表示画面よりも大きな画像を表示するためのスクロール及びズームを行うための操作を、キー入力などの物理的方法で行っていたため、使いづらいという問題がある。
【０００６】
この課題を解決するものとして、特許文献１には、カメラで周期的に対象物の撮影を行うことによって、対象物の位置や変動量を検出し、この検出値を用いて表示装置の指示や表示画面を動作させる携帯端末装置が記載されている。
【０００７】
また、特許文献２，３には、加速度センサや方位センサを用いてボタン操作なしに携帯端末を操作する携帯端末の情報入力方法が開示され、特許文献３には、移動操作量を検出するセンサと、レンズ倍率データから再生時ズーム倍率から表示領域の移動量を求め、移動量で移動した拡大再生画像を表示する画像表示装置が開示されている。
【０００８】
また、例えば、静止画あるいは動画を見ていたユーザが、手に持つ携帯電話機を右に捻って戻す操作で次のコンテンツに移行するような、表示画像のスクロール、ズームとは異なる処理をキー操作によらずに行う技術も開発されている。
【特許文献１】特開２００４−１２０５１４号公報
【特許文献２】特開２００５−３３２１１８号公報
【特許文献３】特開２００５−８００８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、これまでの画像表示装置においてキー操作によらずに実行できる処理は、表示画面のスクロール、ズームを行う第１の処理と、この第１の処理とは異なる第２の処理のいずれか一方のみである。
【００１０】
本発明は、かかる点に鑑みてなされたものであり、表示画面のスクロール又はズームを行う第１の処理、及び、この第１の処理とは異なる第２の処理の２種類の処理を、キー操作によることなく区別して実行することができる画像表示装置及び画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像表示装置は、第１の方向に向けて被写体を撮影する第１の撮影手段と、第２の方向に向けて被写体を撮影する第２の撮影手段と、前記第１及び第２の撮影手段により撮影された画像を解析し、移動方向を算出する算出手段と、前記第１の撮影手段により撮影された画像を解析した移動方向と前記第２の撮影手段により撮影された画像を解析した移動方向とを比較して、移動又は回転の動き種別を判定する判定手段と、前記動き種別に基づいて所定の処理を実行する制御手段と、を具備する構成を採る。
【００１２】
本発明の画像表示方法は、第１の方向に向けて被写体を撮影するステップと、第２の方向に向けて被写体を撮影するステップと、撮影された画像を解析し、移動方向を算出するステップと、前記第１の撮影手段により撮影された画像を解析した移動方向と前記第２の撮影手段により撮影された画像を解析した移動方向とを比較して、移動又は回転の動き種別を判定するステップと、前記動き種別に基づいて所定の処理を実行するステップと、を有するようにした。
【発明の効果】
【００１３】
本発明によれば、２つのカメラにより撮影された画像の移動方向を比較して、移動又は回転の動き種別を判定し、動き種別に基づいて所定の処理を実行することができるので、キー操作によることなく、表示画面のスクロール又はズームを行う第１の処理、及び、この第１の処理とは異なる第２の処理の２種類の処理を区別して実行することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１５】
図１は、本発明の一実施の形態の携帯端末装置の外観を示す図であり、図１（ａ）はその正面図、図１（ｂ）はその背面図である。本実施の形態の携帯端末装置は、画像表示装置をカメラ付き携帯電話機／ＰＨＳ（Personal Handy-Phone System）の携帯通信端末に適用した例である。
【００１６】
図１において、１００は、カメラ付き携帯電話機（携帯端末装置）であり、携帯電話機１００の本体１００ａは、無線通信を行うためのアンテナ１０１、本体１００ａ背面に内蔵され対象となる画像情報を入力するアウトカメラ１０２、本体１００ａ背面に内蔵され暗い場所やＱＲコード読み取り時等にユーザ操作等により発光する小型のライト１０３、本体１００ａのヒンジ部に取り付けられ主にユーザの顔などを撮影するインカメラ１０４、受話を行うための拡声用スピーカ１０５、操作のためのガイダンスや受信情報，画像やテキスト情報などの情報をカラー表示するＬＣＤ表示部１０６、着信を報知する着信報知ＬＥＤ１０７、電源のＯＮ／ＯＦＦを行う電源キー１０８、着信，発信，電話機能切り替え，動作決定等を行う電話機能キー１０９、上下左右の方向に選択対象を移動させるカーソルキー及び押下により選択操作を決定する実行キーである十字キー１１０、各種機能を切り替えるためのモードキー１１１、アウトカメラ１０２／インカメラ１０４の入力を決定するシャッターボタンであるシャッターキー１１２、ライト１０３をＯＮ／ＯＦＦするライトＯＮ／ＯＦＦボタン１１３、電話番号の入力等ダイヤルするためのメンブレンキー（Membrane key）からなるダイヤルキー１１４、及び音声を入力するためのマイク１１５を備えて構成される。
【００１７】
アウトカメラ１０２は、携帯電話機１００に内蔵された例えば２００万画素のＣＣＤ（Charge Coupled Device）（エリア型固体撮像素子）カメラである。アウトカメラ１０２は、単焦点レンズを有し、通常撮影時とバーコード読み取り時とで焦点深度が切換えられる。また、ズーム機能を有する。インカメラ１０４は、アウトカメラ１０２よりも解像度の低いＣＣＤカメラであり、携帯電話機１００の前面にありユーザの顔位置などを撮影する。
【００１８】
ＬＣＤ表示部１０６は、ドットマトリクス構成のカラー表示可能なＬＣＤディスプレイ，ＥＬ（Electro Luminescence）、白色ＬＥＤバックライト及び各ドライバ等で構成される。ＬＣＤ表示部１０６には、撮影時、アウトカメラ１０２／インカメラ１０４から入力される画像情報が表示され、また、撮影が完了した場合、文字あるいはアイコンなどのメッセージにより撮影結果が表示される。また、非撮影時にはダイヤルキー１１４から入力された番号や、非電話機能のための各種画面、電話機能の動作状態を示すアイコン等が表示される。さらに、待機時には時刻が表示され、個人情報やシステムの状態などを表示する。
【００１９】
電源キー１０８、電話機能キー１０９、十字キー１１０、モードキー１１１、シャッターキー１１２、ライトＯＮ／ＯＦＦボタン１１３及びダイヤルキー１１４は、いずれも手動で操作を行い、操作された内容を制御部１５０（図２）に情報として伝達する。本実施の形態では、シャッターキー１１２やライトＯＮ／ＯＦＦボタン１１３を独立のキーとしているが、これらのキーの機能を他のキー（例えば十字キー１１０）に割り当てる構成でもよい。
【００２０】
図２は、画像表示装置をカメラ付き携帯電話機に組込んだ場合の構成を示すブロック図である。
【００２１】
図２において、携帯電話機１００は、ＰＤＡ（Personal Digital Assistants）等の携帯情報端末やＰＨＳ／携帯電話機であり、本装置全体を制御するＣＰＵからなる制御部１５０、制御プログラムや固定データ等を記憶するＲＯＭ，ＣＰＵの作業用記憶領域であるＲＡＭ等の半導体メモリ及びハードディスクなどからなり受信又は入力された文字情報、画像情報、音声信号を記憶する記憶メモリ１５１、対象となる画像情報を入力するアウトカメラ１０２、ユーザ操作により発光するライト１０３、操作者の顔などの画像情報を入力するインカメラ１０４、文字情報や画像情報をカラー表示するＬＣＤ表示部１０６、着信報知ＬＥＤ１０７、ユーザからのキー操作情報を入力生成するキー入力部１５２、電波を送受信するアンテナ１０１、無線通信の送受信を制御する無線部１５３、音声信号を出力するスピーカ１１５、ユーザから音声信号を入力するマイク１０５を備えて構成される。
【００２２】
また、制御部１５０は、算出部１６１、判定部１６２及び顔検出部１６３の各機能ブロックを有する。算出部１６１は、アウトカメラ１０２及びインカメラ１０４により撮影された画像を解析し、移動方向、移動量、移動速度、前後移動を算出する。判定部１６２は、アウトカメラ１０２により撮影された画像を解析した移動方向とインカメラ１０４により撮影された画像を解析した移動方向とを比較して、移動又は回転の動き種別を判定する。顔検出部１６３は、インカメラ１０４により撮影された画像を解析して顔を検出し、検出された顔が所定領域内にあるか否かを判定する。なお、上記機能の具体的内容については、図１１のフローにより後述する。
【００２３】
記憶メモリ１５１は、不揮発性記憶メモリを備え、キー入力部１５２によって入力された、カラー識別データを識別テーブルに格納する。
【００２４】
ＲＯＭは、制御部１５０が動作する際に必要なプログラム、通信制御データ等の固定データを記憶する読出し専用の半導体メモリである。ＲＡＭは、バーコード認識・表示や通信に関するデータ、演算に使用するデータ及び演算結果等を一時的に記憶するいわゆるワーキングメモリとして使用される。携帯電話機１００で処理されるプログラムは、このＲＡＭに展開されて実行される。また、ＲＡＭの一部は、電気的に書換可能な不揮発性メモリであるＥＥＰＲＯＭ（electrically erasable programmable ROM）からなり、ＥＥＰＲＯＭに書き込むプログラムを変えることによって、特に携帯電話機１００における各種の仕様を変更することができる。
【００２５】
キー入力部１５２は、電話機能キー１０９、十字キー１１０、モードキー１１１、シャッターキー１１２、ライトＯＮ／ＯＦＦボタン１１３及びダイヤルキー１１４からなり、ユーザ操作によるデータを入力する。
【００２６】
以下、上述のように構成された携帯端末装置の動作を説明する。
【００２７】
図３は、撮影画像を表示する画像表示方法を説明する図である。
【００２８】
図３において、本画像表示デバイスは、カメラ付き携帯電話機／ＰＨＳ，ＰＤＡ，デジタルカメラなどの撮影画像を表示可能な携帯機器２００に設置されており、携帯機器２００は、移動計測対象物３００を撮影するカメラデバイス２０１とユーザ４００の顔を撮影するカメラデバイス２０２とを備える。カメラデバイス２０１とカメラデバイス２０２とは、互いに反対方向を撮影するように配置される。したがって、カメラデバイス２０１によって移動計測対象物３００を撮影している時、カメラデバイス２０２はユーザ４００の顔を撮影することができる。本実施の形態では、携帯機器２００は、カメラ付き携帯電話機１００であり、カメラデバイス２０１，カメラデバイス２０２は、それぞれアウトカメラ１０２，インカメラ１０４に対応する。
【００２９】
アウトカメラ１０２であるカメラデバイス２０１は、移動計測対象物３００を撮影する。カメラデバイス２０１を移動させることで、撮影される移動計測対象物３００の撮影画像を、携帯機器２００の表示画面にスクロールさせることができる。いま、スクロール情報をΔＡとすると、スクロール情報ΔＡは、アウトカメラ１０２（携帯機器２００）の移動方向、移動量、及び移動速度で決定される。また、カメラデバイス２０１は、ズーム機能を備え、移動計測対象物３００をズーム撮影して拡大画像を表示する。カメラデバイス２０１のズーム情報をΔＣ（ズーム情報２）とする。ズーム情報ΔＣ（ズーム情報２）は、スクロール情報ΔＡに対する補足情報である。
【００３０】
一方、インカメラ１０４であるカメラデバイス２０２は、ユーザ４００の顔を撮影する。カメラデバイス２０２の移動はなく、通常は顔が撮影される。また、カメラデバイス２０２は、ズーム機能を備え、ユーザ４００の顔をズーム撮影して拡大画像を表示する。カメラデバイス２０２のズーム情報をΔＢ（ズーム情報１）とする。カメラデバイス２０２により撮影された画像からは、後述する顔検出技術によって顔の有無及び位置が検出される。
【００３１】
本実施の形態の画像表示方法を実現するにあたって以下の２つの既知の要素技術を用いる。まず、この[要素１]画像検出及び解析技術と、[要素２]顔検出技術とについて説明する。
【００３２】
図４及び図５は、[要素１]画像検出及び解析技術を説明する図である。
【００３３】
この技術は、セキュリティカメラ、モーションレンズ（Motion Lenz）等で用いられている画像検出及び解析技術である。
【００３４】
図４に示すように、携帯電話機１００を左下方から右上方に、アウトカメラ１０２で撮影しながら動かす。図５は、この時のカメラスキャン画像を示す図であり、ＬＣＤ表示部１０６の表示画面１０６Ａに表示される。
【００３５】
図５の撮影画像の太陽３０１に着目すると、カメラスキャン画像が位置（Ｘ１，Ｙ１）にあるとき、太陽３０１は表示画面右上にあり、アウトカメラ１０２（携帯電話機１００）の移動によってカメラスキャン画像が位置（Ｘ２，Ｙ２）にあるとき、太陽３０１は表示画面中央、カメラスキャン画像が位置（Ｘ３，Ｙ３）にあるとき、太陽３０１は表示画面左下にある。また、カメラスキャン画像が位置（Ｘ１，Ｙ１）から位置（Ｘ３，Ｙ３）までの移動時間はΔｔ[ｓ]であるとする。[フレーム比較方式]を用いる。
（１）フレーム単位又は時間単位で定期的にカメラ画像のスキャンを行う。
（２）オブジェクト検出を行い、動作比較しやすい対象物を決める。図５の場合は、対象物は、撮影画像の太陽３０１である。
（３）対象物の位置を座標として捉え、下記を検出する。
・携帯電話機１００の移動量（Δｄ（Ｘ１，３，Ｙ１，３））
・携帯電話機１００の移動速度（ｓ＝Δｄ／Δｔ）
・携帯電話機１００の移動方向（ｔａｎθ＝Δｙ／Δｘ＋１８０°）この場合、対象物の移動と１８０°逆方向となる。
（４）対象物の大きさの変化やフォーカス距離の変化量から前後距離の変化量（Δｚ）も検出できる。
【００３６】
以上により、対象物の移動量、移動速度、及び移動方向を検出することができる。
【００３７】
図６は、[要素２]顔検出技術を説明する図である。
【００３８】
図６に示すように、インカメラ１０４により撮影されたスキャン画像を解析して、ユーザ４００の顔４０１の有無、位置が検出可能である。図６（ａ）は、顔４０１を検出してデフォルト位置にある場合、図６（ｂ）は、顔４０１を検出してデフォルト位置にない場合、図６（ｃ）は、顔４０１を検出しない場合である。
【００３９】
本実施の形態は、上記[要素１]画像検出及び解析技術と[要素２]顔検出技術を利用した上、以下に述べる基本的な考え方に従って画面表示装置の移動操作感覚に合わせた画像表示位置と表示倍率を変動する表示制御を行う。
【００４０】
図７乃至図１０は、移動種別と移動方向の検出方法を説明する図であり、図７は、動き種別検出の基本説明図、図８は、移動種別を表にして示す図、図９及び図１０は、動き開始検出の説明図である。
【００４１】
図７（ａ）は、平行移動の場合の画像表示装置（ここでは携帯電話機１００）動きを示している。平行移動の場合には、アウトカメラ１０２の移動方向とインカメラ１０４の移動方向とは同一である。ここで、上記[要素１]及び[要素２]技術を用いることにより、アウトカメラ１０２及びインカメラ１０４により撮影されたスキャン画像から、画像表示装置（携帯電話機１００）の画面移動を検出することができる。
【００４２】
図７（ｂ）は、回転の場合の画像表示装置（ここでは携帯電話機１００）動きを示している。なお、図７（ｂ）では、説明を分かりやすくするため、アウトカメラ１０２とインカメラ１０４を画像表示装置（携帯電話機１００）の左右両端側にずらして設置した例について示したが、図７（ａ）のように左右両端側にずらして設置してなくてもよい。例えば、図１に示す携帯電話機１００のアウトカメラ１０２とインカメラ１０４は回転中心軸から見て左右ずれた位置にはない。図７（ｂ）に示すように、画像表示装置（携帯電話機１００）を回転させると、アウトカメラ１０２の移動方向とインカメラ１０４の移動方向とは逆方向となる。この場合も、上記[要素１]及び[要素２]技術を用いることにより、アウトカメラ１０２及びインカメラ１０４により撮影されたスキャン画像から、画像表示装置（携帯電話機１００）の画面移動を検出することができ、検出した移動方向がアウトカメラ１０２の移動方向とインカメラ１０４の移動方向とで異なれば、回転と判定することができる。以上をまとめると、アウトカメラ１０２とインカメラ１０４で撮影したスキャン画像を、上記[要素１]及び[要素２]技術を用いて解析して、検出した移動方向がアウトカメラ１０２とインカメラ１０４で異なれば、回転と判定し、同じであれば移動と判定する。なお、上記回転と移動の判定には所定の閾値が設けられており、判定閾値が所定範囲にあるとき回転又は移動と判定する。
【００４３】
図８は、アウトカメラ１０２とインカメラ１０４により検出されたスキャン画像の解析結果から、画像表示装置の回転と移動を判定する表を示す図である。図８では、移動方向を上下左右４方向とした場合の携帯電話機１００の移動を例に採る。図８に示すように、上下左右のどの方向であってもアウトカメラ１０２とインカメラ１０４により検出した移動方向が同方向であれば「移動」と判定し、異なれば「回転」と判定する。すなわち、アウトカメラ１０２とインカメラ１０４の移動方向の向きにより「移動」と「回転」とを判定することができる。
【００４４】
上述した動き種別検出は、それだけでも移動操作感覚を把握するのに十分であるが、以下の動き開始検出を併用すると更なる操作感の向上を図ることができる。
【００４５】
図９に示すように、アウトカメラ１０２及びインカメラ１０４を撮影にしたまま、携帯電話機１００をユーザの顔４０１が撮影されない位置まで移動させて戻す。例えば、携帯電話機１００を右に移動させて戻す。図１０は、携帯電話機１００を右に移動させて戻した場合のインカメラ１０４により撮影されるスキャン画像であり、図１０（ａ）は、図９に示すようにユーザが携帯電話機１００を右に移動させる前のデフォルト位置でのインカメラスキャン画像を示す。この状態で、携帯電話機１００をユーザの顔４０１に向けずに右に移動させると、図１０（ｂ）のインカメラスキャン画像が撮影され、再び、携帯電話機１００を元のデフォルト位置に戻すと、図１０（ｃ）のインカメラスキャン画像が撮影される。ユーザによって行われる、上記携帯電話機１００の移動操作を、動き開始検出のトリガとすれば、キー操作を行うことなく、動き種別検出に移行させることができる。また、ユーザが動き開始検出としたくなければ、インカメラ１０４がユーザの顔４０１から外れないよう撮影し続ければよい。本動き開始検出方法の特に優れている点は、キー操作が不要であることに加えて、携帯電話機１００を持つユーザの持ち方一つで、動き種別検出開始／終了又は非実行を操作できることにある。この場合、携帯電話機１００を右に移動させて戻した場合の動き開始検出を「第１の動き開始検出」、携帯電話機１００を左に移動させて戻した場合の動き開始検出を「第２の動き開始検出」など、左右上下、さらには斜め方向などをキー操作の上下左右キーの実行操作に割当てることも可能である。
【００４６】
なお、上述した動き種別検出と動き開始検出とは必ずしもこの方法で実施する必要はなく、それぞれ単独で実施してもよい。
【００４７】
以下、図１１の動き種別検出制御フローを参照して具体的動作について説明する。
【００４８】
図１１は、携帯端末装置１００の動き種別検出制御動作を示すフローチャートであり、制御部１５０のＣＰＵにより所定タイミングで繰り返し実行される。図中Ｓはフローの各ステップを示す。
【００４９】
アウトカメラ１０２により初期状態画像が少なくとも１枚スキャン済みであることがフロー開始の前提条件となる。
【００５０】
まず、ステップＳ１でインカメラ１０４及びアウトカメラ１０２により撮影した画像スキャンを行い、インカメラスキャン画像から顔解析を行う。この顔解析には、上記[要素２]技術を用いる。次いで、ステップＳ２でインカメラ１０４及びアウトカメラ１０２により撮影した画像スキャンから前画像との比較解析を行う。具体的には、上記[要素１]技術により移動方向、移動量、及び移動速度を計算し、前後移動情報（ズーム情報）を計算するとともに、前記図７及び図８の動き種別検出方法に基づいて動き種別を判定する。
【００５１】
ステップＳ３では、解析したインカメラスキャン画像を基にインカメラ顔位置がデフォルトか否かを判別する。すなわち、ステップＳ１及びステップＳ３により図１０（ａ）に示すデフォルト位置のインカメラスキャン画像であることを判別する。インカメラ顔位置がデフォルトでなければ、動きがあると判断してステップＳ４でインカメラ１０４及びアウトカメラ１０２により撮影したスキャン画像を基に動き種別検出し、平行移動か回転かを判定する（図８参照）。なお、回転と移動の判定には、閾値が設けられており、装置の移動量が閾値の範囲を超えたときに回転又は移動と判定する。
【００５２】
回転の場合には、ステップＳ５で動作種別として、例えば回転開始方向をビューアに返却するなどの回転開始のルーチンが実行される。ステップＳ６で動作安定のため所定のウェイトをおき、ステップＳ７でインカメラ１０４及びアウトカメラ１０２により撮影した画像スキャンを行い、インカメラスキャン画像から顔解析を行う。
【００５３】
ステップＳ８では、解析したインカメラスキャン画像を基にインカメラ顔位置がデフォルトか否かを判別し、インカメラ顔位置がデフォルトでなければ回転動作中であると判断して上記ステップＳ６に戻る。インカメラ顔位置がデフォルトであれば、回転後携帯電話機１００を元に戻したと判断してステップＳ９で動作種別として、例えば回転終了方向をビューアに返却し、ビューアは切替動作を行うなどの回転終了のルーチンを実行して本フローを終了する。
【００５４】
一方、上記ステップＳ３でインカメラ顔位置がデフォルトであれば、動き開始検出にはないと判断してステップＳ１０で前後の移動量がある一定量以上あるか否かを判別する。前後の移動量が一定量に満たない場合は、ズームを含めた動きがないと判断してステップＳ１１で所定のウェイトを置いて上記ステップＳ１に戻る。すなわち、顔の位置を固定させておき、動いているときは携帯電話機１００の動きはないと判断する。換言すれば、インカメラ１０４で撮影したインカメラ顔位置がデフォルトであることを起点にして、携帯電話機１００の動きを、携帯電話機１００の動き種別検出（「回転」「平行移動」）と、動き開始検出とに用いている。
【００５５】
上記ステップＳ１０で前後の移動量がある一定量以上あるときは、前後移動ありと判断してステップＳ１２に進む。また、上記ステップＳ４でインカメラ１０４及びアウトカメラ１０２により撮影したスキャン画像を基に動き種別検出し、移動と判定されたときもステップＳ１２に進む。
【００５６】
ステップＳ１２では、動作種別として、例えば移動方向、移動速度をビューアに返却するなどの移動のルーチンが実行される。ステップＳ１３で動作安定のため所定のウェイトをおき、ステップＳ１４でインカメラ１０４及びアウトカメラ１０２により撮影した画像スキャンを行い、インカメラスキャン画像から顔解析を行う。
【００５７】
次いで、ステップＳ１５でインカメラ１０４及びアウトカメラ１０２により撮影した画像スキャンから前画像との比較解析を行う。具体的には、移動方向、移動量、及び移動速度を計算し、前後移動情報（ズーム情報）を計算する。
【００５８】
ステップＳ１６では、解析したインカメラスキャン画像を基にインカメラ顔位置がデフォルトか否かを判別し、インカメラ顔位置がデフォルトでなければ、移動動作中と判断して上記ステップＳ１２に戻る。インカメラ顔位置がデフォルトであれば、移動動作が完了したと判断して本フローを終了する。
【００５９】
以上のフローを実行することにより以下のような効果を得ることができる。
【００６０】
図１２は、本実施の形態による操作性の向上を説明する図であり、図１２（ａ）は、回転検出による操作性の一例を、図１２（ｂ）は、移動検出による操作性の一例を示す。
【００６１】
図１２（ａ）に示すように、ユーザは、手に持つ携帯電話機１００を捻る（振る）ことで、動き開始検出のキー操作に代えることができる。また、上記動き検出としたくない場合は、インカメラ１０４によりユーザの顔位置をデフォルトで撮影し続けるようにユーザが捻り具合を加減すればよい。動き開始検出を、キー操作に代えることで以下のような用途に適用することができる。例えば、静止画あるいは動画を見ていたユーザが、手に持つ携帯電話機１００を右に捻って戻す操作で次のコンテンツに移行する、また左に捻って戻す操作で前のコンテンツに戻る。これは、携帯電話機１００を右左に捻る（振る）動作が、右左カーソルキーとそれを実行する操作に置き換えたことに相当し、飛躍的な操作性の向上を図ることができる。上記動き検出はキー操作の置き換えに限定されず、スクロール機能に割当てても良い。また、コンテンツは一例であって、例えば音楽の早送りやポーズなどのほか、メールの切替にも応用できる。
【００６２】
図１２（ｂ）に示すように、ユーザは、手に持つ携帯電話機１００を上下左右前後に動かすことで、上下左右前後に割当てられた表示制御をそのまま実行することができる。この場合も上下左右前後に割当てられた表示制御を実行しないとき（設定によっては実行したいとき）は、ユーザは携帯電話機１００をインカメラ顔位置がデフォルトから一旦外れるようにすればよい。用途例として、ＰＤＦを見ていたユーザが、図１２（ｂ）に示すように、携帯電話機１００を右斜め手前に動かすと、撮影される画像はズームされながら表示位置が右斜めに移動する。
【００６３】
このように、ユーザは携帯電話機１００を自由に動かすだけ、いわば持ち方一つで上記回転検出機能と移動検出機能の両方を同時に実現することができる。
【００６４】
以上のように、本実施の形態によれば、携帯電話機１００は、対象となる画像情報を入力するアウトカメラ１０２と、主にユーザの顔などを撮影するインカメラ１０４とを備え、制御部１５０は、アウトカメラ１０２及びインカメラ１０４により撮影された画像を解析し、移動方向、移動量、移動速度、前後移動を算出し、アウトカメラ１０２により撮影された画像を解析した移動方向とインカメラ１０４により撮影された画像を解析した移動方向とを比較して、移動又は回転の動き種別を判定し、判定結果に応じて、表示画面のスクロール又はズームを行う第１の処理、及び、この第１の処理とは異なる第２の処理の２種類の処理を区別して実行する。すなわち、アウトカメラとインカメラを備える装置は、従来存在していたが、本実施の形態では、２つのカメラを用いているものの、単なる画像の取り込み用としてではなく、移動又は回転の動き種別を判定して画像に関する移動操作を実現することと、検出された顔が所定領域にあることを判定とし、これを操作系のトリガとして用いることで、前記図１２で述べたようなキー操作に代わる、いままでにない快適な操作感をユーザに提供するという特別の効果を奏する。
【００６５】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。例えば、携帯端末装置として携帯電話機に適用した例について説明しているが、デジタルカメラは勿論のこと、携帯電話機に限らずＰＤＡ等の携帯情報端末、パーソナルコンピュータ又はその融合された装置に適用可能である。
【００６６】
また、図４乃至図１２の動作例は一例であり、どのような設定例でも構わない。
【００６７】
また、本実施の形態では画像表示装置、携帯端末装置、及び画像表示方法という名称を用いたが、これは説明の便宜上であり、携帯電話機、デジタルカメラ、情報入力方法等であってもよいことは勿論である。
【００６８】
さらに、上記携帯電話機を構成する各回路部、例えば表示部等の種類、数及び接続方法などは前述した実施の形態に限られない。
【００６９】
また、以上説明した画像表示装置、携帯端末装置及び画像表示方法は、これら画像表示装置、携帯端末装置及び画像表示方法を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。
【産業上の利用可能性】
【００７０】
本発明に係る画像表示装置、携帯端末装置及び画像表示方法は、デジタルカメラやカメラ付き携帯電話機などの携帯端末装置、表示制御システムの用途に有用である。また、画像表示プログラムとして携帯電話機などの電子機器に組み込むことも可能である。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施の形態に係る携帯端末装置の外観を示す図
【図２】上記実施の形態に係る携帯端末装置の構成を示すブロック図
【図３】上記実施の形態に係る携帯端末装置の撮影画像を表示する画像表示方法を説明する図
【図４】上記実施の形態に係る携帯端末装置の画像検出及び解析技術を説明する図
【図５】上記実施の形態に係る携帯端末装置の画像検出及び解析技術を説明する図
【図６】上記実施の形態に係る携帯端末装置の顔検出技術を説明する図
【図７】上記実施の形態に係る携帯端末装置の動き種別検出の基本説明図
【図８】上記実施の形態に係る携帯端末装置の移動種別を表にして示す図
【図９】上記実施の形態に係る携帯端末装置の動き開始検出の説明図
【図１０】上記実施の形態に係る携帯端末装置の動き開始検出の説明図
【図１１】上記実施の形態に係る携帯端末装置の動き種別検出制御動作を示すフローチャート
【図１２】上記実施の形態による操作性の向上を説明する図
【図１３】従来の撮影画像を表示する画像表示装置の撮影方法を説明する図
【符号の説明】
【００７２】
１００  カメラ付き携帯電話機（携帯端末装置）
１０２  アウトカメラ
１０４  インカメラ
１０６  ＬＣＤ表示部
１５０  制御部
１５１  記憶メモリ
１５２  キー入力部
１５３  無線部
１６１  算出部
１６２  判定部
１６３  顔検出部
２００  携帯機器（携帯端末装置）
２０１、２０２  カメラデバイス
３００  移動計測対象物
４０１  顔
【図１】
2007324893.tif 000003
【図２】
2007324893.tif 000004
【図３】
2007324893.tif 000005
【図４】
2007324893.tif 000006
【図５】
2007324893.tif 000007
【図６】
2007324893.tif 000008
【図７】
2007324893.tif 000009
【図８】
2007324893.tif 000010
【図９】
2007324893.tif 000011
【図１０】
2007324893.tif 000012
【図１１】
2007324893.tif 000013
【図１２】
2007324893.tif 000014
【図１３】
2007324893.tif 000015