(57)【要約】【課題】  カメラ部で撮像されたユーザの撮像画像に基づく所望の情報処理の指定操作を行う場合に、ユーザに対して手や顔等の部位を停止させる位置（＝移動させる位置）を認識させることができ、また、適正な位置に停止している部位及び不適正な位置に停止している部位をユーザに認識させることで、上記指定操作の容易化を図る。【解決手段】  制御部は、被写体となっているユーザの撮像画像と共に、当該ユーザのポーズを検出するための複数のガイド枠を表示部に表示し、被写体となっているユーザの部位が、ガイド枠内に位置している場合は、その部位を赤色の枠で囲んで表示し、該ガイド枠外に位置している場合は、その部位を青色の枠で囲んで表示する。当該携帯電話機のユーザは、青色の枠で囲まれた部位がガイド枠内に位置するように、被写体となっているユーザを誘導する。これにより、容易かつ迅速に所望の情報処理の指定操作を行うことができる。【選択図】  図３
2009151424.tif 000002
【特許請求の範囲】
【請求項１】
所望のユーザを撮像し、この撮像画像を表示手段に表示する撮像手段と、
上記撮像手段により上記表示手段に表示された撮像画像におけるユーザの所定の部位の上記表示手段上の表示位置を指定するためのガイド枠を上記表示手段に表示するガイド枠表示手段と、
上記撮像画像におけるユーザの所定の部位が、上記ガイド枠表示手段により上記表示手段に表示されたガイド枠内に位置しているか否かを判定する位置判定手段と、
上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠内に位置していることを示す情報を上記表示手段上に表示し、上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠外に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠外に位置していることを示す情報を上記表示手段上に表示する判定結果表示手段と、
上記ガイド枠表示手段により上記表示手段に表示される各ガイド枠の表示位置を示す表示位置情報と、該各ガイド枠の表示位置に対応する所定の情報処理を示す情報処理データとがそれぞれ関連付けされて記憶されたガイド枠対応情報処理テーブルと、
上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、当該ガイド枠の表示位置に対応する情報処理データを上記ガイド枠対応情報処理テーブルから読み出し、この読み出した情報処理データに対応する情報処理を実行制御する制御手段と
を有する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
上記判定結果表示手段は、上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、当該ガイド枠内に位置しているユーザの部位を囲む第１の色の枠を上記表示手段に表示し、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠外に位置しているものと判定された場合、当該ガイド枠外に位置しているユーザの部位を囲む、上記第１の色とは異なる色である第２の色の枠を上記表示手段に表示すること
を特徴とする情報処理装置。
【請求項３】
請求項１又は請求項２に記載の情報処理装置であって、
上記ガイド枠対応情報処理テーブルには、ガイド枠表示手段により上記表示手段に表示される各ガイド枠の表示位置を示す表示位置情報と、該各ガイド枠の表示位置に対応する数字の入力処理情報、及び数字の入力終了処理を示す入力終了処理情報とがそれぞれ関連付けされて記憶されており、
上記制御手段は、上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、当該ガイド枠の表示位置に対応する数字の入力処理情報を上記ガイド枠対応情報処理テーブルから読み出し、この読み出した入力処理情報で示される数字を上記表示手段に表示する制御を、上記ガイド枠対応情報処理テーブルから上記入力終了処理情報を読み出すまでの間、繰り返し実行し、上記ガイド枠対応情報処理テーブルから上記入力終了処理情報を読み出した際に、上記表示手段に表示されているユーザの撮像画像を取得すると共に、それまで上記表示手段に表示した各数字の数列を電話番号入力欄に入力した電話番号登録画面を上記表示手段に表示し、操作手段を介して所定の登録操作がなされた際に、上記電話番号登録画面に対する入力情報を、上記取得したユーザの撮像画像と共に電話帳メモリに登録すること
を特徴とする情報処理装置。
【請求項４】
撮像手段が、所望のユーザを撮像し、この撮像画像を表示手段に表示するステップと、
上記ステップで上記撮像手段により上記表示手段に表示された撮像画像におけるユーザの所定の部位の上記表示手段上の表示位置を指定するためのガイド枠を、ガイド枠表示手段が上記表示手段に表示するステップと、
上記ステップで上記表示手段に表示された撮像画像におけるユーザの所定の部位が、上記ステップで上記ガイド枠表示手段により上記表示手段に表示されたガイド枠内に位置しているか否かを、位置判定手段が判定するステップと、
上記ステップで上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、判定結果表示手段が、該ユーザの所定の部位が上記ガイド枠内に位置していることを示す情報を上記表示手段上に表示するステップと、
上記ステップで上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠外に位置しているものと判定された場合、判定結果表示手段が、該ユーザの所定の部位が上記ガイド枠外に位置していることを示す情報を上記表示手段上に表示するステップと、
上記ステップで上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、制御手段が、上記ガイド枠表示手段により上記表示手段に表示される各ガイド枠の表示位置を示す表示位置情報と、該各ガイド枠の表示位置に対応する所定の情報処理を示す情報処理データとがそれぞれ関連付けされて記憶されたガイド枠対応情報処理テーブルから、上記ガイド枠の表示位置に対応する情報処理データを読み出し、この読み出した情報処理データに対応する情報処理を実行制御するステップと
を有する情報処理方法。
【請求項５】
所望のユーザを撮像し、この撮像画像を表示手段に表示するように撮像手段を制御する撮像制御手段としてコンピュータを機能させ、
上記撮像手段により上記表示手段に表示された撮像画像におけるユーザの所定の部位の上記表示手段上の表示位置を指定するためのガイド枠を上記表示手段に表示するガイド枠表示手段としてコンピュータを機能させ、
上記表示手段に表示された撮像画像におけるユーザの所定の部位が、コンピュータを上記ガイド枠表示手段として機能させることで上記表示手段に表示されたガイド枠内に位置しているか否かを判定する位置判定手段としてコンピュータを機能させ、
コンピュータを上記位置判定手段として機能させることで、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠内に位置していることを示す情報を上記表示手段上に表示し、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠外に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠外に位置していることを示す情報を上記表示手段上に表示する判定結果表示手段としてコンピュータを機能させ、
コンピュータを上記位置判定手段として機能させることで、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、上記表示手段に表示される各ガイド枠の表示位置を示す表示位置情報と、該各ガイド枠の表示位置に対応する所定の情報処理を示す情報処理データとがそれぞれ関連付けされて記憶されたガイド枠対応情報処理テーブルから、上記ガイド枠の表示位置に対応する情報処理データを読み出し、この読み出した情報処理データに対応する情報処理を実行制御する制御手段としてコンピュータを機能させること
を特徴とする情報処理プログラム。
【請求項６】
表示手段と、
所望のユーザを撮像し、この撮像画像を上記表示手段に表示する撮像手段と、
上記撮像手段により上記表示手段に表示された撮像画像におけるユーザの所定の部位の上記表示手段上の表示位置を指定するためのガイド枠を上記表示手段に表示するガイド枠表示手段と、
上記撮像画像におけるユーザの所定の部位が、上記ガイド枠表示手段により上記表示手段に表示されたガイド枠内に位置しているか否かを判定する位置判定手段と、
上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠内に位置していることを示す情報を上記表示手段上に表示し、上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠外に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠外に位置していることを示す情報を上記表示手段上に表示する判定結果表示手段と、
上記ガイド枠表示手段により上記表示手段に表示される各ガイド枠の表示位置を示す表示位置情報と、該各ガイド枠の表示位置に対応する所定の情報処理を示す情報処理データとがそれぞれ関連付けされて記憶されたガイド枠対応情報処理テーブルと、
上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、当該ガイド枠の表示位置に対応する情報処理データを上記ガイド枠対応情報処理テーブルから読み出し、この読み出した情報処理データに対応する情報処理を実行制御する制御手段と
を有する携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ機能を備えた、例えば携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、デジタルカメラ装置、ノート型のパーソナルコンピュータ装置等の携帯機器に適用して好適な情報処理装置、情報処理方法、情報処理プログラム及び携帯端末装置に関し、特に、カメラ機能を用いて撮像したユーザの停止動作（ポーズ）に対応する情報処理を行う場合に、ユーザに対して手や顔等の部位を停止させる位置を容易に認識させ、また、適正な位置に停止している部位及び不適正な位置に停止している部位をユーザに認識させることで、入力の容易化等を図った情報処理装置、情報処理方法、情報処理プログラム及び携帯端末装置に関する。
【背景技術】
【０００２】
今日において、コンピュータ装置に対する入力装置として、キーボード装置やマウス装置が用いられることが一般的であるが、カメラ装置で撮像したユーザの動きや顔の表情等の撮像画像を解析し、この解析結果に対応する入力処理を行う入力装置も知られている。
【０００３】
このような撮像画像の解析結果に対応した入力処理を行う入力装置に対する改善は年々進んでおり、例えば特開２００１−３０７１０８号の公開特許公報（特許文献１）には、ユーザの動作を解析中であることをユーザに対して通知することで、現在の動作モードをユーザに認識させるようにした情報処理装置が開示されている。
【０００４】
具体的には、この特許文献１に開示されている情報処理装置の場合、ＣＣＤカメラによってユーザを撮像することにより得られた画像に基づいてユーザの動作の移動方向を認識し、当該認識した移動方向に対応するコマンドを生成するに当たって、ユーザの動作の移動方向を認識していない間、画像中のユーザの動作を解析中であることを示すサーチ状態のジェスチャー認識画面を液晶ディスプレイに表示する。これにより、現在の動作モードをユーザに認識させることができるようになっている。
【０００５】
また、特開２００１−３０６２４３号の公開特許公報（特許文献２）には、ユーザの動作がどのように認識されるのかを、予めユーザに対して通知するようにした情報処理装置が開示されている。この情報処理装置の場合、ＣＣＤカメラによってユーザを撮像することにより得られた画像に基づいてユーザの動作の移動方向を認識する前に、予め認識可能な種類の移動方向をユーザに想像させるためのジェスチャー認識画面に対して、横一列に配列されたターゲット部を表示する。これにより、当該ターゲット部を介して左右方向の動作を認識可能であることをユーザに対して予め通知できるようになっている。
【０００６】
【特許文献１】特開２００１−３０７１０８号公報
【特許文献２】特開２００１−３０６２４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、上述の特許文献２に開示されている情報処理装置の場合、上記ターゲット部を表示することで、ユーザに対して手等の部位を動かす方向を認識させることができるのであるが、この認識した方向に沿って手等の部位をどのように動かせばよいかまでは認識させることができない問題がある。すなわち、上述の特許文献２に開示されている情報処理装置の場合、上記ターゲット部の表示により、ユーザに対して例えば手を左右方向に沿って動かせばよいことはユーザに認識させることができるが、手を右から左に動かせばよいのか、或いは左から右に動かせばせばよいかまでは、ユーザに認識させることができない問題がある（動かす方向は認識させることができても、動かし方までは認識させることができない問題がある。）。従って、ユーザがこの動かし方まで認識していない場合には、所望の情報処理の指定操作が困難となり、使い勝手の悪いものとなる。
【０００８】
また、特許文献２に開示されている情報処理装置は、解析対象がユーザの「動き」となっている。このため、ユーザの「静止動作（ポーズ）」に基づく所望の情報処理の指定操作を行う場合には、上記ターゲット部では、ユーザに対して手や頭等の部位を停止させる位置を認識させることが困難となることから、該ユーザの「静止動作（ポーズ）」に基づく所望の情報処理の指定操作に対応困難となる問題がある。
【０００９】
本発明は、上述の課題に鑑みてなされたものであり、撮像手段で撮像されたユーザの撮像画像に基づく所望の情報処理の指定操作を行う場合に、ユーザに対して手や顔等の部位を停止させる位置（＝移動させる位置）を認識させることができ、また、適正な位置に停止している部位及び不適正な位置に停止している部位をユーザに認識させることで、上記指定操作の容易化を図ることができるような情報処理装置、情報処理方法、情報処理プログラム及び携帯端末装置の提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る情報処理装置は、上述の課題を解決するための手段として、
所望のユーザを撮像し、この撮像画像を表示手段に表示する撮像手段と、
上記撮像手段により上記表示手段に表示された撮像画像におけるユーザの所定の部位の上記表示手段上の表示位置を指定するためのガイド枠を上記表示手段に表示するガイド枠表示手段と、
上記撮像画像におけるユーザの所定の部位が、上記ガイド枠表示手段により上記表示手段に表示されたガイド枠内に位置しているか否かを判定する位置判定手段と、
上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠内に位置していることを示す情報を上記表示手段上に表示し、上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠外に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠外に位置していることを示す情報を上記表示手段上に表示する判定結果表示手段と、
上記ガイド枠表示手段により上記表示手段に表示される各ガイド枠の表示位置を示す表示位置情報と、該各ガイド枠の表示位置に対応する所定の情報処理を示す情報処理データとがそれぞれ関連付けされて記憶されたガイド枠対応情報処理テーブルと、
上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、当該ガイド枠の表示位置に対応する情報処理データを上記ガイド枠対応情報処理テーブルから読み出し、この読み出した情報処理データに対応する情報処理を実行制御する制御手段と
を有する。
【００１１】
また、本発明に係る情報処理方法は、上述の課題を解決するための手段として、
撮像手段が、所望のユーザを撮像し、この撮像画像を表示手段に表示するステップと、
上記ステップで上記撮像手段により上記表示手段に表示された撮像画像におけるユーザの所定の部位の上記表示手段上の表示位置を指定するためのガイド枠を、ガイド枠表示手段が上記表示手段に表示するステップと、
上記ステップで上記表示手段に表示された撮像画像におけるユーザの所定の部位が、上記ステップで上記ガイド枠表示手段により上記表示手段に表示されたガイド枠内に位置しているか否かを、位置判定手段が判定するステップと、
上記ステップで上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、判定結果表示手段が、該ユーザの所定の部位が上記ガイド枠内に位置していることを示す情報を上記表示手段上に表示するステップと、
上記ステップで上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠外に位置しているものと判定された場合、判定結果表示手段が、該ユーザの所定の部位が上記ガイド枠外に位置していることを示す情報を上記表示手段上に表示するステップと、
上記ステップで上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、制御手段が、上記ガイド枠表示手段により上記表示手段に表示される各ガイド枠の表示位置を示す表示位置情報と、該各ガイド枠の表示位置に対応する所定の情報処理を示す情報処理データとがそれぞれ関連付けされて記憶されたガイド枠対応情報処理テーブルから、上記ガイド枠の表示位置に対応する情報処理データを読み出し、この読み出した情報処理データに対応する情報処理を実行制御するステップと
を有する。
【００１２】
また、本発明に係る情報処理プログラムは、
所望のユーザを撮像し、この撮像画像を表示手段に表示するように撮像手段を制御する撮像制御手段としてコンピュータを機能させ、
上記撮像手段により上記表示手段に表示された撮像画像におけるユーザの所定の部位の上記表示手段上の表示位置を指定するためのガイド枠を上記表示手段に表示するガイド枠表示手段としてコンピュータを機能させ、
上記表示手段に表示された撮像画像におけるユーザの所定の部位が、コンピュータを上記ガイド枠表示手段として機能させることで上記表示手段に表示されたガイド枠内に位置しているか否かを判定する位置判定手段としてコンピュータを機能させ、
コンピュータを上記位置判定手段として機能させることで、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠内に位置していることを示す情報を上記表示手段上に表示し、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠外に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠外に位置していることを示す情報を上記表示手段上に表示する判定結果表示手段としてコンピュータを機能させ、
コンピュータを上記位置判定手段として機能させることで、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、上記表示手段に表示される各ガイド枠の表示位置を示す表示位置情報と、該各ガイド枠の表示位置に対応する所定の情報処理を示す情報処理データとがそれぞれ関連付けされて記憶されたガイド枠対応情報処理テーブルから、上記ガイド枠の表示位置に対応する情報処理データを読み出し、この読み出した情報処理データに対応する情報処理を実行制御する制御手段としてコンピュータを機能させることで上述の課題を解決する。
【００１３】
また、本発明に係る携帯端末装置は、上述の課題を解決するための手段として、
表示手段と、
所望のユーザを撮像し、この撮像画像を上記表示手段に表示する撮像手段と、
上記撮像手段により上記表示手段に表示された撮像画像におけるユーザの所定の部位の上記表示手段上の表示位置を指定するためのガイド枠を上記表示手段に表示するガイド枠表示手段と、
上記撮像画像におけるユーザの所定の部位が、上記ガイド枠表示手段により上記表示手段に表示されたガイド枠内に位置しているか否かを判定する位置判定手段と、
上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠内に位置していることを示す情報を上記表示手段上に表示し、上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠外に位置しているものと判定された場合、該ユーザの所定の部位が上記ガイド枠外に位置していることを示す情報を上記表示手段上に表示する判定結果表示手段と、
上記ガイド枠表示手段により上記表示手段に表示される各ガイド枠の表示位置を示す表示位置情報と、該各ガイド枠の表示位置に対応する所定の情報処理を示す情報処理データとがそれぞれ関連付けされて記憶されたガイド枠対応情報処理テーブルと、
上記位置判定手段により、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているものと判定された場合、当該ガイド枠の表示位置に対応する情報処理データを上記ガイド枠対応情報処理テーブルから読み出し、この読み出した情報処理データに対応する情報処理を実行制御する制御手段と
を有する。
【００１４】
このような本発明は、撮像手段で撮像されたユーザの撮像画像に基づく情報処理を実行する。この実行する情報処理（＝ユーザにより指定された情報処理）を検出する際、表示手段に表示した撮像画像におけるユーザの所定の部位の該表示手段上の表示位置を指定するためのガイド枠を上記表示手段に表示する。ユーザは、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置するように、当該ユーザの所定の部位を動かす。このガイド枠を表示することで、ユーザは、所定の部位を移動させる位置や移動させる方向を認識することができる。従って、所望の情報処理を指定可能な位置に簡単に部位を移動させることができ、所望の情報処理の指定操作を簡単に行うことができる。
【００１５】
また、本発明は、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているか否かを判定し、この判定結果を表示手段上に表示する。これにより、ユーザは、適正な位置に停止している部位及び不適正な位置に停止している部位を認識することができる。このため、ユーザは、この判定結果に基づいて、所定の部位を適正な位置に動かすことで、容易かつ迅速に所望の情報処理の指定操作を行うことができる。
【発明の効果】
【００１６】
本発明は、撮像手段で撮像されたユーザの撮像画像に基づいて所望の情報処理を指定操作する際に、表示手段上に表示したガイド枠により、ユーザに対して手や顔等の部位を停止させる位置（＝移動させる位置）を認識させることができる。このため、所望の情報処理の指定操作を容易化することができる。
【００１７】
また、上記撮像画像におけるユーザの所定の部位が、上記表示手段に表示されたガイド枠内に位置しているか否かを判定し、この判定結果を表示手段上に表示することで、ユーザに対して、適正な位置に停止している部位及び不適正な位置に停止している部位を認識させることができる。このため、ユーザは、この判定結果に基づいて、所定の部位を適正な位置に動かすことで、容易かつ迅速に所望の情報処理の指定操作を行うことができる。
【発明を実施するための最良の形態】
【００１８】
本発明は、カメラ機能を備えた携帯電話機に適用することができる。
【００１９】
［携帯電話機の構成］
この本発明を適用した実施の形態となる携帯電話機は、図１に示すように無線基地局との間で音声通話、テレビ電話通話、電子メール、Ｗｅｂデータ（Web：World Wide Web）等の無線通信を行うアンテナ１及び通信回路２と、操作メニュー、電子メール、画像（静止画像及び動画像）や、後述するガイド枠や判定結果等を表示するための表示部３と、所望のメニューの選択操作や後述する電話番号の登録操作等を行うための操作部４と、受話音声や後述する判定結果に対応する音声等を出力するためのスピーカ部５とを有している。
【００２０】
また、この携帯電話機は、送話音声等を集音するためのマイクロホン部６と、発光動作を行うフラッシュ部１３を備え、所望の被写体の静止画像や動画像を撮像するためのカメラ部７と、発着信や後述する判定結果等を光でユーザに通知するための発光部８（LED：Light Emitting Diode）と、当該携帯電話機の筐体を振動させて発着信等をユーザに通知するためのバイブレーションユニット９と、現在時刻をカウントするＲＴＣ１０（Real Time Clock）と、通信プログラムや各種アプリケーションプログラム等が記憶されたメモリ１１と、当該携帯電話機全体の動作を制御する制御部１２とを有している。
【００２１】
上記メモリ１１には、上記通信プログラムの他、カメラ部７で撮像されたユーザの撮像画像を解析して所望の電話番号の入力を行う電話番号入力アプリケーションプログラム、電子メールの作成や送受信を制御するための電子メール管理プログラム、カメラ部７の撮像制御を行うカメラ制御プログラム、ユーザのスケジュールが登録されたスケジュール帳の管理を行うためのスケジュール帳管理プログラム、電話帳の管理を行うための電話帳管理プログラム、音楽コンテンツの再生を行うための音楽プレーヤプログラム、所望のＷｅｂページの閲覧を行うためのＷｅｂブラウジングプログラム等の各種アプリケーションプログラムが記憶されている。
【００２２】
また、上記メモリ１１には、当該携帯電話機のユーザのスケジュールが登録されるスケジュール帳、ユーザの知人や友人等のユーザ名、静止画像（顔写真等）、住所、電話番号、電子メールアドレス、生年月日等が登録された電話帳、音楽プレーヤプログラムに基づいて再生される音楽コンテンツ、カメラ制御プログラムのビューワ機能に基づいて再生される静止画像コンテンツ及び動画像コンテンツ、送受信された電子メールコンテンツ、電話及び電子メールの発着信履歴、後述するガイド枠の表示位置を示す表示位置情報とこのガイド枠の表示位置に対応する数字の入力処理を示す数字データとがそれぞれ関連付けされて記憶されたガイド枠対応情報処理テーブル等が記憶されている。
【００２３】
［撮像画像に基づく電話番号の入力動作］
この実施の形態の携帯電話機は、カメラ部７で撮像したユーザの撮像画像に基づく所望の情報処理の指定操作が可能となっている。以下、一例として、上記撮像画像に基づいて行う電話番号の入力処理を説明する。この電話番号の入力処理は、制御部１２がメモリ１１に記憶されている電話番号入力アプリケーションプログラムに基づいて実行する。図２のフローチャートに、このユーザの撮像画像に基づく電話番号の入力処理の流れを示す。
【００２４】
この撮像画像に基づく電話番号の入力を行う場合、当該携帯電話機のユーザは、操作部４を介して、メモリ１１に記憶されている電話番号入力アプリケーションプログラムを起動操作すると共に、電話番号を伝える側のユーザ（＝被写体となるユーザ）に対して、当該ユーザの電話番号の数字に対応する各ポーズを順にとるようにお願いする。なお、自分の電話番号をポーズで伝える側のユーザは、例えば「０」の数字の場合は両手を上げるポーズ、「１」の数字の場合は右手を上げ、左手を下げるポーズ等のように、０〜９の数字に対応するポーズをそれぞれ認識しているものとする。
【００２５】
制御部１２は、上記電話番号入力アプリケーションプログラムの起動操作を検出すると、該電話番号入力アプリケーションプログラムに基づいて、この図２のフローチャートに示す各処理を開始し、まず、ステップＳ１において、カメラ部７を起動する。当該携帯電話機のユーザは、この起動されたカメラ部７で被写体となるユーザを撮像する。
【００２６】
制御部１２は、図３に示すようにこのカメラ部７で撮像された上記ユーザの撮像画像をリアルタイムで表示部３に表示すると共に、上記被写体となるユーザのポーズ認識用の複数のガイド枠を表示部３に表示して処理をステップＳ２に進める。
【００２７】
ステップＳ２では、制御部１２が、表示部３に表示されている撮像画像に基づいて、被写体となっているユーザの手や顔等の所定の部位の検出を行い、処理をステップＳ３に進める。ステップＳ３では、制御部１２が、上記ステップＳ２で検出した被写体となっているユーザの部位が、上記いずれかのガイド枠内に位置しているか否かを判別する。そして、被写体となっているユーザの部位が、上記いずれかのガイド枠内に位置しているものと判別した場合は処理をステップＳ４に進め、当該ユーザの部位が位置しているガイド枠内に、当該部位を囲む例えば赤色の枠を表示することで、当該携帯電話機のユーザに対して、被写体となっているユーザの部位のうち、正確にガイド枠内に位置している部位を通知する。
【００２８】
図３は、被写体となっているユーザの右手が、図３の紙面に向かって左上のガイド枠内に正確に位置しているため、当該ガイド枠内に上記ユーザの右手を囲む赤色の枠が表示された例を示している。
【００２９】
これに対して、上記いずれかのガイド枠内に位置していない部位が存在する場合、制御部１２は処理をステップＳ５に進め、図３に示すように、このガイド枠内に位置していない部位を囲む例えば青色の枠を表示することで、当該携帯電話機のユーザに対して、被写体となっているユーザの部位のうち、ガイド枠内に位置していない部位を通知する。この図３は、被写体となっているユーザの左手が、いずれのガイド枠内にも位置していないため、上記ユーザの左手を囲む青色の枠が表示された例を示している。
【００３０】
なお、被写体となっているユーザの部位がガイド枠内に位置しているか否かの通知は、上記赤色或いは青色の枠を表示する制御に代えて、発光部８の点灯又は点滅制御、バイブレーションユニット９の振動駆動、スピーカ部５を介した音声メッセージや電子音の出力制御等で行ってもよいし、これらの制御のうち、一つ或いは複数の制御を、上記赤色或いは青色の枠を表示する制御と併用して行ってもよい。
【００３１】
制御部１２は、このようなステップＳ３〜ステップＳ５の処理を、上記ステップＳ２で検出された上記被写体となっているユーザの部位の数だけ繰り返し実行し、ステップＳ６において、上記ステップＳ２で検出された全ての部位に対するステップＳ３〜ステップＳ５の処理が終了したものと判別したタイミングで、処理をステップＳ７に進める。
【００３２】
次に、上記青色の枠が表示された部位が存在する場合、当該携帯電話機のユーザは、例えば「もう少し右手を上げてください」、或いは「左手を水平にしてください」等の指示を、上記被写体となっているユーザに対して行うことで、所定のガイド内にユーザの手等の部位が位置するように誘導する。これにより、図４に示すように、上記ステップＳ２で検出された被写体となっているユーザの全ての部位がいずれかのガイド枠内に位置するようになる。
【００３３】
制御部１２は、被写体となっているユーザの全ての部位がいずれかのガイド枠内に位置したことを検出すると、このユーザの部位が位置しているガイド枠の、表示部３上における表示位置を検出し、この検出した表示位置に基づいて、メモリ１１に記憶されているガイド枠対応情報処理テーブルを参照する。ガイド枠対応情報処理テーブルには、ガイド枠の表示位置を示す表示位置情報とこのガイド枠の表示位置に対応する数字の入力処理を示す数字データとがそれぞれ関連付けされて記憶されている。このため、制御部１２は、ユーザの部位が位置しているガイド枠の表示位置に基づいてガイド枠対応情報処理テーブルを参照することで、被写体となっているユーザの部位が位置しているガイド枠に対応する数字を検出する。すなわち、制御部１２は、上記ガイド枠対応情報処理テーブルを参照することで、ユーザのポーズに対応する数字を検出する。
【００３４】
次に、制御部１２は、ステップＳ８において、このようなユーザのポーズに対応する数字の認識処理が成功したか否かを判別し、該数字の認識処理が成功しなかった場合には処理をステップＳ１に戻し、被写体となっているユーザの部位の再検出から処理をやり直し、上記数字の認識処理が成功した場合には、処理をステップＳ９に進め、例えば図５に示すように「認識成功しました」等のメッセージを表示部３に表示する等の、数字認識が成功した旨の通知を行うと共に、カメラ部７のフラッシュ部１３を所定時間点灯駆動して、被写体となっているユーザに対しても、数字認識が成功した旨の通知を行う。そして、ステップＳ１０において、この認識した数字を、図５に示すように表示部３に表示制御する。
【００３５】
制御部１２は、このような被写体となっているユーザの部位が位置するガイド枠に対応する数字を、ガイド枠対応情報処理テーブルから検出して表示部３に表示する制御を繰り返し行う。これにより、表示部３には、被写体となっているユーザの各ポーズに対応する数字である、該被写体となっているユーザの電話番号の数字が順に表示されることとなる。
【００３６】
ここで、ガイド枠対応情報処理テーブルには、上記被写体となっているユーザのポーズに対応する数字の数字データと共に、電話番号の入力終了を示すポーズに対応するガイド枠の位置情報が記憶されている。制御部１２は、被写体となっているユーザのポーズに対応するガイド枠の位置情報に基づいてガイド枠対応情報処理テーブルを参照することで、当該ポーズが、電話番号の入力終了を示すポーズであることを検出した場合、このタイミングで、表示部３に表示している上記被写体となっているユーザの撮像画像（静止画像）を取得する。そして、それまで表示部３に表示した各数字の数列を電話番号入力欄に入力した電話番号登録画面を該表示部３に表示する。
【００３７】
当該携帯電話機のユーザは、この電話番号登録画面に対して、上記被写体となっているユーザのユーザ名を入力したうえで、当該電話番号の登録操作を行う。この登録操作がなされると、制御部１２は、メモリ１１に記憶されている電話帳内の、上記ユーザ名に対応する登録欄に、該ユーザ名、上記電話番号入力欄に入力した電話番号、及び上記電話番号の入力終了を示すポーズを検出したタイミングで取得した、上記被写体となっているユーザの撮像画像（静止画像）を登録して、撮像画像に基づく電話番号の入力動作を終了する。
【００３８】
［実施の形態の効果］
以上の説明から明らかなように、この実施の形態の携帯電話機は、被写体となっているユーザが自分の電話番号の各数字に対応するポーズを順にとり、これを当該携帯電話機のユーザがカメラ部７で撮像する。そして、この撮像したポーズに対応する数字を検出して電話番号の入力を行う。この際、制御部１２は、この撮像画像と共に、ユーザのポーズを検出するための複数のガイド枠を表示部３に表示する。当該携帯電話機のユーザは、このガイド枠により、被写体となっているユーザの部位を移動させる位置や移動させる方向を認識して、該被写体となっているユーザの部位が、上記表示部３に表示されたガイド枠内に位置するように誘導する。これにより、所望の数字の入力処理を指定可能な位置に、被写体となっているユーザの部位を移動させることができ、所望の数字の入力操作を簡単に行うことができる。
【００３９】
また、制御部１２は、被写体となっているユーザの部位が、上記表示部３に表示したガイド枠内に位置しているか否かを判定し、該ガイド枠内に正確に位置している場合は、その部位を赤色の枠で囲んで表示し、該ガイド枠外に位置している場合は、その部位を青色の枠で囲んで表示することで、上記判定結果の表示を行う。これにより、ユーザは、適正な位置に停止している部位及び不適正な位置に停止している部位を認識することができる。このため、当該携帯電話機のユーザは、この判定結果に基づいて、所定の部位を適正な位置に動かすように、被写体となっているユーザを誘導することができ、容易かつ迅速に所望の数字の入力操作を行うことができる。
【００４０】
［変形例］
上述の実施の形態の説明では、カメラ部７で撮像されたユーザのポーズを解析して電話番号の入力を行うこととしたが、このユーザのポーズの解析結果に基づいて実行する情報処理は電話番号の入力の情報処理に限らず、例えば文字入力の情報処理や、電子メールアプリケーションプログラムの起動等の、他の情報処理を実行するようにしてもよい。いずれの場合も上述と同様の効果を得ることができる。
【００４１】
また、上述の実施の形態の説明では、本発明を携帯電話機に適用することとしたが、カメラ機能を備えていれば、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、デジタルカメラ装置、ノート型のパーソナルコンピュータ装置等の他の携帯機器に適用してもよい。いずれの場合も上述と同様の効果を得ることができる。
【００４２】
最後に、上述の実施の形態は、本発明の一例である。このため、本発明は上述の実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【図面の簡単な説明】
【００４３】
【図１】本発明を適用した実施の形態となる携帯電話機のブロック図である。
【図２】実施の形態の携帯電話機における撮像画像に基づく電話番号の入力処理の流れを示すフローチャートである。
【図３】実施の形態の携帯電話機において、撮像画像と共に表示部に表示されるユーザのポーズ検出用のガイド枠と、当該ガイド枠内にユーザの部位が位置している場合の表示、及び該ガイド枠内にユーザの部位が位置していない場合の表示を説明するための図である。
【図４】実施の形態の携帯電話機において、撮像画像と共に表示部に表示されるユーザのポーズ検出用のガイド枠内にユーザの部位が正確に位置している場合の表示例を示す図である。
【図５】実施の形態の携帯電話機において、ユーザのポーズに対応する数字の認識に成功した場合の表示例を示す図である。
【符号の説明】
【００４４】
１  アンテナ、２  通信回路、３  表示部、４  操作部、５  スピーカ部、６  マイクロホン部、７  カメラ部、８  発光部（ＬＥＤ）、９  バイブレーションユニット、１０  ＲＴＣ（タイマ）、１１  メモリ、１２  制御部
【図１】
2009151424.tif 000003
【図２】
2009151424.tif 000004
【図３】
2009151424.tif 000005
【図４】
2009151424.tif 000006
【図５】
2009151424.tif 000007