(57)【要約】      （修正有）【課題】画像投影中に、携帯電話端末に触れることなく操作できる携帯端末および投影プログラムの提供。【解決手段】携帯端末１０は、通話キーなどを含むキー入力装置２２と、画像を投影するプロジェクタ２６とを含む。プロジェクタ２６によって投影される投影画像は、右上に設定されたメニュー領域に、通話キーなどに対応するメニュー画像が重畳される。また、携帯端末１０は、スルー画像をＬＣＤモニタ２８に表示するカメラ機能を実行でき、メニュー領域内のメニュー画像を撮影することで、メニュー画像の画像変化を検出する。そして、着信が通知され、かつ通話キーが対応するメニュー内で画像変化が検出されれば、携帯端末１０は通話可能状態となる。【選択図】図１
2010258753.tif 000002
【特許請求の範囲】
【請求項１】
画像を投影する投影手段を含む携帯端末であって、
前記投影手段によって投影された投影画像の所定領域を、所定の処理に対応する領域として設定する設定手段、
前記投影画像を撮影して撮影画像として取得する撮影手段、
前記撮影画像に基づいて前記所定領域内の画像変化を検出する検出手段、および
前記検出手段が画像変化を検出したとき、前記所定の処理を実行する処理手段を備える、携帯端末。
【請求項２】
前記検出手段が複数回の画像変化を検出したかを判断する判断手段をさらに備え、
前記処理手段は、前記判断手段によって複数回の画像変化を検出したと判断されたとき、前記所定の処理を実行する、請求項１記載の携帯端末。
【請求項３】
前記所定の処理が有効であるかを判断する有効判断手段をさらに備え、
前記処理手段は、前記有効判断手段によって前記所定の処理が有効であると判断されたとき、前記所定の処理を実行する、請求項１または２記載の携帯端末。
【請求項４】
前記所定領域にメニュー画像を設定するメニュー画像設定手段、および
前記検出手段によって画像変化が検出されたとき、前記メニュー画像において画像変化したメニューを特定する特定手段をさらに備え、
前記処理手段は、前記特定手段によって特定されたメニューに対応する処理を実行する、請求項１ないし３のいずれかに記載の携帯端末。
【請求項５】
画像を投影する投影手段および前記投影手段によって投影された投影画像を撮影して撮影画像として取得する撮影手段を含む、携帯端末のプロセサを、
前記投影画像の所定領域を、所定の処理に対応する領域として設定する設定手段、
前記撮影画像に基づいて前記所定領域内の画像変化を検出する検出手段、および
前記検出手段が画像変化を検出したとき、前記所定の処理を実行する処理手段として機能させる、投影プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯端末に関し、特にたとえば画像を投影できる、携帯端末に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術の携帯電話は、プロジェクタモジュールを備えており、画像を投影する。投影像は、プロジェクタモジュールに対する、フォーカス補正、明るさの調節、色合いの調節および台形歪みの補正などのキャリブレーション動作によって調節され、そのキャリブレーション動作は、投影像が撮影されることで繰り返し実行されたり、操作キーへ操作入力に応じて実行されたりする。
【特許文献１】特開２００６−９１１０９［G03B 21/00, H04N 5/74, H04N 17/04］
【発明の概要】
【発明が解決しようとする課題】
【０００３】
特許文献１における携帯電話は、軽量で小さいという特性を有するため、画像を投影中に操作キーへの入力操作があると、投影像の表示位置がずれてしまうことがある。この特許文献１では、キャリブレーション動作は操作キーへの入力操作を行わなくて済むように開示されているが、携帯電話の機能を実行するために行われる、操作キーへの入力操作については、何ら開示されていない。
【０００４】
それゆえに、この発明の主たる目的は、新規な、携帯端末および投影プログラムを提供することである。
【０００５】
この発明の他の目的は、画像投影中に携帯端末に触れることなく操作できる、携帯端末および投影プログラムを提供することである。
【課題を解決するための手段】
【０００６】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００７】
第１の発明は、画像を投影する投影手段を含む携帯端末であって、投影手段によって投影された投影画像の所定領域を、所定の処理に対応する領域として設定する設定手段、投影画像を撮影して撮影画像として取得する撮影手段、撮影画像に基づいて所定領域内の画像変化を検出する検出手段、および検出手段が画像変化を検出したとき、所定の処理を実行する処理手段を備える、携帯端末である。
【０００８】
第１の発明では、携帯端末（１０）は、操作手段（２２）と投影手段（２６）を含む。操作手段は、たとえばキー入力装置であり、通話キー（２２ａ）を含む。また、投影手段は、プロジェクタ制御回路（５０）、ＬＥＤ（５２）、液晶パネル（５４）および投影レンズ（５６）から構成されるプロジェクタであり、携帯端末が備えるフラッシュメモリ（３０）またはＲＡＭ（３２）に記憶される画像を投影する。設定手段（２０，Ｓ１，Ｓ４１）は、投影手段によって投影された投影画像の右上端や左上端などを所定領域（６０、７０）として設定する。また、設定された所定領域は所定の処理に対応する。たとえば、所定の処理とは、通話キーが操作されることによって実行される処理を含む。
【０００９】
また、携帯端末は、イメージセンサ（３６）およびフォーカスレンズ（３８）を制御するカメラ制御回路（３４）を有しており、スルー画像を出力することができるカメラ機能を実行することが可能である。カメラ機能が実行されると、撮影手段（２０，３４−３８，Ｓ７，Ｓ４５）は、スルー画像から静止画像を切り出し、撮影画像として取得する。さらに、撮影手段は、所定時間（Δｔ秒）毎に撮影画像を取得し、検出手段（２０，Ｓ９，Ｓ４７）は、撮影手段によって所定時間毎に取得される撮影画像から、所定領域内の画像変化を検出する。そして、処理手段（２０，Ｓ２１，Ｓ５５）は、所定領域内の画像変化が検出手段によって検出されると、所定領域に対応する所定の処理、たとえば通話キーが操作されることによって実行される処理を実行する。
【００１０】
第１の発明によれば、使用者は、所定の処理が対応付けられた所定領域内の画像を、たとえばレーザポインタや自分の指の影などで変化させることで、画像投影中に携帯端末に触れることなく携帯端末を操作することができる。さらに、携帯端末に触れることなく携帯端末が操作可能であるため、携帯端末によって投影される投影画像の位置がずれることもなくなる。
【００１１】
第２の発明は、第１の発明に従属し、検出手段が複数回の画像変化を検出したかを判断する判断手段をさらに備え、処理手段は、判断手段によって複数回の画像変化を検出したと判断されたとき、所定の処理を実行する。
【００１２】
第２の発明では、判断手段（２０，Ｓ１３，Ｓ４９）は、たとえば、画像変化が２回検出されたかを判断し、処理手段は、たとえば画像変化が２回検出されたときに、所定の処理を実行する。
【００１３】
第２の発明によれば、複数回の画像変化を検出したときに所定の処理を実行することで、使用者による誤操作を防止することができる。
【００１４】
第３の発明は、第１の発明または第２の発明に従属し、所定の処理が有効であるかを判断する有効判断手段をさらに備え、処理手段は、有効判断手段によって所定の処理が有効であると判断されたとき、所定の処理を実行する。
【００１５】
第３の発明では、有効判断手段は、たとえば通話可能状態を確立できる状態であるか否かを判断する。そして、処理手段は、通話可能状態を確立できる状態であれば、通話キーが操作されたときと同等の処理を実行するようにする。
【００１６】
第３の発明によれば、所定の処理が有効でなければ、その所定の処理が実行されないようにすることができる。
【００１７】
第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、所定領域にメニュー画像を設定するメニュー画像設定手段、および検出手段によって画像変化が検出されたとき、メニュー画像において画像変化したメニューを特定する特定手段をさらに備え、処理手段は、特定手段によって特定されたメニューに対応する処理を実行する。
【００１８】
第４の発明では、操作手段は、たとえば通話キー、終話キーおよび方向キーなどを含み、メニュー画像設定手段（２４）は、たとえば通話キー、終話キー（２２ｂ）および方向キー（２２ｄ）のそれぞれが操作されたときに実行する処理に対応するメニュー画像を、投影画像の右上などの所定領域に設定する。特定手段（２０，Ｓ１１）は、たとえば通話キーが操作されたときに実行される処理に対応するメニュー画像内の画像変化を検出する。そして、処理手段は、たとえば通話キーが操作されたときに実行される処理に対応するメニュー画像内に画像変化の位置（座標）が含まれていれば、通話キーが操作されたときときと同等の処理を実行する。
【００１９】
第４の発明によれば、メニュー画像には複数のメニューが含まれるため、使用者は、携帯端末の状態に応じて、任意の処理を実行させることができる。
【００２０】
第５の発明は、画像を投影する投影手段（２６）および投影手段によって投影された投影画像を撮影して撮影画像として取得する撮影手段（３４−３８）を含む、携帯端末のプロセサ（２０）を、投影画像の所定領域（６０，７０）を、所定の処理に対応する領域として設定する設定手段（Ｓ１，Ｓ４１）、撮影画像に基づいて所定領域内の画像変化を検出する検出手段（Ｓ９，Ｓ４７）、および検出手段が画像変化を検出したとき、所定の処理を実行する処理手段（Ｓ２１，Ｓ５５）として機能させる、投影プログラムである。
【００２１】
第５の発明でも、第１の発明と同様に、使用者は、所定の処理が対応付けられた所定領域内の画像を、たとえばレーザポインタや自分の指の影などで変化させることで、画像投影中に携帯端末に触れることなく携帯端末を操作することができる。さらに、携帯端末に触れることなく携帯端末が操作可能であるため、携帯端末によって投影される投影画像の位置がずれることもなくなる。
【発明の効果】
【００２２】
この発明によれば、使用者は、所定の処理が対応付けられた所定領域内の画像を変化させることで、画像投影中には携帯端末に触れることなく、所定の処理を、携帯端末に実行させることができる。さらに、携帯端末に触れることなく携帯端末が操作可能であるため、携帯端末によって投影される投影画像の位置がずれることもなくなる。
【００２３】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２４】
【図１】図１は本発明の携帯端末の電気的な構成を示すブロック図である。
【図２】図２は図１に示すプロジェクタの電気的な構成を示すブロック図である。
【図３】図３は図１に示す携帯端末の閉状態の外観の一例を示す図解図である。
【図４】図４は図１に示す携帯端末の開状態の外観の一例を示す図解図である。
【図５】図５は図１に示すプロジェクタによって投影される投影画像の一例を示す図解図である。
【図６】図６は図１に示すＬＣＤモニタに表示されるスルー画像の一例を示す図解図である。
【図７】図７は図１に示すＣＰＵによる画像変化の検出処理の手順の一例を示す図解図である。
【図８】図８は図１に示すＲＡＭのメモリマップの一例を示す図解図である。
【図９】図９は図１に示すＣＰＵの第１実施例におけるキー制御処理を示すフロー図である。
【図１０】図１０は図１に示すプロジェクタによって投影される投影画像の他の一例を示す図解図である。
【図１１】図１１は図１に示すＣＰＵの第２実施例におけるキー制御処理を示すフロー図である。
【発明を実施するための形態】
【００２５】
＜第１実施例＞
図１を参照して、携帯端末１０は、ＣＰＵ（プロセサまたはコンピュータと呼ばれることもある。）２０および操作手段であるキー入力装置２２などを含む。ＣＰＵ２０は、ＣＤＭＡ方式に対応する無線通信回路１４を制御して発呼信号を出力する。出力された発呼信号は、アンテナ１２から送出され、基地局を含む移動通信網に送信される。通話相手が応答操作を行うと、通話可能状態が確立される。
【００２６】
通話可能状態に移行した後にキー入力装置２２によって通話終了操作が行われると、ＣＰＵ２０は、無線通信回路１４を制御して、通話相手に通話終了信号を送信する。そして、通話終了信号の送信後、ＣＰＵ２０は、通話処理を終了する。また、先に通話相手から通話終了信号を受信した場合も、ＣＰＵ２０は、通話処理を終了する。さらに、通話相手によらず、移動通信網から通話終了信号を受信した場合も、ＣＰＵ２０は通話処理を終了する。
【００２７】
携帯端末１０が起動している状態で通話相手からの発呼信号がアンテナ１２によって捉えられると、無線通信回路１４は、着信をＣＰＵ２０に通知する。また、ＣＰＵ２０は、図示しないＬＣＤドライバによってＬＣＤモニタ２８を制御し、着信通知に記述された発信元情報をＬＣＤモニタ２８に表示させる。そして、ＣＰＵ２０は、図示しない着信通知用のスピーカから着信音を出力させる。
【００２８】
通話可能状態では、次のような処理が実行される。通話相手から送られてきた変調音声信号（高周波信号）は、アンテナ１２によって受信される。受信された変調音声信号は、無線通信回路１４によって復調処理および復号処理が施される。そして、得られた受話音声信号は、スピーカ１８から出力される。一方、マイク１６によって取り込まれた送話音声信号は、無線通信回路１４によって符号化処理および変調処理が施される。そして、生成された変調音声信号は、上述と同様、アンテナ１２を利用して通話相手に送信される。
【００２９】
また、ＣＰＵ２０には、投影手段として機能するプロジェクタ２６が接続されており、プロジェクタ２６を制御することで、プロジェクタ機能を実行することができる。たとえば、使用者はプロジェクタ機能を実行することで、フラッシュメモリ３０またはＲＡＭ３２に記憶されている画像を投影する。
【００３０】
また、携帯端末１０は、イメージセンサ３６およびフォーカスレンズ３８を制御するカメラ制御回路３４用いて、カメラ機能を実行することが可能である。カメラ機能は、オートフォーカス処理によって、被写体にピントの合った写真画像データを記録する。具体的には、キー入力装置２２によってカメラ機能を実行する操作が行われると、ＣＰＵ２０は、カメラ制御回路３４にカメラ機能を実行するために必要な命令を与える。カメラ制御回路３４は、イメージセンサ３６およびフォーカスレンズ３８を制御し、イメージセンサ３６によって取得された披写界の光学像を写真画像データに変換する。そして、ＣＰＵ２０は、カメラ制御回路３４から得られる、被写体にピントを合わせた写真画像データを圧縮画像データに変換して記録手段であるフラッシュメモリ３０に記録する。また、このカメラ機能では、撮影する写真画像のサイズをWQVGA（240×400）、VGA（640×480）およびUXGA（1600×1200）から選択することが可能である。もちろん、本実施例では、撮影する写真画像のサイズとしてこれらに限定するものではなく、適宜他のサイズも用いることができる。
【００３１】
また、カメラ機能が実行された状態では、被写界のリアルタイム動画像（以下、スルー画像と言う）をＬＣＤモニタ２８に表示させる処理を行う。具体的には、ＣＰＵ２０は、カメラ制御回路３４に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作をイメージセンサドライバに命令する。
【００３２】
イメージセンサドライバは、イメージセンサ３６の撮像面の露光と、当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ３６から出力される。また、イメージセンサ３６から出力された生画像信号は、カメラ制御回路３４に入力される。カメラ制御回路３４は、入力された生画像信号に対して、色分離、白バランス調整、ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを生成する。そして、ＣＰＵ２０は、ＹＵＶ形式の画像データが入力される。
【００３３】
ＣＰＵ２０に入力されたＹＵＶ形式の画像は、ＣＰＵ２０によってＲＡＭ３２に一旦格納される。さらに、格納されたＹＵＶ形式の画像データは、ＣＰＵ２０によって間引き処理が加えられ、ＬＣＤモニタ２８に出力される。これによって、被写界を表す低解像度のスルー画像がＬＣＤモニタ２８に再現される。また、カメラ機能では、スルー画像における任意の範囲を、デジタルズームによって拡大表示させることがでる。
【００３４】
なお、ＹＵＶ形式の画像データにおいて、Ｙは輝度を意味し、Ｕは青（B）色から輝度を引いた色差を意味し、Ｖは赤（R）色から輝度を引いた色差を意味する。つまり、ＹＵＶ形式の画像データは、輝度信号（Y）データと青色の色差信号（U）データと赤色の色差信号（V）データとから構成される。また、スルー画像の更新周期は15fpsであり、イメージセンサ３６は、ＣＭＯＳイメージセンサである。
【００３５】
また、携帯通信端末１０には、Bluetooth（登録商標）方式に従う近距離無線通信を行うＢＴ通信回路４０が設けてあり、ＢＴ通信回路４０は、ＢＴアンテナ４２を通じ、ハンズフリー用のヘッドセット（ＨＳ）４４などとの間で、Bluetooth方式に従う近距離無線通信を行う。たとえば、使用者は、通話用のマイクを有するＨＳ４４を利用して、ハンズフリー通話を行うことができる。
【００３６】
図２は、プロジェクタ２６の電気的な構成を示すブロック図を示す図解図である。図２を参照して、プロジェクタ２６は、プロジェクタ制御回路５０を有する。また、このプロジェクタ制御回路５０は、ＬＥＤ５２、液晶パネル５４および投影レンズ５６とそれぞれ接続されている。プロジェクタ制御回路５０は、ＣＰＵ２０から出力されるＬＥＤ駆動信号に応じて、ＬＥＤ５２に電源を供給する。ＬＥＤ５２は、供給電源に応じて赤色、緑（G）色および青色の光をそれぞれ液晶パネル５４に照射する。たとえば、３つの色の光が合成されることで、ＬＥＤ５２は白色光を発光することができる。なお、各色の光の強度は、プロジェクタ制御回路５０からの電流強度によってそれぞれ個別に調節される。
【００３７】
また、プロジェクタ制御回路５０は、画像のデータに応じて駆動信号を生成し、生成した駆動信号によって液晶パネル５４を駆動することで、液晶パネル５４上に画像を表示させる。なお、液晶パネル５４は、ＲＧＢの各色を含むカラーフィルタを有しており、ＲＧＢの色を組み合わせたカラー画像を表示することができる。
【００３８】
このように、プロジェクタ制御回路５０は、液晶パネル５４に画像を表示させ、ＬＥＤ５２によって白色光を照射することで、液晶パネル５４に表示された画像の光学像を生成することができる。そして、プロジェクタ制御回路５０は、ＣＰＵ２０から出力される制御信号に基づいて投影レンズ５６を光軸方向に移動させる。そして、ＣＰＵ２０は、投影レンズ５６の焦点位置を変化させることで、投影画像のフォーカス状態を変化させる。なお、フォーカス状態の調整などの初期設定は、使用者によって行われる。
【００３９】
図３（Ａ）、図３（Ｂ）は、携帯端末１０の閉状態の外観を示す図解図であり、図４は、携帯端末１０の開状態の外観を示す図解図である。図３（Ａ）、図３（Ｂ）を参照して、携帯端末１０は、各々が板状に形成されたケースＣ１およびケースＣ２を有する。ケースＣ１およびケースＣ２の厚みは略同じである。また、アンテナ１２は、ケースＣ１に内蔵されており、図３（Ａ）、（Ｂ）および図４では、図示されない。
【００４０】
ケースＣ１の長さ方向一方の主面には、フォーカスレンズ３８に通じる開口ＯＰ１が設けられる。たとえば、使用者は、ケースＣ１の主面を被写体に向けることで、その被写体を撮影することができる。また、ケースＣ２の長さ方向一方の側面には、投影レンズ５６に通じる開口ＯＰ２が設けられる。たとえば、使用者は、開口ＯＰ２をスクリーンＳ（図５参照）に向けることで、投影画像をスクリーンＳに投影することができる。なお、開口ＯＰ１および開口ＯＰ２には、可視光を透過するプラスチックがはめ込まれている。
【００４１】
さらに、ケースＣ１とケースＣ２とは、ヒンジ機構Ｈによって結合されている。このヒンジ機構Ｈは、ケースＣ１の長さ方向他方の側面に形成される。また、ケースＣ２は、長さ方向一方の主面においてヒンジ機構Ｈと結合される。そして、ヒンジ機構Ｈは、ケースＣ１をケースＣ２の上に積層した状態で、ケースＣ１の短辺と平行な軸ＡＸを基準として可動させる。つまり、軸ＡＸを基準とした回転により、ケースＣ１とケースＣ２とを開閉させる。また、ヒンジ機構Ｈは、開状態でケースＣ１を任意の角度で保持することが可能であり、ヒンジ機構Ｈは任意の角度で開かれたケースＣ１の保持をアシストするアシスト機構を含む。
【００４２】
図４を参照して、携帯端末１０の開状態では、図示しないマイク１６は、ケースＣ２に内蔵され、内蔵されたマイク１６に通じる開口ＯＰ３はケースＣ２の長さ方向他方の主面に設けられる。同じく、図示しないスピーカ１８は、ケースＣ１に内蔵され、内蔵されたスピーカ１８に通じる開口ＯＰ４は、ケースＣ１の長さ方向一方の裏面に設けられる。
【００４３】
キー入力装置２２は、複数のキーを含んでおり、それぞれのキーはケースＣ２の主面に設けられる。たとえば、キー入力装置２２は、通話キー２２ａ、終話キー２２ｂ、メニューキー２２ｃおよび方向キー２２ｄを含み、さらに０〜９の数字キーなども含む。また、ＬＣＤモニタ２８は、モニタ画面がケースＣの主面に露出するように取り付けられる。
【００４４】
たとえば、使用者は、ＬＣＤモニタ２８を確認しながら、０〜９の数字キーを操作して電話番号を入力し、通話キー２２ａによって発信操作を行うことができる。そして、使用者は、終話キー２２ｂによって通話終了操作を行う。
【００４５】
また、使用者は、メニューキー２２ｄを押下することでメニュー画面を表示し、方向キー２２ｄによって任意のメニューを選択することができる。さらに、メニューキー２２ｃは、カメラ機能が実行されていれば、撮影キーとしても機能する。
【００４６】
なお、使用者は、終話キー２２ｂを長押しすることで携帯端末１０の電源をオン／オフする。さらに、終話キーが短押しされると、待機状態を示す画像がＬＣＤモニタ２８に表示され、携帯端末１０は待機状態となる。
【００４７】
図５は、プロジェクタ２６によって画像が投影されている状態を示す図解図である。図５を参照して、携帯端末１０は、任意の高さの机Ｄの上で、開状態にされ、開口ＯＰ１と開口ＯＰ２とがスクリーンＳの方に向けられて設置される。これにより、携帯端末１０から約３m離れたスクリーンＳには、約５５インチの投影画像が投影される。また、ＣＰＵ２０は、投影画像の右上をメニュー領域６０として設定する。そして、ＣＰＵ２０は、プロジェクタ２６に接続されるＯＳＤ（On Screen Display）回路２４に対して複数のメニューから構成されるメニュー画像を生成させ、プロジェクタ２６に入力させる。これにより、プロジェクタ２６は、メニュー領域６０にメニュー画像を投影する。なお、ＯＳＤ回路２４はメニュー画像設定手段として機能する。
【００４８】
メニュー画像を構成する複数のメニューは、通話メニュー６２、終話メニュー６４、上方向メニュー６６および下方向メニュー６８であり、それぞれ、通話キー２２ａ、終話キー２２ｂ、上方向を入力する方向キー２２ｄおよび下方向を入力する方向キー２２ｄに対応する。
【００４９】
ここで、本実施例では、人間は、レーザポインタＬＰが示す点Ｐによって各メニューを指定することで、指定されたメニューに応じて携帯端末１０を操作する。
【００５０】
まず、携帯端末１０は、プロジェクタ機能が実行された後に、メニュー画像が投影されると、ＬＣＤモニタ２８には、図６（Ａ）に示すように、ガイドＧを含むスルー画像が表示される。ここで、ガイドＧの両端と、投影されたメニュー画像（メニュー領域６０）の両端とが一致するように、デジタルズームなどによって調節されると、ＣＰＵ２０は、公知のパターンマッチング処理によってメニュー画像を画像認識し、各メニューに座標範囲を設定する。たとえば、通話メニュー６２には通話メニュー座標範囲が設定され、終話メニュー６４には終話メニュー座標範囲が設定され、上方向メニュー６６には上方向メニュー座標範囲が設定され、下方向メニュー６８には下方向メニュー範囲が設定される。
【００５１】
なお、上記の例では、ガイドＧの両端と、投影されたメニュー画像（メニュー領域６０）の両端との一致は、デジタルズームなどによる調整を行うとしたが、本発明では、この調整は、たとえばＣＰＵ２０がプロジェクタ制御回路５０による投影レンズ５６の移動量などに基づいてメニュー領域６０の投影画像上の位置を把握し、ＣＰＵ２０がこの把握した位置に基づいて、ガイドＧの両端と、投影されたメニュー画像（メニュー領域６０）の両端が一致するように、カメラ制御回路３４によるイメージセンサ３６およびフォーカスレンズ３８を制御することにより調整されるとしても良い。
【００５２】
次に、撮影画像におけるメニュー画像の画像変化を検出する。ここで、本実施例では、Δｔ秒（１秒）毎に画像変化を検出する処理を実行しており、使用者は、レーザポインタＬＰによる点Ｐで、約２Δｔ秒（２秒）間、任意のメニューを指定することで、キーが操作されることで実行される所定の処理を、携帯端末１０に実行させることができる。
【００５３】
たとえば、図７（Ａ）を参照して、或る時刻Ｔの通話メニュー６２の座標範囲には点Ｐが含まれていないが、Δｔ秒後には、通話メニュー座標範囲内に点Ｐが含まれている状態となる。つまり、点Ｐによって通話メニュー６２が指定されている状態となる。さらに、Δｔ秒後も点Ｐによって通話メニュー６２が指定されている状態であれば、通話キー２２ａが操作されたときと同等の処理が実行される。つまり、着信がＣＰＵ２０に通知されていれば、通話可能状態となる。また、着信がＣＰＵ２０に通知されていなければ、ＣＰＵ２０は、通話キー２２ａによるキー操作が無効と判断して、通話メニュー６２の指定が無効であると判断する。なお、キー操作が無効であったことは、図示しないＬＥＤの光や、スピーカからの電子音などによって使用者に通知されてもよい。
【００５４】
一方、図７（Ｂ）を参照して、或る時刻ＴからΔｔ秒後には、点Ｐによって通話メニューが指定されているが、さらにΔｔ秒後には点Ｐによって通話メニューが指定されていない。そのため、着信がＣＰＵ２０に通知されていたとしても、通話可能状態とはならない。
【００５５】
このように、画像変化を１度検出しただけで、キー操作に相当する処理を実行すると誤操作となる可能性があるため、携帯端末１０は、画像変化を２回検出したときのみ、キー操作に相当する処理を実行する。つまり、携帯端末１０は、画像変化を２回検出したときにキー操作に相当する処理を実行することで、使用者による誤操作を防止することができる。さらに、携帯端末１０は、キーが操作されたときに実行される処理が有効でなければ、そのキーが操作されたときと同等の処理を実行しない。
【００５６】
たとえば、図５に戻って、人間がハンズフリー用のＨＳ４４を装着し、携帯端末１０のハンズフリー機能が実行されている場合に、携帯端末１０が着信状態となれば、人間は、レーザポインタＬＰによる点Ｐで通話メニュー６２を指定することで、通話を開始することができる。また、図示はしていないが、使用者は、通話中に終話メニュー６４を指定することで、通話を終了することができる。
【００５７】
さらに、プロジェクタ機能を利用して、複数のスライドから構成されるスライドショウが投影されている場合には、次スライドを指定するために下方向メニュー６８が指定されてもよい。さらに、前スライドを指定するために上方向メニュー６６が指定されてもよい。
【００５８】
このように、メニュー画像には複数のメニューが含まれるため、使用者は、携帯端末１０の状態に応じて、任意のキーに相当する所定の処理を実行させることができる。
【００５９】
図８は、ＲＡＭ３２のメモリマップを示す図解図である。図８を参照して、ＲＡＭ３２のメモリマップ３００には、プログラム記憶領域３０２およびデータ記憶領域３０４が含まれる。プログラムおよびデータの一部は、フラッシュメモリ３０から一度に全部または必要に応じて部分的にかつ順次的に読み出され、ＲＡＭ３２に記憶されてからＣＰＵ２０などで処理される。
【００６０】
プログラム記憶領域３０２は、携帯端末１０を動作させるためのプログラムを記憶する。携帯端末１０を動作させるためのプログラムは、プロジェクタプログラム３１０およびキー制御プログラム３１２などによって構成される。プロジェクタプログラム３１０は、プロジェクタ２６を制御し、フラッシュメモリ３０およびＲＡＭ３２に記憶されている画像を投影するためのプログラムである。キー制御プログラム３１２は、投影画像に含まれるメニュー画像を構成する各メニューが指定されたか否かを判断するプログラムであり、そして、メニューが指定されると、指定されたキーのキー操作に相当する処理を実行する。
【００６１】
なお、図示は省略するが、携帯端末１０を動作させるためのプログラムは、通話を行うためのプログラムなどを含む。
【００６２】
データ記憶領域３０４には、スルー画像バッファ３３０、領域バッファ３３２および撮影画像バッファ３３４が設けられる。また、データ記憶領域３０４には、座標変換マップデータ３３６が記憶されると共に、変化フラグ３３８が設けられる。
【００６３】
スルー画像バッファ３２２は、カメラ制御回路３４から読み出されたＹＵＶ形式の画像データが一時的に記憶（一旦格納）されるバッファである。領域バッファ３３２は、設定されたメニュー領域において、画像認識されたメニュー画像を構成する各メニューの座標範囲を一時的に記憶するバッファである。また、撮影画像バッファ３３４は、所定時間（Δｔ秒：１秒）毎にスルー画像バッファ３３０に格納されている静止画像が一時的に記憶されるバッファであり、画像変化を検出する処理に利用される。座標変換マップデータ３３６は、画像認識されたメニュー画像における各メニューの座標範囲を設定したり、画像変化を検出した際に点Ｐの位置（座標）を特定したりするために用いられるデータである。
【００６４】
変化フラグ３３８は、前回の処理で画像変化が検出されたか否かを判断するためのフラグである。たとえば、変化フラグ３３８は、１ビットのレジスタで構成される。変化フラグ３３８がオン（成立）されると、レジスタにはデータ値「１」が設定される。一方、変化フラグ３３８がオフ（不成立）されると、レジスタにはデータ値「０」が設定される。
【００６５】
なお、図示は省略するが、データ記憶領域３０４には、待機状態で表示される画像データがなどが設けられると共に携帯端末１０の動作に必要な他のカウンタやフラグも設けられる。
【００６６】
ＣＰＵ２０は、「Ｌｉｎｕｘ」および「ＲＥＸ」などのＲＴＯＳ（ｒｅａｌ−ｔｉｍｅ  ｏｐｅｒａｔｉｎｇ  ｓｙｓｔｅｍ）の制御下で、図９に示すキー制御処理などを含む複数のタスクを並列的に実行する。
【００６７】
図９はキー制御処理を示すフロー図である。たとえば、使用者（人間）がプロジェクタ機能を実行し、メニュー画像を表示させる操作を行うと、ステップＳ１では、投影画像にメニュー領域６０を設定する。つまり、投影画像の右上をメニュー領域６０として設定し、ＯＳＤ回路２４にメニュー画像を出力させて、メニュー領域６０にメニュー画像を投影させる。なお、ステップＳ１の処理を実行するＣＰＵ２０は設定手段として機能する。
【００６８】
続いて、ステップＳ３ではメニュー領域６０を撮影する。つまり、カメラ機能を実行し、メニュー領域６０に含まれるメニュー画像を撮影して、メニュー画像を画像認識する。続いて、ステップＳ５では、メニュー領域６０に座標を設定する。つまり、画像認識されたメニュー画像において、各メニューに座標範囲を設定し、領域バッファ３３２に格納する。
【００６９】
続いて、ステップＳ７では、撮影画像を取得する。つまり、スルー画像バッファ３３０から、メニュー領域６０の静止画像を撮影画像として取得する。なお、ステップＳ７の処理を実行するＣＰＵ２０は撮影手段として機能する。続いて、ステップＳ９では、メニュー領域６０が変化したか否かを判断する。つまり、ステップＳ７で取得した撮影画像が、撮影画像バッファ３３４に格納されている画像と異なるか否かを判断する。また、具体的には、各画像の左上の画素からラスタスキャンをかけ、画素毎に輝度およびＲＧＢの値などを比較して、所定数以上の画素が連続して異なっているか否かを判断する。
【００７０】
ステップＳ９で“ＮＯ”であれば、つまりメニュー領域６０が変化していなければ、ステップＳ７で取得した撮影画像を撮影画像バッファ３３４に格納して、ステップＳ２３に進む。一方、ステップＳ９で“ＹＥＳ”であれば、つまりメニュー領域６０が変化していれば、ステップＳ１１で変化したメニューを特定する。つまり、ステップＳ９の処理で実行されたラスタスキャンによって、画素が連続して異なっていた位置をメニュー領域６０の座標に変換し、変換された座標が含まれるメニューの座標範囲を特定する。たとえば、通話メニュー６２の座標範囲に点Ｐが含まれていると、通話メニューが変化したメニューとして特定される。なお、ステップＳ９の処理を実行するＣＰＵ２０は検出手段として機能し、ステップＳ１１の処理を実行するＣＰＵ２０は特定手段として機能する。
【００７１】
続いて、ステップＳ１３で変化フラグ３３８がオンであるか否かを判断する。つまり、前回のループ（処理）で変化が検出されていたか否かを判断する。なお、ステップＳ１３の処理を実行するＣＰＵ２０は判断手段として機能する。ステップＳ１３で“ＮＯ”であれば、つまり変化フラグ３３８がオンでなければ、ステップＳ１５で変化フラグ３３８をオンにし、ステップＳ２３に進む。一方、ステップＳ１３の処理で“ＹＥＳ”であれば、つまり変化フラグ３３８がオンであれば、ステップＳ１７で変化フラグ３３８をオフにして、ステップＳ１９で実行可能なキーであるか否かを判断する。つまり、変化が検出されたメニューに対応するキーは操作可能であるか否かを判断する。ステップＳ１９で“ＮＯ”であれば、つまり実行可能なキーでなければ、ステップＳ２３に進む。たとえば、着信が通知されていないときに、通話メニュー６２内で変化が２回連続で検出された場合は、ステップＳ１９では“ＮＯ”と判断される。
【００７２】
一方、ステップＳ１９で“ＹＥＳ”であれば、つまり実行可能なキーであれば、ステップＳ２１でキー操作処理を実行する。たとえば、着信が通知されているときに、通話メニュー６２内で変化が２回連続で検出された場合は、ステップＳ２１では通話キー２２ａに相当する処理を実行し、通話可能状態を確立する。なお、ステップＳ１９の処理を実行するＣＰＵ２０は有効判断手段として機能し、ステップＳ２１の処理を実行するＣＰＵ２０は処理手段として機能する。
【００７３】
続いて、ステップＳ２３では、終了操作か否かを判断する。つまり、キー制御処理を終了して、投影されるメニュー画像を消去する操作がされたか否かを判断する。たとえば、終了操作としては、終話メニュー６４が指定される操作であってもよいし、終話キー２２ｂが押下される操作であってもよい。ステップＳ２３で“ＮＯ”であれば、つまり終了操作がなければ、ステップＳ７に戻る。一方、ステップＳ２３で“ＹＥＳ”であれば、つまり終了操作がされれば、キー制御処理を終了する。
【００７４】
なお、キー制御処理では、ステップＳ７−Ｓ２３の処理がΔｔ秒毎に実行される。つまり、スルー画像バッファ３３０からΔｔ秒毎に撮影画像が取得され、画像変化が検出される。
【００７５】
＜第２実施例＞
第２実施例では、ＯＳＤ回路２４によってメニュー画像を表示せず、メニュー領域６０の代わりに、投影画像の角を操作領域７０として設定する。そして、この操作領域７０内で画像変化が検出されたときに、キー操作に相当する処理を実行する。
【００７６】
なお、第２実施例では、第１実施例における、図１に示す携帯端末１０の構成、図２に示すプロジェクタ２６の構成、図３（Ａ）、図３（Ｂ）および図４に示す携帯端末１０の外観および図８に示すＲＡＭ３２のメモリマップ３００と同じであるため、重複した説明は省略する。
【００７７】
図１０は、第２実施例における、プロジェクタ２６によって画像が投影されている状態を示す図解図である。図１０を参照してスクリーンＳに投影される投影画像の左上端には、操作領域７０が設定されている。また、操作領域７０は、カメラ機能によって投影画像の全体、または投影画像の左上端が撮影されると設定される。
【００７８】
具体的には、投影画像全体の両端と、ガイドＧの両端とが一致するように撮影されると、投影画像の左上端を操作領域７０とする。また、投影画像の左端と、ガイドＧの左端とが一致するように撮影されると、撮影画像の左上端の周辺を操作領域７０とする。なお、後者の場合は、投影画像の左上の位置からガイドＧの右端と対応する位置までが操作領域７０の横幅として設定される。
【００７９】
そして、操作領域７０に通話キー２２ａが対応付けられていれば、人間がレーザポインタＬＰを操作し、点Ｐによって操作領域７０を指定することで、第１実施例と同様に、ＨＳ４４によってハンズフリーによる通話を開始することができる。
【００８０】
このように、第２実施例では、投影画像に余計な画像を表示せずに携帯端末１０を操作することができるようになる。そのため、投影画像を鑑賞する人々は、余計な画像を見続けなくてもすむ。
【００８１】
なお、操作領域７０は、左上端だけでなく、左下端、右上端および右下端の任意の角に設定されてもよい。また、操作領域７０は、ガイドＧ等を用いて操作範囲が指定できるのであれば、投影画像の角に限定されるものではなく、投影画像の角以外の場所であってもよい。
【００８２】
第２実施例におけるＣＰＵ２０は、第１実施例と同様に、「Ｌｉｎｕｘ」および「ＲＥＸ」などのＲＴＯＳの制御下で、図１１に示すキー制御処理などを含む複数のタスクを並列的に実行する。
【００８３】
図１１は、第２実施例におけるキー制御処理を示すフロー図である。ＣＰＵ２０は、ステップＳ４１では、投影画像に操作領域を設定する。たとえば、投影画像の左上端などを操作領域７０として設定する。続いて、ステップＳ４３では、操作領域７０を撮影する。たとえば、投影画像において左上端に設定された操作領域７０を撮影する。続いて、ステップＳ４５で撮影画像を取得する。つまり、スルー画像バッファ３００から操作領域７０を撮影した静止画像を取得する。
【００８４】
続いて、ステップＳ４７では、操作領域７０が変化したか否かを判断する。たとえば、操作領域７０内に点Ｐが含まれているか否かを判断する。ステップＳ４７で“ＮＯ”であれば、ステップＳ５７に進む。一方、ステップＳ４７で“ＹＥＳ”であれば、ステップＳ４９で変化フラグ３３８がオンであるか否かを判断する。ステップＳ４９で“ＮＯ”であれば、つまり変化フラグ３３８がオフであれば、ステップＳ５１で変化フラグ３３８をオンにしてステップＳ５７に進む。一方、ステップＳ４９で“ＹＥＳ”であれば、つまり変化フラグ３３８がオンであれば、ステップＳ５３で変化フラグ３３８をオフにする。
【００８５】
続いて、ステップＳ５４では、操作領域７０に対応するキーは実行可能か否かを判断する。たとえば、操作領域７０に通話キー２２ａが対応付けられていれば、着信が通知されているか否かを判断する。ステップＳ５４で“ＮＯ”であれば、たとえば着信が通知されていなければ、ステップＳ５５に進む。一方、ステップＳ５４で“ＹＥＳ”であれば、たとえば着信が通知されていれば、ステップＳ５５でキー操作処理を実行し、通話可能状態を確立する。
【００８６】
続いて、ステップＳ５７で終了操作か否かを判断する。ステップＳ５７で“ＮＯ”であれば、ステップＳ４５に戻る。一方、ステップＳ５７で“ＹＥＳ”であれば、キー制御処理を終了する。
【００８７】
以上の説明から分かるように、携帯端末１０は、通話キー２２ａや終話キー２２ｂなどを含むキー入力装置２２と、ＲＡＭ３２に記憶されている画像を投影するプロジェクタ２６とを含む。プロジェクタ２６によって投影される投影画像は、たとえば画像の右上などの所定領域（メニュー領域、操作領域）に、ＯＳＤ回路２４から出力されるメニュー画像が重畳される。たとえば、そのメニュー画像には、通話キー２２ａや終話キー２２ｂが操作されることで実行される処理に対応するメニューが含まれる。
【００８８】
また、携帯端末１０は、イメージセンサ３６およびフォーカスレンズ３８を制御するカメラ制御回路３４によって、スルー画像をＬＣＤモニタ２８に表示する。また、携帯端末１０は、所定領域内のメニュー画像を撮影することで、メニュー画像の画像変化を検出する。そして、着信が通知され、かつ通話キー２２ａに対応するメニュー内で画像変化が検出されれば、携帯端末１０は通話可能状態を確立する。
【００８９】
これによって、使用者は、所定の処理が対応付けられた所定領域内のメニュー画像を、たとえばレーザポインタＬＰによる点Ｐなどで変化させることで、画像投影中には携帯端末１０に触れることなく操作することができる。
【００９０】
また、携帯端末１０に触れることなく携帯端末１０が操作可能であるため、携帯端末１０によって投影される投影画像の位置がずれることもなくなる。
【００９１】
なお、本実施例では、第２実施例の操作領域７０が点Ｐで指定された後に、第１実施例に示すメニュー画像が表示されるようにしてもよい。また、メニュー毎に色を設定し、レーザポインタＬＰが示す点Ｐの色で各メニューの色を変化させることで、変化したメニューを特定するようにしてもよい。また、点Ｐの色は赤色、青色または緑色など、メニュー毎に設定された色を変化させられる色であれば、どのような色であってもよい。また、レーザポインタＬＰによる点Ｐではなく、使用者自身の指やペン先の影によって所定領域の画像を変化させてもよい。
【００９２】
また、メニュー画像が投影されるサイズは、画像変化が検出可能であれば、小さくてもよいし、大きくてもよい。さらに、キー入力装置２２のキー配列をそのまま表したキー配列画像が、メニュー領域６０に表示されるようにしてもよい。
【００９３】
また、本実施例では、デジタルズームではなく、カメラ制御回路３４がズームレンズも制御するようにして、光学ズームを行うようにしてもよい。
【００９４】
また、携帯端末１０の通信方式には、ＣＤＭＡ方式に限らず、Ｗ‐ＣＤＭＡ方式、ＴＤＭＡ方式、ＰＨＳ方式およびＧＳＭ方式などを採用してもよい。携帯端末１０のみに限らず、カメラ機能を備えるＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｅｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）などの携帯情報端末などであってもよい。
【００９５】
また、カメラ機能のために専用のＳＤＲＡＭを備えるようにしてもよい。また、イメージセンサ３６は、ＣＭＯＳイメージセンサではなく、ＣＣＤイメージセンサであってもよい。
【符号の説明】
【００９６】
１０    …  携帯端末
２０    …  ＣＰＵ
２２    …  キー入力装置
２２ａ    …  通話キー
２２ｂ    …  終話キー
２２ｃ    …  メニューキー
２２ｄ    …  方向キー
２４    …  ＯＳＤ回路
２６    …  プロジェクタ
２８    …  ＬＣＤモニタ
３２    …  ＲＡＭ
３４    …  カメラ制御回路
３６    …  イメージセンサ
３８    …  フォーカスレンズ
【図１】
2010258753.tif 000003
【図２】
2010258753.tif 000004
【図３】
2010258753.tif 000005
【図４】
2010258753.tif 000006
【図５】
2010258753.tif 000007
【図６】
2010258753.tif 000008
【図７】
2010258753.tif 000009
【図８】
2010258753.tif 000010
【図９】
2010258753.tif 000011
【図１０】
2010258753.tif 000012
【図１１】
2010258753.tif 000013