(57)【要約】【課題】  投影面に投射された投影画像を、投影面の模様や汚れに影響されることなく見やすくする。【解決手段】  プロジェクタで投影を行う際に、該プロジェクタから全体が単色で、かつ、この単色の投影画像を介して上記投影面を視認可能な色の画像である、例えば全体が白色の全白画像を投影し、この全白画像の投影面をメインカメラ部で撮像する。そして、この全白画像を投影した投影面の撮像画像に基づいて、投影元画像を投影した際に、投影面の汚れや模様等が目立たないように、該投影元画像を補正可能なテクスチャ補正画像を形成し、このテクスチャ補正画像を、投影元画像に重ね合わせて投影する。これにより、投影面の汚れや模様等を、投影画像に対して目立たなくすることができ、投影画像を見やすいものとすることができる。【選択図】  図４
2010212917.tif 000002
【特許請求の範囲】
【請求項１】
投影面に対して投影を行うための投影部と、
上記投影面を撮像するカメラ部と、
投影画像の投影を行う前に、上記投影面に対して全体が単色で、かつ、この単色の投影画像を介して投影面を視認可能な色の画像である単色画像を投影するように上記投影部を制御する単色画像投影制御部と、
上記単色画像投影制御部により上記投影部を介して上記単色画像が投影された投影面を撮像するように上記カメラ部を制御する撮像制御部と、
上記撮像制御部により上記カメラ部を介して撮像された上記投影面の撮像画像に基づいて、上記投影面の少なくとも汚れ、模様を目立たないように補正するためのテクスチャ補正画像を形成するテクスチャ補正画像形成部と、
投影時に、上記テクスチャ補正画像形成部により形成された上記テクスチャ補正画像を投影元画像に重ね合わせ処理した投影画像を形成する重ね合わせ処理部と、
投影時に、上記重ね合わせ処理部により形成された上記投影画像を投影するように上記投影部を制御する投影制御部と
を有するプロジェクタ装置。
【請求項２】
当該プロジェクタ装置に加わる振動を検出する振動検出部を有し、
上記重ね合わせ処理部は、上記振動検出部で検出された振動量及び振動方向に応じて、上記投影元画像に重ね合わせる上記テクスチャ補正画像の重ね合わせ位置を補正する
請求項１に記載のプロジェクタ装置。
【請求項３】
投影時に、現在、投影画像を投影している投影面を撮像するように上記カメラ部を制御する投影面撮像制御部と、
上記投影面撮像制御部により上記カメラ部を介して撮像された現在の投影画像と、上記投影部により投影されている上記投影画像とを比較する比較部とを有し、
上記比較部から、上記各画像が所定以上異なる比較結果が得られた場合、上記単色画像投影制御部は、上記投影面に対して上記単色画像を再投影するように上記投影部を制御し、上記撮像制御部は、上記単色画像が再投影された投影面を再度撮像するように上記カメラ部を制御し、上記テクスチャ補正画像形成部は、上記カメラ部により再度撮像された上記投影面の撮像画像に基づいて、上記投影面の少なくとも汚れ、模様を目立たないように補正するためのテクスチャ補正画像を形成し、上記重ね合わせ処理部は、投影時に、上記テクスチャ補正画像形成部により形成された上記テクスチャ補正画像を投影元画像に重ね合わせ処理した投影画像を形成し、上記投影制御部は、投影時に、上記重ね合わせ処理部により形成された上記投影画像を投影するように上記投影部を制御する
請求項１又は請求項２に記載のプロジェクタ装置。
【請求項４】
単色画像投影制御部が、投影画像の投影を行う前に、上記投影面に対して全体が単色で、かつ、この単色の投影画像を介して投影面を視認可能な色の画像である単色画像を投影するように投影部を制御する単色画像投影ステップと、
撮像制御部が、上記単色画像投影ステップで上記単色画像投影制御部により上記投影部を介して上記単色画像が投影された投影面を撮像するようにカメラ部を制御する撮像制御ステップと、
テクスチャ補正画像形成部が、上記撮像制御ステップで、上記撮像制御部により上記カメラ部を介して撮像された上記投影面の撮像画像に基づいて、上記投影面の少なくとも汚れ、模様を目立たないように補正するためのテクスチャ補正画像を形成するテクスチャ補正画像形成ステップと、
重ね合わせ処理部が、投影時において、上記テクスチャ補正画像形成ステップで上記テクスチャ補正画像形成部により形成された上記テクスチャ補正画像を投影元画像に重ね合わせ処理した投影画像を形成する重ね合わせ処理ステップと、
投影制御部が、投影時において、上記重ね合わせ処理ステップで上記重ね合わせ処理部により形成された上記投影画像を投影するように上記投影部を制御する投影制御ステップと
を有するプロジェクタ装置の投影方法。
【請求項５】
投影画像の投影を行う前に、投影面に対して全体が単色で、かつ、この単色の投影画像を介して上記投影面を視認可能な色の画像である単色画像を投影するように投影部を制御する単色画像投影制御部としてコンピュータを機能させ、
コンピュータを上記単色画像投影制御部として機能させることで、上記投影部を介して上記単色画像が投影された投影面を撮像するようにカメラ部を制御する撮像制御部としてコンピュータを機能させ、
コンピュータを上記撮像制御部として機能させることで、上記カメラ部を介して撮像された上記投影面の撮像画像に基づいて、上記投影面の少なくとも汚れ、模様を目立たないように補正するためのテクスチャ補正画像を形成するテクスチャ補正画像形成部としてコンピュータを機能させ、
投影時において、コンピュータを上記テクスチャ補正画像形成部として機能させることで形成された上記テクスチャ補正画像を投影元画像に重ね合わせ処理した投影画像を形成する重ね合わせ処理部としてコンピュータを機能させ、
投影時において、コンピュータを上記重ね合わせ処理部として機能させることで形成された上記投影画像を投影するように上記投影部を制御する投影制御部としてコンピュータを機能させる
プロジェクタ装置の投影プログラム。
【請求項６】
投影面に対して投影を行うための投影部と、
上記投影面を撮像するカメラ部と、
投影画像の投影を行う前に、上記投影面に対して全体が単色で、かつ、この単色の投影画像を介して上記投影面を視認可能な色の画像である単色画像を投影するように上記投影部を制御する単色画像投影制御部と、
上記単色画像投影制御部により上記投影部を介して上記単色画像が投影された投影面を撮像するように上記カメラ部を制御する撮像制御部と、
上記撮像制御部により上記カメラ部を介して撮像された上記投影面の撮像画像に基づいて、上記投影面の少なくとも汚れ、模様を目立たないように補正するためのテクスチャ補正画像を形成するテクスチャ補正画像形成部と、
投影時に、上記テクスチャ補正画像形成部により形成された上記テクスチャ補正画像を投影元画像に重ね合わせ処理した投影画像を形成する重ね合わせ処理部と、
投影時に、上記重ね合わせ処理部により形成された上記投影画像を投影するように上記投影部を制御する投影制御部と
を有する携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、据え置き型のプロジェクタ装置の他、携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型のパーソナルコンピュータ装置等に適用して好適なプロジェクタ装置、プロジェクタ装置の投影方法、プロジェクタ装置の投影プログラム、及びプロジェクタ装置を備えた携帯端末装置に関する。
特には、カメラ撮像画像に基づいて検出した投影面の汚れや模様等に対応するテクスチャを補正を、投影像に対して施すことで、投影面の汚れや模様等に影響されることなく、明確な投影像を得ることを可能としたプロジェクタ装置、プロジェクタ装置の投影方法、プロジェクタ装置の投影プログラム、及びプロジェクタ装置を備えた携帯端末装置に関する。
【背景技術】
【０００２】
今日において、プロジェクタ装置が設けられた携帯端末装置が知られている。例えば、特開２００６−９１１１１号の公開特許公報（特許文献１）には、投射像の台形歪みの補正を投射中に行うことを可能としたプロジェクタ装置が設けられた携帯端末装置が開示されている。
【０００３】
すなわち、プロジェクタ装置は、スクリーンに対して投影光を照射することで（投影方式）、該スクリーンに対して上記投影光に対応する表示物の表示を行うようになっているため、プロジェクタ装置からの投影光がスクリーンに対して直行するように該投影光の投射を行わないと、スクリーン上の表示物が例えば台形状に歪む不都合を生ずる。特許文献１に開示されている技術は、この台形歪みを補正する技術となっている。
【０００４】
具体的には、この特許文献１に開示されている技術の場合、プロジェクタモジュールによって生成される投射像をカメラモジュールで撮影する。そして、このカメラモジュールで撮影した投射像の撮像画像に基づいて、投射像に対して当該投射像の形状を特定するための所定の図形を重畳するキャリブレーション補正を施す。これにより、上記台形歪みを補正するようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−９１１１１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、設置型のプロジェクタ装置は、当該プロジェクタ装置が設置されている場所で用いられることが多く、このプロジェクタ装置が設置されている場所には、投影を行うための専用のスクリーンや白色の壁、ホワイトボード等が備え付けられていることが多い。このため、投影像の投影面に汚れや模様等が存在することで、該投影像が見づらくなることは少ない。
【０００７】
しかし、携帯端末装置は携帯するものであるため、当該携帯電話装置に設けられたプロジェクタ装置で行う投影像の投影は、どこで行われるかわからない。すなわち、上記専用のスクリーンや白色の壁、ホワイトボード等の、投影用の投影面が設けられている場所で、必ずしも投影が行われるとは限らない。むしろ、上記投影用の投影面が設けられている場所以外での場所で該投影が行われる機会の方が多いことが容易に予想される。そして、この投影用の投影面が設けれている場所以外での場所で投影を行う場合に問題となるのが、投影面の汚れや模様等で投影像が見づらくなることである。
【０００８】
なお、プロジェクタ装置が設けられて携帯端末装置において、上記投影用の投影面を用いてプロジェクタ装置を用いることとすることは、携帯端末装置の携帯性を制限するものであるため、好ましいことではない。
【０００９】
本発明は、上述の課題に鑑みてなされたものであり、投影面の汚れや模様等に影響されることなく、見易い投影像を得ることができるようなプロジェクタ装置、プロジェクタ装置の投影方法、プロジェクタ装置の投影プログラム、及びプロジェクタ装置を備えた携帯端末装置の提供を目的とする。
【課題を解決するための手段】
【００１０】
本発明に係るプロジェクタ装置は、上述の課題を解決するために、
投影面に対して投影を行うための投影部と、
上記投影面を撮像するカメラ部と、
投影画像の投影を行う前に、上記投影面に対して全体が単色で、かつ、この単色の投影画像を介して投影面を視認可能な色の画像である単色画像を投影するように上記投影部を制御する単色画像投影制御部と、
上記単色画像投影制御部により上記投影部を介して上記単色画像が投影された投影面を撮像するように上記カメラ部を制御する撮像制御部と、
上記撮像制御部により上記カメラ部を介して撮像された上記投影面の撮像画像に基づいて、上記投影面の少なくとも汚れ、模様を目立たないように補正するためのテクスチャ補正画像を形成するテクスチャ補正画像形成部と、
投影時に、上記テクスチャ補正画像形成部により形成された上記テクスチャ補正画像を投影元画像に重ね合わせ処理した投影画像を形成する重ね合わせ処理部と、
投影時に、上記重ね合わせ処理部により形成された上記投影画像を投影するように上記投影部を制御する投影制御部と
を有する。
【００１１】
このようなプロジェクタ装置は、投影を行う前に、全体が単色で、かつ、この単色の投影画像を介して投影面を視認可能な色の画像である、例えば全白画像等の単色画像を投影し、この単色画像の投影面をカメラ部で撮像する。そして、この単色画像を投影した投影面の撮像画像に基づいて、投影元画像を投影した際に、投影面の汚れや模様等が目立たないように、該投影元画像を補正可能なテクスチャ補正画像を形成し、このテクスチャ補正画像を、投影元画像に重ね合わせて投影する。これにより、投影面の汚れや模様等を、投影画像に対して目立たなくすることができ、投影画像を見やすいものとすることができる。
【発明の効果】
【００１２】
本発明は、投影面の汚れや模様等に影響されることなく、見易い投影像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明を適用した実施例となる携帯電話機のブロック図である。
【００１４】
【図２】実施例となる携帯電話機のプロジェクタにおけるテクスチャ補正動作の流れを示すフローチャートである。
【図３】テクスチャ補正動作時の要部となる、実施例の携帯電話機のブロック図である。
【図４】実施例となる携帯電話機のプロジェクタにおけるテクスチャ補正動作の具体例を説明するための図である。
【発明を実施するための形態】
【００１５】
本発明は、例えばＣＤＭＡ通信方式(CDMA：Code Division Multiple Access)に対応して無線通信を行う携帯電話機に適用することができる。
【００１６】
［携帯電話機の構成］
この本発明を適用した実施例となる携帯電話機を図１に示す。この図１からわかるように、この実施例の携帯電話機は、プロジェクタ１１を有している。このプロジェクタ１１は、前面投影型のプロジェクタとなっており、投影する元画像を表示する液晶パネル、その液晶パネルに投影光を照射する光源、及び液晶パネル上に表示された投影元画像をスクリーン等に投影させるための投影光学系等を備えている。
【００１７】
なお、プロジェクタを投影方式で大別すると、液晶方式とＤＬＰ（Digital Light Processing）方式との２つの方式があるが、上記プロジェクタ１１としては、これら何れの方式であっても良い。
【００１８】
メインＬＣＤ(Liquid Crystal Display）１２は、この携帯電話機に設けられているメイン液晶ディスプレイである。ＬＣＤＣ１３は、上記メインＬＣＤ１２の動作及び表示等を制御する液晶ディスプレイコントローラである。
【００１９】
ＬＥＤ（発光ダイオード）１４は、例えば着信ランプやキーパット４５の照明ランプ等の、当該携帯電話機に備えられている各種照明光源である。ＬＥＤドライバ１５は、このような各ＬＥＤ１４を駆動及び制御する。
【００２０】
加速度センサ１６は、当該携帯電話機に物理的な振動が加えられた時に、その振動の加速度の大きさ及び向きを検出する。後述するが、当該携帯電話機は、プロジェクタ１１で投影を行う場合、投影面の汚れや模様等に応じてテクスチャ補正を施した投影画像を投影するようになっている。そして、加速度センサ１６により検出された振動に応じて、上記テクスチャ補正を施す箇所を補正するようになっている。このため、加速度センサ１６の検出信号はＣＰＵ１０に供給されるようになっている。
【００２１】
ジャイロセンサ１７は、この携帯電話機に物理的な振動が加えられた時に、その振動による回転方向の角速度と回転角度を検出する。このジャイロセンサ１７の検出信号はＣＰＵ１０へ送られる。
【００２２】
照度センサ１８は、この携帯電話機の周囲環境の明るさを検出する。この照度センサ１８の検出信号はＣＰＵ１０へ送られる。
【００２３】
レシーバ１９は、この携帯電話機で音声通話等が行われている時に、受話音声を出力するためのスピーカである。
【００２４】
マイクロホン２０は、この携帯電話機で音声通話等が行われている時に、送話音声を入力するための音声入力デバイスである。
【００２５】
外部インターフェース（Ｉ／Ｆ）２１は、各種外部コネクタとその外部コネクタとの間で信号等を行うための外部接続部からなる。なお、上記外部コネクタにはいわゆるＵＳＢ２．０（Universal Serial Bus 2.0）規格のコネクタが含まれている。このため、当該携帯電話機は、ＵＳＢ２．０コントローラ２２も備えている。
【００２６】
ＵＳＩＭカードスロット２３は、加入者情報（契約者情報）等が記憶されたいわゆるＵＳＩＭ（Universal Subscriber Identity Module）カードが装着されるＩＣカードスロットである。
【００２７】
赤外線通信モジュール２４は、赤外線を用いて情報通信を行うための通信デバイスである。
【００２８】
振動モータ２５は、例えば発着信時等に当該携帯電話機の筐体を振動を発生させて、ユーザに発着信等を知らせるための、いわゆるバイブレータである。
【００２９】
バッテリ２６は、当該携帯電話機の各部で使用する電力用の電源である。
【００３０】
周辺ＩＣ＋電源ＩＣ２７は、上記ＵＳＩＭカードスロット２３、赤外線通信モジュール２４、振動モータ２５、バッテリ２６、外部インターフェース２１と接続されており、これら各部の制御や信号処理の他、バッテリ２６の電源の供給制御等を行う。
【００３１】
メインカメラ３１は、主に所望の被写体を撮像するためのカメラ部であり、撮影光学系や撮像デバイス等からなる。フラッシュ（フラッシュライト）３３は、カメラによる撮影時の撮影補助光を発光するための光源ランプである。フラッシュライトコントローラ３２は、メインカメラ３１の撮影に連動して、フラッシュ３３の発光を制御する。
【００３２】
サブカメラ３４は、上記メインカメラ３１とは別に設けられたカメラ部であり、いわゆる自分撮り時にユーザ自身を撮影したり、テレビ電話による通話の際にユーザ自身を撮影する際等に用いられる。
【００３３】
ＲＦ回路３５は、当該携帯電話機が、携帯電話網の無線基地局と通信する際の無線通信用回路である。アンテナ３６は、当該携帯電話機が無線基地局と無線通信を行う際の無線通信アンテナである。
【００３４】
非接触通信カードコントローラ３７は、非接触通信ＩＣカードとの間でいわゆる電磁誘導方式により信号通信を行うための各種制御及び信号処理を行う。非接触通信カードアンテナ３８は、上記電磁誘導方式による非接触通信のためのアンテナである。
【００３５】
近距離無線通信コントローラ３９は、例えばブルートゥース（Ｂｌｕｅｔｏｏｔｈ：登録商標）等の近距離無線通信方式により無線通信を行うための各種制御及び信号処理を行う。近距離無線通信アンテナ４０は、上記ブルートゥース等の近距離無線通信を行うためのアンテナである。
【００３６】
デジタルＴＶチューナ４１は、いわゆるデジタルテレビジョン放送用のチューナである。デジタルＴＶアンテナ４２は、当該デジタルテレビジョン放送電波を受信するためのアンテナである。
【００３７】
メモリカードスロット４４は、例えばいわゆるＳＤ（Secure Digital）カード等の外部メモリカードが着脱されるスロットである。メモリカードコントローラ４３は、メモリカードスロット４４に装着されたメモリカードに対するデータの書き込み／読み出し等の制御及び信号処理を行う。
【００３８】
キーパッド４５は、当該携帯電話機に設けられた各種キーと、それら各キーがユーザにより操作された時のキー出力信号を生成する。
【００３９】
内部メモリ４６は、例えばＤＤＲ  ＳＤＲＡＭ（Double Data Rate SDRAM）４７と、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）４８とを有してなる。上記ＮＡＮＤ型フラッシュメモリ４８には、ＯＳ（Operating System）のプログラムやＣＰＵ１０が各部を制御するための制御プログラム、プロジェクタ１１において、後述するテクスチャ補正を施した投影を行うための投影プログラム等の各種のアプリケーションプログラム、圧縮符号化された楽曲・動画像・静止画データコンテンツの他、各種の設定値、フォントデータ、各辞書データ、機種名情報や端末識別情報などが記憶される。ＤＤＲ  ＳＤＲＡＭ４７は、ＣＰＵ１０が各種のデータ処理や演算を行う際の作業領域として、随時データを記憶する。
【００４０】
音声チップ４９は、例えば音楽再生などの信号処理を行うためのＩＣ回路である。当該音声チップ４９には、ステレオ音声出力用の右スピーカ５０と左スピーカ５１が接続されている。
【００４１】
ＣＰＵ（中央処理ユニット）１０は、通信制御、音声処理及びその制御、画像処理及びその制御、その他各種信号処理や各部の制御等を行う。また、ＣＰＵ１０は、内部メモリ４６に蓄積されている各種の制御プログラムやアプリケーションプログラムの実行及びそれに付随する各種データ処理等を行う。特に当該実施例の携帯電話機の場合、ＣＰＵ１０は、内部メモリ４６に格納されている投影プログラムを実行することにより、プロジェクタ１１による投影時に、投影面の汚れや模様等に応じてテクスチャ補正を施した投影画像を形成し、また、加速度センサ１６及びジャイロセンサ１７により検出された振動に応じて、上記テクスチャ補正を施す箇所を補正するようになっている。詳しくは、後述する。
【００４２】
なお、この図１には図示を省略しているが、当該実施例の携帯電話機は、一般的な携帯電話機が備える各構成要素についても当然ながら備えている。
【００４３】
［投影画像の補正動作］
次に、このような構成を有する当該実施例の携帯電話機におけるプロジェクタ１１の投影画像の補正動作を説明する。
【００４４】
プロジェクタ１１を用いて所望の画像の投影を行う場合、ユーザは、図１に示すキーパッド４５を操作することで、該プロジェクタ１１の起動を指定する。ＣＰＵ１０は、キーパッド４５を介してなされたプロジェクタ１１の起動操作を検出すると、ＮＡＮＤ型フラッシュメモリ４８に記憶された投影プログラムに基づいて、図２のフローチャートに示す投影画像のテクスチャ補正を実行する。
【００４５】
まず、ステップＳ１では、ＣＰＵ１０が、テクスチャ補正機能を用いる設定となっているか否かを判別する。すなわち、この実施例の携帯電話機は、プロジェクタ１１を用いて投影を行う場合、テクスチャ補正機能を用いるか否かはユーザが設定するようになっている。この設定は、デフォルトでは、例えばテクスチャ補正機能を用いる設定となっているのであるが、ユーザは、手動でテクスチャ補正機能を用いない設定とすることも可能となっている。そして、この設定情報は、一例ではあるが、ＮＡＮＤ型フラッシュメモリ４８に記憶されるようになっている。
【００４６】
このため、ＣＰＵ１０は、ステップＳ１において、ＮＡＮＤ型フラッシュメモリ４８に記憶されている上記設定情報を読み込むことで、テクスチャ補正機能を用いるか否かを判別し、テクスチャ補正機能を用いるものと判別した場合は処理をステップＳ２に進め、テクスチャ補正機能を用いないものと判別した場合は処理をステップＳ８に進める。
【００４７】
なお、この例では、テクスチャ補正機能を用いるか否かは、ユーザが予め設定することとしたが、プロジェクタ１１が起動操作された際に、ＣＰＵ１０が、テクスチャ補正機能を用いるか否かを選択するための選択メニューをＬＣＤ１２に表示し、プロジェクタ１１の起動操作時に、このテクスチャ補正機能を用いるか否かをユーザに選択させるようにしてもよい。
【００４８】
次に、ステップＳ１において、テクスチャ補正機能を用いるものと判別することで処理をステップＳ２に進めると、ＣＰＵ１０は、メインカメラ部３１を起動制御して処理をステップＳ３に進め、このステップＳ３において、プロジェクタ１１を起動制御する。
【００４９】
次に、ステップＳ４では、ＣＰＵ１０が、上記投影面に対して全体が単色で、かつ、この単色の投影画像を介して投影面を視認可能な色の画像である単色画像を投影するようにプロジェクタ１１を制御する。具体的には、図３は、当該携帯電話機の要部のブロック図及び機能ブロック図であるが、この図３からわかるように、プロジェクタ１１で投影を行う際には、ＣＰＵ１０は、主に、テクスチャ補正画像形成部６１、投影画像形成部６２、判定部６３として機能するようになっている。このステップＳ４では、ＣＰＵ１０は、投影画像形成部６２として機能することで、例えば全体が白色の画像（全白画像）を形成し、これをプロジェクタ１１に供給する。これにより、上記全白画像がプロジェクタ１１を介して投影面に投影されることとなる。
【００５０】
なお、この例では、全体が白色の全白画像を投影面に投影することとしたが、これは、全体が単色で、かつ、この単色の投影画像を介して投影面を視認可能な色の画像である単色画像であれば、例えば黄色、水色、緑色等の他の色の投影画像を投影してもよい。ただ、当該実施例の携帯電話機の場合、以下に説明するように、この投影画像をメインカメラ部３１で撮像して、投影面の汚れや模様等を認識するようになっているため、投影面に投影する投影画像としては、白色に近い明るい色の投影画像を投影することが好ましいであろう。
【００５１】
次に、ステップＳ５では、ＣＰＵ１０が、上記全白画像を投影した投影面を撮像するようにメインカメラ部３１を撮像制御し、このメインカメラ部３１により撮像された投影面の全白画像を図３に示すＤＤＲ  ＳＤＲＡＭ４７の第１の記憶領域４７ａに記憶制御する。
【００５２】
次に、ステップＳ６では、ＣＰＵ１０が、図３に示すテクスチャ補正画像形成部６１として機能することで、ＤＤＲ  ＳＤＲＡＭ４７の第１の記憶領域４７ａに記憶した全白画像に基づいて、投影元画像を投影した際に、投影面の汚れや模様等が目立たないように、該投影元画像を補正可能なテクスチャ補正画像を形成して処理をステップＳ７に進める。
【００５３】
ステップＳ７では、ＣＰＵ１０が、図３に示す投影画像形成部６２として機能することで、ＤＤＲ  ＳＤＲＡＭ４７の第２の記憶領域４７ｂから読み込んだ投影元画像に対して、上記ステップＳ６で形成したテクスチャ補正画像を重ね合わせた投影画像を形成する。そして、ステップＳ８において、この投影画像を投影するようにプロジェクタ１１を制御する。
【００５４】
このようなステップＳ５〜ステップＳ８における動作を具体例を挙げて説明する。まず、図４（ａ）は、全白画像を投影した状態の投影面をメインカメラ部３１で撮像した撮像画像の一例を示す図である。この例では、投影面は、左上半分及び右下半分の各領域に斜線の模様が存在している。
【００５５】
一方、図４（ｂ）は、投影元画像の一例を示す図である。この図４（ｂ）に示す投影元画像を、そのまま上記投影面に投影すると、図４（ｃ）に示すように投影面の模様が投影元画像に反映され、投影元画像が見づらいものとなる。
【００５６】
このため、ＣＰＵ１０は、上記ステップＳ６においてテクスチャ補正画像形成部６１として機能することで、メインカメラ部３１により撮像された投影面の全白画像に基づいて、投影面の汚れや模様等が目立たないように投影元画像を補正可能なテクスチャ補正画像を形成する。
【００５７】
具体的には、この例の場合、投影面の全白画像は、図４（ａ）に示したように左上半分及び右下半分の各領域に斜線の模様が存在した画像となっている。このため、ＣＰＵ１０は、図４（ｄ）に示すように、投影面に模様が存在する領域に対して反対の領域に、投影面に存在する模様と同じ模様を施したテクスチャ補正画像を形成する。すなわち、この例の場合、ＣＰＵ１０は、図４（ｄ）に示すように右上半分及び左下半分の各領域に斜線の模様が存在するテクスチャ補正画像を形成する。
【００５８】
そして、ＣＰＵ１０は、ステップＳ７において、図４（ｂ）に示した投影元画像と図４（ｄ）に示したテクスチャ補正画像とを重ね合わせた投影画像を形成し、これをステップＳ８において投影面に投影する。これにより、上記投影画像を投影面に投影した際に、図４（ｅ）に示すように、投影画像の右上半分及び左下半分の各領域に施された斜線の模様と、投影面の左上半分及び右下半分の各領域に元から存在する斜線の模様とが連結され、投影面の模様が全体的に反映された投影画像を得ることができる。
【００５９】
図４（ｃ）に示したように、投影面の模様が部分的に投影画像に反映されてしまうと、該投影画像が見づらいものとなるが、当該実施例の携帯電話機は、上述のテクスチャ補正により、投影面の模様を投影画像全体に反映させることができるため、図４（ｅ）に示すように、投影面の模様に対応して投影画像を見易いものとすることができる。
【００６０】
〔テクスチャ補正の自動判別動作〕
ここで、当該実施例の携帯電話機は、このように投影面の模様（染み或いは汚れ等）を投影画像全体に反映させて投影画像の見易さを図るものであるが、投影面の模様（染み或いは汚れ等）が黒色、或いは黒色に近い暗い色である場合、これを上述のテクスチャ補正により投影画像全体に反映させてしまうと、投影画像全体が暗くなり、かえって投影画像が見づらいものとなる恐れがある。また、投影面の模様等が白色や透明色に近い薄い色である場合、上述のテクスチャ補正を行わなくても、投影画像がそれほど見づらくなることはない。
【００６１】
このため、ＣＰＵ１０は、上記ステップＳ４でメインカメラ部３１により投影面の全白画像が撮像されると、この全白画像を色解析することで、投影面の模様等が所定よりも濃い色か、及び該投影面の模様等が所定よりも薄い色かを判別する。すなわち、ＣＰＵ１０は、投影面の模様等が所定よりも濃い色か否かを判別するための第１の閾値と、投影面の模様等が所定よりも薄い色か否かを判別するための第２の閾値を有しており、投影面の模様等が上記第１の閾値以上の明るい色で、かつ、該投影面の模様等が上記第２の閾値以下の暗い色であるものと判別した場合に、上述のテクスチャ補正画像を形成して投影元画像のテクスチャ補正処理を行う。
【００６２】
これにより、上述のテクスチャ補正により、投影画像全体が暗くなり、かえって投影画像が見づらくなる不都合を防止することができ、また、投影画像の見やすさに影響を与えない程度の模様等は無視して投影画像の投影を行うことができる。
【００６３】
なお、ＣＰＵ１０は、上記各閾値を用いた判別により、テクスチャ補正を行わないものと判別した場合は、上記ステップＳ８において、投影画像をそのまま投影するようにプロジェクタ１１を制御する。
【００６４】
〔テクスチャ補正の振動対応動作〕
次に、上記ステップＳ８において、投影画像の投影を行うようにプロジェクタ１１を制御すると、ＣＰＵ１０は、ステップＳ９に処理を進める。プロジェクタによる投影が開始されると、ＣＰＵ１０は、図１及び図３に示す加速度センサ１６及びジャイロセンサ１７からの振動検出出力を所定の間隔で取得する。そして、ステップＳ９において、当該携帯電話機の筐体に対して物理的に加えられる振動の有無を検出する。そして、ＣＰＵ１０は、当該携帯電話機の筐体に対して振動が加えられているものと判別した場合、処理をステップＳ１０に進め、当該携帯電話機の筐体に対して振動が加えられていないものと判別した場合、処理を後述するステップＳ１２に進める。
【００６５】
当該携帯電話機の筐体に対して振動が加えられているものと判別することで処理をステップＳ１０に進めると、ＣＰＵ１０は、加速度センサ１６及びジャイロセンサ１７により検出された振動量及び振動方向に対応して、上記テクスチャ補正画像を重ね合わせる位置をずらして、投影元画像に重ね合わせ処理する。すなわち、ＣＰＵ１０は、振動が加えられていない状態と同じ状態となるように、テクスチャ補正画像の位置をずらして投影元画像に重ね合わせ処理する。
【００６６】
そして、ステップＳ１１において、ＣＰＵ１０は、この振動に応じて位置をずらしてテクスチャ補正画像の重ね合わせ処理を行うことで形成した投影画像を投影するようにプロジェクタ１１を投影制御する。
【００６７】
このように、振動に応じて上記テクスチャ補正画像の重ね合わせ位置を補正することにより、当該携帯電話機の筐体に対して振動が加えられた場合でも、見易い投影画像の投影を可能とすることができる。
【００６８】
〔テクスチャ補正の評価動作〕
次に、ステップＳ９において振動を検出することなく、或いはステップＳ１１において、振動に応じて上記テクスチャ補正画像の重ね合わせ位置を補正して投影画像を投影することで処理をステップＳ１２に進めると、ＣＰＵ１０は、現在、投影画像を投影している投影面を撮像するようにメインカメラ部３１を制御して、処理をステップＳ１３に進める。
【００６９】
ステップＳ１３では、ＣＰＵ１０が、図３に示す判定部６３として機能することで、メインカメラ部３１により撮像された現在の投影画像と、当該ＣＰＵ１０が投影画像形成部６２として機能することでプロジェクタ１１に供給している投影画像とを比較する。そして、ＣＰＵ１０は、ステップＳ１４において、メインカメラ部３１により撮像された現在の投影画像と、当該ＣＰＵ１０が投影画像形成部６２として機能することでプロジェクタ１１に供給している投影画像とが同じ画像であるか否かを判別することで、上記テクスチャ補正が正常になされているか否かを評価する。
【００７０】
すなわち、例えばユーザが投影面を変更して投影を行った場合等には、投影面の模様等が変わることとなるため、メインカメラ部３１により撮像された現在の投影画像と、プロジェクタ１１に供給している投影画像とが異なる画像となる。ＣＰＵ１０は、これら各画像の差異を、画像マッチング処理により検出する。そして、上記各画像の差異が所定以上ある場合は、上記テクスチャ補正が正常になされていないものと判別し、処理をステップＳ４に戻し、再度、上述の全白画像を投影した投影面の撮像を行うようにプロジェクタ１１及びメインカメラ部３１を制御すると共に、この撮像画像に基づいて、テクスチャ補正画像を形成して、投影元画像に重ね合わせ処理する。これにより、ユーザが投影面を変更して投影を行った場合でも、この変更後の投影面に対応してテクスチャ補正を行うことができ、見易い投影画像を得ることができる。
【００７１】
一方、ステップＳ１４において、上記テクスチャ補正が正常になされているものと判別すると、ＣＰＵ１０は、処理をステップＳ１５に進め、ユーザによりキーパッド４５を介して投影終了操作がなされたか否かを判別する。そして、投影終了操作がなされていないものと判別した場合は、処理をステップＳ８に戻し、引き続き投影画像の投影を継続するようにプロジェクタ１１を制御し、投影終了操作がなされたものと判別した場合は、プロジェクタ１１及びメインカメラ部３１をオフ制御して、この図２のフローチャートの全処理を終了する。
【００７２】
［実施例の効果］
以上の説明から明らかなように、この実施例の携帯電話機は、プロジェクタ１１で投影を行う際に、該プロジェクタ１１から全体が白色の全白画像を投影し、この全白画像の投影面をメインカメラ部３１で撮像する。そして、この全白画像を投影した投影面の撮像画像に基づいて、投影元画像を投影した際に、投影面の汚れや模様等が目立たないように、該投影元画像を補正可能なテクスチャ補正画像を形成し、このテクスチャ補正画像を、投影元画像に重ね合わせて投影する。これにより、投影面の汚れや模様等を、投影画像に対して目立たなくすることができ、投影画像を見やすいものとすることができる。
【００７３】
また、加速度センサ１６及びジャイロセンサ１７により、当該携帯電話機の筐体に加えられている振動を検出し、この振動に応じて上記テクスチャ補正画像の重ね合わせ位置を補正する。これにより、当該携帯電話機の筐体に対して振動が加えられた場合でも、テクスチャ補正画像を投影元画像に対して正確に重ね合わせることができ、見易い投影画像の投影を可能とすることができる。
【００７４】
また、例えば所定時間置きに、現在、投影画像を投影している投影面をメインカメラ部３１で撮像し、このメインカメラ部３１により撮像された現在の投影画像と、プロジェクタ１１に供給している投影画像とを比較する。そして、メインカメラ部３１により撮像された現在の投影画像と、プロジェクタ１１に供給している投影画像とが同じ画像とが、所定以上異なっていた場合に、再度、上述の全白画像を投影した投影面の撮像を行うようにプロジェクタ１１及びメインカメラ部３１を制御すると共に、この撮像画像に基づいて、テクスチャ補正画像を形成して、投影元画像に重ね合わせ処理する。これにより、ユーザが投影面を変更して投影を行った場合でも、この変更後の投影面に対応してテクスチャ補正を行うことができ、見易い投影画像を得ることができる。
【００７５】
［変形例］
上述の実施例の説明では、本発明を携帯電話機に適用することとしたが、本発明は、据え置き型のプロジェクタ装置は勿論のこと、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、ノート型のパーソナルコンピュータ装置、デスクトップ型のパーソナルコンピュータ装置等の他の機器に適用することができる。いずれの場合も上述と同様の効果を得ることができる。
【００７６】
最後に、上述の実施例は、本発明の一例である。このため、本発明は上述の実施例に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【符号の説明】
【００７７】
１０  ＣＰＵ、１１  プロジェクタ、１２  ＬＣＤ、１３  ＬＣＤＣ、１４  ＬＥＤ、１５  ＬＥＤドライバ、１６  加速度センサ、１７  ジャイロセンサ、１８  照度センサ、１９  レシーバ、２０  マイクロホン、２１  外部インターフェース、２２  ＵＳＢ２．０コントローラ、２３  ＵＳＩＭカードスロット、２４  赤外線通信モジュール、２５  振動モータ、２６  バッテリ、２７  周辺ＩＣ＋電源ＩＣ、３１  メインカメラ、３２  フラッシュライトコントローラ、３３  フラッシュ、３４  サブカメラ、３５  ＲＦ回路、３６  アンテナ、  ３７  非接触通信カードコントローラ３７、３８  非接触通信カードアンテナ、３９  近距離無線通信コントローラ、４０  近距離無線通信アンテナ、４１  デジタルＴＶチューナ、４２  デジタルＴＶアンテナ、４３  メモリカードコントローラ、４４  メモリカードスロット、４５  キーパッド、４６  内部メモリ、４７  ＤＤＲ  ＳＤＲＡＭ、４８  ＮＡＮＤ型フラッシュメモリ、４９  音声チップ、５０  右スピーカ、５１  左スピーカ、６１  テクスチャ補正画像形成部、６２  投影画像形成部、６３  判定部
【図１】
2010212917.tif 000003
【図２】
2010212917.tif 000004
【図３】
2010212917.tif 000005
【図４】
2010212917.tif 000006