(57)【要約】【課題】  使い勝手を向上した携帯端末及びシステムを提供する。【解決手段】  携帯端末は撮像部を備え、前記撮像部から出力された画像を用いて、部屋などの背景画像と、部屋に配置する物の画像である物体画像を生成する。このように生成した背景画像と物体画像を合成し、シミュレーション画像を表示するとともに、ユーザーが設定した範囲に物を配置可能であるか否かの判定結果を通知する。【選択図】  図１
2006244329.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を出力する撮像部と、
前記撮像部から出力された画像情報を受け取り、画像を表示可能な表示部と、
前記表示部に表示された画像の中から物を配置する設置範囲を設定する第１の設定部と、
前記撮像部から出力された画像を受け取り、前記第１の設定部により設定された設置範囲を含む第１の画像情報を生成する第１の画像生成部と、
前記表示部に表示された画像の中から抽出する物を設定する第２の設定部と、
前記撮像部から出力された画像を受け取り、前記画像の中から前記第２の設定部により設定された物の画像を抽出した第２の画像情報を生成する第２の画像生成部と、
前記設置範囲の大きさを示す第１のサイズ情報および前記第２の設定部により設定された物の大きさを示す第２のサイズ情報に応じて、前記第２の画像情報を拡大あるいは縮小する拡縮処理部と、
前記第１の画像情報と前記拡縮処理部により拡大あるいは縮小された第２の画像情報を合成したシミュレーション画像を前記表示部に出力する合成処理部と、
前記設置範囲に前記第２の設定部により設定された物を配置することが可能か否かを報知する報知部、
を備えることを特徴とする携帯端末。
【請求項２】
請求項１に記載の携帯端末は、前記第１の画像情報と前記第１のサイズ情報を対応付けて記憶する記憶部を備えていることを特徴とする携帯端末。
【請求項３】
請求項１に記載の携帯端末は、前記第１のサイズ情報を取得する第１のサイズ取得部と、前記第２のサイズ情報を取得する第２のサイズ取得部とを備えていることを特徴とする携帯端末。
【請求項４】
画像情報を出力する撮像部と、
前記撮像部から出力された画像情報を受け取り、画像を表示可能な表示部と、
前記表示部に表示された画像の中から物を配置する設置範囲を設定する第１の設定部と、
前記設置範囲の大きさを示す第１のサイズ情報を取得する第１のサイズ取得部と、
前記表示部に表示された画像の中から抽出する物を設定する第２の設定部と、
前記第２の設定部により設定された物の大きさを示す第２のサイズ情報を取得する第２のサイズ取得部と、
前記設置範囲に前記第２の設定部により設定された物を配置することが可能か否かを報知する報知部と、
を備えることを特徴とする携帯端末。
【請求項５】
請求項１ないし４のいずれかに記載の携帯端末は、前記第１のサイズ情報と前記第２のサイズ情報とを比較する比較部を備えることを特徴とする携帯端末。
【請求項６】
物を配置する設置範囲を選択する第１の選択部と、
第１の選択部による選択された前記設置範囲の大きさを示す第１のサイズ情報を取得する第１のサイズ取得部と、
設置する物を選択する第２の選択部と、
前記第２の選択部により選択された物の大きさを示す第２のサイズ情報を取得する第２のサイズ取得部と、
前記設置範囲に前記第２の選択部により選択された物を配置することが可能か否かを報知する報知部と、
を備えることを特徴とする情報処理装置。
【請求項７】
請求項６に記載の携帯端末は、前記第１のサイズ情報と前記第２のサイズ情報とを比較する比較部を備えることを特徴とする情報処理装置。
【請求項８】
携帯端末と、前記携帯端末とデータの送受信が可能な画像処理センターを備え、シミュレーション画像を生成するシステムであって、
前記携帯端末は、画像情報を出力する撮像部と、物を配置する設置範囲を設定する第１の設定部と、前記撮像部から出力された画像情報を用いて前記第１の設定部により設定された設置範囲を含む第１の画像情報を生成する第１の画像生成部と、配置する物を設定する第２の設定部と、前記撮像部から出力された画像情報の中から前記第２の設定部により設定された物の画像を抽出した第２の画像情報を生成する第２の画像生成部と、第１の画像情報および第２の画像情報を前記画像処理センターに送信する第１の送信部と、前記画像処理センターから送信された画像情報を受信する第１の受信部と、を備え、
前記画像処理センターは、前記携帯端末から送信された第１の画像情報および第２の画像情報を受信する第２の受信部と、前記設置範囲の大きさを示す第１のサイズ情報および前記第２の設定部により設定された物の大きさを示す第２のサイズ情報に応じて前記第２の画像情報を拡大あるいは縮小する拡縮処理部と、前記第１の画像情報と前記拡縮処理部により拡大あるいは縮小された第２の画像情報を合成したシミュレーション画像を生成する合成処理部と、前記合成処理部により合成されたシミュレーション画像を前記携帯端末に送信する第２の送信部と、を備えていることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報を表示可能な携帯端末および情報処理装置、システムに関する。
【背景技術】
【０００２】
特許文献１に、購入した住宅の３次元間取り図と家具店や家電店が取扱う製品の3次元寸法をWeb上で連携させて、間取りに合った家具や家電の配置をシュミレーションするシステムが開示されている。また、特許文献２には、家具や家電製品、インテリアなどの現実の物体を配置してみたい場合には、現実の物体に変えて、物体教示指標を設置することにより、実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザーに提示する方法が記載されている。
【０００３】
【特許文献１】特開２００３-３３７９００号公報
【特許文献２】特開２００３-２５６８７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
住宅メーカーが販売した所定の型の住宅を購入した場合、ユーザーが間取り図データを入手できる場合があるが、ユーザー各個人の住宅のデータを容易に入手できる場合は限られている。また、家具や電化製品についても、３Ｄデータがいつでも用意されていると限らない。そのため、シミュレーション画像を表示できる場合が限られ、使い勝手が悪いという問題がある。また、現実空間背景に指標を配置することで仮想現実感画像を表示する方法では、店で好みの家具等を見つけた場合であっても、その場で家具が自分の部屋に合うかどうかを判断することができず、指標を部屋に持ち帰って調べなければならない。また、間取り等のデータと同様、物体教示指標を全ての物について用意することは困難である。
【０００５】
さらに、シミュレーション画像を見ただけでは、ユーザーが部屋の大きさに対して、物の大きさが適当かどうか分かり難い場合がある。例えば、ユーザーが部屋の中の限られた範囲に物を置きたい場合、画像だけでは、その範囲内に配置できているのか、それとも他の物や部屋の壁等にぶつかってしまっているのか分からないことがある。特に、携帯端末の画面が小さい場合には、ユーザーが画面を見ただけで判別するのは困難である。
【０００６】
本発明は、上記課題に鑑み、使い勝手を向上した携帯端末および情報処理装置、システムの提供を目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明にかかる携帯端末は撮像部を備え、前記撮像部から出力された画像を用いて、部屋などの背景画像と、部屋に配置する物の画像である物体画像を生成する。このように生成した背景画像と物体画像を合成し、シミュレーション画像を表示するとともに、ユーザーが設定した範囲に物を配置可能であるか否かの判定結果を通知する。
【０００８】
また、本発明にかかる情報処理装置は、物を配置する設置範囲を選択する第１の選択部と、第１の選択部による選択された前記設置範囲の大きさを示す第１のサイズ情報を取得する第１のサイズ取得部と、設置する物を選択する第２の選択部と、前記第２の選択部により選択された物の大きさを示す第２のサイズ情報を取得する第２のサイズ取得部と、前記設置範囲に前記第２の選択部により選択された物を配置することが可能か否かを報知する報知部と、を備える。
【発明の効果】
【０００９】
本発明によれば、使い勝手を向上した携帯端末および情報処理装置、システムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
図1は、携帯端末の構成要素の一例を示したものである。携帯端末100は、携帯電話やPDA（Personal Digital Assistants）などの携帯端末装置である。操作部1は、キー操作部やタッチパネル、ユーザーが音声で命令を入力する音声入力装置などである。ユーザーはこの操作部１を操作して指示やデータ等を入力する。制御部2は、CPU（Central Processing Unit）などの処理装置で構成され、操作部1により入力された指示や、メモリ部４に記憶されたプログラムに応じて、携帯端末100の各構成を制御する。また、制御部2は、サイズ情報処理部21、画像生成処理部22、画像拡縮処理部23、画像合成処理部24、合成結果判定部25の各処理部を備えている。なお、処理部21〜25の構成の一部または全てを制御部2とは別に設けるようにしても良い。
【００１１】
撮像部3は、例えばカメラなどであり、撮像した画像情報を出力する装置である。メモリ部4は、例えばメモリＩＣやハードディスク等、データを記憶する装置である。メモリ部は携帯端末100に内蔵されたものに限らず、着脱可能なメモリカードや外部より接続された記憶装置等で実現してもよい。表示部5は画像や文字を出力する液晶ディスプレイ等で構成される。送受信部6は、アンテナ7を介して外部の基地局や他の機器と通信を行う装置である。距離測定部8は、オートフォーカスセンサー等、撮影位置から撮像部３により撮影する被写体までの距離を測定するものである。  以下、例えば図２に示すように、自分の部屋を背景画像として携帯端末100に保存し、外出先で好みの家具や家電製品を見つけたときに、部屋の画像とお店のテレビ等の画像を合成して、自分の部屋にテレビを置いた場合のシミュレーション画像（仮想現実画像）を携帯端末上に表示する方法について説明する。なお、以下の説明では、背景画像に重ねて表示する家具や家電製品等の画像を物体画像と呼ぶことにする。また、以下の例では、物を配置する所定の場所として部屋を例にあげているが、これに限定するものではない。例えば、屋外に物を配置する場合に用いても良い。
【００１２】
ユーザーが操作部１を操作し、シミュレーションモードの起動を選択すると、制御部2はシミュレーションモードを実行するプログラムを起動する。なお、このプログラムは、メモリ部４に予め記憶しているものであっても良いし、ユーザーが携帯端末１００を購入後にインストールするようにしても良い。シミュレーションモードが起動されると、例えば図3に示すような画面表示を行う。
【００１３】
図4に示すフローチャートを用いて、まず、背景画像と物体画像を取得する方法について説明する。ユーザーが画像撮影モードを選択すると（S401）、撮像部3を起動させるとともに（S402）、図5に示すように、背景画像と物体画像のいずれを取得するかの選択をユーザーに要求するメッセージを表示部５に表示する（S403）。
【００１４】
背景画像の取得が選択された場合、図6に示すように、表示部５の表示画面上に部屋のスルー画像を表示するとともに、撮像部３の焦点を合わせる基準となるマークである基準マークを表示させる。ユーザーは、家具等の物体を部屋に置くときの基準となる位置に、この基準マークを合わせるように携帯端末100を操作する。例えば、部屋の壁に沿って地点Aから地点Bの間に家具を置きたい場合は、操作部１を用いてマークを上下左右に動かして設定する（S404）。撮像部３は、基準マークを設定するごとに画像を出力する（S405）。
【００１５】
なお、基準マークは、画面を中心に固定され、目的の場所にマークを合わせるように携帯端末100を動かすようにしても良い。また、図6の例では、設置範囲として横幅を設定したが、これに限定するものではなく、縦幅を設定するようにしても良いし、横幅と縦幅の両方を設定するようにしても良い。
【００１６】
距離測定部８は、撮影位置から基準マークを合わせた位置までの距離を出力する（S406）。なお、本例ではオートフォーカスセンサー等の距離測定部8を設けることにより対象物までの距離を取得するようにしたが、距離取得方法を限定するものではない。例えば、撮像部３として２つのカメラを備えることにより、あるいは撮影位置の異なる複数の画像を取得することにより、三角測量の原理を利用して距離を測定するようにしても良いし、超音波センサーや赤外線センサーを利用して距離を測定するようにしても良い。また、基準となるスケールを置いて撮影し、距離を測定するようにしても良い。また、携帯端末100に傾きセンサーを設け、図7に示すように距離を測定するようにしても良い。携帯端末100で撮影対象物Aまでの距離ｘは、ｘ＝ｙ／tanθの計算式で算出することができる。ｙは例えば撮影者の肩の高さなどを予め入力しておく。角度θは端末を傾ける角度と一致するので、携帯端末の表示部５の画面に表示したに破線Pに撮影対象物Aの下辺をあわせるように傾けると、端末の傾きセンサーによりθを検出できる。
【００１７】
ただし、オートフォーカスセンサーを用いた場合、通常の写真撮影を行うとき焦点調整部と兼用することができ、距離測定のための特別の構成を設ける必要がなく、コスト増加を抑制することができる。
【００１８】
画像生成処理部22は、撮像部3により出力された２つの画像を合成して背景画像を生成する（S407）。なお、本例では、画像生成処理部22により背景画像を生成するようにしているが、これに限定するものではなく、撮像部３が２つの画像を合成して背景画像を出力するようにしても良い。
【００１９】
サイズ情報処理部21は、距離測定部８から出力された距離情報を用いて、背景画像に占める画素数から設置範囲のサイズを求める（S408）。例えば、カメラで1ｍの距離から1cmの長さの物を撮影すると、画像では1pixel分の画素になる、との基準値をメモリ部4に記憶する。1ｍの距離から撮った物の横幅が50pixel分だった場合、制御部２は物体の横幅を50cｍと算出する。また、横幅と撮影距離は反比例しているので、この関係を用いて撮影距離が変化した場合であっても、制御部２は物体の大きさを算出することができる。2ｍの距離から撮った場合、1pixelが2cmとなる。なお、カメラにズーム機能がある場合には距離とサイズの関係は崩れるが、この場合でもズームの倍率がわかるのでこれを考慮して計算することでサイズの計算が可能である。
【００２０】
距離測定部８により測定した撮影距離を示す距離情報やサイズ情報処理部21により算出したサイズ情報を背景画像とともに携帯端末100のメモリ部4に記憶する（S409）。
【００２１】
図8に、保存データの構成の一例を示す。画像情報と、距離情報やサイズ情報等とを、関連付けて保存する。本例では、距離測定の基準にした点の画像内の座標データを位置情報として保存する。距離測定の基準にした点は、ユーザーが家具等を置く場所と想定した位置のため、この場所の座標を保存しておくことにより、ユーザーが配置を意図した場所に物体画像を容易に重ねて表示することができる。
【００２２】
また、画像や距離等の情報以外のデータを付加情報として記録するようにしても良い。例えば、携帯端末100にフォトセンサーなどの明るさ検出部を設ける場合には、撮影時の明るさを示す明度情報を付加情報として保存するようにしても良い。部屋等の背景と家具等の物体を撮影したときの明るさに大きな差があると、シミュレーションした場合と実際に物を部屋に置いた場合とで、色や雰囲気が違ってしまうことがある。明度情報を画像データとともに保存することにより、他の画像と合成する時に明度を調整し、実際に物を部屋に置いた場合に近いシミュレーション画像を提示することができる。
【００２３】
背景画像等を保存した後に、例えば図9に示すような選択画面を表示し、続けて他の背景画像を取得するか、物体画像を取得するか、画像撮影モードを終了するかの選択をユーザーに求める（S410）。このような選択要求を行うことにより、ユーザーは他の背景画像や物体画像の取得動作にスムーズに移行することができる。なお、終了が選択された場合には、シミュレーションモードを終了しても良いし、図3に示すシミュレーションモード画面を再度表示しても良い。シミュレーションモード画面を表示することにより、ユーザーは画像撮影に続けてシミュレーション表示を選択することができ、使い勝手を向上することができる。
【００２４】
S403あるいはS410で物体画像の取得が選択された場合、背景画像を取得する場合と同様に、表示部５の表示画面上に、図１0に示すように家具等が置かれたお店のスルー画像を表示するとともに、基準マークを表示する。表示画面にはシミュレーションの対象物以外の物も映ってしまうことが多いため、ユーザーは対象物に基準マークを合わせるように操作し、対象物を設定する（S412）。ユーザにより設定ボタンが選択されると、撮像部3は対象物を含む画像を出力し（S413）、距離測定部8は撮影位置から基準マークを合わせた物体までの距離を出力する（S414）。画像生成処理部22は、目的の物体の抽出を行い、物体画像を生成する（S415）。目的物体の抽出は、例えばマークが付けられた物と周りの物との色の差異により行う。ただし、これに限定されるものではなく、例えば、ユーザーが表示画面上のカーソル等のマークを移動させて目的物体の輪郭を指定しても良いし、表示部をタッチパネル方式にし、指やペン等により目的の物体の輪郭をユーザーが入力するようにしても良い。また、携帯端末がステレオカメラを用いている場合には、複数の画像から目的の物体を抽出するようにしても良い。
【００２５】
サイズ情報処理部21は、距離および撮影した画像の画素数から、物体の大きさを算出する（S416）。サイズ情報は、物体画像とともにをメモリ部４に記憶される（S417）。
【００２６】
この際に、背景画像の保存と同様に、物体画像やサイズ情報以外の情報を付加情報として記録しても良い。目的物体が扉や引出し等を備えおり、実際に使用する状況によって形態が変化するものである場合、動作させると形態が変わることを示す情報と、動作させた際の動作サイズ情報を記録しても良い。この動作サイズ情報は、動作後の目的物体の画像を撮影することによって取得するようにしても良いし、動作の形態を選択することによって、動作後の予想サイズ情報を算出し、記憶するようにしても良い。例えば、動作メニュー画面に扉、引出し等の項目と、全開、半開等の動作範囲を示す項目を備え、ユーザーが選択した項目に応じて動作後のサイズ情報を算出する。例えば、扉と全開を選択された場合には、物体の横幅の2倍の値を動作サイズ情報として記憶する。
【００２７】
以上の説明では、撮像部３で静止画を撮影する場合を想定して説明したが、これに限るものではなく、動画撮影をし、動画から複数の静止画像を抽出し、距離測定やサイズ情報を取得するようにしても良い。
【００２８】
また、以上の説明では、撮影部３により撮影した画像を用いて背景画像および物体画像を取得したが、メモリ部４に記憶する画像情報をこれに限定するものではない。例えば、家具や家電製品等の商品の画像情報やサイズ情報等を、インターネット等のネットワークを介して送受信部6により受信するようにしても良い。また、店等で無線LANや赤外線通信を介して情報を取得するようにしても良い。なお、家具等の3Dデータを受信する場合には、表示部5に２次元化した映像を表示するために3Dデータを処理する3D情報処理部を設ける必要がある。
【００２９】
図11に示すフローチャートを用いて、シミュレーション画像を表示する処理動作を説明する。図3に示すシミュレーションモード画面において、ユーザーによりシミュレーション表示が選択されると（S1101）、背景画像としてその場で撮影したリアルタイムの画像を用いるか、メモリ部4に保存された画像を用いるかの選択を求めるメッセージを表示部５に表示する(S1102)。背景画像として保存されている画像が選択されると、メモリ部4に保存されている画像の一覧を表示部５に表示し、ユーザーが画像を選択すると、その画像情報と対応するサイズ情報を読み出す(S1103)。そして、背景画像に合成する物体画像として、リアルタイムの画像と保存画像のいずれを用いるかをユーザーに選択させる（S1104）。物体画像として保存画像が選択された場合、メモリ部4に保存されている画像の一覧を表示部５に表示し、ユーザーが選択した画像を読み出す(S1105)。物体画像としてリアルタイムの画像が選択されると、撮像部3を起動し、対象物が設定されると、物体画像を生成するとともに、サイズ情報を出力する（S1106）。
【００３０】
一方、背景画像としてリアルタイム画像が選択された場合は、画像入力部３を起動させ、設置範囲が設定されると、背景画像とサイズ情報が生成される（S1107）。背景画像としてリアルタイム画像が選択された場合は、物体画像の候補として自動的にメモリ部４に記憶されている画像一覧を表示部５に表示し、ユーザーが選択した画像を読み出す（S1108）。
【００３１】
以上のように、背景画像及び物体画像それぞれを、メモリ部4に保存してある画像や、その場で撮影したリアルタイム画像からユーザーが選択できるので、使用状況に応じて用いる画像の種類の組み合せを変えて使用することができる。なお、図11に示したフローチャートに示すように、合成に使用する背景画像や物体画像を選択したが、これに限定するものではなく、背景画像と物体画像を選択する順番を逆にしても良い。
【００３２】
シミュレーションに用いる画像が選択されると、サイズ情報を用いて画像拡縮処理部23で画像の拡大・縮小処理を行い、背景画像と物体画像の相対的サイズを合わせ、画像合成処理部24で背景画像と物体画像の合成処理を行う(S1109)。合成処理が終了すると、合成したシミュレーション画像を表示部5に表示する(S1110)。メモリ部4に画像情報を取得した際に基準マークの位置を示す位置情報が記憶されている場合は、その位置情報に基づいて背景画像と物体画像を合成する。なお、物体画像としてメモリ部4に記憶された画像を用いた場合操作部1を使用して物体画像の表示位置を調整可能にすることが好ましい。
【００３３】
例えば、背景画像にメモリ部４から読み出された物体画像の表示位置を調整する方法について図12を用いて説明する。図12（a）は、シミュレーション画像の表示例を示すものである。操作部１の操作により、画面下に表示された「位置調整」ボタンが選択されると、図１2（b）に示すように画面上にカーソルが表示される。操作部１の操作によりカーソルを移動させることにより、図12（c）に示すように画面上の物体画像を任意の表示位置に移動させることができる。
【００３４】
以上のようにして、例えば自分の部屋に物体を置いた場合のシミュレーション画像を携帯端末で見ることができるため、外出先で見つけた物が自分の部屋の寸法に合うか、雰囲気は合うか、をその場で判断することができる。また、本例では、撮像部3で撮影した画像を用いてシミュレーション画像を表示することができるため、間取り図等のデータを入手することができない場合であっても、ユーザーは容易にシミュレーション画像を確認することができる。
【００３５】
なお、シミュレーション画像とともに、家具等の物体のサイズや部屋のサイズを表示するようにしても良い。これにより、見た目だけでなく、具体的な数値でも部屋と物体との関係を確認することができる。
【００３６】
なお、画像情報とともに明度情報を保存してある場合、背景画像と物体画像の明度を調整してシミュレーション画像を表示するようにしても良い。例えば、背景画像が物体画像よりも暗い場合には、物体画像の明度を背景画像の平均明度に合わせて全体的に暗くなるように調整して表示する。このように、背景画像に合わせて明度を調整することにより、部屋に実際に物を配置したときに近いシミュレーション画像を提示することができる。なお、必ずしも背景画像の明度に合わせる必要はなく、例えば、背景画像あるいは物体画像のいずれかにリアルタイム画像を用いている場合には、リアルタイム画像の明度に調整するようにしても良い。
【００３７】
表示部５にシミュレーション画像を表示した後に、例えば図13に示すように表示画面の下方に表示された「判定」ボタンが操作部1により選択されると、設定した設置範囲に家具等の物体を配置可能かどうかの判定処理を行う（S1111）。
【００３８】
この判定処理は、例えば図14に示すフローチャートに従って行われる。判定ボタンが選択されると (S1401)、背景の設置範囲のサイズ情報と物体画像のサイズ情報を読み出し（S1402）、背景画像と物体画像のサイズ情報を比較する（S1403）。背景画像のサイズよりも物体画像のサイズが大きい場合には、図15(ａ)に示すように「NG」等のメッセージを表示する(S1404)。一方、背景画像のサイズよりも物体画像のサイズが小さい場合には、図15(ｂ)に示すように「OK」等のメッセージを表示する(S1405)。ユーザーは画面を見ただけでは、サイズが合っているのか合っていないのか分からない場合がある。このように表示を行うことにより、サイズが適合しているかどうかを容易に知ることができる。なお、図15に示した画面表示は一例であって、これ以外の方法でサイズが適合しているかどうかを通知しても良い。また、通知は表示部5への表示に限定するものではなく、音声等を用いて通知しても良い。
【００３９】
なお、サイズ情報として横幅と縦幅の両方が記憶されている場合には、横幅と縦幅の両方において、背景画像のサイズよりも物体画像のサイズが小さいときにOKを表示し、いずれか一方でも物体画像のサイズが大きい場合にはNGを表示する。この際に、縦・横のいずれにおいてサイズが合っていないかを示すメッセージを表示画面に表示することが好ましい。これにより、物体を配置するにあたって縦幅が問題となっているのか、横幅が問題となっているのかを知ることができる。
【００４０】
また、付加情報として、物体の扉が開閉可能等の動作情報がメモリ部４に記憶されている場合には、例えば図１６（ａ）に示すように、表示画面に「動作」ボタンを表示させる。このボタンが選択されると、扉を開いたときの横幅サイズなどの動作後のサイズ情報をメモリ部４から読出し、この動作後のサイズ情報と背景画像のサイズ情報とを比較する。そして、動作後のサイズ情報が背景画像のサイズ情報よりも大きい場合は、図16（ｂ）に示すようにサイズが合っていないことを示す表示を行う。これにより、物体をただ単に配置しただけではなく、使用した場合に問題点があるか否かについても確認することができる。なお、図16（ｃ）に示すように、動作前の画像を表示させたままで動作後の判定を表示するようにしても良い。
【００４１】
なお、以上の説明では、リアルタイム画像として、対象物や配置範囲が設定された際の画像情報を用いたが、これに限定するものではない。サイズ情報については、対象物や配置範囲が設定された際に算出したものを用い、リアルタイム画像として表示部５にスルー表示された画像を用いても良い。この場合、ユーザーが携帯端末100を動かすことによってサイズに誤差が生じるため、所定時間ごとに対象物や位置の再設定を求めるようにすることが好ましい。
【００４２】
また、３Dの物体画像情報がメモリ部4に記憶されており、この情報が選択された場合には、例えば図17（ａ）に示すように回転表示が可能であることを示す表示を行う。この回転ボタンが選択された場合には、例えば45度や90度回転した状態の物体を表示し、この状態で背景の設定範囲にサイズがあっているか否かを再度判定し、図17（ｂ）に示すように判定結果を表示する。これにより、ユーザーは物体を配置する方向を変えて、サイズが適合するか否かを調べることができるため、使い勝手を向上することができる。
【００４３】
なお、以上説明した例では、シミュレーション画像は携帯端末１００で作成していたが、これに限定するものではない。例えば、図８に示すようにネットワークを介して画像情報およびサイズ情報を送信し、画像処理センターでシミュレーション画像の生成を行うようにしても良い。
【００４４】
例えば、携帯端末100は画像情報等を無線基地局200及びネットワーク500経由して、画像処理センター700に送信する。画像処理センター700は、通信部701により画像情報を受信し、受信した情報を記憶部702に保存する。制御部703は、送られてきた背景画像と物体画像の縮尺を合わせるように画像の拡大・縮小処理を行い、仮想現実感画像を作成する。画像処理センター700は、作成した仮想現実感画像を携帯端末100に送信する。携帯端末100は受信した仮想現実感画像を表示部5に表示することで、ユーザーに所望の仮想現実感画像を提示することが可能となる。図18の例では、サイズ情報を画像情報とともに送信したが、携帯端末100から画像情報のみを送信し、画像処理センターでサイズ情報を生成するようにしても良い。
【図面の簡単な説明】
【００４５】
【図１】携帯端末の構成要素の一例を示した図である。
【図２】携帯端末にシミュレーション画像を表示する方法の概要を示す図である。
【図３】携帯端末の画面表示例である。
【図４】背景画像と物体画像を取得する手順の一例を示すフローチャート図である。
【図５】携帯端末の画面表示例である。
【図６】物体を置く設置範囲の設定方法の概念を示す図である。
【図７】傾きセンサーを用いた距離取得方法の概念を示す図である。
【図８】保存データの構成例を示す図である。
【図９】携帯端末の画面表示例である。
【図１０】物体画像の取得方法の概念を示す図である。
【図１１】シミュレーション画像を表示する手順の一例を示すフローチャート図である。
【図１２】携帯端末の画面表示例である。
【図１３】携帯端末の画面表示例である。
【図１４】判定処理の一例を示すフローチャート図である。
【図１５】携帯端末の画面表示例である。
【図１６】携帯端末の画面表示例である。
【図１７】携帯端末の画面表示例である。
【図１８】シミュレーション画像生成システムの一例を示す図である。
【符号の説明】
【００４６】
１    操作部
２    制御部
３    撮像部
４    メモリ部
５    表示部
６    送受信部
７    アンテナ
８    距離測定部
１００    携帯端末
２００    無線基地局
５００    ネットワーク
７００    画像処理センター
【図１】
2006244329.tif 000003
【図２】
2006244329.tif 000004
【図３】
2006244329.tif 000005
【図４】
2006244329.tif 000006
【図５】
2006244329.tif 000007
【図６】
2006244329.tif 000008
【図７】
2006244329.tif 000009
【図８】
2006244329.tif 000010
【図９】
2006244329.tif 000011
【図１０】
2006244329.tif 000012
【図１１】
2006244329.tif 000013
【図１２】
2006244329.tif 000014
【図１３】
2006244329.tif 000015
【図１４】
2006244329.tif 000016
【図１５】
2006244329.tif 000017
【図１６】
2006244329.tif 000018
【図１７】
2006244329.tif 000019
【図１８】
2006244329.tif 000020