(57)【要約】【課題】従来、例えばカタログ、チラシ等に掲載されているコードを撮影しなければならず、コードがない場合には、物体の配置状態のシミュレーションを行うことができなかった。【解決手段】第１物体を撮像する撮像部と、前記第１物体の大きさに関する第１情報と、前記第１物体に代えて、または前記第１物体と共に用いられる第２物体の大きさに関する第２情報とを入力する入力部と、前記撮像部が撮像した前記第１物体を表示するとともに、前記第１、第２情報に基づいて、前記第２情報に関する表示を行う表示部と、を備えたことを特徴とする電子機器。【選択図】図１
2014032589.tif 000002
【特許請求の範囲】
【請求項１】
第１物体を撮像する撮像部と、
前記第１物体の大きさに関する第１情報と、前記第１物体に代えて、または前記第１物体と共に用いられる第２物体の大きさに関する第２情報とを入力する入力部と、
前記撮像部が撮像した前記第１物体を表示するとともに、前記第１、第２情報に基づいて、前記第２情報に関する表示を行う表示部と、を備えたことを特徴とする電子機器。
【請求項２】
前記電子機器の姿勢を検出する姿勢検出センサを備え、
前記表示部は、前記姿勢検出センサの検出結果に応じて、前記第２情報に関する表示を行うことを特徴とする請求項１記載の電子機器。
【請求項３】
前記表示部が前記第１物体を表示しているときに、前記第１物体を指定する指定部を備えたことを特徴とする請求項１または２記載の電子機器。
【請求項４】
前記表示部が前記第１物体を表示しているときに、前記第１物体と前記第１情報との対応付けを行う処理部を備えたことを特徴とする請求項１から３のいずれか一項に記載の電子機器。
【請求項５】
前記入力部は、前記第１物体の画像データを入力し、
前記第１物体の画像データと、前記撮像部が撮像した画像とに基づいて、前記第１物体の画像を特定する特定部を備えたことを特徴とする請求項１から３のいずれか一項に記載の電子機器。
【請求項６】
前記表示部は、前記第１物体の端部から前記表示部の表示端までの距離情報を出力することを特徴とする請求項１から５のいずれか一項に記載の電子機器。
【請求項７】
前記第１情報に基づいて、前記第１物体と隣接する第３物体を認識する認識部を備えたことを特徴とする請求項１から６のいずれか一項に記載の電子機器。
【請求項８】
前記第１情報に基づいて、前記第１物体と隣接する第３物体の大きさを検出する大きさ検出部を備えたことを特徴とする請求項１から６のいずれか一項に記載の電子機器。
【請求項９】
前記撮像部から前記第１物体までの距離を検出する距離検出部を備え、
前記表示部は、前記距離検出部が検出した距離に基づいて、前記第２物体に関する情報を表示する請求項１から８のいずれか一項に記載の電子機器。
【請求項１０】
前記撮像部は、撮像素子に入射する光量を調整する絞りを備え、
前記距離検出部は、前記撮像部が撮像した画像のコントラストの変化に基づいて前記第１物体までの距離を検出し、
前記距離検出部の距離検出のための画像の撮像において、前記絞りをより開ける調節部を備えた請求項９に記載の電子機器。
【請求項１１】
前記表示部は、
前記第１物体に代えて用いられる前記第２物体が前記第１物体より大きい場合に、前記撮像部が撮像した画像中における前記第１物体の画像を前記第２物体の外観を示す画像により上書きして表示し、
前記第２物体が前記第１物体より小さい場合に、前記撮像部が撮像した画像中における前記第１物体の画像と共に前記第２物体が占める範囲を表示する
請求項１から１０のいずれか一項に記載の電子機器。
【請求項１２】
前記第１物体を撮像した第１の撮像画像を記憶する記憶部を備え、
前記撮像部が前記第２物体を含む第２の撮像画像を撮像した場合に、前記表示部は、前記第２の撮像画像中に撮像された前記第２物体の画像を前記第１の撮像画像に重ねて表示する
請求項１から１１のいずれか一項に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器に関する。
【背景技術】
【０００２】
特許文献１には、物体の配置状態のシミュレーションを行う配置シミュレーションシステムが記載されている。
［先行技術文献］
［特許文献］
［特許文献１］  特開２００８−１９１７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、上記の従来技術においては、例えばカタログ、チラシ等に掲載されているコードを撮影し、特別なスケールを実空間に配置しなければならず、コード又はスケールがない場合には、物体の配置状態のシミュレーションを行うことができなかった。
【課題を解決するための手段】
【０００４】
本発明の態様においては、第１物体を撮像する撮像部と、前記第１物体の大きさに関する第１情報と、前記第１物体に代えて、または前記第１物体と共に用いられる第２物体の大きさに関する第２情報とを入力する入力部と、前記撮像部が撮像した前記第１物体を表示するとともに、前記第１、第２情報に基づいて、前記第２情報に関する表示を行う表示部と、を備えたことを特徴とする電子機器を提供する。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本実施形態に係る電子機器１０の構成を示す。
【図２】本実施形態に係る電子機器１０の動作フローを示す。
【図３】本実施形態に係る電子機器１０の動作フローを示す。
【図４】本実施形態に係る電子機器１０の動作フローを示す。
【図５】第１物体の寸法を示す枠７０２を表示部７００が表示した例を示す。
【図６】第２物体の寸法を示す枠７０４を表示部７００が第１物体の画像に重ねて表示した例を示す。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、本実施形態に係る電子機器１０の構成を示す。電子機器１０は、一例としてスマートフォン、カメラ、又は、携帯電話等の機器であり、例えば電気製品等の第１物体を含む撮像画像に対して、第１物体の買い替え製品等である第２物体の大きさ等に関する情報、すなわち、例えば第２物体の占める範囲を示す画像等を付加して表示する。これにより、電子機器１０は、使用者の部屋等に第２物体を配置した場合のシミュレーションを可能とする。
【０００９】
電子機器１０は、撮像部１００と、ＣＰＵ２００と、フレームメモリ３００と、無線通信部４００と、姿勢センサ５００と、画像合成部６００と、表示部７００と、操作部８００と、リサイズ部９００と、メモリ部１０００と、を備える。
【００１０】
撮像部１００は、使用者の操作に応じて第１物体を含む部屋の配置等を撮像するために用いられ、レンズ部１１０および撮像素子１２０（例えばＣＣＤまたはＣＭＯＳ）を有する。レンズ部１１０は、ＣＰＵ２００に接続されて撮像制御部２０２により駆動され、被写体からの光を入射して撮像素子１２０上に結像させる。レンズ部１１０は、撮像部１００に対して固定式又は着脱可能であってよい。レンズ部１１０は、ＡＦレンズ１１２および絞り１１４を含む。
【００１１】
ＡＦレンズ１１２は、撮像制御部２０２からの駆動制御信号によって駆動され、ピントを合わせる被写体距離を変更する。絞り１１４は、撮像制御部２０２からの駆動制御信号によって駆動され、撮像素子１２０に入射する被写体光の光量を調整する。
【００１２】
撮像素子１２０は、ＡＦレンズ１１２および絞り１１４を介して受光した被写体光を撮像する。フレームメモリ３００は、撮像素子１２０に接続されたバッファメモリであり、撮像素子１２０により撮像された撮像画像のデータを順次受け取って一時的に格納し、画像処理及び画像表示のための一時記憶として機能する。
【００１３】
無線通信部４００は、第１物体の大きさに関する第１情報と、第１物体に代えて、または第１物体と共に用いられる第２物体の大きさに関する第２情報とを入力する。具体的には、無線通信部４００は、ＣＰＵ２００の指示に応じて、第１物体の大きさ等に関する第１情報（例えば第１物体の外形寸法情報、第１物体の型番、及び第１物体の外観特徴情報［輪郭、色、及び／又は画像］等を含んでよい）をネットワーク上のサーバ等から取得してＣＰＵ２００に入力する。
【００１４】
また、無線通信部４００は、第１物体（例えば現在使用しているテレビ）に代えて用いられる第２物体（買替テレビ）または第１物体（例えばテレビ台）と共に用いられる第２物体（例えば新しく購入するテレビ）の大きさ等に関する第２情報（例えば第２物体の外形寸法情報、第２物体の型番、及び第２物体の外観特徴情報［輪郭、色、及び／又は画像］等を含んでよい）を、ネットワーク上のサーバ等から取得してＣＰＵ２００に供給する。
【００１５】
姿勢センサ５００は、電子機器１０の姿勢を検出する。姿勢センサ５００は、一例として加速度センサであり、撮影時の電子機器１０の傾きから電子機器１０の姿勢を検出する。姿勢センサ５００は、検出した電子機器１０の姿勢を姿勢データとしてＣＰＵ２００に出力する。
【００１６】
姿勢センサ５００は、電子機器１０の左右を中心軸とした上下方向の傾き、電子機器１０の上下を中心軸とした左右方向の傾き、及び、撮像素子１２０の光軸を中心とした上下左右の傾きの少なくとも１つを検出してもよい。
【００１７】
ＣＰＵ２００は、電子機器１０内部の各種のハードウェア構成要素に接続され、これらの構成要素を制御する。ＣＰＵ２００は、ハードウェア及びソフトウェアの協働により撮像部１００による被写体の撮像を制御する撮像制御部２０２を有する。撮像制御部２０２は、撮像素子１２０から入力される被写体の撮像画像のデータに基づいてＡＦレンズ１１２および絞り１１４を制御して撮像部１００から被写体となる第１物体までの距離を検出し、ピントを合わせる。撮像制御部２０２は、撮像部１００が撮像した画像のコントラストの変化に基づいて（コントラストＡＦ方式）撮像部１００から第１物体までの距離を検出してもよく、これに代えて位相差ＡＦ方式により第１物体までの距離を検出してもよい。
【００１８】
具体的には、コントラストＡＦ方式の場合、撮像制御部２０２は、ＡＦレンズ１１２のピントを合わせる距離を変化させながら第１物体を撮像させて、コントラストが最も高くなった距離を第１物体の被写体距離として検出する。また、位相差ＡＦ方式の場合、撮像制御部２０２は、ＡＦセンサに結像した２つの画像の間隔に基づいて、撮像部１００から第１物体までの被写体距離を検出する。
【００１９】
またＣＰＵ２００は、撮像画像中で第１物体が占める大きさ、撮像部１００から第１物体までの距離情報、及び／又はＡＦレンズ１１２の焦点距離もしくはズーム量等に基づいて、第１物体の大きさの推定値に関する情報を含む推定第１情報を生成する。ＣＰＵ２００は、推定第１情報を元に無線通信部４００を介してネットワーク上のサーバ等にアクセスして、推定第１情報にマッチングされるべき第１物体の少なくとも１つの候補を検索させ、マッチングされた少なくとも１つの第１物体のそれぞれに対応する第１情報を含む第１物体候補データを当該サーバから入力する。
【００２０】
さらにＣＰＵ２００は、第１物体候補データの中から選択された第１物体の第１情報に基づいて、無線通信部４００を介してネットワーク上のサーバ等にアクセスして、選択された第１物体に対応する第２物体の少なくとも１つの候補を検索させ、マッチングされた少なくとも１つの第２物体のそれぞれに対応する第２情報を含む第２物体候補データを入力する。
【００２１】
一例としてＣＰＵ２００は、第１物体（例えば現在使用しているテレビ）の製品の種類、大きさ、及び／又は色等の属性等を用いてサーバに検索を要求し、新しく購入する製品として好適な買替製品である第２物体（例えば新しく購入するテレビ）の外形寸法情報、型番、及び外形特徴情報等を含む第２情報を無線通信部４００及びネットワークを介して取得する。ＣＰＵ２００は、第２物体候補データの中から選択された第２物体の第２情報に関する表示を画像合成部６００に指示する。
【００２２】
画像合成部６００は、ＣＰＵ２００から第２情報に関する表示の指示を受け取って、フレームメモリ３００に格納された撮像画像に第２情報に関する表示を合成して表示部７００に供給する。一例として、画像合成部６００は、ＣＰＵ２００から第２情報に関する表示の指示を受け取ると、フレームメモリ３００に格納された撮像画像に、買替製品である第２物体の画像を合成して表示部７００に供給する。
【００２３】
表示部７００は、一例として液晶表示画面であり、画像合成部６００から入力された合成画像データに基づいて、合成画像を表示する。これにより、表示部７００は、撮像部１００が撮像した第１物体を表示するとともに、第１、第２情報に基づいて、第２情報に関する表示を行う。
【００２４】
一例として、撮像部１００が第１物体としてテレビを撮像している間、表示部７００は、テレビの撮像画像のデータに、第２情報として買替製品であるテレビの画像を合成した合成画像を表示する。このような構成により、電子機器１０は、第１物体を撮像すると、買替製品となる第２物体の配置シミュレーションを可能とする。
【００２５】
操作部８００は、一例として、表示部７００の表面に設けられたタッチパネルを有し、使用者の操作を受け付けてＣＰＵ２００に入力する。操作部８００は、このような操作の一例として、撮像画像中に撮影された第１物体を指定又は変更する指示、第１物体の複数の候補の中から一の第１物体を指定する指示、第２物体の希望の大きさ等を指定する指示、及び、第１物体と共に又は第１物体に代えて用いる第２物体の複数の候補の中から一の第２物体を指定する指示等を入力してＣＰＵ２００に供給する。
【００２６】
リサイズ部９００は、撮像画像中から検出した第１物体の範囲をマニュアルで変更する指示を受けた場合に、当該指示に応じて撮像画像中における第１物体の範囲等を変更する。
【００２７】
メモリ部１０００は、ＣＰＵ２００が操作部８００を通じて画像の撮像指示を受けた場合に、第１物体を撮像した第１の撮像画像をフレームメモリ３００から受け取って記憶する。なお、メモリ部１０００は、電子機器１０に内蔵された記憶媒体であってもよいし、リムーバブル式の記憶媒体であってもよい。
【００２８】
図２〜４は、本実施形態に係る電子機器１０の動作フローを示す。本動作フローにおいて、電子機器１０は、使用者の指示に応じて第１物体として現在使用している製品（「現製品」）を撮像したことに応じて現製品を特定し、第２物体として現製品に代えて用いる予定の新製品の大きさに関する情報を、現製品を撮像した画像データに合成して表示する。
【００２９】
ステップＳ１において、撮像部１００は、使用者の撮像操作に応じて、第１物体として例えば使用者が所有する現製品を含む対象空間を撮像する。撮像部１００は、現製品を含む空間を撮像した撮像画像データを、フレームメモリ３００を介してＣＰＵ２００に送る。
【００３０】
撮像制御部２０２は、フレームメモリ３００に格納された撮像画像データから、撮像画像に含まれる現製品等の各被写体の被写体距離を、一例としてコントラストＡＦ方式により検出する。コントラストＡＦ方式による距離測定精度を高めることを目的として、撮像制御部２０２は、電子機器１０から被写体までの距離を検出するための画像の撮像において、絞り１１４をより開けることにより被写界深度をより浅くする制御をしてもよい。
【００３１】
そして、撮像制御部２０２は、ピントの合う被写体距離を変化させながら撮像した画像データから被写体距離を検出する。このような制御により、撮像制御部２０２は、電子機器１０から被写体までのより正確な距離の検出を可能とする。姿勢センサ５００は、撮像時に検出した電子機器１０の姿勢データをＣＰＵ２００に送る。
【００３２】
ステップＳ２において、ＣＰＵ２００は、撮像画像のデータに対してホワイトバランス等の画像処理を施すと共に、撮像画像の中から現製品となる物体を検出して現製品の検出データを作成する。現製品の検出データは、一例として、撮像画像中における現製品の推定範囲、現製品の推定カテゴリー、及び、現製品の特徴情報等を含む。
【００３３】
ＣＰＵ２００は、例えば、輪郭検出技術を用いて撮像画像のデータから現製品の特徴情報を抽出する。一例として、ＣＰＵ２００は、撮像画像のデータ内の色及び距離等の分布から現製品の輪郭を検出し、色および輪郭の形状を現製品の特徴情報として抽出する。
【００３４】
ＣＰＵ２００は、現製品の特徴情報を元に現製品の推定カテゴリーおよび現製品の推定範囲を検出する。例えばＣＰＵ２００は、抽出した現製品の特徴情報が例えば黒色および矩形状の輪郭であった場合、現製品の推定カテゴリーをテレビと検出し、抽出した現製品の特徴情報が例えば茶色および矩形状の輪郭であった場合、現製品の推定カテゴリーをタンスと検出する。ＣＰＵ２００は、現製品の推定カテゴリーと検出した撮像画像のデータ領域を現製品の推定範囲と検出する。
【００３５】
また、ＣＰＵ２００は、撮像時の電子機器１０の傾きを示した姿勢データから撮像方向を特定し、色、輪郭の形状、及び撮像方向の情報に基づいて、現製品の推定カテゴリーを決定してもよい。例えば、ＣＰＵ２００は、白色、円状の輪郭、撮像方向が上方向である旨の情報を検出した場合、現製品の推定カテゴリーを照明装置と検出する。
【００３６】
ステップＳ３において、ＣＰＵ２００は、ステップＳ２で作成した現製品の検出データに基づいて、現製品の推定範囲と判断した領域を示す枠を表示部７００に表示させる。ＣＰＵ２００は、一例として図５に示すように、画像合成部６００により当該枠７０２を撮像画像のデータの上に重ねさせ、撮像画像のデータに枠７０２を重ねた画像を表示部７００に表示させる。
【００３７】
ステップＳ４において、ＣＰＵ２００は、枠７０２で示した現製品の推定範囲が正しいか否かを使用者に問い合わせる。ＣＰＵ２００は、枠７０２の変更指示を操作部８００から入力しない限り枠７０２が正しいとして処理を進めてもよく、これに代えて、ＣＰＵ２００は、確認入力のポップアップを表示部７００に表示させて当該問い合わせをし、又は、枠７０２の表示態様（例えば点滅表示）を制御することにより当該問い合わせをしてもよい。
【００３８】
ＣＰＵ２００は、当該問い合わせに対してＮｏの回答が入力された場合、すなわち枠７０２が現製品の推定範囲を正しく表示していない場合（ステップＳ４のＮｏ）、処理をステップＳ５に進め、使用者から枠７０２の位置及び／または範囲の変更指示を操作部８００を介して入力して現製品の推定範囲を修正する。
【００３９】
ステップＳ５において、リサイズ部９００は、ＣＰＵ２００が現製品の推定範囲を変更する変更指示を受けたことに応じて７０２として表示された現製品の推定範囲を修正する。リサイズ部９００は、例えば、枠７０２の頂点を指定された位置に移動させることにより枠７０２の大きさを変え、現製品の推定範囲を修正する。
【００４０】
その後、ＣＰＵ２００は、ステップＳ４の処理を再度実行し、枠７０２が現製品の推定範囲を正しく表示しているか否かを使用者に問い合わせる。ＣＰＵ２００は、当該問い合わせに対してＮｏの回答が入力された場合、すなわち枠７０２が現製品の推定範囲を正しく表示していない場合（ステップＳ４のＮｏ）、リサイズ部９００にステップＳ５の処理を再度実行させる。
【００４１】
一方、ＣＰＵ２００は、枠７０２が現製品の推定範囲を正しく表示している場合（ステップＳ４のＹｅｓ）、処理をステップＳ６に進める。ステップＳ６において、ＣＰＵ２００は、使用者による確認を経て現製品の推定範囲を現製品指定範囲と決定する。
【００４２】
ＣＰＵ２００は、決定した現製品指定範囲を元に現製品の検出データに含まれる現製品の特徴情報および現製品の推定カテゴリーを修正する。一例として、ＣＰＵ２００は、現製品指定範囲に含まれるものが黒色および矩形状の輪郭のものから茶色および矩形状の輪郭のものとなった場合、現製品の推定カテゴリーをテレビからタンスに修正し、現製品の推定カテゴリーを現製品のカテゴリーとする。さらに、ＣＰＵ２００は、現製品の特徴情報を黒色から茶色に修正する。
【００４３】
なお、ＣＰＵ２００は、表示部７００が現製品を表示しているときに、操作部８００からの現製品の範囲を指定する入力に応じて、当該指定された範囲を現製品と指定してもよい。例えば、使用者がタッチパネルをタッチして現製品の範囲を囲う等による現製品の指定又は変更の指示を操作部８００から入力すると、ＣＰＵ２００は、操作に応じた範囲を現製品指定範囲としてよい。
【００４４】
また、操作部８００は、例えば操作ボタンを有し、使用者が移動ボタンを押下操作したことに応じて現製品を示す枠を表示部７００上で移動させ、決定ボタンを押下操作したことに応じて、枠内の領域に表示されている範囲を現製品指定範囲として入力してもよい。これを受けて、ＣＰＵ２００は、指定された現製品指定範囲から現製品の検出データに含まれる現製品の特徴情報および現製品のカテゴリーを決定してもよい。
【００４５】
ステップＳ７において、ＣＰＵ２００は、姿勢センサ５００が検出した姿勢データから撮像時における電子機器１０の傾きを検出し、撮像画像のデータが縦向きで撮像されたものか、横向きで撮像されたものかを検出する。ＣＰＵ２００は、検出した撮像画像のデータの向きを元に、現製品指定範囲の縦方向および横方向を特定する。
【００４６】
ステップＳ８において、ＣＰＵ２００は、姿勢データ、現製品指定範囲すなわち撮像画像中で現製品の占める大きさ、撮像部１００から現製品までの距離、及び／又はＡＦレンズ１１２の焦点距離もしくはズーム量等に基づいて、推定第１情報を算出する。推定第１情報には、例えば、現製品の推定大きさ（例えば高さ、幅等）、現製品のカテゴリー、及び現製品の特徴情報等が含まれる。
【００４７】
ステップＳ９（図３参照）において、ＣＰＵ２００は、一例として、無線通信部４００を介してネットワーク上のサーバ等に推定第１情報に含まれる現製品の推定大きさを送信し、サーバ等により大きさが近似する現製品候補データを検索させて、現製品に該当すると推定される現製品候補データを受信する。なお、ＣＰＵ２００は、推定第１情報として、現製品の推定大きさだけでなく、現製品の推定カテゴリー及び現製品の特徴情報に含まれる色等を含めて送信し、推定大きさのみでなく外観上の特徴も含めて現製品候補データを検索させてもよい。
【００４８】
ステップＳ９において電子機器１０から推定第１情報を受けたサーバは、例えば、複数の製品について第１情報を保持する製品データベースの中から、カテゴリーが電子機器１０から受けた推定カテゴリーと一致すること、大きさが推定大きさと近似すること、外観特徴情報が電子機器１０から受けた外観特徴情報と一致又は類似することの少なくとも１つの条件を元に評価し、評価値が基準以上高い少なくとも１つの第１情報を現製品候補データに含める処理を行う。この際、サーバは、推定大きさに対し所定の比率（例えば９５％〜１０５％）の範囲内の大きさを有する製品を推定大きさに近似する大きさを有する製品として特定してもよく、電子機器１０から受けた外観特徴情報に対し所定の範囲の色度を有する製品を色が近似する製品として特定してもよい。
【００４９】
これに代えて、ＣＰＵ２００は、無線通信部４００を介してネットワーク上のサーバ等が保持する複数の現製品の大きさ等に関する第１情報を一旦受信し、電子機器１０側で受信した全データの中から現製品候補データを検出してもよい。以上において、電子機器１０が受信する現製品候補データは、少なくとも１つの現製品の候補について現製品候補の製品名、現製品候補の型番、現製品候補の製品画像、及び、現製品候補の大きさ等に関する第１情報（例えば現製品候補の外形寸法情報、及び現製品候補の外観特徴情報［輪郭、色、及び／又は画像］等）の少なくとも１つを含んでよい。
【００５０】
ステップＳ１０において、ＣＰＵ２００は、受信した現製品候補データの一覧（例えば現製品候補の製品名、型番、製品画像、及び、大きさ等に関する第１情報の少なくとも１つ）を表示部７００に表示させる。
【００５１】
ステップＳ１１において、ＣＰＵ２００は、表示部７００に表示した現製品候補データの一覧に目的とする現製品に該当するものがあるか否かを使用者に問い合わせる。ＣＰＵ２００は、確認入力のポップアップを表示部７００に表示させて当該問い合わせをしてもよく、現製品候補データの一覧の表示態様（例えば点滅表示）を制御することにより当該問い合わせをしてもよい。当該問い合わせに対して現製品に該当するものが現製品候補の一覧にないと入力された場合（ステップＳ１１のＮｏ）、ＣＰＵ２００は、処理をステップＳ１２に進め、使用者に現製品名及び／又は現製品の型番を入力させる。
【００５２】
一方、ステップＳ１１の問い合わせに対して現製品に該当するものが現製品候補データの一覧にあると入力された場合（ステップＳ１１のＹｅｓ）、または、現製品名及び／又は現製品の型番が入力された場合（ステップＳ１２）、ＣＰＵ２００は、処理をステップＳ１３に進め、操作部８００により、現製品候補データの一覧から現製品を使用者に選択させる。これにより、ＣＰＵ２００は、表示部７００が現製品を表示しているときに使用者の指示を受けて、現製品と現製品の大きさ等に関する第１情報との対応付けをする。
【００５３】
また、ＣＰＵ２００は、現製品候補データとして、サーバ等から無線通信部４００を介して現製品候補の製品画像が入力された場合、現製品候補の製品画像と撮像部１００が撮像した画像とに基づいて、対象物体の一致度が基準以上に高い場合に現製品候補の製品画像を現製品の製品画像と合致すると特定してもよい。
【００５４】
例えば、ＣＰＵ２００は、輪郭検出技術により、無線通信部４００を介して入力された現製品候補の製品画像のデータと撮像画像のデータとを比較し、色および輪郭が最も共通する現製品候補の製品画像のデータを現製品データと特定する。このような処理によれば、使用者が多数の現製品候補データの中から現製品データを特定する手間を省くことが可能となる。
【００５５】
また、ＣＰＵ２００は、現製品データを決定したことに応じて、現製品の端部から表示部７００の表示端までの距離情報を表示部７００に表示させてもよい。一例として、ＣＰＵ２００は、表示部７００の大きさと現製品の大きさとの比率により現製品の端部から表示端までの距離情報を算出して画像合成部６００に出力し、画像合成部６００に当該距離情報を撮像画像のデータの上に重ねさせ、撮像画像のデータに当該距離情報を重ねた画像を表示部７００に表示させる。
【００５６】
ステップＳ１４において、ＣＰＵ２００は、操作部８００を通して撮像画像上で買い替えたい新製品の大きさを使用者により指定させる。一例として、操作部８００は、使用者がタッチパネルをタッチして撮像画像上で囲った領域を、新製品を配置すべき範囲の指示として入力する。ＣＰＵ２００は、操作部８００から新製品の範囲の指示を受けて、操作に応じた範囲を使用者が希望する新製品指定範囲とする。
【００５７】
ＣＰＵ２００は、例えば図６に示すように、画像合成部６００及び表示部７００により当該指定された新製品指定範囲を示す枠７０４を撮像画像上に重ねて表示させる。なお、ＣＰＵ２００は、枠７０４を現製品の大きさを示す枠７０２と区別するために、枠７０４の表示態様、例えば線色・線幅・破線の間隔の少なくとも１つを枠７０２と異ならせて表示部７００に表示させてもよい。
【００５８】
ステップＳ１５において、ＣＰＵ２００は、現製品データに含まれる現製品の大きさ等に関する第１情報および新製品指定範囲に基づいて、新製品に期待される大きさを算出する。例えば、ＣＰＵ２００は、第１情報に含まれる現製品の外形寸法情報から、現製品の大きさと新製品指定範囲との比率に基づき新製品に期待される大きさを算出する。
【００５９】
ＣＰＵ２００は、無線通信部４００を介してネットワーク上のサーバ等に、新製品に期待される大きさと現製品データとを送信し、現製品データに示されたカテゴリー及び／又は外観特徴情報にマッチし、かつ新製品に期待される大きさを含む予め定められた大きさの範囲に属する少なくとも１つの新製品の候補を検索させる。無線通信部４００は、サーバ等により検索された新製品候補データを受信する。ここで、新製品候補データは、少なくとも１つの新製品の候補について新製品候補の製品名、新製品候補の型番、新製品候補の製品画像、及び、新製品候補の大きさ等に関する第２情報（例えば新製品候補の外形寸法情報、及び新製品候補の外観特徴情報［輪郭、色、及び／又は画像］等）の少なくとも１つを含んでよい。
【００６０】
ステップＳ１６（図４参照）において、ＣＰＵ２００は、受信した新製品候補データの一覧（例えば新製品候補の製品名、型番、及び、画像の少なくとも１つを含む一覧）を表示部７００に表示させる。なお、ＣＰＵ２００は、新製品候補データが検出されなかった場合には、新製品に該当する候補が見つからなかった旨のポップアップを表示部７００に表示させてもよい。
【００６１】
ステップＳ１７において、ＣＰＵ２００は、表示部７００に表示した新製品候補データの一覧に新製品に該当するものがあるか否かを使用者に問い合わせる。ＣＰＵ２００は、確認入力のポップアップを表示部７００に表示させて当該問い合わせをしてもよいし、新製品候補データの一覧の表示態様（例えば点滅表示）を制御することにより当該問い合わせをしてもよい。当該問い合わせに対して新製品に該当するものが新製品候補の一覧にない旨の指示が使用者から入力された場合（ステップＳ１７のＮｏ）、ＣＰＵ２００は、処理をステップＳ１８に進め、使用者に新製品名及び／又は新製品の型番を入力させる。
【００６２】
一方、ステップＳ１７の問い合わせに対して新製品に該当するものが新製品候補データの一覧にあると入力された場合（ステップＳ１７のＹｅｓ）、または、新製品名及び／又は新製品の型番が入力された場合（ステップＳ１８）、ＣＰＵ２００は、処理をステップＳ１９に進め、操作部８００により、新製品候補データの一覧から希望する新製品を使用者に選択させる。
【００６３】
ステップＳ２０において、ＣＰＵ２００は、撮像画像のデータ、姿勢データ、撮像部１００から現製品までの距離、現製品データ、及び、新製品データ等を用いて合成用の新製品の画像データを作成する。一例として、ＣＰＵ２００は、撮像画像のデータから抽出した現製品の特徴情報として示される輪郭および色、現製品データの第１情報に含まれる外形寸法情報、及び姿勢データを元に、現製品の特徴情報と外形寸法情報とを比較して撮像画像のデータにおける現製品の撮像面に対する傾き（すなわち撮像部１００を視点として見た場合の現製品の傾き）を検出する。
【００６４】
ＣＰＵ２００は、検出した現製品の傾きに応じて新製品の画像の向きを変換し、新製品を現製品と同じ角度から見た画像を生成する。ＣＰＵ２００は、第２情報に関する表示を画像合成部６００に指示すると共に、生成した新製品の画像を画像合成部６００に供給する。
【００６５】
画像合成部６００は、ＣＰＵ２００から第２情報に関する表示として、ステップＳ２０で生成した新製品の画像表示の指示を受けると、フレームメモリ３００に格納された撮像画像の上に新製品の画像を重ねて合成し、表示部７００に供給する。ステップＳ２１において、表示部７００は、画像合成部６００から供給された合成画像を表示する。すなわち、表示部７００は、姿勢センサ５００の検出結果に応じて、第２情報に関する表示を行う。
【００６６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６７】
上記実施の形態に変更を加えた形態の一例として、電子機器１０は、現製品の大きさと新製品の大きさとの違いに応じて、合成表示を異ならせてもよい。これを実現するために、ＣＰＵ２００は、ステップＳ２０において、現製品に代えて用いられる新製品が現製品よりも大きい場合に、撮像部１００で撮像した画像中における現製品の画像の上に新製品の外観を示す画像を重ねて表示する新製品の画像を作成し、現製品に代えて用いられる新製品が現製品よりも小さい場合に、撮像部１００で撮像した画像中における現製品の画像と共に新製品が占める範囲を示す枠を作成してもよい。
【００６８】
この場合、ステップＳ２１において、表示部７００は、新製品が現製品よりも大きい場合には、現製品の画像の上に新製品の画像を重ねて表示し、新製品が現製品よりも小さい場合には、現製品の画像の上に新製品の大きさを示す枠を重ねて表示する。これにより、電子機器１０は、買替製品となる新製品の大きさと、現製品の大きさとを見比べながらの配置シミュレーションを可能とする。
【００６９】
また、電子機器１０は、使用者の自宅等において撮像された現製品を含む空間の撮像画像を一旦メモリ部１０００に格納し、後に店舗等において使用者が新製品を撮像した際に以前に撮像した現製品を含む空間の撮像画像に現在撮像している新製品の画像を重ねて表示してもよい。これを実現するために、例えば、ＣＰＵ２００は、撮像部１００が新製品の画像を撮像すると、メモリ部１０００から現製品を含む空間の撮像画像を読み出す。
【００７０】
ＣＰＵ２００は、輪郭検出技術により、読み出した撮像画像内から新製品の画像と同じカテゴリーの現製品を検出し、さらにステップＳ２０と同様に現製品の撮像面に対する傾きを検出する。ＣＰＵ２００は、検出した現製品の傾きに応じて新製品の画像の向きを変換し、新製品を現製品と同じ角度から見た画像を生成する。ＣＰＵ２００は、生成した新製品の画像および現製品を含む空間の撮像画像と共に、これらを合成する指示を画像合成部６００に供給する。
【００７１】
表示部７００は、画像合成部６００から供給された合成画像を表示する。これにより、電子機器１０は、画像合成部６００が、予め撮像しておいた現製品を含む第１の撮像画像を用いて、第２の撮像データと合成データを生成するので、使用者の部屋以外の場所、例えば店先等の外出先でも新製品の配置シミュレーションを可能とする。
【００７２】
また、電子機器１０は、現製品を含む撮像画像から、現製品の大きさ等に関する第１情報に基づいて、現製品と隣接する第３物体を認識し、第３物体の大きさ等に応じて決定した新製品の候補を使用者に提示してもよい。例えば、ここで、第３物体とは、現製品を設置若しくは収納するための製品、又は現製品の機能を補う製品等の現製品と隣接して配置されるものであり、例えば現製品であるテレビを載せているテレビ台である。
【００７３】
これを実現するために、一例として、電子機器１０は、図２〜３のステップＳ１〜Ｓ１３と同様にして現製品を含む撮像画像から、現製品を検出する。そして、ＣＰＵ２００は、現製品の大きさ等に関する第１情報の外観特徴情報に含まれる輪郭および色に基づいて現製品のカテゴリーがテレビであると検出すると、当該テレビの下に隣接する第３物体をテレビ台として認識する。
【００７４】
更に、ＣＰＵ２００は、現製品の大きさ等に関する第１情報に基づいて、撮像画像中において現製品と隣接して配置される第３物体の大きさ等を検出する。例えば、現製品がテレビである場合、ＣＰＵ２００は、現製品の大きさ等に関する第１情報に含まれるテレビの外形寸法情報から、テレビの大きさとテレビ台の大きさとの比率によりテレビ台の大きさを検出する。電子機器１０は、第３物体の大きさ等の検出も、図２〜３のステップＳ１〜Ｓ１３と同様に行ってもよい。
【００７５】
次に、電子機器１０は、現製品の大きさ等に関する第１情報等を含む現製品データと、第３物体の大きさ等に関する情報とに基づいて、現製品からの買い替えに適しており、かつ第３物体と共に用いるのに適した新製品の候補をサーバ等から取得する。具体的には、電子機器１０は、現製品データに加えて第３物体の大きさ等に関する情報を無線通信部４００を介してサーバ等に送信し、現製品のカテゴリー、大きさ、及び/又は外観特徴情報にマッチし、かつ第３物体の大きさに適合する大きさを有する少なくとも１つの新製品候補を検索させる。そして、電子機器１０は、第１物体及び第３物体が撮像された撮像画像に、第２物体に関する画像を重ねて表示する。
【００７６】
更に電子機器１０は、第１物体である現製品を第２物体である新製品に買い替える場合の配置シミュレーションに加え、第１物体と共に用いる新製品である第２物体を購入する場合の配置シミュレーションに用いられてもよい。ここで、第１物体及び第２物体は、ある製品と、その製品の設置を補助し、又はその製品の機能を補う製品等のように、互いに近傍に配置される２以上の製品である。一例として、使用者が第１物体の一例としてテレビ台を所有している場合に、第２物体の一例として新たに購入する予定のテレビの配置をシミュレーションする場合が挙げられる。
【００７７】
これを実現するために、一例として、電子機器１０は、図２〜３のステップＳ１〜Ｓ１３と同様にして現製品を含む撮像画像から、現製品を検出する。そして、ＣＰＵ２００は、現製品の大きさ等に関する第１情報の外観特徴情報に含まれる輪郭および色に基づいて現製品のカテゴリー（例えばテレビ台）を検出する。
【００７８】
次に、電子機器１０は、現製品の大きさ等に関する第１情報等を含む現製品データをサーバへと送信し、現製品と共に用いるのに適した新製品（関連製品）の候補をサーバから取得する。ここでサーバは、現製品データを受けて、現製品のカテゴリー（例えばテレビ台）に応じて現製品と共に用いられるべき製品のカテゴリー（例えばテレビ）を特定し、現製品の大きさ及び/又は外観特徴情報にマッチする少なくとも１つの新製品候補を検索する。そして、電子機器１０は、第１物体が撮像された撮像画像に、第２物体に関する画像を重ねて表示する。
【００７９】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８０】
１０  電子機器、１００  撮像部、１１０  レンズ部、１１２  ＡＦレンズ、１１４  絞り、１２０  撮像素子、２００  ＣＰＵ、２０２  撮像制御部、３００  フレームメモリ、４００  無線通信部、５００  姿勢センサ、６００  画像合成部、７００  表示部、７０２  枠、７０４  枠、８００  操作部、９００  リサイズ部、１０００  メモリ部
【図１】
2014032589.tif 000003
【図２】
2014032589.tif 000004
【図３】
2014032589.tif 000005
【図４】
2014032589.tif 000006
【図５】
2014032589.tif 000007
【図６】
2014032589.tif 000008