(57)【要約】  合成画像内での製品画像の合成位置の変更を容易に行うことができる電子機器を提供する。  電子機器は、撮影画像および製品画像を表示可能な表示装置と、ユーザの操作を受け付けるタッチパネルと、撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出し、撮影画像に製品画像が合成された合成画像を生成し、合成画像を表示部へ表示させる制御回路であって、タッチパネルへのユーザの操作に応じて、製品画像の表示位置および表示サイズを変更した合成画像を生成する制御回路とを備えている。
2012160833.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像および製品画像を表示可能な表示装置と、
ユーザの操作を受け付けるタッチパネルと、
撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出し、前記撮影画像に前記製品画像が合成された合成画像を生成し、前記合成画像を前記表示部へ表示させる制御回路であって、前記タッチパネルへのユーザの操作に応じて、前記製品画像の表示位置および表示サイズを変更した合成画像を生成する制御回路と
を備えた電子機器。
【請求項２】
ユーザの操作に応じて触覚情報をユーザに与える触覚提示部をさらに備えた、請求項１に記載の電子機器。
【請求項３】
前記基準オブジェクトは、前記製品画像と関連付けられたマーカ情報を含むマーカであり、
前記マーカ情報と、前記製品画像を含む製品画像情報とが格納された記憶部と、をさらに備えた、請求項１または２に記載の電子機器。
【請求項４】
前記マーカ情報には、前記マーカの実寸サイズ情報が含まれており、
前記製品画像情報には、前記製品画像の実寸サイズ情報が含まれており、
前記制御回路は、前記表示装置に表示された前記マーカの表示サイズと前記マーカの実寸サイズとに基づいて合成比率を算出し、前記合成比率と前記製品画像の実寸サイズ情報とに基づいて、前記製品画像の表示位置および表示サイズを算出する、請求項３に記載の電子機器。
【請求項５】
前記制御回路は、前記マーカの表示位置および表示サイズに基づいて、前記撮影画像内のオブジェクトの表示位置および表示サイズを算出する、請求項４に記載の電子機器。
【請求項６】
前記ユーザの操作に基づいて前記合成画像中の前記製品画像の表示位置を変更した場合、前記制御回路は、前記製品画像の表示位置に関する表示位置座標が閾値を超えたか否かに基づいて、前記触覚提示部がユーザに触覚を提示するよう制御する、請求項１から５のいずれかに記載の電子機器。
【請求項７】
前記閾値は、前記撮影画像内のオブジェクトの表示位置に関する表示位置座標から算出され、
前記制御回路は、前記製品画像の表示位置座標が前記閾値を超えた場合、前記触覚提示部がユーザに触覚を提示するよう制御する、請求項６に記載の電子機器。
【請求項８】
前記基準オブジェクトは、前記撮影画像内に含まれる少なくとも１つのオブジェクトであり、
前記基準オブジェクトに関する情報である基準オブジェクト情報と前記製品画像を含む製品画像情報とが格納された記憶部をさらに備えた、請求項１に記載の電子機器。
【請求項９】
前記基準オブジェクトは、前記撮影画像内に含まれる少なくとも１つのオブジェクトであり、
前記基準オブジェクトの実寸データの入力を受け付けるインタフェースと、
前記受け付けられた前記基準オブジェクトの実寸データと、前記製品画像を含む製品画像情報とが格納された記憶部と
をさらに備えた、請求項１に記載の電子機器。
【請求項１０】
前記基準オブジェクト情報には、前記基準オブジェクトの実寸サイズ情報が含まれており、
前記製品画像情報には、前記製品画像の実寸サイズ情報が含まれており、
前記制御回路は、前記表示装置に表示された前記基準オブジェクトの表示サイズと前記基準オブジェクトの実寸サイズとに基づいて合成比率を算出し、前記合成比率と前記製品画像の実寸サイズ情報とに基づいて、前記製品画像の表示位置および表示サイズを算出する、請求項８または９に記載の電子機器。
【請求項１１】
前記制御回路は、前記基準オブジェクトの表示位置および表示サイズに基づいて、前記撮影画像内の他のオブジェクトの表示位置および表示サイズを算出する、請求項８から１０のいずれかに記載の電子機器。
【請求項１２】
前記ユーザの操作に基づいて前記合成画像内の前記製品画像の表示位置を変更した場合、前記制御回路は、前記製品画像の表示位置に関する表示位置座標が、閾値を超えたか否かに基づいて、前記触覚提示部がユーザに触覚を提示するよう制御する、請求項８から１１のいずれかに記載の電子機器。
【請求項１３】
前記触覚提示部は、前記製品画像の表示サイズの変更に応じて、ユーザに触覚を提示する、請求項１から１２のいずれかに記載の電子機器。
【請求項１４】
前記製品画像情報には、製品の重量情報が含まれており、
前記触覚提示部は、前記製品の重量情報に基づいて、ユーザに提示する触覚を変化させる、請求項３から１３のいずれかに記載の電子機器。
【請求項１５】
前記撮影画像は、ステレオ撮影可能なステレオカメラで撮影された、左目用画像および右目用画像で構成される画像であり、
前記記憶部には、前記左目用画像内の前記基準オブジェクトと前記右目用画像内の前記基準オブジェクトとから算出される視差情報が格納されており、
前記制御回路は、前記視差情報に基づいて、基準オブジェクトの表示位置を算出する、請求項１に記載の電子機器。
【請求項１６】
前記撮影画像は、前記基準オブジェクトを含む被写体の合焦位置を検出可能な撮像装置で撮影された画像であり、
前記記憶部には、前記基準オブジェクトの合焦位置に基づいて算出された前記撮像装置から前記基準オブジェクトまでの距離情報が格納されており、
前記制御回路は、前記距離情報に基づいて、前記基準オブジェクトの表示位置を算出する、請求項１に記載の電子機器。
【請求項１７】
撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出するステップと、
前記撮影画像内に前記製品画像を合成することで合成画像を生成するステップと、
前記合成画像を表示装置に表示させるステップと、
タッチパネルへのユーザの操作に応じて、前記合成された製品画像の表示位置および表示サイズを変更するステップと
を包含する、合成画像の編集方法。
【請求項１８】
ユーザの前記操作に基づいて、ユーザに触覚を与える触覚ステップをさらに包含する、請求項１７記載の合成画像の編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばユーザによるタッチ操作が可能な電子機器に関する。
【背景技術】
【０００２】
大型の家具や家庭電化製品を購入する際には、その大きさや色合いがあらかじめ部屋の雰囲気に合って、部屋と調和が取れるか確認したいという要望がある。このような要望を満たすものとして、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術を用いる技術がある。ユーザは、部屋の実写画像に購入したい家具や家庭電化製品の画像を合成することで、家具や家電が部屋に合うかどうかを確認することができる。【０００３】
特許文献１では、撮影する室内にマーカを配置し、そのマーカを含む範囲をカメラで撮影する。そして、撮影画像に購入したい家具の画像を合成することにより、ユーザはあらかじめ家具の大きさなどを確認できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０ー２８７１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
家具などの位置を確認する作業は、試行錯誤を要することが多い。特許文献１の手法では、一旦合成した製品の位置をずらしたいとき、ユーザがマーカの位置を変更し、そのマーカを含む範囲をカメラで撮影し直す必要があった。ユーザにとっては、このような作業を何度も繰り返すことは手間を要する。そのため、従来の技術には、より容易に製品と部屋との調和を確認する余地があった。【０００６】
本発明は、上記課題を鑑みてなされたものであり、その目的の一つは、合成画像内での製品画像の合成位置の変更を容易に行うことができる電子機器を提供することである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、電子機器は、撮影画像および製品画像を表示可能な表示装置と、ユーザの操作を受け付けるタッチパネルと、撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出し、前記撮影画像に前記製品画像が合成された合成画像を生成し、前記合成画像を前記表示部へ表示させる制御回路であって、前記タッチパネルへのユーザの操作に応じて、前記製品画像の表示位置および表示サイズを変更した合成画像を生成する制御回路とを備えている。【０００８】
ある実施形態において、電子機器は、ユーザの操作に応じて触覚情報をユーザに与える触覚提示部をさらに備えている。【０００９】
ある実施形態において、前記基準オブジェクトは、前記製品画像と関連付けられたマーカ情報を含むマーカであり、前記電子機器は、前記マーカ情報と、前記製品画像を含む製品画像情報とが格納された記憶部とをさらに備えている。【００１０】
ある実施形態において、前記マーカ情報には、前記マーカの実寸サイズ情報が含まれており、前記製品画像情報には、前記製品画像の実寸サイズ情報が含まれており、前記制御回路は、前記表示装置に表示された前記マーカの表示サイズと前記マーカの実寸サイズとに基づいて合成比率を算出し、前記合成比率と前記製品画像の実寸サイズ情報とに基づいて、前記製品画像の表示位置および表示サイズを算出する。【００１１】
ある実施形態において、前記制御回路は、前記マーカの表示位置および表示サイズに基づいて、前記撮影画像内のオブジェクトの表示位置および表示サイズを算出する。【００１２】
ある実施形態において、前記ユーザの操作に基づいて前記合成画像中の前記製品画像の表示位置を変更した場合、前記制御回路は、前記製品画像の表示位置に関する表示位置座標が閾値を超えたか否かに基づいて、前記触覚提示部がユーザに触覚を提示するよう制御する。【００１３】
ある実施形態において、前記閾値は、前記撮影画像内のオブジェクトの表示位置に関する表示位置座標から算出され、前記制御回路は、前記製品画像の表示位置座標が前記閾値を超えた場合、前記触覚提示部がユーザに触覚を提示するよう制御する。【００１４】
ある実施形態において、前記基準オブジェクトは、前記撮影画像内に含まれる少なくとも１つのオブジェクトであり、前記電子機器は、前記基準オブジェクトに関する情報である基準オブジェクト情報と前記製品画像を含む製品画像情報とが格納された記憶部をさらに備えている。【００１５】
ある実施形態において、前記基準オブジェクトは、前記撮影画像内に含まれる少なくとも１つのオブジェクトであり、前記電子機器は、前記基準オブジェクトの実寸データの入力を受け付けるインタフェースと、前記受け付けられた前記基準オブジェクトの実寸データと、前記製品画像を含む製品画像情報とが格納された記憶部とをさらに備えている。【００１６】
ある実施形態において、前記基準オブジェクト情報には、前記基準オブジェクトの実寸サイズ情報が含まれており、前記製品画像情報には、前記製品画像の実寸サイズ情報が含まれており、前記制御回路は、前記表示装置に表示された前記基準オブジェクトの表示サイズと前記基準オブジェクトの実寸サイズとに基づいて合成比率を算出し、前記合成比率と前記製品画像の実寸サイズ情報とに基づいて、前記製品画像の表示位置および表示サイズを算出する。【００１７】
ある実施形態において、前記制御回路は、前記基準オブジェクトの表示位置および表示サイズに基づいて、前記撮影画像内の他のオブジェクトの表示位置および表示サイズを算出する。【００１８】
ある実施形態において、前記ユーザの操作に基づいて前記合成画像内の前記製品画像の表示位置を変更した場合、前記制御回路は、前記製品画像の表示位置に関する表示位置座標が、閾値を超えたか否かに基づいて、前記触覚提示部がユーザに触覚を提示するよう制御する。【００１９】
ある実施形態において、前記触覚提示部は、前記製品画像の表示サイズの変更に応じて、ユーザに触覚を提示する。【００２０】
ある実施形態において、前記製品画像情報には、製品の重量情報が含まれており、前記触覚提示部は、前記製品の重量情報に基づいて、ユーザに提示する触覚を変化させる。【００２１】
ある実施形態において、前記撮影画像は、ステレオ撮影可能なステレオカメラで撮影された、左目用画像および右目用画像で構成される画像であり、前記記憶部には、前記左目用画像内の前記基準オブジェクトと前記右目用画像内の前記基準オブジェクトとから算出される視差情報が格納されており、前記制御回路は、前記視差情報に基づいて、基準オブジェクトの表示位置を算出する。【００２２】
ある実施形態において、前記撮影画像は、前記基準オブジェクトを含む被写体の合焦位置を検出可能な撮像装置で撮影された画像であり、前記記憶部には、前記基準オブジェクトの合焦位置に基づいて算出された前記撮像装置から前記基準オブジェクトまでの距離情報が格納されており、前記制御回路は、前記距離情報に基づいて、前記基準オブジェクトの表示位置を算出する。【００２３】
本発明のある実施形態によれば、合成画像の編集方法は、撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出するステップと、前記撮影画像内に前記製品画像を合成することで合成画像を生成するステップと、前記合成画像を表示装置に表示させるステップと、タッチパネルへのユーザの操作に応じて、前記合成された製品画像の表示位置および表示サイズを変更するステップとを包含する。【００２４】
ある実施形態において、前記方法は、ユーザの前記操作に基づいて、ユーザに触覚を与える触覚ステップをさらに包含する。
【発明の効果】
【００２５】
本発明によれば、合成画像内での記録画像の合成位置の変更を容易に行うことができる電子機器を提供することができる。
【図面の簡単な説明】
【００２６】
【図１Ａ】電子機器１０の表示面側の外観を示す斜視図である。
【図１Ｂ】電子機器１０の背面側の外観を示す斜視図である。
【図２】電子機器１０の構成を示すブロック図である。
【図３】電子機器１０の断面図である。
【図４】実施形態１にかかる振動部１３の斜視図である。
【図５】実施形態１の振動パターンの一例を示す概略図である。
【図６】室内を撮影した撮影画像（リビング画像）５１を示す図である。
【図７】マーカ５０の位置に製品画像（テレビ画像）５１が表示された状態の表示画面の一例を示す図である。
【図８】実施形態１における電子機器の処理の流れを示すフローチャートである。
【図９】実施形態１における処理の流れを示すフローチャートである。
【図１０】実施形態１におけるユーザ操作の一例を表す図である。
【図１１】実施形態１におけるユーザ操作の一例を表す図である。
【図１２】図１０を用いて説明したユーザ操作の処理の流れを示すフローチャートである。
【図１３】図１１を用いて説明したユーザ操作（製品のサイズ変更）の処理の流れを示すフローチャートである。
【図１４】実施形態１におけるユーザ操作の一例を表す図である。
【図１５】図１４で説明したユーザ操作に関する処理の流れを説明するためのフローチャートである。
【図１６】（ａ）および（ｂ）は、本実施形態のユーザの操作の一例を示す図である。
【図１７】図１６に示すユーザ操作の処理の流れを示すフローチャートである。
【図１８】（ａ）および（ｂ）は、実施形態１の振動パターンの違いを示す図である。
【図１９】実施形態２におけるユーザによる操作の例を表す図である。
【図２０】実施形態２における基準寸法を入力して画像合成をする処理の流れを示すフローチャートである。
【図２１】立体撮影可能なステレオカメラ７０を示す概略図である。
【図２２】実施形態３における処理の流れを示すフローチャートである。
【図２３】ステレオカメラ７０で撮影された撮影画像を示す図である。
【図２４】家具搬入のシミュレーションを行う際の処理の流れを示すフローチャートである。
【図２５】デジタルカメラ９１と基準オブジェクト（テレビ）９２との間の被写体距離を示す図である。
【図２６】ＡＦ機能を用いてデプスマップを用いる際の処理の流れを示すフローチャートである。
【図２７】撮影画像として屋外の画像の例を示す図である。
【発明を実施するための形態】
【００２７】
以下、添付の図面を参照しながら、本発明の一実施形態である電子機器を説明する。
【００２８】
（実施形態１）
以下、図面を参照しながら本実施形態に係る電子機器１０について説明する。実施形態１では、あらかじめ撮影しておいた室内画像（例えばリビングの画像）に、購入予定の製品画像（例えばテレビの画像）を表示させ、その製品画像の表示位置や表示サイズなどを容易に変更可能な電子機器１０について説明する。
【００２９】
＜構成の説明＞
図１Ａ、図１Ｂ、図２、図３を用いて電子機器の全体構成を説明する。
【００３０】
図１Ａは、電子機器１０の表示面側の外観を示す斜視図であり、図１Ｂは、電子機器１０の背面側の外観を示す斜視図である。図１Ａに示すように、電子機器１０は、表示部１２と、タッチパネル１１と、筐体１４とを備える。また、図１Ｂに示すように、電子機器１０の背面側には、カメラ撮影用のレンズ１６が設けられている。
【００３１】
図２は、電子機器１０の構成を示すブロック図である。また、図３は、電子機器１０の断面図である。
【００３２】
図２に示すように、電子機器１０は、表示部１２と、表示制御部３２と、タッチパネル１１と、タッチパネル制御部３１と、触覚提示部４３と、カメラ１５と、カメラ制御部３５と、通信回路３６と、各種通信手段３７と、ＲＯＭ３８と、ＲＡＭ３９と、マイクロコンピュータ２０とを備える。
【００３３】
表示部１２は、いわゆる表示装置である。表示部１２は、撮影画像および製品画像を表示可能である。表示部１２は、文字、数字、図形、キーボード等を表示可能である。表示部１２として、例えば、液晶パネル、有機ＥＬパネル、電子ペーパ、プラズマパネルなどの公知の表示装置を用いることができる。
【００３４】
表示制御部３１は、マイクロコンピュータ２０によって生成される制御信号に基づいて、表示部１２への表示内容を制御する。
【００３５】
タッチパネル１１は、ユーザのタッチ操作を受け付ける。タッチパネル１１は、少なくとも操作領域を覆うように表示部１２上に配置されている。ユーザは、タッチパネル１１上を指やペンなどでタッチ操作することで電子機器１０を操作することができる。タッチパネル１１は、ユーザのタッチ位置を検知することができる。ユーザのタッチ位置の情報は、タッチパネル制御部３１を介してマイクロコンピュータ２０に送られる。タッチパネル１１として、例えば、静電式、抵抗膜式、光学式、超音波方式電磁式などのタッチパネルを用いることができる。
【００３６】
マイクロコンピュータ２０は、ユーザのタッチ位置の情報を用いて後述する各種の処理を行う制御回路（たとえばＣＰＵ）である。また、マイクロコンピュータ２０は、撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出する。また、マイクロコンピュータ２０は、撮影画像内に製品画像を合成することで合成画像を生成する。また、マイクロコンピュータ２０は、合成画像を表示部１２へ表示させる。マイクロコンピュータ２０は、制御手段の一例である。「製品画像」「基準オブジェクト」「合成画像」については後述する。
【００３７】
さらに、マイクロコンピュータ２０は、タッチパネル１１へのユーザのタッチ操作に応じて、合成された製品画像の表示位置および表示サイズを編集する。マイクロコンピュータ２０は、編集手段としての機能も有する。
【００３８】
触覚提示部４３は、ユーザの操作に応じて触覚情報をユーザに与える。本願明細書では、触覚情報は、たとえば振動によって与えられる。
【００３９】
触覚提示部４３は、振動部１３および振動制御部３３を有している。
【００４０】
振動部１３は、タッチパネル１１を振動させる。振動部１３は、ユーザに触覚を提示する機構の一例である。振動制御部３３は、振動部１３の振動パターンを制御する。振動部１３の構成や、振動パターンの詳細については後述する。
【００４１】
カメラ１５は、電子機器１０に搭載されており、カメラ制御部３５により制御される。ユーザは、電子機器１０に搭載されたカメラ１５を用いて、リビングなどの室内画像を撮影することができる。
【００４２】
通信回路３６は、例えばインターネットや、パーソナルコンピュータ等への通信を可能とする回路である。
【００４３】
また、電子機器１０は、音声を発生するスピーカ１７や、各種電子機器に対して入出力可能な各種入出力部３７を備える。
【００４４】
図３は、電子機器１０の断面図である。タッチパネル１１、表示部１２、振動部１３、回路基板１９が、筐体１４の中に格納されている。回路基板１９には、マイクロコンピュータ２０、ＲＯＭ３８、ＲＡＭ３９、各種制御部、電源など配置されている。
【００４５】
ＲＯＭ３８およびＲＡＭ３９は、電子情報を記憶する。電子情報は、以下の情報を含む。
電子情報の例：
・プログラムやアプリケーションなどのプログラム情報
・マーカ５０の特徴データ（たとえばマーカを特定するパターン、マーカの寸法情報）
・カメラ１５により撮影された撮影画像のデータ
・製品画像データ（たとえば合成したい製品（テレビ等）の形状や寸法に関する情報）
・振動部１３を振動させる波形が記録された振動波形データ
・撮影画像から、撮影物の表面の形状や、軟らかさ、硬さ、摩擦などを特定するための情報
なお、電子情報は、あらかじめ機器に記憶されたデータのみならず、インターネットなどを介して通信回路３６を介して取得された情報や、ユーザによって入力された情報も含む。
【００４６】
上述の「マーカ」とは予め定められたパターンである。パターンの例は、四方を実線で囲まれたクエスチョンマーク（「？」）である。マーカは、たとえばユーザによって紙にプリントされて、室内に設置される。
【００４７】
ＲＯＭ３８は、一般には電源を入れていない間も保持される不揮発性記録媒体である。またＲＡＭ３９は、一般には電源を入れている間のみ電子情報が保持される揮発性記録媒体である。揮発性記録媒体としては、ＤＲＡＭなどがあり、不揮発性記録媒体としては、ＨＤＤ、ＥＥＰＲＯＭなどの半導体メモリなどがある。
【００４８】
振動部１３は、タッチパネルに実装されており、タッチパネル１１を振動させることにより、ユーザに触覚を与えることができる。タッチパネル１１は筐体１４とスペーサ１８を介して配置されており、スペーサ１８によって、タッチパネル１１の振動が、筐体１４に伝わりにくいようになっている。スペーサ１８は、例えば、シリコンゴムやウレタンゴム等の緩衝部材である。
【００４９】
表示部１２は、筐体１４の中に配置されており、タッチパネル１１は、表示部１２を覆うように配置されている。タッチパネル１１、振動部１３、表示部１２は、それぞれ電気的に回路基板に接続されている。
【００５０】
図４を用いて振動部１３の構成を説明する。図４は、本実施形態の振動部１３の斜視図である。振動部１３は、圧電素子２１とシム板２２とベース２３とを備え、シム板２２の両側には、圧電素子２１が接着されている。シム板２２の両端がベース２３と接続されており、いわゆる両持ち構成になっている。ベース２３は、タッチパネル１１と接続されている。
【００５１】
圧電素子２１は、チタン酸ジルコン酸鉛等の圧電セラミックやニオブ酸リチウム等の圧電単結晶である。圧電素子２１は、振動制御部３３からの電圧により、伸縮する。シム板２２の両側に貼り付けられた圧電素子２１が片方が延びて、片方が縮むように制御することで、シム板がたわみ振動を発生することができる。
【００５２】
シム板２２は、リン青銅等のバネ部材である。シム板２２の振動はベース基板２３を通じて、タッチパネル１１を振動させ、タッチパネルを操作しているユーザはタッチパネルの振動を感知することができる。
【００５３】
ベース２３は、アルミや真鍮等の金属や、ＰＥＴやＰＰ等のプラスチックである。
【００５４】
振動の周波数、振幅、期間は振動制御部３３によって制御される。振動の周波数としては、１００〜４００Ｈｚ程度の周波数が望ましい。
【００５５】
なお、本実施形態では、圧電素子２１をシム板２２に貼り付けているが、圧電素子２１を直接タッチパネル１１に貼り付けてもよい。また、タッチパネル１１の上にカバー部材等がある場合は、圧電素子２１をカバー部材に貼り付けてもよい。また、圧電素子２１の替わりに振動モータを用いてもよい。
【００５６】
＜振動の説明＞
図５は、実施形態１の振動パターンの一例を示す概略図である。
【００５７】
マイクロコンピュータ２０の命令により、振動制御部３３が、振動部１３へ図７（ａ）に示すような波形の電圧を印加し、タッチパネル１１を振動させる。これにより、ユーザに触覚Ａが与えられる。触覚Ａを与えるための電圧は正弦波で、１５０Ｈｚ、７０Ｖｒｍｓ、２周期である。このときのタッチパネル１１上の振幅は、約５μｍ程度である。また、振動制御部３３は、振動部１３へ図７（ｂ）に示すような電圧を印加し、タッチパネル１１を振動させる。これにより、ユーザに触覚Ｂが与えられる。触覚Ｂを与えるための電圧は正弦波で、３００Ｈｚ、１００Ｖｒｍｓ、４周期である。なお、周波数、電圧、周期数に関しては一例であり、矩形波、のこぎり波など、別の波形や、間欠的な波形や、連続的に周波数や振幅が変化する波形などでもよい。
【００５８】
なお、本実施形態では、触覚Ａと触覚Ｂは異なる振動パターンとしたが、これに限らない。触覚Ａと触覚Ｂの振動パターンは同じでも良い。
【００５９】
いま、ユーザがテレビを購入する予定であり、リビングのどの位置にテレビを置くか検討している状態であるとする。
【００６０】
図６は、室内を撮影した撮影画像（リビング画像）５１を示す図である。図６は、例えばリビングを示している。ユーザは、購入予定のテレビを置きたい位置に、マーカ５０を置く。ユーザはカメラ１５を用いてマーカ５０が撮影範囲に入るようにリビングを撮影する。撮影された画像の中のマーカの位置に、購入予定のテレビの画像が表示される。マーカ５０は、基準オブジェクトの一例である。
【００６１】
このように、本実施形態では、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：以下、単にＡＲと称する場合がある。）技術を用いることを前提にしている。
【００６２】
図７は、マーカ５０の位置に製品画像（テレビ画像）５１が表示された状態の表示画面の一例を示す。このように、ＡＲ技術を用いることで、現実の画像の中に、架空の画像を表示させることができる。
【００６３】
図８は、実施形態１における電子機器の処理の流れを示すフローチャートである。ステップはＳと略する。
【００６４】
Ｓ１１において電子機器の処理が開始される。具体的にはユーザによる電源のＯＮや、プログラムの開始などである。その後、Ｓ１２において、ユーザによりタッチパネル１１がタッチされたかどうかについて、マイクロコンピュータ２０が判断する。例えば、タッチパネル１１が静電容量方式の場合、静電容量の変化をタッチパネル制御部３１が検出する。タッチパネル制御部３１は、検出した静電容量の変化に関する情報を、マイクロコンピュータ２０に送る。マイクロコンピュータ２０は、送られてきた情報に基づいて、ユーザによるタッチの有無を判断する。タッチされていない場合（Ｓ１２でＮｏ）には、再度タッチが行われるまで待機する。
【００６５】
タッチされた場合（Ｓ１２でＹｅｓ）は、Ｓ１３で各種処理が行われる。各種処理とは、カメラ撮影やユーザによる画像の操作や、撮影画像の表示、振動の提示に関する処理である。この各種処理は単一の処理の場合もあれば、連続的に複数の処理を行う場合や、並列で複数の処理を行う場合や、何も処理を行わない場合の処理を含む。この処理の例は、図９を参照しながら詳述する。
【００６６】
Ｓ１３にて各種処理が行われた後、Ｓ１４でマイクロコンピュータ２０が処理を終了するかどうかを判断する。具体的には、ユーザによる電源のＯＦＦ操作や、プログラムの終了などである。
【００６７】
図９は、実施形態１における処理の流れを示すフローチャートである。具体的には、図８で示したフローチャートにおける「各種処理（Ｓ１３）」の一例を説明するためのフローチャートである。
【００６８】
Ｓ２１でカメラ撮影が開始される。
【００６９】
その後、Ｓ２２でカメラ１５で撮影された撮影画像データは、カメラ制御部３５を介して、ＲＡＭ３９に送られ記憶される。
【００７０】
その後Ｓ２３において、マイクロコンピュータ２０は、ＲＡＭ３９内にあらかじめ記録されているマーカデータと撮影画像データを照合する。そして、マイクロコンピュータ２０は、撮影画像（リビング画像）５１内にマーカ５０が撮影されているかどうか判断する。
【００７１】
マーカ５０が撮影されていないと判断された場合（Ｓ２３でＮｏ）には、処理はＳ２４に進む。Ｓ２４では、マイクロコンピュータ２０が、撮影画像データを表示データとしてＲＡＭ３９に記憶させる。そして、マイクロコンピュータ２０は、表示データを表示制御部２０に送る。表示制御部２０は、送られてきた表示データに基づいて、表示部１２に画像を表示する。
【００７２】
マーカ５０が撮影されていると判断された場合（Ｓ２４でＹｅｓ）には、処理はＳ２６に進む。
【００７３】
マイクロコンピュータ２０は、マーカ５０の寸法情報や、合成したい製品（例えば購入予定のテレビ）の形状や寸法に関する情報を含む製品画像データに基づいて、撮影画像（リビング画像）５１に製品画像（テレビ画像）５２を合成するための合成倍率の計算を行う。以下、合成倍率の計算について具体的に説明する。
【００７４】
まずマイクロコンピュータ２０が、マーカ５０の実際の寸法データと撮影画像（リビング画像）５１内のマーカ５０の寸法データに基づいて、撮影画像（リビング画像）５１内のオブジェクト（壁や家具等）の大きさや、部屋の奥行きなどを計算する。具体的には、マイクロコンピュータ２０は、マーカ５０の実際の寸法と撮影画像（リビング画像）５１内のマーカ５０の寸法の比率を計算する。また、マイクロコンピュータ２０は、撮影画像（リビング画像）５１内のオブジェクト（壁や家具）のサイズを特定する。そして、計算結果とオブジェクトのサイズとに基づいて、撮影画像（リビング画像）５１内のオブジェクト（壁や家具）の実際の大きさや、部屋の奥行き等を計算する。このように計算された比率を合成倍率６１と称する。製品画像（テレビ画像）５２を撮影画像（リビング画像）５１（リビング）内に表示させる際の製品画像（テレビ画像）５２の大きさは、この合成倍率に基づいて決定される。マイクロコンピュータ２０は、これらの計算結果をＲＡＭ３９に記憶させる。
【００７５】
また、マイクロコンピュータ２０は、撮影画像（リビング画像）５１内のマーカ５０の位置を表すマーカ座標を取得し、ＲＡＭ３９に記憶させる。
【００７６】
その後、処理はＳ２７に進む。Ｓ２７では、マイクロコンピュータ２０は、Ｓ２６で計算された合成倍率に基づいて、製品画像（テレビ画像）５２、を拡大または縮小させる記録画像処理を行う。そして、記録画像処理が行われた製品画像に関するデータを、ＲＡＭ３９に記憶させる。以下、記録画像処理が行われた後の製品画像（テレビ画像）５２を加工画像５３と称する。加工画像とは、例えば、拡大縮小されたテレビ画像である。
【００７７】
その後、Ｓ２８でマイクロコンピュータ２０は、マーカ座標に基づいて、撮影画像（リビング画像）５２内のマーカ５０上に加工画像（テレビ画像）５３を合成し、表示画像としてＲＡＭ３９に記憶させる。
【００７８】
その後、Ｓ２４にて、表示制御部３２が、表示画像を表示部１２に表示させる。
【００７９】
図１０は、本実施形態１におけるユーザ操作の一例を表す図である。
【００８０】
ユーザは、電子機器の表示部１２に表示された表示画像を見て、加工画像（テレビ画像）５３の配置を少しずらしたいと思った場合、下記のような操作を行う。
【００８１】
まず、ユーザは、表示部１２に表示された加工画像（テレビ画像）５３の周辺にタッチし、加工画像（テレビ画像）５３をずらしたい方向に指でなぞる。そうすることにより、マイクロコンピュータ２０は、検出された指の移動量に応じた移動量だけ、表示されている加工画像（テレビ画像）５３が表示画面に対して相対的に移動させるよう、表示制御部３２に指示する。この画像を確認することで、ユーザは、製品が当初配置した位置とは違う配置になったときの部屋の雰囲気を確認できる。表示画像に対して、指のなぞりが水平方向の場合には、加工画像（テレビ画像）５３は横方向に移動する。その場合の加工画像（テレビ画像）５３は、大きさは変わらず平行移動するのみである。なお、説明の便宜上、以下では、マイクロコンピュータ２０が画像を移動させ、サイズを変更する、などと記述する。実際にはマイクロコンピュータ２０が表示制御部３２に指示し、表示制御部３２が画像の表示位置を移動する処理やサイズを変更する処理を行っていることに留意されたい。
【００８２】
図１１は、実施形態１におけるユーザ操作の一例を表す図である。
【００８３】
ユーザは、電子機器の表示部１２に表示された画像を見て、加工画像（テレビ画像）５３のサイズを変更したいと思った場合、下記のような操作を行う。
【００８４】
ユーザは、表示部１２に表示された加工画像５３の周辺に親指と人差し指でタッチし、２本の指の間隔を変える。マイクロコンピュータ２０は、２本の指の間隔の変化量に応じて、製品のサイズを変更する。以下、このような操作を「ピンチ操作」と称する場合がある。
【００８５】
加工画像５３がテレビ画像の場合、指の間隔の変化量に応じてテレビ画像のサイズが変化する。本実施形態においては、テレビ画像のサイズは、連続的な変化ではなく、実際発売されている規定サイズの値（３２，３７，４２インチなど）に応じて段階的に変化させている。
【００８６】
たとえば、指の間隔の変化量が予め定められた値（α）以上になると、１段階大きい規定サイズの画像を表示し、変化量が２・α以上になると、２段階大きい規定サイズの画像を表示すればよい。縮小時も同様に、指の間隔の変化量がα以下になると、１段階小さい規定サイズの画像を表示し、さらに変化量が２・α以下になると、段階小さい規定サイズの画像を表示すればよい。
【００８７】
加工画像（テレビ画像）５３にサイズの値が表示されるようにしてもよい。これにより、ユーザは、現在表示されている加工画像（テレビ画像）５３のサイズを知ることができる。なお、加工画像が表すオブジェクトによっては、画像サイズを段階的に変化させる必要はなく、連続的に変化させてもよい。
【００８８】
図１２は、図１０を用いて説明したユーザ操作の処理の流れを示すフローチャートである。
【００８９】
まず、Ｓ３１で、タッチパネル制御部３１によりユーザのタッチ位置の変化が検出される。
【００９０】
タッチ位置の変化が検出された場合（Ｓ３１でＹｅｓ）には、処理はＳ３２に進む。Ｓ３２で、マイクロコンピュータ２０が、タッチパネル制御部３１から検出されたタッチ位置の変化値を受け取る。マイクロコンピュータ２０は、受け取ったタッチ位置の変化値に基づいて、ユーザの指の移動量を算出する。そして、マイクロコンピュータ２０は、製品の表示位置の移動がユーザの指の移動量と同じになるよう、加工画像（テレビ画像）５３の移動量を計算する。マイクロコンピュータ２０は、マーカ座標（マーカ５０が配置された位置の座標）に加工画像（テレビ画像）５３の移動量を加えることで、合成位置座標を計算する。それぞれの値はＲＡＭ３９に保存される。マイクロコンピュータ２０は、撮影画像の合成位置座標位置に、加工画像（テレビ画像）５３を合成させて表示画像を作成する。この表示画像は、ＲＡＭ３９に保存される。
【００９１】
その後、Ｓ３４にて、上述の処理で作成された表示画像を表示部１２に表示するよう表示制御部３２が制御する。
【００９２】
タッチ位置の変化が検出されなかった場合（Ｓ３１でＮｏ）は、処理はＳ３５に進み終了する。
【００９３】
このような処理を行うことで、ユーザは表示部１２内で加工画像（テレビ画像）５３を自由に動かすことができる。
【００９４】
図１３は、図１１を用いて説明したユーザ操作（製品のサイズ変更）の処理の流れを示すフローチャートである。
【００９５】
まず、Ｓ４１で、タッチパネル制御部３１によりユーザのピンチ操作に伴うタッチ位置の変化量が検出される。たとえばユーザが２本の指でタッチし、その後、その２本の指の位置の少なくとも一方の位置が変化すると、その変化量が検出される。
【００９６】
ピンチ操作が検出された場合（Ｓ４１でＹｅｓ）には、処理はＳ４２に進む。Ｓ４２では、マイクロコンピュータ２０が、タッチパネル制御部３１により検出されたタッチ位置の変化量に基づいてピンチ量を計算する。ピンチ量とは、ピンチ操作時の指の間隔を示す。ユーザが２本の指でタッチしたときの指の間隔を基準としたとき、指の間隔が広がるとピンチ量は大きくなり、指の間隔が狭まるとピンチ量が小さくなる。
【００９７】
マイクロコンピュータ２０は、ピンチ量の変化に基づいて、合成倍率（製品の表示サイズの変化率）を変化させる。具体的には、マイクロコンピュータ２０は、ピンチ量が大きくなった場合には合成倍率を大きくし、また、ピンチ量が小さくなった場合に合成倍率を小さくする。マイクロコンピュータ２０は、合成倍率に基づいて、製品画像（テレビ画像）５２の表示サイズを拡大または縮小処理して、加工画像（テレビ画像）５３を作成する。このとき、その製品のサイズがユーザにわかるように加工画像（テレビ画像）５３にテレビのサイズ値が表示させるように合成してもよい。合成倍率の値は、ＲＡＭ３９に保存され、ピンチ操作が行われる度に更新される。そして、マイクロコンピュータ２０は、撮影画像（リビング画像）５１のマーカ座標の位置に、拡大または縮小処理が施された加工画像５３を合成させて表示画像を作成する。この表示画像は、ＲＡＭ３９に保存される。
【００９８】
続いてＳ４４にて、上述の処理で作成された表示画像を表示部１２に表示するよう表示制御部３２が制御する。
【００９９】
タッチ位置の変化が検出されなかった場合（Ｓ４１でＮｏ）は、処理はＳ４６に進み終了する。
【０１００】
図１４は、実施形態１におけるユーザ操作の一例を表す図である。
【０１０１】
ユーザは、表示部１２に表示された表示画像を見て、製品の配置をずらしたいと思った場合、下記のような操作を行う。
【０１０２】
ユーザは、表示部１２に表示された加工画像（テレビ画像）５３の周辺にタッチし、加工画像（テレビ画像）５３をずらしたい方向に指でなぞる。加工画像（テレビ画像）５３は指のなぞりに追従して表示部１２に表示される。例えば、図１４に示すように、ユーザが製品を壁際に配置したいと考えた場合、ユーザは壁がある方向に指でなぞることで、加工画像（テレビ画像）５３もなぞり操作に追従して表示画像内で移動する。そして、加工画像（テレビ画像）５３の端部が壁に当たった場合、振動部１３が振動することでユーザに触覚を示す。
【０１０３】
ここでの触覚は、ユーザに対して、これ以上加工画像（テレビ画像）５３を壁方向に移動させることができないという警告を与えるものである。このような警告は振動などの触覚だけでなく、音や、光、色の変更などユーザに注意喚起できるものであれば手段はどのようなものでもよい。
【０１０４】
加工画像５３の端部が壁に当たったかどうかを判定するためには、当該端部と壁の位置を特定し、壁の位置と端部の位置とが一致するかどうかを判定する必要がある。壁の位置は、たとえば、ユーザによって特定されてもよいし、ＲＡＭ３９に予め保持された壁のパターンとマッチする画像上のオブジェクトを壁として認識してもよい。
【０１０５】
また、マイクロコンピュータ２０が端部と壁の間の画像上の距離を測定し、その距離が０か否かを判定することにより、加工画像５３の端部が壁に当たったかどうかを判定してもよい。マイクロコンピュータ２０は、ＲＯＭ３８またはＲＡＭ３９に記憶されたマーカ５０の特徴データ（寸法情報）に基づいて、そのマーカと壁までの距離を、端部と壁の間の画像上の距離として求めればよい。
【０１０６】
図１５は、図１４で説明したユーザ操作に関する処理の流れを説明するためのフローチャートである。
【０１０７】
ここで説明する処理は、図８で示すフローチャートのＳ１３「各種処理」に関する処理である。図８に示すフローチャートのＳ１２でユーザによるタッチ有りと判断されると、処理はＳ５１に進む。Ｓ５１では、ユーザによるタッチ位置の変化が検出される。具体的には、タッチパネル１１上でのユーザのタッチ位置およびタッチ位置の変化が、タッチパネル制御部３１により検出される。タッチパネル制御部３１で検出されたユーザのタッチ位置に関する情報は、マイクロコンピュータ２０に送られる。そして、処理はＳ５２へ進む。
【０１０８】
Ｓ５２では、加工画像（テレビ画像）５３の合成位置の再計算が行われる。具体的には、マイクロコンピュータ２０が、ユーザのタッチ位置に関する情報に基づいて、ユーザの指の移動量を計算する。マイクロコンピュータ２０は、この移動量をマーカ座標に加算することで、加工画像（テレビ画像）５３を合成する位置を再計算する。
【０１０９】
マイクロコンピュータ２０による合成位置の計算結果は、表示制御部３２へ送られる。表示制御部３２は、送られてきた情報に基づいて、加工画像（テレビ画像）５３を表示部１２に表示する。加工画像（テレビ画像）５３の合成位置の計算とその表示とが繰り返し行われることで、加工画像（テレビ画像）５３がユーザのなぞり操作に追従しているよう表示部１２表示される。そして、処理はＳ５３へ進む。
【０１１０】
Ｓ５３では、加工画像（テレビ画像）５３の合成位置を示す座標（以下、「合成座標」と称する場合がある。）が規定値以下であるか否かが判断される。具体的には、加工画像（テレビ画像）５３の端部（例えば、テレビの左側面部）の座標が、あらかじめＲＡＭ３９に記憶された規定座標以下であるかどうかを、マイクロコンピュータ２０が判断する。この規定座標とは、例えば、図１４に表示された壁の位置を規定する座標である。合成座標が規定値以下である場合は、加工画像（テレビ画像）５３は壁に接触していない状態である。合成座標が規定値以上である場合は、加工画像（テレビ画像）５３が壁に接触している、あるいは壁と重複しているという状態である。
【０１１１】
合成座標が規定値より大きいと判断された場合（Ｓ５３でＹｅｓ）は、処理はＳ５４に進む。Ｓ５４では、撮影画像（リビング）の合成座標の位置に加工画像（テレビ画像）５３が合成される。マイクロコンピュータ２０は、合成された画像に関するデータを表示データとして表示制御部３２に送る。また、マイクロコンピュータ２０は、この表示データをＲＡＭ３９に記憶させる。そして、処理はＳ５５へ進む。
【０１１２】
Ｓ５５では、表示制御部３２が、送られてきた表示データに基づいて、画像を表示する。ここで表示される画像は、加工画像（テレビ画像）５３が移動した後の画像である。
【０１１３】
一方、Ｓ５３で合成座標が規定値以下であると判断された場合（Ｓ５３でＮｏ）は、処理はＳ５６へ進む。Ｓ５６では、振動部１３が振動することでユーザに触覚が与えられる。具体的には、合成位置が規定値以下であると判断された場合、マイクロコンピュータ２０から振動制御部３３に振動パターンに関する振動データが送られる。振動制御部３３は、送られてきた振動データに基づいて、振動部１３を振動させる。ユーザはタッチパネル１１を触っている状態なので、この振動を感知することができる。ユーザは振動を感知することで、加工画像（テレビ画像）５３をこれ以上移動させることができないことを認識することができる。また、図１４に示すように、加工画像（テレビ画像）５３の左上に、テレビが壁に接触したことを示す星形のパターンを表示してもよい。
【０１１４】
なお、加工画像（テレビ画像）５３が壁の位置を通り過ぎるように表示されてしまうとユーザに違和感を与えてしまうので、加工画像（テレビ画像）５３の端部が壁に接触した場合、それ以上加工画像（テレビ画像）５３は移動しないよう、マイクロコンピュータ２０が制御している。
【０１１５】
図１６（ａ）および（ｂ）は、本実施形態のユーザの操作の一例を示す図である。
【０１１６】
ユーザは、表示部１２に表示された表示画像を見て、加工画像（テレビ画像）５３のサイズを変化したいと思った場合、下記のような操作を行う。
【０１１７】
まず、ユーザは、表示部１２に表示された加工画像（テレビ画像）５３の周辺に親指と人差し指とでタッチし、２本の指の間隔を変えることで製品のサイズを変更する。本実施形態では、加工画像（テレビ画像）５３がテレビ台の上に置いてある場合を想定している。
【０１１８】
本実施形態では、ユーザが加工画像（テレビ画像）５３のサイズを変更する際、加工画像（テレビ画像）５３のサイズが所定の大きさを超えた場合に、振動による警告をユーザに与える。このような警告は、段階的に複数回ユーザに与えられる。
【０１１９】
たとえば製品(加工)画像がテレビの画像であるとする。テレビの画像は、矩形のテレビフレーム部分と、当該テレビフレームよりも左右方向に短い台座部分とを含む。製品(加工)画像のサイズが拡大され、テレビフレーム部分のサイズがテレビ台の画像サイズを超えるときに第１段階目の警告を与える。そして、加工画像（テレビ画像）５３の台座部分の大きさがテレビ台の画像サイズを超えるときに第２段階目の警告を与える。本実施形態では、第１段階目の警告の後から第２段階目の警告が与えられるまでは、製品のサイズ変更は行われる。しかし、第２段階目の警告が与えられた後は、製品のサイズ変更は行われない。
【０１２０】
上述の処理の前提として、マイクロコンピュータ２０は、撮影された画像の中から、テレビ台のパターンを識別しておく必要がある。マイクロコンピュータ２０は、たとえばマーカ（図示せず）を認識し、そのマーカが配置されたオブジェクト（すなわちテレビ台）のパターンを認識することによって実現される。または、ユーザがテレビ台の範囲を入力してもよい。
【０１２１】
図１７は、図１６に示すユーザ操作の処理の流れを示すフローチャートである。
【０１２２】
ここで説明する処理は、図８で示すフローチャートのＳ１３「各種処理」に関する処理である。図８に示すフローチャートのＳ１２でユーザによるタッチ有りと判断されると、処理はＳ６１に進む。Ｓ６１では、ユーザによるピンチ操作が行われたか否かが判断される。具体的には、タッチパネル制御部３１によりユーザのピンチ操作に伴うタッチ位置の変化量が検出される。
【０１２３】
ピンチ操作が検出された場合（Ｓ６１でＹｅｓ）には、処理はＳ６２に進む。Ｓ６２では、マイクロコンピュータ２０が、タッチパネル制御部３１により検出されたタッチ位置の変化量に基づいてピンチ量を計算する。ピンチ量とは、ピンチ操作時の指の間隔の変化量を示す。ユーザが２本の指でタッチしたときの指の間隔を基準としたとき、指の間隔が広がるとピンチ量は大きくなり、指の間隔が狭まるとピンチ量が小さくなる。
【０１２４】
マイクロコンピュータ２０は、ピンチ量の変化に基づいて、合成倍率（製品の表示サイズの変化率）を変化させる。具体的には、マイクロコンピュータ２０は、ピンチ量が大きくなった場合には合成倍率を大きくし、また、ピンチ量が小さくなった場合に合成倍率を小さくする。表示されている加工画像（テレビ画像）５３に合成倍率を乗算した値が、合成後のサイズ（以下、単に合成サイズと称する場合がある。）になる。合成倍率が計算された後、処理はＳ６３に進む。
【０１２５】
Ｓ６３では、合成サイズが規定値以下であるか否かが判断される。具体的には、加工画像（テレビ画像）５３のサイズが、テレビ台のサイズ以下であるか否かが、マイクロコンピュータ２０により判断される。テレビ台のサイズは、ユーザがあらかじめ入力しておいてもよい。または、マーカ５０の実際の寸法と撮影画像（リビング画像）５１内のマーカ５０の寸法との比率から、テレビ台のサイズを計算してもよい。上述の処理は、マイクロコンピュータ２０によって行われる。
【０１２６】
合成サイズが規定値以下であると判断された場合（Ｓ６３でＹｅｓ）には、処理はＳ６４に進む。Ｓ６４では、マイクロコンピュータ２０は、サイズ変更された加工画像（テレビ画像）５３を撮影画像（リビング画像）５１に合成し、表示データを生成する。この表示データは、ＲＡＭ３９に記憶される。表示データが生成されると、処理はＳ６５に進む。
【０１２７】
Ｓ６５では、表示制御部３２が、表示データに基づいて表示部１２に加工画像（テレビ画像）５３のサイズが変更された画像が表示される（図１６（ｂ）に示す状態）。
【０１２８】
一方、Ｓ６３で、合成サイズが規定値よりも大きいと判断された場合（Ｓ６３でＮｏ）には、処理はＳ６６で進む。Ｓ６６では、振動部１３が振動することでユーザに触覚が与えられる。具体的には、合成サイズが規定値より大きいと判断されると、マイクロコンピュータ２０は振動制御部３３に振動パターンに関する振動データを送る。振動制御部３３は、送られてきた振動データに基づいて、振動部１３を振動させる。ユーザはタッチパネル１１を触っている状態なので、この振動を感知することができる。
【０１２９】
Ｓ６６にてユーザに触覚が与えられると、処理はＳ６７に進み終了する。
【０１３０】
このような処理を行うことにより、ユーザは撮影画像内に表示された加工画像（テレビ画像）５３を所望の位置に動かすことが出来る。また、加工画像（テレビ画像）５３の動きに関連づけて様々な振動を与えることで、ユーザの操作はより一層容易となる。
【０１３１】
なお、加工画像（テレビ画像）５３を動かす場合、マイクロコンピュータ２０は下記のような制御を行っても良い。例えば、図１８（ａ）に示すように、サイズの大きなテレビを動かす場合は、ユーザの指とタッチパネルとの摩擦が大きくなるような振動を与えてもよい。また、図１８（ｂ）に示すように、サイズの小さなテレビを動かす場合は、サイズの大きなテレビを動かす場合よりも振動の強さを弱めてもよい。このような制御を行うことで、より現実感を高めることが可能になるとともに、ユーザに様々な情報を与えることができる。
【０１３２】
ユーザの指とタッチパネルとの摩擦が大きくなるような振動とは、たとえば、主にパチニ小体が発火する高い周波数域の振動を意味する。パチニ小体とは、人の指に存在する複数種類の触覚受容器の一つである。パチニ小体は、比較的感度が高く、８０Ｈｚ程度の振動に対しては、２μｍの押し込み振幅で発火する。振動周波数を例えば、１０Ｈｚに落とすと、感度は低くなり、発火閾値は１００μｍと大きくなる。パチニ小体は、１００Ｈｚをピーク感度として、周波数に応じた感度分布を有する。マイクロコンピュータ２０は、上述した周波数に応じた振幅でタッチパネル１１を振動させる。これにより、パチニ小体が発火し、ユーザにとってタッチパネルとの摩擦が大きくなったような触感を与えることが可能になる。
【０１３３】
また、テレビ等の製品が置かれる場所に応じて異なる振動を与えるように制御しても良い。例えば、テレビをカーペットのような摩擦の大きな場所に置く場合は、テレビを動かす際に、摩擦が大きくなるような振動をさせてもよく、フローリングのように摩擦が小さい場所に置く場合は、振動を弱くしてもよい。
【０１３４】
また、製品が置かれる場所に段差や突起がある場合などは、製品がその上を通過する際に振動を与えるように制御してもよい。
【０１３５】
＜実施形態２＞
実施形態１ではマーカを用いて製品の表示位置や表示寸法を算出していたが、本実施形態にかかる電子機器は、マーカではなくあらかじめリビング内に配置されている家具を用いて、製品の表示位置や表示寸法を算出する。
【０１３６】
図１９は、実施形態２におけるユーザによる操作の例を表す図である。
【０１３７】
ユーザは、製品を置きたい室内を撮影する。撮影した画像は、電子機器の表示装置１２に表示される。ユーザは、あらかじめ寸法の分かった家具が表示されている場所をタッチする。マイクロコンピュータ２０は、ユーザからのタッチ操作を受付け、電子機器が認識した家具（基準オブジェクト６３）の寸法を入力するための入力画面６４を表示させる。ユーザは、あらかじめ測定しておいた家具の寸法を入力画面６４に入力する。マイクロコンピュータ２０は、撮影画像データの基準オブジェクト６３の寸法とユーザにより入力された寸法の比から合成倍率を計算しＲＡＭ３９に保存する。その後、ユーザは製品を配置したい位置にタッチする。マイクロコンピュータ２０は、タッチパネル制御部３１よりタッチ座標を取得し、合成位置座標を計算する。マイクロコンピュータは、合成倍率６１に基づいて記録画像データの画像処理を行い、処理記録画像データを作成し、ＲＡＭ３９に保存する。その後、合成位置座標をもとに、処理記録画像データを、撮影画像データに合成して、表示データを作成し、表示制御部３２により、表示部に表示する。
【０１３８】
図２０は、実施形態２における基準寸法を入力して画像合成をする処理の流れを示すフローチャートである。
【０１３９】
ここで説明する処理は、図８で示すフローチャートのＳ１３「各種処理」に関する処理である。図８に示すフローチャートのＳ１２でユーザによるタッチ有りと判断されると、処理はＳ７１に進む。Ｓ７１では、ユーザによる撮影が行われる。
【０１４０】
その後、処理はＳ７２に進む。Ｓ７２では、撮影画像の取り込みが行われる。具体的には、マイクロコンピュータ２０が、カメラ１５およびカメラ制御部３５で撮影された撮影画像データをＲＡＭ３９に保存する。撮影画像の取り込みが行われた後、処理はＳ７３へ進む。
【０１４１】
Ｓ７３では、ユーザによる基準オブジェクト６３の選択が行われる。基準オブジェクト６３とは、撮影画像内に加工画像（テレビ画像）５３を合成する際に、加工画像（テレビ画像）５３が表示寸法を算出するための基準となる画像である。ここでは、あらかじめ室内に配置されている箪笥の画像が基準オブジェクト６３として設定される。具体的には、表示部１２に表示された撮影画像内の箪笥をタッチすることで、この箪笥の画像が基準オブジェクトとして設定される。基準オブジェクト６３が設定されると、処理はＳ７４へ進む。
【０１４２】
Ｓ７４では、マイクロコンピュータ２０は、基準オブジェクト６３の寸法を入力するためのインタフェース画面を表示する。インタフェース画面の入力欄に、ユーザは基準オブジェクト６３の寸法を入力する。具体的には、Ｓ７３でユーザによる基準オブジェクト６３の選択が行われると、マイクロコンピュータ２０は、基準オブジェクト６３近傍の表示画面１２にインタフェース画面（寸法入力画面）６４を表示する。ユーザは、たとえばソフトウェアキーボードやハードウェアキーボード（いずれも図示せず）を利用して、寸法入力画面６４に箪笥の寸法を入力することができる。なお、上述のインタフェース画面、ソフトウェアキーボード、ハードウェアキーボードは、インタフェースと記述されることがある。ユーザによる寸法入力が完了すると、処理はＳ７５へ進む。
【０１４３】
Ｓ７５では、加工画像（テレビ画像）５３の合成位置の選択が行われる。具体的には、ユーザが加工画像（テレビ画像）５３を配置したい位置をタッチすると、タッチされた位置座標の情報がタッチパネル制御部３１からマイクロコンピュータ２０に送られる。マイクロコンピュータ２０は、タッチされた位置座標に基づいて、合成位置座標を計算し、ＲＡＭ３９に保存する。合成位置が選択されると、処理はＳ７６に進む。
【０１４４】
Ｓ７６では、基準オブジェクト６３の認識が行われる。具体的には、撮影画像内に基準オブジェクト６３が表示されているか否かがマイクロコンピュータ２０により判断される。基準オブジェクト６３が表示されていると判断された場合は、処理はＳ７７に進む。
【０１４５】
Ｓ７７では、合成倍率の計算が行われる。具体的には、マイクロコンピュータ２０が、基準オブジェクト６３の実際の寸法と表示画面内での寸法との比率に基づいて、加工画像（テレビ画像）５３の表示寸法を計算する。そして、計算された合成内率に基づいて、加工画像（テレビ画像）５３の拡大縮小等の画像処理が行われ（Ｓ７８）、撮影画像（リビング画像）５１への合成が行われ（Ｓ７９）、表示データが生成される。表示データは、ＲＡＭ３９に記録される。その後、Ｓ８０において、生成された表示データが表示部１２に表示される。
【０１４６】
一方、Ｓ７６で、基準オブジェクト６３が認識されなかった場合は、合成倍率の計算等が行われることなく処理はＳ８０へ進み、撮影画像（リビング画像）５１がそのまま表示される。
【０１４７】
マーカを利用する場合には、マーカの準備、および寸法情報を予め保持しておかなければならない。本実施形態のように、ユーザが基準オブジェクトを選択肢、その寸法情報を入力することにより、マーカおよび寸法情報の準備が不要となる。
【０１４８】
＜実施形態３＞
実施形態１や２では、加工画像（テレビ画像）５３を合成する位置や表示寸法を、マーカ５０や基準オブジェクト６３を用いて算出していた。本実施形態にかかる電子機器は、立体撮影可能なカメラを用いて合成位置や表示寸法を算出する。
【０１４９】
図２１は、立体撮影可能なステレオカメラ７０を示す概略図である。ステレオカメラ７０は、ボディ７３と、第１鏡筒７１と、第２鏡筒７２と、を備える。第１鏡筒７１と第２鏡筒７２は、水平方向に並んで配置されている。第１鏡筒７１で撮影された画像と、第２鏡筒７２で撮影された画像との間には視差が生じているため、この視差情報を用いることで撮影された画像の奥行き等を算出することができる。
【０１５０】
図２２は、実施形態３における処理の流れを示すフローチャートである。
【０１５１】
ここで説明する処理は、図８で示すフローチャートのＳ１３「各種処理」に関する処理である。図８に示すフローチャートのＳ１２でユーザによるタッチ有りと判断されると、処理はＳ８１に進む。Ｓ８１では、ユーザによる立体画像撮影が行われる。２つの鏡筒で撮影された２つの画像間に視差が生じる。そして、マイクロコンピュータ２０は、視差情報を用いてデプスマップ作成する（Ｓ８２）。デプスマップとは、撮影画像内のそれぞれの位置における奥行き寸法に関する情報である。
【０１５２】
次に、ユーザは製品を配置したい位置をタッチする。マイクロコンピュータ２０は、タッチされた位置座標とデプスマップとに基づいて、製品を合成する位置を算出する（Ｓ８３）。その後、記録画像処理（Ｓ８４）、撮影画像との合成（Ｓ８５）、撮影画像の表示（Ｓ８６）が行われる。これらの処理は、実施形態１や２で説明した処理と同様の処理であるため、再度の説明を省略する。
【０１５３】
図２３は、ステレオカメラ７０で撮影された撮影画像を示す。撮影画像は、ユーザの家の玄関先からリビングまでの廊下を撮影した画像である。例えば、ユーザが家具８１を購入した場合、家具８１が家の廊下や玄関の幅より大きい場合、リビングまで搬入できないことがある。本実施形態によれば、ユーザは、購入した家具８１を部屋の中へ搬入できるか否かのシミュレーションを行うことができる。具体的には、ユーザは家具８１を指で操作することで、家具搬入のシミュレーションを行う。ユーザは家具８１を指でタッチし、廊下の奥のほうで指をなぞることで、家具８１を動かすことができる。撮影画像のデプスマップがあらかじめ作成されているので、デプスマップの情報に基づいて、家具８１が廊下の奥の方に行くにつれて家具８１の大きさは小さくなるよう画像処理される。また、ユーザは家具８１上の指を回転させるようになぞることで、家具８１を回転させたり向きを変えたりすることができる。ユーザはこのような操作を行いながら、家具８１を廊下の奥まで動かすことで、無事に家具を搬入できるかどうかのシミュレーションをすることができる。
【０１５４】
なお、ユーザの回転操作を検出した場合には、マイクロコンピュータ２０は、たとえばその回転操作の回転中心に回転軸があると推定する。そしてデプスマップを参照して、その回転軸がどの方向に延びているかを特定する。デプスマップにより、回転軸が奥行き方向に延びているのか、ある奥行き位置に沿って左右方向に延びているのかを特定することができる。回転軸を特定することができれば、マイクロコンピュータ２０は、その回転軸に沿って家具８１を回転させるよう合成位置、合成倍率、合成各度を計算すればよい。
【０１５５】
図２４は、家具搬入のシミュレーションを行う際の処理の流れを示すフローチャートである。
【０１５６】
ここで説明する処理は、図８で示すフローチャートのＳ１３「各種処理」に関する処理である。図８に示すフローチャートのＳ１２でユーザによるタッチ有りと判断されると、処理はＳ９１に進む。Ｓ９１では、タッチ位置の変化が検出される。具体的には、ユーザの指のタッチに関する情報がタッチパネル制御部３１からマイクロコンピュータ２０に送られる。その後処理はＳ９２へ進む。
【０１５７】
Ｓ９２では、ユーザのタッチ位置の変化に応じた画像処理が行われる。具体的には、家具８１の合成位置や表示倍率の再計算が行われる。ユーザのタッチ位置の変化が廊下の奥の方に沿った変化の場合は、家具８１が奥の方へ動かされていることになるので、家具８１の表示寸法が小さくなるように画像処理され、また、ユーザのタッチ位置の変化が横方向の場合は、家具８１の位置が横にずれることになるので家具８１の合成位置が再計算される。次に、処理はＳ９３へ進む。
【０１５８】
Ｓ９３では、タッチ位置の変化が回転変化であるか否かが検出される。具体的には、ユーザの指のタッチに関する情報がタッチパネル制御部３１からマイクロコンピュータ２０に送られる。ユーザのタッチ位置の変化が回転変化である場合（Ｓ９３でＹｅｓ）、処理はＳ９５へ進む。
【０１５９】
Ｓ９５では、ユーザのタッチ位置の回転変化の変化量に基づいて、家具８１を合成表示させる際の合成角度が再計算される。合成角度が計算された後、その角度に基づいて撮影画像に家具８１が合成される（Ｓ９６）。その後、合成画像が表示部１２に表示され（Ｓ９７）処理が終了する。
【０１６０】
一方、Ｓ９３で、タッチ位置の回転変化が検出されなかった場合（Ｓ９３でＮｏ）、処理はＳ９４へ進む。Ｓ９４では、家具８１の合成位置が規定値内か否かが判定される。撮影画像には壁や天井などが表示されている。家具８１が壁や天井をすり抜けてしまっては、家具搬入のシミュレーションとしての意味をなさなくなる。そこで、家具８１が壁や天井に接触した場合、電子機器１０は、ユーザに振動等の触覚を提示する。これにより、ユーザは、家具８１をこれ以上動かすことができないことを認識することができる。本実施形態では、上述した規定値とは、家具８１を自在に動かすことができる範囲を定めた値を示す。具体的には、壁や天井が表示されていない領域の座標を算出することで、家具８１を動かすことができる範囲を算出することができる。
【０１６１】
Ｓ９３で、家具８１の位置が規定値内であるとマイクロコンピュータ２０により判断された場合は、処理はＳ９６、Ｓ９７と順次進む。一方で、家具８１の位置が規定値外であるとマイクロコンピュータ２０により判断された場合、処理はＳ９８に進む。Ｓ９８では、家具８１の位置が規定値外であるという情報がマイクロコンピュータ２０から振動制御部３３に送られる。振動制御部３３は、送られてきた情報に基づいて振動部１３を振動させる。この振動がユーザの指に伝わることにより、ユーザは家具８１が壁や天井に当たっていることを認識することができる。
【０１６２】
上述したような処理を繰り返すことにより、ユーザは購入予定の家具８１をリビング等の所望の部屋に搬入できるかどうかのシミュレーションを行うことができる。
【０１６３】
＜実施形態４＞
本実施形態に係る電子機器は、撮影画像内の奥行き情報を、デジタルカメラのオートフォーカス機能（以下単にＡＦと称することがある。）を用いることで算出している点で、上述の実施形態とは異なる。
【０１６４】
図２５は、デジタルカメラ９１と基準オブジェクト（テレビ）９２との間の被写体距離を示す図である。デジタルカメラ９１は、図示しないＡＦレンズを備えている。図に示すように、デジタルカメラ９１の焦点が合う位置を検出することで、デジタルカメラ９１から基準オブジェクト（テレビ）９２までの距離を算出することができる。この距離を用いることで、撮影画像内のデプスマップを算出することができる。このデプスマップを用いることで、購入予定のテレビ等を配置する位置を算出することができる。
【０１６５】
図２６は、ＡＦ機能を用いてデプスマップを用いる際の処理の流れを示すフローチャートである。
【０１６６】
デジタルカメラ９１の電源が投入されると、Ｓ１０１においてＡＦレンズの焦点距離が無限遠になるようＡＦレンズを移動する。その後Ｓ１０２において、デジタルカメラ９１による撮影が開始される。撮影が開始されると、Ｓ１０３において、デジタルカメラ９１により撮像された画像のコントラストから合焦位置が判別される。合焦位置に関する情報はマイクロコンピュータ２０に送られ、マイクロコンピュータ２０は合焦位置に関する情報に基づいてデプスマップを作成する。撮影が終了すると、Ｓ１０４でＡＦレンズが至近側へ移動する。その後、Ｓ１０５において、ＡＦレンズが最至近側へ位置しているか否かが判定される。ＡＦレンズが最至近位置にある場合（Ｓ１０５でＹｅｓ）は、処理は終了する。ＡＦレンズが最至近位置に無い場合（Ｓ１０５でＮｏ）、処理はＳ１０２へ戻り再度合焦位置検出が行われる。
【０１６７】
＜実施形態５＞
上述のいずれの実施形態でも、室内を撮影した撮影画像を用いて説明した。撮影画像はこれには限らない。例えば図２７に示すように屋外の画像であってもよい。例えば、家１１１の周りに外灯１１２を設置する場合、家１１１が写った撮影画像を電子機器に取り込み、外灯１１２を合成するようにしてもよい。上述の実施形態のように、外灯１１２の位置を自由に変更することで、外灯１１２の光により作られる家の陰がどのような位置や形状で現れるかをシミュレーションすることができる。
【０１６８】
＜実施形態のまとめ＞
上述したように、電子機器１０は、表示部１２と、タッチパネル１１と、マイクロコンピュータ２０（制御回路の一例）とを備える。表示部１２は撮影画像および製品画像を表示可能である。タッチパネル１１は、ユーザのタッチ操作を受け付ける。マイクロコンピュータ２０は、撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出し、前記撮影画像内に前記製品画像を合成することで合成画像を生成し、前記合成画像を前記表示部へ表示させる。また、マイクロコンピュータ２０は、タッチパネルへのユーザのタッチ操作に応じて、合成された製品画像の表示位置および表示サイズを編集する。
【０１６９】
このような構成により、ユーザは、合成画像内での製品画像の合成位置の変更を容易に行うことができる。
【０１７０】
また、電子機器１０は、ユーザの操作に応じて触覚情報をユーザに与える振動部１３（触覚提示部）を備える。
【０１７１】
このような構成により、ユーザは自らがどのような操作を行ったかを認識することが出来る。
【０１７２】
また、基準オブジェクトは、製品画像と関連付けられたマーカ情報を含むマーカであってもよい。そして、電子機器１０は、マーカ情報と製品画像を含む製品画像情報とが格納された記憶部をさらに備えてもよい。
【０１７３】
このような構成により、電子機器１０は、撮影画像（例えばリビング）内のマーカが配置された位置に製品画像（例えばテレビ）を表示させることができる。したがって、ユーザは、購入予定のテレビとリビングとの調和を確認することができる。
【０１７４】
また、マーカ情報には、マーカの実寸サイズ情報が含まれており、製品画像情報には、製品画像の実寸サイズ情報が含まれてもよい。そして、マイクロコンピュータ２０は、表示部１２に表示されたマーカ５０の表示サイズとマーカ５０の実寸サイズとに基づいて合成比率を算出し、合成比率と製品画像の実寸サイズ情報とに基づいて、製品画像の表示位置および表示サイズを算出してもよい。
【０１７５】
このような構成により、製品画像（例えばテレビ）の大きさを撮影画像（例えばリビング）の大きさに合わせることができるので、撮影画像（例えばリビング）内に製品画像（例えばテレビ）を違和感無く表示させることができる。したがって、ユーザは、購入予定のテレビとリビングとの調和を確認することができる。
【０１７６】
また、マイクロコンピュータ２０は、マーカ５０の表示位置および表示サイズに基づいて、撮影画像内のオブジェクトの表示位置および表示サイズを算出してもよい。
【０１７７】
撮影画像内のオブジェクトとは、例えば、リビングにあらかじめ配置されている家具や、壁などである。
【０１７８】
このような構成により、例えば、リビングにあらかじめ配置されていた家具の位置や大きさ、また、リビングの広さや奥行きなどを算出することができる。
【０１７９】
また、マイクロコンピュータ２０は、ユーザのタッチ操作に基づいて製品画像の表示位置が変更された場合、製品画像の表示位置に関する表示位置座標が閾値を超えたか否かに基づいて、振動部がユーザに触覚を提示するよう制御してもよい。
【０１８０】
また閾値は、撮影画像内のオブジェクトの表示位置に関する表示位置座標から算出されてもよい。そして、マイクロコンピュータ２０は、製品画像の表示位置座標が閾値を超えた場合、前記触覚提示部がユーザに触覚を提示するよう制御してもよい。
【０１８１】
このような構成により、例えば、テレビなどの製品画像がテレビ台からはみ出したときや、壁などに当たったことを、ユーザは振動により知ることができる。
【０１８２】
また、基準オブジェクトは、撮影画像内に含まれる少なくとも１つのオブジェクトであってもよい。そして、基準オブジェクトに関する情報である基準オブジェクト情報と製品画像を含む製品画像情報とが格納された記憶部と、をさらに備えてもよい。
【０１８３】
このような構成により、マーカ５０を用いなくても、撮影画像内に含まれているオブジェクトを基準にして、製品画像の大きさや位置を算出することができる。
【０１８４】
また、電子機器１０は、基準オブジェクトの実寸データの入力を受け付ける受付部と、受け付けられた基準オブジェクトの実寸データと製品画像を含む製品画像情報とが格納された記憶部と、をさらに備えてもよい。
【０１８５】
このような構成により、入力されたデータを用いて、製品画像の大きさや位置を算出することができる。
【０１８６】
また、基準オブジェクト情報には、基準オブジェクトの実寸サイズ情報が含まれていてもよい。製品画像情報には、製品画像の実寸サイズ情報が含まれていてもよい。そして、マイクロコンピュータ２０は、表示部に表示された基準オブジェクトの表示サイズと基準オブジェクトの実寸サイズとに基づいて合成比率を算出し、合成比率と製品画像の実寸サイズ情報とに基づいて、製品画像の表示位置および表示サイズを算出してもよい。
【０１８７】
このような構成により、基準オブジェクトを用いて製品画像の表示サイズを算出することができる。
【０１８８】
また、マイクロコンピュータ２０は、基準オブジェクトの表示位置および表示サイズに基づいて、撮影画像内の他のオブジェクトの表示位置および表示サイズを算出してもよい。
【０１８９】
また、マイクロコンピュータ２０は、ユーザのタッチ操作に基づいて製品画像の表示位置が変更された場合、製品画像の表示位置に関する表示位置座標が、閾値を超えたか否かに基づいて、振動部がユーザに触覚を提示するよう制御してもよい。
【０１９０】
また、振動部は、製品画像の表示サイズの変更に応じて、ユーザに対して触覚を提示してもよい。
【０１９１】
また、製品画像情報には、製品の重量情報が含まれており、振動部は、製品の重量情報に基づいて、振動パターンを変化させてもよい。
【０１９２】
また、撮影画像は、ステレオ撮影可能なステレオカメラで撮影された画像であり、左目用画像および右目用画像で構成される画像であってもよい。そして、記憶部には、左目用画像内の基準オブジェクトと右目用画像内の前記基準オブジェクトとから算出される視差情報が格納されていてもよい。そして、マイクロコンピュータ２０は、視差情報に基づいて、基準オブジェクトの表示位置を算出してもよい。
【０１９３】
また、撮影画像は、基準オブジェクトを含む被写体の合焦位置を自動で検出可能な撮像装置で撮影された画像であってもよい。そして、記憶部には、基準オブジェクトの合焦位置に基づいて算出された撮像装置から前記基準オブジェクトまでの距離情報が格納されていてもよい。そして、マイクロコンピュータ２０は、距離情報に基づいて、基準オブジェクトの表示位置を算出してもよい。
【０１９４】
（その他の実施形態）
実施形態として、実施形態１〜５を例示したが、本願発明はこれには限らない。そこで、本願発明の他の実施形態を以下まとめて説明する。
【０１９５】
報知部は、振動部１３に限らない。例えば、報知部は、音声によってユーザに情報を知らせるスピーカであっても良い。また、報知部は、光によりユーザに情報を知らせる構成であってもよい。このような構成は、例えば表示制御部３２が表示部１２を制御することで実現できる。また、報知部は、熱や電気ショックでユーザに情報を知らせる構成であってもよい。
【０１９６】
実施形態１〜５では、電子機器の一例としてタブレット型の情報端末機器を用いて説明したが、電子機器はこれには限らない。例えば、携帯電話、ＰＤＡ、ゲーム機、カーナビゲーション、ＡＴＭなど、タッチパネルを備える電子機器であってもよい。
【０１９７】
実施形態１〜５では、タッチパネルとして表示部１２の表示面の全面を覆うものを例示したが、これには限らない。例えば、表示面の中央部のみにタッチパネル機能を有し、周辺部はタッチパネル機能を有する部分が覆っていない状態でもよい。要するに、少なくとも表示部の入力操作領域を覆うものであればよい。
【産業上の利用可能性】
【０１９８】
本発明は、例えばユーザによるタッチ操作が可能な電子機器に有用である。
【符号の説明】
【０１９９】
１０  電子機器
１１  タッチパネル
１２  表示部
１３  振動部
１４  筐体
１５  カメラ
１６  加速度センサ
１７  スピーカ
１８  スペーサ
１９  回路基板
２０  マイクロコンピュータ
２１  圧電素子
２２  シム板
【図１Ａ】
2012160833.tif 000003
【図１Ｂ】
2012160833.tif 000004
【図２】
2012160833.tif 000005
【図３】
2012160833.tif 000006
【図４】
2012160833.tif 000007
【図５】
2012160833.tif 000008
【図６】
2012160833.tif 000009
【図７】
2012160833.tif 000010
【図８】
2012160833.tif 000011
【図９】
2012160833.tif 000012
【図１０】
2012160833.tif 000013
【図１１】
2012160833.tif 000014
【図１２】
2012160833.tif 000015
【図１３】
2012160833.tif 000016
【図１４】
2012160833.tif 000017
【図１５】
2012160833.tif 000018
【図１６】
2012160833.tif 000019
【図１７】
2012160833.tif 000020
【図１８】
2012160833.tif 000021
【図１９】
2012160833.tif 000022
【図２０】
2012160833.tif 000023
【図２１】
2012160833.tif 000024
【図２２】
2012160833.tif 000025
【図２３】
2012160833.tif 000026
【図２４】
2012160833.tif 000027
【図２５】
2012160833.tif 000028
【図２６】
2012160833.tif 000029
【図２７】
2012160833.tif 000030
【手続補正書】
【提出日】平成24年9月25日(2012.9.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばユーザによるタッチ操作が可能な電子機器に関する。
【背景技術】
【０００２】
大型の家具や家庭電化製品を購入する際には、その大きさや色合いがあらかじめ部屋の雰囲気に合って、部屋と調和が取れるか確認したいという要望がある。このような要望を満たすものとして、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術を用いる技術がある。ユーザは、部屋の実写画像に購入したい家具や家庭電化製品の画像を合成することで、家具や家電が部屋に合うかどうかを確認することができる。
【０００３】
特許文献１では、撮影する室内にマーカを配置し、そのマーカを含む範囲をカメラで撮影する。そして、撮影画像に購入したい家具の画像を合成することにより、ユーザはあらかじめ家具の大きさなどを確認できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０ー２８７１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
家具などの位置を確認する作業は、試行錯誤を要することが多い。特許文献１の手法では、一旦合成した製品の位置をずらしたいとき、ユーザがマーカの位置を変更し、そのマーカを含む範囲をカメラで撮影し直す必要があった。ユーザにとっては、このような作業を何度も繰り返すことは手間を要する。そのため、従来の技術には、より容易に製品と部屋との調和を確認する余地があった。
【０００６】
本発明は、上記課題を鑑みてなされたものであり、その目的の一つは、合成画像内での製品画像の合成位置の変更を容易に行うことができる電子機器を提供することである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、電子機器は、撮影画像および製品画像を表示可能な表示装置と、ユーザの操作を受け付けるタッチパネルと、撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出し、前記撮影画像に前記製品画像が合成された合成画像を生成し、前記合成画像を前記表示部へ表示させる制御回路であって、前記タッチパネルへのユーザの操作に応じて、前記製品画像の表示位置および表示サイズを変更した合成画像を生成する制御回路とを備えている。
【０００８】
ある実施形態において、電子機器は、ユーザの操作に応じて触覚情報をユーザに与える触覚提示部をさらに備えている。
【０００９】
ある実施形態において、前記基準オブジェクトは、前記製品画像と関連付けられたマーカ情報を含むマーカであり、前記電子機器は、前記マーカ情報と、前記製品画像を含む製品画像情報とが格納された記憶部とをさらに備えている。
【００１０】
ある実施形態において、前記マーカ情報には、前記マーカの実寸サイズ情報が含まれており、前記製品画像情報には、前記製品画像の実寸サイズ情報が含まれており、前記制御回路は、前記表示装置に表示された前記マーカの表示サイズと前記マーカの実寸サイズとに基づいて合成比率を算出し、前記合成比率と前記製品画像の実寸サイズ情報とに基づいて、前記製品画像の表示位置および表示サイズを算出する。
【００１１】
ある実施形態において、前記制御回路は、前記マーカの表示位置および表示サイズに基づいて、前記撮影画像内のオブジェクトの表示位置および表示サイズを算出する。
【００１２】
ある実施形態において、前記ユーザの操作に基づいて前記合成画像中の前記製品画像の表示位置を変更した場合、前記制御回路は、前記製品画像の表示位置に関する表示位置座標が閾値を超えたか否かに基づいて、前記触覚提示部がユーザに触覚を提示するよう制御する。
【００１３】
ある実施形態において、前記閾値は、前記撮影画像内のオブジェクトの表示位置に関する表示位置座標から算出され、前記制御回路は、前記製品画像の表示位置座標が前記閾値を超えた場合、前記触覚提示部がユーザに触覚を提示するよう制御する。
【００１４】
ある実施形態において、前記基準オブジェクトは、前記撮影画像内に含まれる少なくとも１つのオブジェクトであり、前記電子機器は、前記基準オブジェクトに関する情報である基準オブジェクト情報と前記製品画像を含む製品画像情報とが格納された記憶部をさらに備えている。
【００１５】
ある実施形態において、前記基準オブジェクトは、前記撮影画像内に含まれる少なくとも１つのオブジェクトであり、前記電子機器は、前記基準オブジェクトの実寸データの入力を受け付けるインタフェースと、前記受け付けられた前記基準オブジェクトの実寸データと、前記製品画像を含む製品画像情報とが格納された記憶部とをさらに備えている。
【００１６】
ある実施形態において、前記基準オブジェクト情報には、前記基準オブジェクトの実寸サイズ情報が含まれており、前記製品画像情報には、前記製品画像の実寸サイズ情報が含まれており、前記制御回路は、前記表示装置に表示された前記基準オブジェクトの表示サイズと前記基準オブジェクトの実寸サイズとに基づいて合成比率を算出し、前記合成比率と前記製品画像の実寸サイズ情報とに基づいて、前記製品画像の表示位置および表示サイズを算出する。
【００１７】
ある実施形態において、前記制御回路は、前記基準オブジェクトの表示位置および表示サイズに基づいて、前記撮影画像内の他のオブジェクトの表示位置および表示サイズを算出する。
【００１８】
ある実施形態において、前記ユーザの操作に基づいて前記合成画像内の前記製品画像の表示位置を変更した場合、前記制御回路は、前記製品画像の表示位置に関する表示位置座標が、閾値を超えたか否かに基づいて、前記触覚提示部がユーザに触覚を提示するよう制御する。
【００１９】
ある実施形態において、前記触覚提示部は、前記製品画像の表示サイズの変更に応じて、ユーザに触覚を提示する。
【００２０】
ある実施形態において、前記製品画像情報には、製品の重量情報が含まれており、前記触覚提示部は、前記製品の重量情報に基づいて、ユーザに提示する触覚を変化させる。
【００２１】
ある実施形態において、前記撮影画像は、ステレオ撮影可能なステレオカメラで撮影された、左目用画像および右目用画像で構成される画像であり、前記記憶部には、前記左目用画像内の前記基準オブジェクトと前記右目用画像内の前記基準オブジェクトとから算出される視差情報が格納されており、前記制御回路は、前記視差情報に基づいて、基準オブジェクトの表示位置を算出する。
【００２２】
ある実施形態において、前記撮影画像は、前記基準オブジェクトを含む被写体の合焦位置を検出可能な撮像装置で撮影された画像であり、前記記憶部には、前記基準オブジェクトの合焦位置に基づいて算出された前記撮像装置から前記基準オブジェクトまでの距離情報が格納されており、前記制御回路は、前記距離情報に基づいて、前記基準オブジェクトの表示位置を算出する。
【００２３】
本発明のある実施形態によれば、合成画像の編集方法は、撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出するステップと、前記撮影画像内に前記製品画像を合成することで合成画像を生成するステップと、前記合成画像を表示装置に表示させるステップと、タッチパネルへのユーザの操作に応じて、前記合成された製品画像の表示位置および表示サイズを変更するステップとを包含する。
【００２４】
ある実施形態において、前記方法は、ユーザの前記操作に基づいて、ユーザに触覚を与える触覚ステップをさらに包含する。
【発明の効果】
【００２５】
本発明によれば、合成画像内での記録画像の合成位置の変更を容易に行うことができる電子機器を提供することができる。
【図面の簡単な説明】
【００２６】
【図１Ａ】電子機器１０の表示面側の外観を示す斜視図である。
【図１Ｂ】電子機器１０の背面側の外観を示す斜視図である。
【図２】電子機器１０の構成を示すブロック図である。
【図３】電子機器１０の断面図である。
【図４】実施形態１にかかる振動部１３の斜視図である。
【図５】実施形態１の振動パターンの一例を示す概略図である。
【図６】室内を撮影した撮影画像（リビング画像）５１を示す図である。
【図７】マーカ５０の位置に製品画像（テレビ画像）５１が表示された状態の表示画面の一例を示す図である。
【図８】実施形態１における電子機器の処理の流れを示すフローチャートである。
【図９】実施形態１における処理の流れを示すフローチャートである。
【図１０】実施形態１におけるユーザ操作の一例を表す図である。
【図１１】実施形態１におけるユーザ操作の一例を表す図である。
【図１２】図１０を用いて説明したユーザ操作の処理の流れを示すフローチャートである。
【図１３】図１１を用いて説明したユーザ操作（製品のサイズ変更）の処理の流れを示すフローチャートである。
【図１４】実施形態１におけるユーザ操作の一例を表す図である。
【図１５】図１４で説明したユーザ操作に関する処理の流れを説明するためのフローチャートである。
【図１６】（ａ）および（ｂ）は、本実施形態のユーザの操作の一例を示す図である。
【図１７】図１６に示すユーザ操作の処理の流れを示すフローチャートである。
【図１８】（ａ）および（ｂ）は、実施形態１の振動パターンの違いを示す図である。
【図１９】実施形態２におけるユーザによる操作の例を表す図である。
【図２０】実施形態２における基準寸法を入力して画像合成をする処理の流れを示すフローチャートである。
【図２１】立体撮影可能なステレオカメラ７０を示す概略図である。
【図２２】実施形態３における処理の流れを示すフローチャートである。
【図２３】ステレオカメラ７０で撮影された撮影画像を示す図である。
【図２４】家具搬入のシミュレーションを行う際の処理の流れを示すフローチャートである。
【図２５】デジタルカメラ９１と基準オブジェクト（テレビ）９２との間の被写体距離を示す図である。
【図２６】ＡＦ機能を用いてデプスマップを用いる際の処理の流れを示すフローチャートである。
【図２７】撮影画像として屋外の画像の例を示す図である。
【発明を実施するための形態】
【００２７】
以下、添付の図面を参照しながら、本発明の一実施形態である電子機器を説明する。
【００２８】
（実施形態１）
以下、図面を参照しながら本実施形態に係る電子機器１０について説明する。実施形態１では、あらかじめ撮影しておいた室内画像（例えばリビングの画像）に、購入予定の製品画像（例えばテレビの画像）を表示させ、その製品画像の表示位置や表示サイズなどを容易に変更可能な電子機器１０について説明する。
【００２９】
＜構成の説明＞
図１Ａ、図１Ｂ、図２、図３を用いて電子機器の全体構成を説明する。
【００３０】
図１Ａは、電子機器１０の表示面側の外観を示す斜視図であり、図１Ｂは、電子機器１０の背面側の外観を示す斜視図である。図１Ａに示すように、電子機器１０は、表示部１２と、タッチパネル１１と、筐体１４とを備える。また、図１Ｂに示すように、電子機器１０の背面側には、カメラ撮影用のレンズ１６が設けられている。
【００３１】
図２は、電子機器１０の構成を示すブロック図である。また、図３は、電子機器１０の断面図である。
【００３２】
図２に示すように、電子機器１０は、表示部１２と、表示制御部３２と、タッチパネル１１と、タッチパネル制御部３１と、触覚提示部４３と、カメラ１５と、カメラ制御部３５と、通信回路３６と、各種通信手段３７と、ＲＯＭ３８と、ＲＡＭ３９と、マイクロコンピュータ２０とを備える。
【００３３】
表示部１２は、いわゆる表示装置である。表示部１２は、撮影画像および製品画像を表示可能である。表示部１２は、文字、数字、図形、キーボード等を表示可能である。表示部１２として、例えば、液晶パネル、有機ＥＬパネル、電子ペーパ、プラズマパネルなどの公知の表示装置を用いることができる。
【００３４】
表示制御部３１は、マイクロコンピュータ２０によって生成される制御信号に基づいて、表示部１２への表示内容を制御する。
【００３５】
タッチパネル１１は、ユーザのタッチ操作を受け付ける。タッチパネル１１は、少なくとも操作領域を覆うように表示部１２上に配置されている。ユーザは、タッチパネル１１上を指やペンなどでタッチ操作することで電子機器１０を操作することができる。タッチパネル１１は、ユーザのタッチ位置を検知することができる。ユーザのタッチ位置の情報は、タッチパネル制御部３１を介してマイクロコンピュータ２０に送られる。タッチパネル１１として、例えば、静電式、抵抗膜式、光学式、超音波方式電磁式などのタッチパネルを用いることができる。
【００３６】
マイクロコンピュータ２０は、ユーザのタッチ位置の情報を用いて後述する各種の処理を行う制御回路（たとえばＣＰＵ）である。また、マイクロコンピュータ２０は、撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出する。また、マイクロコンピュータ２０は、撮影画像内に製品画像を合成することで合成画像を生成する。また、マイクロコンピュータ２０は、合成画像を表示部１２へ表示させる。マイクロコンピュータ２０は、制御手段の一例である。「製品画像」「基準オブジェクト」「合成画像」については後述する。
【００３７】
さらに、マイクロコンピュータ２０は、タッチパネル１１へのユーザのタッチ操作に応じて、合成された製品画像の表示位置および表示サイズを編集する。マイクロコンピュータ２０は、編集手段としての機能も有する。
【００３８】
触覚提示部４３は、ユーザの操作に応じて触覚情報をユーザに与える。本願明細書では、触覚情報は、たとえば振動によって与えられる。
【００３９】
触覚提示部４３は、振動部１３および振動制御部３３を有している。
【００４０】
振動部１３は、タッチパネル１１を振動させる。振動部１３は、ユーザに触覚を提示する機構の一例である。振動制御部３３は、振動部１３の振動パターンを制御する。振動部１３の構成や、振動パターンの詳細については後述する。
【００４１】
カメラ１５は、電子機器１０に搭載されており、カメラ制御部３５により制御される。ユーザは、電子機器１０に搭載されたカメラ１５を用いて、リビングなどの室内画像を撮影することができる。
【００４２】
通信回路３６は、例えばインターネットや、パーソナルコンピュータ等への通信を可能とする回路である。
【００４３】
また、電子機器１０は、音声を発生するスピーカ１７や、各種電子機器に対して入出力可能な各種入出力部３７を備える。
【００４４】
図３は、電子機器１０の断面図である。タッチパネル１１、表示部１２、振動部１３、回路基板１９が、筐体１４の中に格納されている。回路基板１９には、マイクロコンピュータ２０、ＲＯＭ３８、ＲＡＭ３９、各種制御部、電源など配置されている。
【００４５】
ＲＯＭ３８およびＲＡＭ３９は、電子情報を記憶する。電子情報は、以下の情報を含む。
電子情報の例：
・プログラムやアプリケーションなどのプログラム情報
・マーカ５０の特徴データ（たとえばマーカを特定するパターン、マーカの寸法情報）
・カメラ１５により撮影された撮影画像のデータ
・製品画像データ（たとえば合成したい製品（テレビ等）の形状や寸法に関する情報）
・振動部１３を振動させる波形が記録された振動波形データ
・撮影画像から、撮影物の表面の形状や、軟らかさ、硬さ、摩擦などを特定するための情報
なお、電子情報は、あらかじめ機器に記憶されたデータのみならず、インターネットなどを介して通信回路３６を介して取得された情報や、ユーザによって入力された情報も含む。
【００４６】
上述の「マーカ」とは予め定められたパターンである。パターンの例は、四方を実線で囲まれたクエスチョンマーク（「？」）である。マーカは、たとえばユーザによって紙にプリントされて、室内に設置される。
【００４７】
ＲＯＭ３８は、一般には電源を入れていない間も保持される不揮発性記録媒体である。またＲＡＭ３９は、一般には電源を入れている間のみ電子情報が保持される揮発性記録媒体である。揮発性記録媒体としては、ＤＲＡＭなどがあり、不揮発性記録媒体としては、ＨＤＤ、ＥＥＰＲＯＭなどの半導体メモリなどがある。
【００４８】
振動部１３は、タッチパネルに実装されており、タッチパネル１１を振動させることにより、ユーザに触覚を与えることができる。タッチパネル１１は筐体１４とスペーサ１８を介して配置されており、スペーサ１８によって、タッチパネル１１の振動が、筐体１４に伝わりにくいようになっている。スペーサ１８は、例えば、シリコンゴムやウレタンゴム等の緩衝部材である。
【００４９】
表示部１２は、筐体１４の中に配置されており、タッチパネル１１は、表示部１２を覆うように配置されている。タッチパネル１１、振動部１３、表示部１２は、それぞれ電気的に回路基板に接続されている。
【００５０】
図４を用いて振動部１３の構成を説明する。図４は、本実施形態の振動部１３の斜視図である。振動部１３は、圧電素子２１とシム板２２とベース２３とを備え、シム板２２の両側には、圧電素子２１が接着されている。シム板２２の両端がベース２３と接続されており、いわゆる両持ち構成になっている。ベース２３は、タッチパネル１１と接続されている。
【００５１】
圧電素子２１は、チタン酸ジルコン酸鉛等の圧電セラミックやニオブ酸リチウム等の圧電単結晶である。圧電素子２１は、振動制御部３３からの電圧により、伸縮する。シム板２２の両側に貼り付けられた圧電素子２１が片方が延びて、片方が縮むように制御することで、シム板がたわみ振動を発生することができる。
【００５２】
シム板２２は、リン青銅等のバネ部材である。シム板２２の振動はベース基板２３を通じて、タッチパネル１１を振動させ、タッチパネルを操作しているユーザはタッチパネルの振動を感知することができる。
【００５３】
ベース２３は、アルミや真鍮等の金属や、ＰＥＴやＰＰ等のプラスチックである。
【００５４】
振動の周波数、振幅、期間は振動制御部３３によって制御される。振動の周波数としては、１００〜４００Ｈｚ程度の周波数が望ましい。
【００５５】
なお、本実施形態では、圧電素子２１をシム板２２に貼り付けているが、圧電素子２１を直接タッチパネル１１に貼り付けてもよい。また、タッチパネル１１の上にカバー部材等がある場合は、圧電素子２１をカバー部材に貼り付けてもよい。また、圧電素子２１の替わりに振動モータを用いてもよい。
【００５６】
＜振動の説明＞
図５は、実施形態１の振動パターンの一例を示す概略図である。
【００５７】
マイクロコンピュータ２０の命令により、振動制御部３３が、振動部１３へ図７（ａ）に示すような波形の電圧を印加し、タッチパネル１１を振動させる。これにより、ユーザに触覚Ａが与えられる。触覚Ａを与えるための電圧は正弦波で、１５０Ｈｚ、７０Ｖｒｍｓ、２周期である。このときのタッチパネル１１上の振幅は、約５μｍ程度である。また、振動制御部３３は、振動部１３へ図７（ｂ）に示すような電圧を印加し、タッチパネル１１を振動させる。これにより、ユーザに触覚Ｂが与えられる。触覚Ｂを与えるための電圧は正弦波で、３００Ｈｚ、１００Ｖｒｍｓ、４周期である。なお、周波数、電圧、周期数に関しては一例であり、矩形波、のこぎり波など、別の波形や、間欠的な波形や、連続的に周波数や振幅が変化する波形などでもよい。
【００５８】
なお、本実施形態では、触覚Ａと触覚Ｂは異なる振動パターンとしたが、これに限らない。触覚Ａと触覚Ｂの振動パターンは同じでも良い。
【００５９】
いま、ユーザがテレビを購入する予定であり、リビングのどの位置にテレビを置くか検討している状態であるとする。
【００６０】
図６は、室内を撮影した撮影画像（リビング画像）５１を示す図である。図６は、例えばリビングを示している。ユーザは、購入予定のテレビを置きたい位置に、マーカ５０を置く。ユーザはカメラ１５を用いてマーカ５０が撮影範囲に入るようにリビングを撮影する。撮影された画像の中のマーカの位置に、購入予定のテレビの画像が表示される。マーカ５０は、基準オブジェクトの一例である。
【００６１】
このように、本実施形態では、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：以下、単にＡＲと称する場合がある。）技術を用いることを前提にしている。
【００６２】
図７は、マーカ５０の位置に製品画像（テレビ画像）５１が表示された状態の表示画面の一例を示す。このように、ＡＲ技術を用いることで、現実の画像の中に、架空の画像を表示させることができる。
【００６３】
図８は、実施形態１における電子機器の処理の流れを示すフローチャートである。ステップはＳと略する。
【００６４】
Ｓ１１において電子機器の処理が開始される。具体的にはユーザによる電源のＯＮや、プログラムの開始などである。その後、Ｓ１２において、ユーザによりタッチパネル１１がタッチされたかどうかについて、マイクロコンピュータ２０が判断する。例えば、タッチパネル１１が静電容量方式の場合、静電容量の変化をタッチパネル制御部３１が検出する。タッチパネル制御部３１は、検出した静電容量の変化に関する情報を、マイクロコンピュータ２０に送る。マイクロコンピュータ２０は、送られてきた情報に基づいて、ユーザによるタッチの有無を判断する。タッチされていない場合（Ｓ１２でＮｏ）には、再度タッチが行われるまで待機する。
【００６５】
タッチされた場合（Ｓ１２でＹｅｓ）は、Ｓ１３で各種処理が行われる。各種処理とは、カメラ撮影やユーザによる画像の操作や、撮影画像の表示、振動の提示に関する処理である。この各種処理は単一の処理の場合もあれば、連続的に複数の処理を行う場合や、並列で複数の処理を行う場合や、何も処理を行わない場合の処理を含む。この処理の例は、図９を参照しながら詳述する。
【００６６】
Ｓ１３にて各種処理が行われた後、Ｓ１４でマイクロコンピュータ２０が処理を終了するかどうかを判断する。具体的には、ユーザによる電源のＯＦＦ操作や、プログラムの終了などである。
【００６７】
図９は、実施形態１における処理の流れを示すフローチャートである。具体的には、図８で示したフローチャートにおける「各種処理（Ｓ１３）」の一例を説明するためのフローチャートである。
【００６８】
Ｓ２１でカメラ撮影が開始される。
【００６９】
その後、Ｓ２２でカメラ１５で撮影された撮影画像データは、カメラ制御部３５を介して、ＲＡＭ３９に送られ記憶される。
【００７０】
その後Ｓ２３において、マイクロコンピュータ２０は、ＲＡＭ３９内にあらかじめ記録されているマーカデータと撮影画像データを照合する。そして、マイクロコンピュータ２０は、撮影画像（リビング画像）５１内にマーカ５０が撮影されているかどうか判断する。
【００７１】
マーカ５０が撮影されていないと判断された場合（Ｓ２３でＮｏ）には、処理はＳ２４に進む。Ｓ２４では、マイクロコンピュータ２０が、撮影画像データを表示データとしてＲＡＭ３９に記憶させる。そして、マイクロコンピュータ２０は、表示データを表示制御部２０に送る。表示制御部２０は、送られてきた表示データに基づいて、表示部１２に画像を表示する。
【００７２】
マーカ５０が撮影されていると判断された場合（Ｓ２４でＹｅｓ）には、処理はＳ２６に進む。
【００７３】
マイクロコンピュータ２０は、マーカ５０の寸法情報や、合成したい製品（例えば購入予定のテレビ）の形状や寸法に関する情報を含む製品画像データに基づいて、撮影画像（リビング画像）５１に製品画像（テレビ画像）５２を合成するための合成倍率の計算を行う。以下、合成倍率の計算について具体的に説明する。
【００７４】
まずマイクロコンピュータ２０が、マーカ５０の実際の寸法データと撮影画像（リビング画像）５１内のマーカ５０の寸法データに基づいて、撮影画像（リビング画像）５１内のオブジェクト（壁や家具等）の大きさや、部屋の奥行きなどを計算する。具体的には、マイクロコンピュータ２０は、マーカ５０の実際の寸法と撮影画像（リビング画像）５１内のマーカ５０の寸法の比率を計算する。また、マイクロコンピュータ２０は、撮影画像（リビング画像）５１内のオブジェクト（壁や家具）のサイズを特定する。そして、計算結果とオブジェクトのサイズとに基づいて、撮影画像（リビング画像）５１内のオブジェクト（壁や家具）の実際の大きさや、部屋の奥行き等を計算する。このように計算された比率を合成倍率６１と称する。製品画像（テレビ画像）５２を撮影画像（リビング画像）５１（リビング）内に表示させる際の製品画像（テレビ画像）５２の大きさは、この合成倍率に基づいて決定される。マイクロコンピュータ２０は、これらの計算結果をＲＡＭ３９に記憶させる。
【００７５】
また、マイクロコンピュータ２０は、撮影画像（リビング画像）５１内のマーカ５０の位置を表すマーカ座標を取得し、ＲＡＭ３９に記憶させる。
【００７６】
その後、処理はＳ２７に進む。Ｓ２７では、マイクロコンピュータ２０は、Ｓ２６で計算された合成倍率に基づいて、製品画像（テレビ画像）５２、を拡大または縮小させる記録画像処理を行う。そして、記録画像処理が行われた製品画像に関するデータを、ＲＡＭ３９に記憶させる。以下、記録画像処理が行われた後の製品画像（テレビ画像）５２を加工画像５３と称する。加工画像とは、例えば、拡大縮小されたテレビ画像である。
【００７７】
その後、Ｓ２８でマイクロコンピュータ２０は、マーカ座標に基づいて、撮影画像（リビング画像）５２内のマーカ５０上に加工画像（テレビ画像）５３を合成し、表示画像としてＲＡＭ３９に記憶させる。
【００７８】
その後、Ｓ２４にて、表示制御部３２が、表示画像を表示部１２に表示させる。
【００７９】
図１０は、本実施形態１におけるユーザ操作の一例を表す図である。
【００８０】
ユーザは、電子機器の表示部１２に表示された表示画像を見て、加工画像（テレビ画像）５３の配置を少しずらしたいと思った場合、下記のような操作を行う。
【００８１】
まず、ユーザは、表示部１２に表示された加工画像（テレビ画像）５３の周辺にタッチし、加工画像（テレビ画像）５３をずらしたい方向に指でなぞる。そうすることにより、マイクロコンピュータ２０は、検出された指の移動量に応じた移動量だけ、表示されている加工画像（テレビ画像）５３が表示画面に対して相対的に移動させるよう、表示制御部３２に指示する。この画像を確認することで、ユーザは、製品が当初配置した位置とは違う配置になったときの部屋の雰囲気を確認できる。表示画像に対して、指のなぞりが水平方向の場合には、加工画像（テレビ画像）５３は横方向に移動する。その場合の加工画像（テレビ画像）５３は、大きさは変わらず平行移動するのみである。なお、説明の便宜上、以下では、マイクロコンピュータ２０が画像を移動させ、サイズを変更する、などと記述する。実際にはマイクロコンピュータ２０が表示制御部３２に指示し、表示制御部３２が画像の表示位置を移動する処理やサイズを変更する処理を行っていることに留意されたい。
【００８２】
図１１は、実施形態１におけるユーザ操作の一例を表す図である。
【００８３】
ユーザは、電子機器の表示部１２に表示された画像を見て、加工画像（テレビ画像）５３のサイズを変更したいと思った場合、下記のような操作を行う。
【００８４】
ユーザは、表示部１２に表示された加工画像５３の周辺に親指と人差し指でタッチし、２本の指の間隔を変える。マイクロコンピュータ２０は、２本の指の間隔の変化量に応じて、製品のサイズを変更する。以下、このような操作を「ピンチ操作」と称する場合がある。
【００８５】
加工画像５３がテレビ画像の場合、指の間隔の変化量に応じてテレビ画像のサイズが変化する。本実施形態においては、テレビ画像のサイズは、連続的な変化ではなく、実際発売されている規定サイズの値（３２，３７，４２インチなど）に応じて段階的に変化させている。
【００８６】
たとえば、指の間隔の変化量が予め定められた値（α）以上になると、１段階大きい規定サイズの画像を表示し、変化量が２・α以上になると、２段階大きい規定サイズの画像を表示すればよい。縮小時も同様に、指の間隔の変化量がα以下になると、１段階小さい規定サイズの画像を表示し、さらに変化量が２・α以下になると、段階小さい規定サイズの画像を表示すればよい。
【００８７】
加工画像（テレビ画像）５３にサイズの値が表示されるようにしてもよい。これにより、ユーザは、現在表示されている加工画像（テレビ画像）５３のサイズを知ることができる。なお、加工画像が表すオブジェクトによっては、画像サイズを段階的に変化させる必要はなく、連続的に変化させてもよい。
【００８８】
図１２は、図１０を用いて説明したユーザ操作の処理の流れを示すフローチャートである。
【００８９】
まず、Ｓ３１で、タッチパネル制御部３１によりユーザのタッチ位置の変化が検出される。
【００９０】
タッチ位置の変化が検出された場合（Ｓ３１でＹｅｓ）には、処理はＳ３２に進む。Ｓ３２で、マイクロコンピュータ２０が、タッチパネル制御部３１から検出されたタッチ位置の変化値を受け取る。マイクロコンピュータ２０は、受け取ったタッチ位置の変化値に基づいて、ユーザの指の移動量を算出する。そして、マイクロコンピュータ２０は、製品の表示位置の移動がユーザの指の移動量と同じになるよう、加工画像（テレビ画像）５３の移動量を計算する。マイクロコンピュータ２０は、マーカ座標（マーカ５０が配置された位置の座標）に加工画像（テレビ画像）５３の移動量を加えることで、合成位置座標を計算する。それぞれの値はＲＡＭ３９に保存される。マイクロコンピュータ２０は、撮影画像の合成位置座標位置に、加工画像（テレビ画像）５３を合成させて表示画像を作成する。この表示画像は、ＲＡＭ３９に保存される。
【００９１】
その後、Ｓ３４にて、上述の処理で作成された表示画像を表示部１２に表示するよう表示制御部３２が制御する。
【００９２】
タッチ位置の変化が検出されなかった場合（Ｓ３１でＮｏ）は、処理はＳ３５に進み終了する。
【００９３】
このような処理を行うことで、ユーザは表示部１２内で加工画像（テレビ画像）５３を自由に動かすことができる。
【００９４】
図１３は、図１１を用いて説明したユーザ操作（製品のサイズ変更）の処理の流れを示すフローチャートである。
【００９５】
まず、Ｓ４１で、タッチパネル制御部３１によりユーザのピンチ操作に伴うタッチ位置の変化量が検出される。たとえばユーザが２本の指でタッチし、その後、その２本の指の位置の少なくとも一方の位置が変化すると、その変化量が検出される。
【００９６】
ピンチ操作が検出された場合（Ｓ４１でＹｅｓ）には、処理はＳ４２に進む。Ｓ４２では、マイクロコンピュータ２０が、タッチパネル制御部３１により検出されたタッチ位置の変化量に基づいてピンチ量を計算する。ピンチ量とは、ピンチ操作時の指の間隔を示す。ユーザが２本の指でタッチしたときの指の間隔を基準としたとき、指の間隔が広がるとピンチ量は大きくなり、指の間隔が狭まるとピンチ量が小さくなる。
【００９７】
マイクロコンピュータ２０は、ピンチ量の変化に基づいて、合成倍率（製品の表示サイズの変化率）を変化させる。具体的には、マイクロコンピュータ２０は、ピンチ量が大きくなった場合には合成倍率を大きくし、また、ピンチ量が小さくなった場合に合成倍率を小さくする。マイクロコンピュータ２０は、合成倍率に基づいて、製品画像（テレビ画像）５２の表示サイズを拡大または縮小処理して、加工画像（テレビ画像）５３を作成する。このとき、その製品のサイズがユーザにわかるように加工画像（テレビ画像）５３にテレビのサイズ値が表示させるように合成してもよい。合成倍率の値は、ＲＡＭ３９に保存され、ピンチ操作が行われる度に更新される。そして、マイクロコンピュータ２０は、撮影画像（リビング画像）５１のマーカ座標の位置に、拡大または縮小処理が施された加工画像５３を合成させて表示画像を作成する。この表示画像は、ＲＡＭ３９に保存される。
【００９８】
続いてＳ４４にて、上述の処理で作成された表示画像を表示部１２に表示するよう表示制御部３２が制御する。
【００９９】
タッチ位置の変化が検出されなかった場合（Ｓ４１でＮｏ）は、処理はＳ４６に進み終了する。
【０１００】
図１４は、実施形態１におけるユーザ操作の一例を表す図である。
【０１０１】
ユーザは、表示部１２に表示された表示画像を見て、製品の配置をずらしたいと思った場合、下記のような操作を行う。
【０１０２】
ユーザは、表示部１２に表示された加工画像（テレビ画像）５３の周辺にタッチし、加工画像（テレビ画像）５３をずらしたい方向に指でなぞる。加工画像（テレビ画像）５３は指のなぞりに追従して表示部１２に表示される。例えば、図１４に示すように、ユーザが製品を壁際に配置したいと考えた場合、ユーザは壁がある方向に指でなぞることで、加工画像（テレビ画像）５３もなぞり操作に追従して表示画像内で移動する。そして、加工画像（テレビ画像）５３の端部が壁に当たった場合、振動部１３が振動することでユーザに触覚を示す。
【０１０３】
ここでの触覚は、ユーザに対して、これ以上加工画像（テレビ画像）５３を壁方向に移動させることができないという警告を与えるものである。このような警告は振動などの触覚だけでなく、音や、光、色の変更などユーザに注意喚起できるものであれば手段はどのようなものでもよい。
【０１０４】
加工画像５３の端部が壁に当たったかどうかを判定するためには、当該端部と壁の位置を特定し、壁の位置と端部の位置とが一致するかどうかを判定する必要がある。壁の位置は、たとえば、ユーザによって特定されてもよいし、ＲＡＭ３９に予め保持された壁のパターンとマッチする画像上のオブジェクトを壁として認識してもよい。
【０１０５】
また、マイクロコンピュータ２０が端部と壁の間の画像上の距離を測定し、その距離が０か否かを判定することにより、加工画像５３の端部が壁に当たったかどうかを判定してもよい。マイクロコンピュータ２０は、ＲＯＭ３８またはＲＡＭ３９に記憶されたマーカ５０の特徴データ（寸法情報）に基づいて、そのマーカと壁までの距離を、端部と壁の間の画像上の距離として求めればよい。
【０１０６】
図１５は、図１４で説明したユーザ操作に関する処理の流れを説明するためのフローチャートである。
【０１０７】
ここで説明する処理は、図８で示すフローチャートのＳ１３「各種処理」に関する処理である。図８に示すフローチャートのＳ１２でユーザによるタッチ有りと判断されると、処理はＳ５１に進む。Ｓ５１では、ユーザによるタッチ位置の変化が検出される。具体的には、タッチパネル１１上でのユーザのタッチ位置およびタッチ位置の変化が、タッチパネル制御部３１により検出される。タッチパネル制御部３１で検出されたユーザのタッチ位置に関する情報は、マイクロコンピュータ２０に送られる。そして、処理はＳ５２へ進む。
【０１０８】
Ｓ５２では、加工画像（テレビ画像）５３の合成位置の再計算が行われる。具体的には、マイクロコンピュータ２０が、ユーザのタッチ位置に関する情報に基づいて、ユーザの指の移動量を計算する。マイクロコンピュータ２０は、この移動量をマーカ座標に加算することで、加工画像（テレビ画像）５３を合成する位置を再計算する。
【０１０９】
マイクロコンピュータ２０による合成位置の計算結果は、表示制御部３２へ送られる。表示制御部３２は、送られてきた情報に基づいて、加工画像（テレビ画像）５３を表示部１２に表示する。加工画像（テレビ画像）５３の合成位置の計算とその表示とが繰り返し行われることで、加工画像（テレビ画像）５３がユーザのなぞり操作に追従しているよう表示部１２表示される。そして、処理はＳ５３へ進む。
【０１１０】
Ｓ５３では、加工画像（テレビ画像）５３の合成位置を示す座標（以下、「合成座標」と称する場合がある。）が規定値以下であるか否かが判断される。具体的には、加工画像（テレビ画像）５３の端部（例えば、テレビの左側面部）の座標が、あらかじめＲＡＭ３９に記憶された規定座標以下であるかどうかを、マイクロコンピュータ２０が判断する。この規定座標とは、例えば、図１４に表示された壁の位置を規定する座標である。合成座標が規定値以下である場合は、加工画像（テレビ画像）５３は壁に接触していない状態である。合成座標が規定値以上である場合は、加工画像（テレビ画像）５３が壁に接触している、あるいは壁と重複しているという状態である。
【０１１１】
合成座標が規定値より大きいと判断された場合（Ｓ５３でＹｅｓ）は、処理はＳ５４に進む。Ｓ５４では、撮影画像（リビング）の合成座標の位置に加工画像（テレビ画像）５３が合成される。マイクロコンピュータ２０は、合成された画像に関するデータを表示データとして表示制御部３２に送る。また、マイクロコンピュータ２０は、この表示データをＲＡＭ３９に記憶させる。そして、処理はＳ５５へ進む。
【０１１２】
Ｓ５５では、表示制御部３２が、送られてきた表示データに基づいて、画像を表示する。ここで表示される画像は、加工画像（テレビ画像）５３が移動した後の画像である。
【０１１３】
一方、Ｓ５３で合成座標が規定値以下であると判断された場合（Ｓ５３でＮｏ）は、処理はＳ５６へ進む。Ｓ５６では、振動部１３が振動することでユーザに触覚が与えられる。具体的には、合成位置が規定値以下であると判断された場合、マイクロコンピュータ２０から振動制御部３３に振動パターンに関する振動データが送られる。振動制御部３３は、送られてきた振動データに基づいて、振動部１３を振動させる。ユーザはタッチパネル１１を触っている状態なので、この振動を感知することができる。ユーザは振動を感知することで、加工画像（テレビ画像）５３をこれ以上移動させることができないことを認識することができる。また、図１４に示すように、加工画像（テレビ画像）５３の左上に、テレビが壁に接触したことを示す星形のパターンを表示してもよい。
【０１１４】
なお、加工画像（テレビ画像）５３が壁の位置を通り過ぎるように表示されてしまうとユーザに違和感を与えてしまうので、加工画像（テレビ画像）５３の端部が壁に接触した場合、それ以上加工画像（テレビ画像）５３は移動しないよう、マイクロコンピュータ２０が制御している。
【０１１５】
図１６（ａ）および（ｂ）は、本実施形態のユーザの操作の一例を示す図である。
【０１１６】
ユーザは、表示部１２に表示された表示画像を見て、加工画像（テレビ画像）５３のサイズを変化したいと思った場合、下記のような操作を行う。
【０１１７】
まず、ユーザは、表示部１２に表示された加工画像（テレビ画像）５３の周辺に親指と人差し指とでタッチし、２本の指の間隔を変えることで製品のサイズを変更する。本実施形態では、加工画像（テレビ画像）５３がテレビ台の上に置いてある場合を想定している。
【０１１８】
本実施形態では、ユーザが加工画像（テレビ画像）５３のサイズを変更する際、加工画像（テレビ画像）５３のサイズが所定の大きさを超えた場合に、振動による警告をユーザに与える。このような警告は、段階的に複数回ユーザに与えられる。
【０１１９】
たとえば製品(加工)画像がテレビの画像であるとする。テレビの画像は、矩形のテレビフレーム部分と、当該テレビフレームよりも左右方向に短い台座部分とを含む。製品(加工)画像のサイズが拡大され、テレビフレーム部分のサイズがテレビ台の画像サイズを超えるときに第１段階目の警告を与える。そして、加工画像（テレビ画像）５３の台座部分の大きさがテレビ台の画像サイズを超えるときに第２段階目の警告を与える。本実施形態では、第１段階目の警告の後から第２段階目の警告が与えられるまでは、製品のサイズ変更は行われる。しかし、第２段階目の警告が与えられた後は、製品のサイズ変更は行われない。
【０１２０】
上述の処理の前提として、マイクロコンピュータ２０は、撮影された画像の中から、テレビ台のパターンを識別しておく必要がある。マイクロコンピュータ２０は、たとえばマーカ（図示せず）を認識し、そのマーカが配置されたオブジェクト（すなわちテレビ台）のパターンを認識することによって実現される。または、ユーザがテレビ台の範囲を入力してもよい。
【０１２１】
図１７は、図１６に示すユーザ操作の処理の流れを示すフローチャートである。
【０１２２】
ここで説明する処理は、図８で示すフローチャートのＳ１３「各種処理」に関する処理である。図８に示すフローチャートのＳ１２でユーザによるタッチ有りと判断されると、処理はＳ６１に進む。Ｓ６１では、ユーザによるピンチ操作が行われたか否かが判断される。具体的には、タッチパネル制御部３１によりユーザのピンチ操作に伴うタッチ位置の変化量が検出される。
【０１２３】
ピンチ操作が検出された場合（Ｓ６１でＹｅｓ）には、処理はＳ６２に進む。Ｓ６２では、マイクロコンピュータ２０が、タッチパネル制御部３１により検出されたタッチ位置の変化量に基づいてピンチ量を計算する。ピンチ量とは、ピンチ操作時の指の間隔の変化量を示す。ユーザが２本の指でタッチしたときの指の間隔を基準としたとき、指の間隔が広がるとピンチ量は大きくなり、指の間隔が狭まるとピンチ量が小さくなる。
【０１２４】
マイクロコンピュータ２０は、ピンチ量の変化に基づいて、合成倍率（製品の表示サイズの変化率）を変化させる。具体的には、マイクロコンピュータ２０は、ピンチ量が大きくなった場合には合成倍率を大きくし、また、ピンチ量が小さくなった場合に合成倍率を小さくする。表示されている加工画像（テレビ画像）５３に合成倍率を乗算した値が、合成後のサイズ（以下、単に合成サイズと称する場合がある。）になる。合成倍率が計算された後、処理はＳ６３に進む。
【０１２５】
Ｓ６３では、合成サイズが規定値以下であるか否かが判断される。具体的には、加工画像（テレビ画像）５３のサイズが、テレビ台のサイズ以下であるか否かが、マイクロコンピュータ２０により判断される。テレビ台のサイズは、ユーザがあらかじめ入力しておいてもよい。または、マーカ５０の実際の寸法と撮影画像（リビング画像）５１内のマーカ５０の寸法との比率から、テレビ台のサイズを計算してもよい。上述の処理は、マイクロコンピュータ２０によって行われる。
【０１２６】
合成サイズが規定値以下であると判断された場合（Ｓ６３でＹｅｓ）には、処理はＳ６４に進む。Ｓ６４では、マイクロコンピュータ２０は、サイズ変更された加工画像（テレビ画像）５３を撮影画像（リビング画像）５１に合成し、表示データを生成する。この表示データは、ＲＡＭ３９に記憶される。表示データが生成されると、処理はＳ６５に進む。
【０１２７】
Ｓ６５では、表示制御部３２が、表示データに基づいて表示部１２に加工画像（テレビ画像）５３のサイズが変更された画像が表示される（図１６（ｂ）に示す状態）。
【０１２８】
一方、Ｓ６３で、合成サイズが規定値よりも大きいと判断された場合（Ｓ６３でＮｏ）には、処理はＳ６６で進む。Ｓ６６では、振動部１３が振動することでユーザに触覚が与えられる。具体的には、合成サイズが規定値より大きいと判断されると、マイクロコンピュータ２０は振動制御部３３に振動パターンに関する振動データを送る。振動制御部３３は、送られてきた振動データに基づいて、振動部１３を振動させる。ユーザはタッチパネル１１を触っている状態なので、この振動を感知することができる。
【０１２９】
Ｓ６６にてユーザに触覚が与えられると、処理はＳ６７に進み終了する。
【０１３０】
このような処理を行うことにより、ユーザは撮影画像内に表示された加工画像（テレビ画像）５３を所望の位置に動かすことが出来る。また、加工画像（テレビ画像）５３の動きに関連づけて様々な振動を与えることで、ユーザの操作はより一層容易となる。
【０１３１】
なお、加工画像（テレビ画像）５３を動かす場合、マイクロコンピュータ２０は下記のような制御を行っても良い。例えば、図１８（ａ）に示すように、サイズの大きなテレビを動かす場合は、ユーザの指とタッチパネルとの摩擦が大きくなるような振動を与えてもよい。また、図１８（ｂ）に示すように、サイズの小さなテレビを動かす場合は、サイズの大きなテレビを動かす場合よりも振動の強さを弱めてもよい。このような制御を行うことで、より現実感を高めることが可能になるとともに、ユーザに様々な情報を与えることができる。
【０１３２】
ユーザの指とタッチパネルとの摩擦が大きくなるような振動とは、たとえば、主にパチニ小体が発火する高い周波数域の振動を意味する。パチニ小体とは、人の指に存在する複数種類の触覚受容器の一つである。パチニ小体は、比較的感度が高く、８０Ｈｚ程度の振動に対しては、２μｍの押し込み振幅で発火する。振動周波数を例えば、１０Ｈｚに落とすと、感度は低くなり、発火閾値は１００μｍと大きくなる。パチニ小体は、１００Ｈｚをピーク感度として、周波数に応じた感度分布を有する。マイクロコンピュータ２０は、上述した周波数に応じた振幅でタッチパネル１１を振動させる。これにより、パチニ小体が発火し、ユーザにとってタッチパネルとの摩擦が大きくなったような触感を与えることが可能になる。
【０１３３】
また、テレビ等の製品が置かれる場所に応じて異なる振動を与えるように制御しても良い。例えば、テレビをカーペットのような摩擦の大きな場所に置く場合は、テレビを動かす際に、摩擦が大きくなるような振動をさせてもよく、フローリングのように摩擦が小さい場所に置く場合は、振動を弱くしてもよい。
【０１３４】
また、製品が置かれる場所に段差や突起がある場合などは、製品がその上を通過する際に振動を与えるように制御してもよい。
【０１３５】
＜実施形態２＞
実施形態１ではマーカを用いて製品の表示位置や表示寸法を算出していたが、本実施形態にかかる電子機器は、マーカではなくあらかじめリビング内に配置されている家具を用いて、製品の表示位置や表示寸法を算出する。
【０１３６】
図１９は、実施形態２におけるユーザによる操作の例を表す図である。
【０１３７】
ユーザは、製品を置きたい室内を撮影する。撮影した画像は、電子機器の表示装置１２に表示される。ユーザは、あらかじめ寸法の分かった家具が表示されている場所をタッチする。マイクロコンピュータ２０は、ユーザからのタッチ操作を受付け、電子機器が認識した家具（基準オブジェクト６３）の寸法を入力するための入力画面６４を表示させる。ユーザは、あらかじめ測定しておいた家具の寸法を入力画面６４に入力する。マイクロコンピュータ２０は、撮影画像データの基準オブジェクト６３の寸法とユーザにより入力された寸法の比から合成倍率を計算しＲＡＭ３９に保存する。その後、ユーザは製品を配置したい位置にタッチする。マイクロコンピュータ２０は、タッチパネル制御部３１よりタッチ座標を取得し、合成位置座標を計算する。マイクロコンピュータは、合成倍率６１に基づいて記録画像データの画像処理を行い、処理記録画像データを作成し、ＲＡＭ３９に保存する。その後、合成位置座標をもとに、処理記録画像データを、撮影画像データに合成して、表示データを作成し、表示制御部３２により、表示部に表示する。
【０１３８】
図２０は、実施形態２における基準寸法を入力して画像合成をする処理の流れを示すフローチャートである。
【０１３９】
ここで説明する処理は、図８で示すフローチャートのＳ１３「各種処理」に関する処理である。図８に示すフローチャートのＳ１２でユーザによるタッチ有りと判断されると、処理はＳ７１に進む。Ｓ７１では、ユーザによる撮影が行われる。
【０１４０】
その後、処理はＳ７２に進む。Ｓ７２では、撮影画像の取り込みが行われる。具体的には、マイクロコンピュータ２０が、カメラ１５およびカメラ制御部３５で撮影された撮影画像データをＲＡＭ３９に保存する。撮影画像の取り込みが行われた後、処理はＳ７３へ進む。
【０１４１】
Ｓ７３では、ユーザによる基準オブジェクト６３の選択が行われる。基準オブジェクト６３とは、撮影画像内に加工画像（テレビ画像）５３を合成する際に、加工画像（テレビ画像）５３が表示寸法を算出するための基準となる画像である。ここでは、あらかじめ室内に配置されている箪笥の画像が基準オブジェクト６３として設定される。具体的には、表示部１２に表示された撮影画像内の箪笥をタッチすることで、この箪笥の画像が基準オブジェクトとして設定される。基準オブジェクト６３が設定されると、処理はＳ７４へ進む。
【０１４２】
Ｓ７４では、マイクロコンピュータ２０は、基準オブジェクト６３の寸法を入力するためのインタフェース画面を表示する。インタフェース画面の入力欄に、ユーザは基準オブジェクト６３の寸法を入力する。具体的には、Ｓ７３でユーザによる基準オブジェクト６３の選択が行われると、マイクロコンピュータ２０は、基準オブジェクト６３近傍の表示画面１２にインタフェース画面（寸法入力画面）６４を表示する。ユーザは、たとえばソフトウェアキーボードやハードウェアキーボード（いずれも図示せず）を利用して、寸法入力画面６４に箪笥の寸法を入力することができる。なお、上述のインタフェース画面、ソフトウェアキーボード、ハードウェアキーボードは、インタフェースと記述されることがある。ユーザによる寸法入力が完了すると、処理はＳ７５へ進む。
【０１４３】
Ｓ７５では、加工画像（テレビ画像）５３の合成位置の選択が行われる。具体的には、ユーザが加工画像（テレビ画像）５３を配置したい位置をタッチすると、タッチされた位置座標の情報がタッチパネル制御部３１からマイクロコンピュータ２０に送られる。マイクロコンピュータ２０は、タッチされた位置座標に基づいて、合成位置座標を計算し、ＲＡＭ３９に保存する。合成位置が選択されると、処理はＳ７６に進む。
【０１４４】
Ｓ７６では、基準オブジェクト６３の認識が行われる。具体的には、撮影画像内に基準オブジェクト６３が表示されているか否かがマイクロコンピュータ２０により判断される。基準オブジェクト６３が表示されていると判断された場合は、処理はＳ７７に進む。
【０１４５】
Ｓ７７では、合成倍率の計算が行われる。具体的には、マイクロコンピュータ２０が、基準オブジェクト６３の実際の寸法と表示画面内での寸法との比率に基づいて、加工画像（テレビ画像）５３の表示寸法を計算する。そして、計算された合成内率に基づいて、加工画像（テレビ画像）５３の拡大縮小等の画像処理が行われ（Ｓ７８）、撮影画像（リビング画像）５１への合成が行われ（Ｓ７９）、表示データが生成される。表示データは、ＲＡＭ３９に記録される。その後、Ｓ８０において、生成された表示データが表示部１２に表示される。
【０１４６】
一方、Ｓ７６で、基準オブジェクト６３が認識されなかった場合は、合成倍率の計算等が行われることなく処理はＳ８０へ進み、撮影画像（リビング画像）５１がそのまま表示される。
【０１４７】
マーカを利用する場合には、マーカの準備、および寸法情報を予め保持しておかなければならない。本実施形態のように、ユーザが基準オブジェクトを選択肢、その寸法情報を入力することにより、マーカおよび寸法情報の準備が不要となる。
【０１４８】
＜実施形態３＞
実施形態１や２では、加工画像（テレビ画像）５３を合成する位置や表示寸法を、マーカ５０や基準オブジェクト６３を用いて算出していた。本実施形態にかかる電子機器は、立体撮影可能なカメラを用いて合成位置や表示寸法を算出する。
【０１４９】
図２１は、立体撮影可能なステレオカメラ７０を示す概略図である。ステレオカメラ７０は、ボディ７３と、第１鏡筒７１と、第２鏡筒７２と、を備える。第１鏡筒７１と第２鏡筒７２は、水平方向に並んで配置されている。第１鏡筒７１で撮影された画像と、第２鏡筒７２で撮影された画像との間には視差が生じているため、この視差情報を用いることで撮影された画像の奥行き等を算出することができる。
【０１５０】
図２２は、実施形態３における処理の流れを示すフローチャートである。
【０１５１】
ここで説明する処理は、図８で示すフローチャートのＳ１３「各種処理」に関する処理である。図８に示すフローチャートのＳ１２でユーザによるタッチ有りと判断されると、処理はＳ８１に進む。Ｓ８１では、ユーザによる立体画像撮影が行われる。２つの鏡筒で撮影された２つの画像間に視差が生じる。そして、マイクロコンピュータ２０は、視差情報を用いてデプスマップ作成する（Ｓ８２）。デプスマップとは、撮影画像内のそれぞれの位置における奥行き寸法に関する情報である。
【０１５２】
次に、ユーザは製品を配置したい位置をタッチする。マイクロコンピュータ２０は、タッチされた位置座標とデプスマップとに基づいて、製品を合成する位置を算出する（Ｓ８３）。その後、記録画像処理（Ｓ８４）、撮影画像との合成（Ｓ８５）、撮影画像の表示（Ｓ８６）が行われる。これらの処理は、実施形態１や２で説明した処理と同様の処理であるため、再度の説明を省略する。
【０１５３】
図２３は、ステレオカメラ７０で撮影された撮影画像を示す。撮影画像は、ユーザの家の玄関先からリビングまでの廊下を撮影した画像である。例えば、ユーザが家具８１を購入した場合、家具８１が家の廊下や玄関の幅より大きい場合、リビングまで搬入できないことがある。本実施形態によれば、ユーザは、購入した家具８１を部屋の中へ搬入できるか否かのシミュレーションを行うことができる。具体的には、ユーザは家具８１を指で操作することで、家具搬入のシミュレーションを行う。ユーザは家具８１を指でタッチし、廊下の奥のほうで指をなぞることで、家具８１を動かすことができる。撮影画像のデプスマップがあらかじめ作成されているので、デプスマップの情報に基づいて、家具８１が廊下の奥の方に行くにつれて家具８１の大きさは小さくなるよう画像処理される。また、ユーザは家具８１上の指を回転させるようになぞることで、家具８１を回転させたり向きを変えたりすることができる。ユーザはこのような操作を行いながら、家具８１を廊下の奥まで動かすことで、無事に家具を搬入できるかどうかのシミュレーションをすることができる。
【０１５４】
なお、ユーザの回転操作を検出した場合には、マイクロコンピュータ２０は、たとえばその回転操作の回転中心に回転軸があると推定する。そしてデプスマップを参照して、その回転軸がどの方向に延びているかを特定する。デプスマップにより、回転軸が奥行き方向に延びているのか、ある奥行き位置に沿って左右方向に延びているのかを特定することができる。回転軸を特定することができれば、マイクロコンピュータ２０は、その回転軸に沿って家具８１を回転させるよう合成位置、合成倍率、合成各度を計算すればよい。
【０１５５】
図２４は、家具搬入のシミュレーションを行う際の処理の流れを示すフローチャートである。
【０１５６】
ここで説明する処理は、図８で示すフローチャートのＳ１３「各種処理」に関する処理である。図８に示すフローチャートのＳ１２でユーザによるタッチ有りと判断されると、処理はＳ９１に進む。Ｓ９１では、タッチ位置の変化が検出される。具体的には、ユーザの指のタッチに関する情報がタッチパネル制御部３１からマイクロコンピュータ２０に送られる。その後処理はＳ９２へ進む。
【０１５７】
Ｓ９２では、ユーザのタッチ位置の変化に応じた画像処理が行われる。具体的には、家具８１の合成位置や表示倍率の再計算が行われる。ユーザのタッチ位置の変化が廊下の奥の方に沿った変化の場合は、家具８１が奥の方へ動かされていることになるので、家具８１の表示寸法が小さくなるように画像処理され、また、ユーザのタッチ位置の変化が横方向の場合は、家具８１の位置が横にずれることになるので家具８１の合成位置が再計算される。次に、処理はＳ９３へ進む。
【０１５８】
Ｓ９３では、タッチ位置の変化が回転変化であるか否かが検出される。具体的には、ユーザの指のタッチに関する情報がタッチパネル制御部３１からマイクロコンピュータ２０に送られる。ユーザのタッチ位置の変化が回転変化である場合（Ｓ９３でＹｅｓ）、処理はＳ９５へ進む。
【０１５９】
Ｓ９５では、ユーザのタッチ位置の回転変化の変化量に基づいて、家具８１を合成表示させる際の合成角度が再計算される。合成角度が計算された後、その角度に基づいて撮影画像に家具８１が合成される（Ｓ９６）。その後、合成画像が表示部１２に表示され（Ｓ９７）処理が終了する。
【０１６０】
一方、Ｓ９３で、タッチ位置の回転変化が検出されなかった場合（Ｓ９３でＮｏ）、処理はＳ９４へ進む。Ｓ９４では、家具８１の合成位置が規定値内か否かが判定される。撮影画像には壁や天井などが表示されている。家具８１が壁や天井をすり抜けてしまっては、家具搬入のシミュレーションとしての意味をなさなくなる。そこで、家具８１が壁や天井に接触した場合、電子機器１０は、ユーザに振動等の触覚を提示する。これにより、ユーザは、家具８１をこれ以上動かすことができないことを認識することができる。本実施形態では、上述した規定値とは、家具８１を自在に動かすことができる範囲を定めた値を示す。具体的には、壁や天井が表示されていない領域の座標を算出することで、家具８１を動かすことができる範囲を算出することができる。
【０１６１】
Ｓ９３で、家具８１の位置が規定値内であるとマイクロコンピュータ２０により判断された場合は、処理はＳ９６、Ｓ９７と順次進む。一方で、家具８１の位置が規定値外であるとマイクロコンピュータ２０により判断された場合、処理はＳ９８に進む。Ｓ９８では、家具８１の位置が規定値外であるという情報がマイクロコンピュータ２０から振動制御部３３に送られる。振動制御部３３は、送られてきた情報に基づいて振動部１３を振動させる。この振動がユーザの指に伝わることにより、ユーザは家具８１が壁や天井に当たっていることを認識することができる。
【０１６２】
上述したような処理を繰り返すことにより、ユーザは購入予定の家具８１をリビング等の所望の部屋に搬入できるかどうかのシミュレーションを行うことができる。
【０１６３】
＜実施形態４＞
本実施形態に係る電子機器は、撮影画像内の奥行き情報を、デジタルカメラのオートフォーカス機能（以下単にＡＦと称することがある。）を用いることで算出している点で、上述の実施形態とは異なる。
【０１６４】
図２５は、デジタルカメラ９１と基準オブジェクト（テレビ）９２との間の被写体距離を示す図である。デジタルカメラ９１は、図示しないＡＦレンズを備えている。図に示すように、デジタルカメラ９１の焦点が合う位置を検出することで、デジタルカメラ９１から基準オブジェクト（テレビ）９２までの距離を算出することができる。この距離を用いることで、撮影画像内のデプスマップを算出することができる。このデプスマップを用いることで、購入予定のテレビ等を配置する位置を算出することができる。
【０１６５】
図２６は、ＡＦ機能を用いてデプスマップを用いる際の処理の流れを示すフローチャートである。
【０１６６】
デジタルカメラ９１の電源が投入されると、Ｓ１０１においてＡＦレンズの焦点距離が無限遠になるようＡＦレンズを移動する。その後Ｓ１０２において、デジタルカメラ９１による撮影が開始される。撮影が開始されると、Ｓ１０３において、デジタルカメラ９１により撮像された画像のコントラストから合焦位置が判別される。合焦位置に関する情報はマイクロコンピュータ２０に送られ、マイクロコンピュータ２０は合焦位置に関する情報に基づいてデプスマップを作成する。撮影が終了すると、Ｓ１０４でＡＦレンズが至近側へ移動する。その後、Ｓ１０５において、ＡＦレンズが最至近側へ位置しているか否かが判定される。ＡＦレンズが最至近位置にある場合（Ｓ１０５でＹｅｓ）は、処理は終了する。ＡＦレンズが最至近位置に無い場合（Ｓ１０５でＮｏ）、処理はＳ１０２へ戻り再度合焦位置検出が行われる。
【０１６７】
＜実施形態５＞
上述のいずれの実施形態でも、室内を撮影した撮影画像を用いて説明した。撮影画像はこれには限らない。例えば図２７に示すように屋外の画像であってもよい。例えば、家１１１の周りに外灯１１２を設置する場合、家１１１が写った撮影画像を電子機器に取り込み、外灯１１２を合成するようにしてもよい。上述の実施形態のように、外灯１１２の位置を自由に変更することで、外灯１１２の光により作られる家の陰がどのような位置や形状で現れるかをシミュレーションすることができる。
【０１６８】
＜実施形態のまとめ＞
上述したように、電子機器１０は、表示部１２と、タッチパネル１１と、マイクロコンピュータ２０（制御回路の一例）とを備える。表示部１２は撮影画像および製品画像を表示可能である。タッチパネル１１は、ユーザのタッチ操作を受け付ける。マイクロコンピュータ２０は、撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出し、前記撮影画像内に前記製品画像を合成することで合成画像を生成し、前記合成画像を前記表示部へ表示させる。また、マイクロコンピュータ２０は、タッチパネルへのユーザのタッチ操作に応じて、合成された製品画像の表示位置および表示サイズを編集する。
【０１６９】
このような構成により、ユーザは、合成画像内での製品画像の合成位置の変更を容易に行うことができる。
【０１７０】
また、電子機器１０は、ユーザの操作に応じて触覚情報をユーザに与える振動部１３（触覚提示部）を備える。
【０１７１】
このような構成により、ユーザは自らがどのような操作を行ったかを認識することが出来る。
【０１７２】
また、基準オブジェクトは、製品画像と関連付けられたマーカ情報を含むマーカであってもよい。そして、電子機器１０は、マーカ情報と製品画像を含む製品画像情報とが格納された記憶部をさらに備えてもよい。
【０１７３】
このような構成により、電子機器１０は、撮影画像（例えばリビング）内のマーカが配置された位置に製品画像（例えばテレビ）を表示させることができる。したがって、ユーザは、購入予定のテレビとリビングとの調和を確認することができる。
【０１７４】
また、マーカ情報には、マーカの実寸サイズ情報が含まれており、製品画像情報には、製品画像の実寸サイズ情報が含まれてもよい。そして、マイクロコンピュータ２０は、表示部１２に表示されたマーカ５０の表示サイズとマーカ５０の実寸サイズとに基づいて合成比率を算出し、合成比率と製品画像の実寸サイズ情報とに基づいて、製品画像の表示位置および表示サイズを算出してもよい。
【０１７５】
このような構成により、製品画像（例えばテレビ）の大きさを撮影画像（例えばリビング）の大きさに合わせることができるので、撮影画像（例えばリビング）内に製品画像（例えばテレビ）を違和感無く表示させることができる。したがって、ユーザは、購入予定のテレビとリビングとの調和を確認することができる。
【０１７６】
また、マイクロコンピュータ２０は、マーカ５０の表示位置および表示サイズに基づいて、撮影画像内のオブジェクトの表示位置および表示サイズを算出してもよい。
【０１７７】
撮影画像内のオブジェクトとは、例えば、リビングにあらかじめ配置されている家具や、壁などである。
【０１７８】
このような構成により、例えば、リビングにあらかじめ配置されていた家具の位置や大きさ、また、リビングの広さや奥行きなどを算出することができる。
【０１７９】
また、マイクロコンピュータ２０は、ユーザのタッチ操作に基づいて製品画像の表示位置が変更された場合、製品画像の表示位置に関する表示位置座標が閾値を超えたか否かに基づいて、振動部がユーザに触覚を提示するよう制御してもよい。
【０１８０】
また閾値は、撮影画像内のオブジェクトの表示位置に関する表示位置座標から算出されてもよい。そして、マイクロコンピュータ２０は、製品画像の表示位置座標が閾値を超えた場合、前記触覚提示部がユーザに触覚を提示するよう制御してもよい。
【０１８１】
このような構成により、例えば、テレビなどの製品画像がテレビ台からはみ出したときや、壁などに当たったことを、ユーザは振動により知ることができる。
【０１８２】
また、基準オブジェクトは、撮影画像内に含まれる少なくとも１つのオブジェクトであってもよい。そして、基準オブジェクトに関する情報である基準オブジェクト情報と製品画像を含む製品画像情報とが格納された記憶部と、をさらに備えてもよい。
【０１８３】
このような構成により、マーカ５０を用いなくても、撮影画像内に含まれているオブジェクトを基準にして、製品画像の大きさや位置を算出することができる。
【０１８４】
また、電子機器１０は、基準オブジェクトの実寸データの入力を受け付ける受付部と、受け付けられた基準オブジェクトの実寸データと製品画像を含む製品画像情報とが格納された記憶部と、をさらに備えてもよい。
【０１８５】
このような構成により、入力されたデータを用いて、製品画像の大きさや位置を算出することができる。
【０１８６】
また、基準オブジェクト情報には、基準オブジェクトの実寸サイズ情報が含まれていてもよい。製品画像情報には、製品画像の実寸サイズ情報が含まれていてもよい。そして、マイクロコンピュータ２０は、表示部に表示された基準オブジェクトの表示サイズと基準オブジェクトの実寸サイズとに基づいて合成比率を算出し、合成比率と製品画像の実寸サイズ情報とに基づいて、製品画像の表示位置および表示サイズを算出してもよい。
【０１８７】
このような構成により、基準オブジェクトを用いて製品画像の表示サイズを算出することができる。
【０１８８】
また、マイクロコンピュータ２０は、基準オブジェクトの表示位置および表示サイズに基づいて、撮影画像内の他のオブジェクトの表示位置および表示サイズを算出してもよい。
【０１８９】
また、マイクロコンピュータ２０は、ユーザのタッチ操作に基づいて製品画像の表示位置が変更された場合、製品画像の表示位置に関する表示位置座標が、閾値を超えたか否かに基づいて、振動部がユーザに触覚を提示するよう制御してもよい。
【０１９０】
また、振動部は、製品画像の表示サイズの変更に応じて、ユーザに対して触覚を提示してもよい。
【０１９１】
また、製品画像情報には、製品の重量情報が含まれており、振動部は、製品の重量情報に基づいて、振動パターンを変化させてもよい。
【０１９２】
また、撮影画像は、ステレオ撮影可能なステレオカメラで撮影された画像であり、左目用画像および右目用画像で構成される画像であってもよい。そして、記憶部には、左目用画像内の基準オブジェクトと右目用画像内の前記基準オブジェクトとから算出される視差情報が格納されていてもよい。そして、マイクロコンピュータ２０は、視差情報に基づいて、基準オブジェクトの表示位置を算出してもよい。
【０１９３】
また、撮影画像は、基準オブジェクトを含む被写体の合焦位置を自動で検出可能な撮像装置で撮影された画像であってもよい。そして、記憶部には、基準オブジェクトの合焦位置に基づいて算出された撮像装置から前記基準オブジェクトまでの距離情報が格納されていてもよい。そして、マイクロコンピュータ２０は、距離情報に基づいて、基準オブジェクトの表示位置を算出してもよい。
【０１９４】
（その他の実施形態）
実施形態として、実施形態１〜５を例示したが、本願発明はこれには限らない。そこで、本願発明の他の実施形態を以下まとめて説明する。
【０１９５】
報知部は、振動部１３に限らない。例えば、報知部は、音声によってユーザに情報を知らせるスピーカであっても良い。また、報知部は、光によりユーザに情報を知らせる構成であってもよい。このような構成は、例えば表示制御部３２が表示部１２を制御することで実現できる。また、報知部は、熱や電気ショックでユーザに情報を知らせる構成であってもよい。
【０１９６】
実施形態１〜５では、電子機器の一例としてタブレット型の情報端末機器を用いて説明したが、電子機器はこれには限らない。例えば、携帯電話、ＰＤＡ、ゲーム機、カーナビゲーション、ＡＴＭなど、タッチパネルを備える電子機器であってもよい。
【０１９７】
実施形態１〜５では、タッチパネルとして表示部１２の表示面の全面を覆うものを例示したが、これには限らない。例えば、表示面の中央部のみにタッチパネル機能を有し、周辺部はタッチパネル機能を有する部分が覆っていない状態でもよい。要するに、少なくとも表示部の入力操作領域を覆うものであればよい。
【産業上の利用可能性】
【０１９８】
本発明は、例えばユーザによるタッチ操作が可能な電子機器に有用である。
【符号の説明】
【０１９９】
１０  電子機器
１１  タッチパネル
１２  表示部
１３  振動部
１４  筐体
１５  カメラ
１６  加速度センサ
１７  スピーカ
１８  スペーサ
１９  回路基板
２０  マイクロコンピュータ
２１  圧電素子
２２  シム板
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影画像および製品画像を表示可能な表示装置と、
ユーザの操作を受け付けるタッチパネルと、
撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出し、前記撮影画像に前記製品画像が合成された合成画像を生成し、前記合成画像を前記表示部へ表示させる制御回路であって、前記タッチパネルへのユーザの操作に応じて、前記製品画像の表示位置および表示サイズを変更した合成画像を生成する制御回路と
を備えた電子機器。
【請求項２】
ユーザの操作に応じて触覚情報をユーザに与える触覚提示部をさらに備えた、請求項１に記載の電子機器。
【請求項３】
前記基準オブジェクトは、前記製品画像と関連付けられたマーカ情報を含むマーカであり、
前記マーカ情報と、前記製品画像を含む製品画像情報とが格納された記憶部と、をさらに備えた、請求項１または２に記載の電子機器。
【請求項４】
前記マーカ情報には、前記マーカの実寸サイズ情報が含まれており、
前記製品画像情報には、前記製品画像の実寸サイズ情報が含まれており、
前記制御回路は、前記表示装置に表示された前記マーカの表示サイズと前記マーカの実寸サイズとに基づいて合成比率を算出し、前記合成比率と前記製品画像の実寸サイズ情報とに基づいて、前記製品画像の表示位置および表示サイズを算出する、請求項３に記載の電子機器。
【請求項５】
前記制御回路は、前記マーカの表示位置および表示サイズに基づいて、前記撮影画像内のオブジェクトの表示位置および表示サイズを算出する、請求項４に記載の電子機器。
【請求項６】
前記ユーザの操作に基づいて前記合成画像中の前記製品画像の表示位置を変更した場合、前記制御回路は、前記製品画像の表示位置に関する表示位置座標が閾値を超えたか否かに基づいて、前記触覚提示部がユーザに触覚を提示するよう制御する、請求項１から５のいずれかに記載の電子機器。
【請求項７】
前記閾値は、前記撮影画像内のオブジェクトの表示位置に関する表示位置座標から算出され、
前記制御回路は、前記製品画像の表示位置座標が前記閾値を超えた場合、前記触覚提示部がユーザに触覚を提示するよう制御する、請求項６に記載の電子機器。
【請求項８】
前記基準オブジェクトは、前記撮影画像内に含まれる少なくとも１つのオブジェクトであり、
前記基準オブジェクトに関する情報である基準オブジェクト情報と前記製品画像を含む製品画像情報とが格納された記憶部をさらに備えた、請求項１に記載の電子機器。
【請求項９】
前記基準オブジェクトは、前記撮影画像内に含まれる少なくとも１つのオブジェクトであり、
前記基準オブジェクトの実寸データの入力を受け付けるインタフェースと、
前記受け付けられた前記基準オブジェクトの実寸データと、前記製品画像を含む製品画像情報とが格納された記憶部と
をさらに備えた、請求項１に記載の電子機器。
【請求項１０】
前記基準オブジェクト情報には、前記基準オブジェクトの実寸サイズ情報が含まれており、
前記製品画像情報には、前記製品画像の実寸サイズ情報が含まれており、
前記制御回路は、前記表示装置に表示された前記基準オブジェクトの表示サイズと前記基準オブジェクトの実寸サイズとに基づいて合成比率を算出し、前記合成比率と前記製品画像の実寸サイズ情報とに基づいて、前記製品画像の表示位置および表示サイズを算出する、請求項８または９に記載の電子機器。
【請求項１１】
前記制御回路は、前記基準オブジェクトの表示位置および表示サイズに基づいて、前記撮影画像内の他のオブジェクトの表示位置および表示サイズを算出する、請求項８から１０のいずれかに記載の電子機器。
【請求項１２】
前記ユーザの操作に基づいて前記合成画像内の前記製品画像の表示位置を変更した場合、前記制御回路は、前記製品画像の表示位置に関する表示位置座標が、閾値を超えたか否かに基づいて、前記触覚提示部がユーザに触覚を提示するよう制御する、請求項８から１１のいずれかに記載の電子機器。
【請求項１３】
前記触覚提示部は、前記製品画像の表示サイズの変更に応じて、ユーザに触覚を提示する、請求項１から１２のいずれかに記載の電子機器。
【請求項１４】
前記製品画像情報には、製品の重量情報が含まれており、
前記触覚提示部は、前記製品の重量情報に基づいて、ユーザに提示する触覚を変化させる、請求項３から１３のいずれかに記載の電子機器。
【請求項１５】
前記撮影画像は、ステレオ撮影可能なステレオカメラで撮影された、左目用画像および右目用画像で構成される画像であり、
前記記憶部には、前記左目用画像内の前記基準オブジェクトと前記右目用画像内の前記基準オブジェクトとから算出される視差情報が格納されており、
前記制御回路は、前記視差情報に基づいて、基準オブジェクトの表示位置を算出する、請求項１に記載の電子機器。
【請求項１６】
前記撮影画像は、前記基準オブジェクトを含む被写体の合焦位置を検出可能な撮像装置で撮影された画像であり、
前記記憶部には、前記基準オブジェクトの合焦位置に基づいて算出された前記撮像装置から前記基準オブジェクトまでの距離情報が格納されており、
前記制御回路は、前記距離情報に基づいて、前記基準オブジェクトの表示位置を算出する、請求項１に記載の電子機器。
【請求項１７】
撮影画像内の基準オブジェクトの位置および大きさに基づいて、製品画像の表示位置および表示サイズを算出するステップと、
前記撮影画像内に前記製品画像を合成することで合成画像を生成するステップと、
前記合成画像を表示装置に表示させるステップと、
タッチパネルへのユーザの操作に応じて、前記合成された製品画像の表示位置および表示サイズを変更するステップと
を包含する、合成画像の編集方法。
【請求項１８】
ユーザの前記操作に基づいて、ユーザに触覚を与える触覚ステップをさらに包含する、請求項１７記載の合成画像の編集方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１Ａ】
2012160833.tif 000031
【図１Ｂ】
2012160833.tif 000032
【図２】
2012160833.tif 000033
【図３】
2012160833.tif 000034
【図４】
2012160833.tif 000035
【図５】
2012160833.tif 000036
【図６】
2012160833.tif 000037
【図７】
2012160833.tif 000038
【図８】
2012160833.tif 000039
【図９】
2012160833.tif 000040
【図１０】
2012160833.tif 000041
【図１１】
2012160833.tif 000042
【図１２】
2012160833.tif 000043
【図１３】
2012160833.tif 000044
【図１４】
2012160833.tif 000045
【図１５】
2012160833.tif 000046
【図１６】
2012160833.tif 000047
【図１７】
2012160833.tif 000048
【図１８】
2012160833.tif 000049
【図１９】
2012160833.tif 000050
【図２０】
2012160833.tif 000051
【図２１】
2012160833.tif 000052
【図２２】
2012160833.tif 000053
【図２３】
2012160833.tif 000054
【図２４】
2012160833.tif 000055
【図２５】
2012160833.tif 000056
【図２６】
2012160833.tif 000057
【図２７】
2012160833.tif 000058
【国際調査報告】
2012160833.tif 000059
2012160833.tif 000060