(57)【要約】  光沢の有無に応じた触感を提供する電子機器を提供する。  電子機器は、被写体を含む視野の画像と、距離画像とに基づき被写体の距離画像を抽出する抽出部と、被写体の距離画像に含まれるノイズに基づき、被写体が光沢物体かどうか判定する判定部と、視野の画像を表示する表示部と、表示部の表示面側に配設され、操作面を有するトップパネルと、操作面に超音波帯の固有振動を発生させる駆動信号で駆動される振動素子と、光沢物体の表示領域に駆動信号の振幅データとして第１振幅を割り当て、非光沢物体の表示領域に第１振幅よりも小さい第２振幅を割り当てる振幅データ割当部と、光沢物体の表示領域内で操作入力が行われると操作入力の位置の時間的変化度合に応じて第１振幅の駆動信号で振動素子を駆動し、非光沢物体の表示領域内で操作入力が行われると操作入力の位置の時間的変化度合に応じて第２振幅の駆動信号で振動素子を駆動する駆動制御部とを含む。
2016208036.tif 000002
【特許請求の範囲】
【請求項１】
被写体を含む視野の画像と距離画像を取得する撮像部と、
前記画像と、前記距離画像とに基づき、前記被写体の距離画像を抽出する距離画像抽出部と、
前記被写体の距離画像に含まれるデータの欠落部に基づき、前記被写体が光沢のある物体であるかどうかを判定する光沢判定部と、
前記画像を表示する表示部と、
前記表示部の表示面側に配設され、操作面を有するトップパネルと、
前記操作面に行われる操作入力の位置を検出する位置検出部と、
前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動され、前記操作面に超音波帯の固有振動を発生させる振動素子と、
前記光沢判定部によって光沢のある物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして第１振幅を割り当て、前記光沢判定部によって光沢のない物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして前記第１振幅よりも小さい第２振幅を割り当てる振幅データ割当部と、
前記光沢判定部によって光沢のある物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第１振幅が割り当てられた前記駆動信号で前記振動素子を駆動し、前記光沢判定部によって光沢のない物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第２振幅が割り当てられた前記駆動信号で前記振動素子を駆動する、駆動制御部と
を含む、電子機器。
【請求項２】
前記駆動制御部は、前記被写体が前記表示部に表示されている領域以外で前記操作面への操作入力が行われると、前記振動素子を駆動しない、請求項１記載の電子機器。
【請求項３】
前記光沢判定部は、前記データの欠落部が所定の閾値以上の場合に、前記被写体が光沢のある物体であると判定する、請求項１又は２記載の電子機器。
【請求項４】
前記第１振幅及び前記第２振幅を表す振幅データを格納するメモリをさらに含み、
前記振幅データ割当部は、前記メモリに格納される前記第１振幅及び前記第２振幅を前記振幅データとして割り当てる、請求項１乃至３のいずれか一項記載の電子機器。
【請求項５】
前記振幅データ割当部は、利用者による前記操作入力の内容に基づいて、前記第１振幅又は前記第２振幅を設定する、請求項１乃至３のいずれか一項記載の電子機器。
【請求項６】
前記第２振幅は、前記光沢判定部によって光沢のない物体であると判定された前記被写体の表示領域内の位置によって異なる、請求項１乃至５のいずれか一項記載の電子機器。
【請求項７】
前記撮像部は、
前記画像を取得する第１撮像部と、
前記距離画像を取得する第２撮像部と
を有する、請求項１乃至６のいずれか一項記載の電子機器。
【請求項８】
前記第１撮像部と前記第２撮像部は、近接して並べて配置される、請求項７記載の電子機器。
【請求項９】
前記第１撮像部は、前記画像としてカラー画像を取得するカメラである、請求項７又は８記載の電子機器。
【請求項１０】
前記撮像部は、前記画像として赤外線画像を取得するとともに、前記距離画像を取得する赤外線カメラである、請求項１乃至６のいずれか一項記載の電子機器。
【請求項１１】
被写体を含む視野の画像と距離画像を取得する撮像部と、前記画像と、前記距離画像とに基づき、前記被写体の距離画像を抽出する距離画像抽出部と、前記被写体の距離画像に含まれるデータの欠落部に基づき、前記被写体が光沢のある物体であるかどうかを判定する光沢判定部と、前記画像を表示する表示部と、前記表示部の表示面側に配設され、操作面を有するトップパネルと、前記操作面に行われる操作入力の位置を検出する位置検出部と、前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動され、前記操作面に超音波帯の固有振動を発生させる振動素子とを含む電子機器の前記振動素子を駆動する、駆動制御方法であって、
コンピュータが、
前記光沢判定部によって光沢のある物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして第１振幅を割り当て、前記光沢判定部によって光沢のない物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして前記第１振幅よりも小さい第２振幅を割り当て、
前記光沢判定部によって光沢のある物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第１振幅が割り当てられた前記駆動信号で前記振動素子を駆動し、前記光沢判定部によって光沢のない物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第２振幅が割り当てられた前記駆動信号で前記振動素子を駆動する、駆動制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、及び、駆動制御方法に関する。
【背景技術】
【０００２】
従来より、被写体の３次元情報を持つ距離画像を用いて、指でなぞった部分における被写体の傾斜情報をもとに、凹凸などの形状に関する提示触感を自動決定する方法がある（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Kim, Seung-Chan, Ali Israr, and Ivan Poupyrev. "Tactile rendering of 3D features on touch surfaces." Proceedings of the 26th annual ACM symposium on User interface software and technology. ACM, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の提示触感の自動決定方法は、物体の形状に関する触感のみを提示するものであり、光沢の有無に応じた触感を提供することはできない。【０００５】
そこで、光沢の有無に応じた触感を提供することができる電子機器と駆動制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施の形態の電子機器は、被写体を含む視野の画像と距離画像を取得する撮像部と、前記画像と、前記距離画像とに基づき、前記被写体の距離画像を抽出する距離画像抽出部と、前記被写体の距離画像に含まれるデータの欠落部に基づき、前記被写体が光沢のある物体であるかどうかを判定する光沢判定部と、前記画像を表示する表示部と、前記表示部の表示面側に配設され、操作面を有するトップパネルと、前記操作面に行われる操作入力の位置を検出する位置検出部と、前記操作面に超音波帯の固有振動を発生させる駆動信号で駆動され、前記操作面に超音波帯の固有振動を発生させる振動素子と、前記光沢判定部によって光沢のある物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして第１振幅を割り当て、前記光沢判定部によって光沢のない物体であると判定された前記被写体の表示領域に、前記駆動信号の振幅データとして前記第１振幅よりも小さい第２振幅を割り当てる振幅データ割当部と、前記光沢判定部によって光沢のある物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第１振幅が割り当てられた前記駆動信号で前記振動素子を駆動し、前記光沢判定部によって光沢のない物体であると判定される前記被写体が前記表示部に表示されている領域内で前記操作面への操作入力が行われると、前記操作入力の位置の時間的変化度合に応じて前記第２振幅が割り当てられた前記駆動信号で前記振動素子を駆動する、駆動制御部とを含む。
【発明の効果】
【０００７】
光沢の有無に応じた触感を提供することができる電子機器と駆動制御方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１の電子機器を示す斜視図である。
【図２】実施の形態１の電子機器を示す平面図である。
【図３】図２に示す電子機器のＡ−Ａ矢視断面を示す図である。
【図４】実施の形態１の電子機器を示す底面図である。
【図５】超音波帯の固有振動によってトップパネルに生じる定在波のうち、トップパネルの短辺に平行に形成される波頭を示す図である。
【図６】電子機器のトップパネルに生じさせる超音波帯の固有振動により、操作入力を行う指先に掛かる動摩擦力が変化する様子を説明する図である。
【図７】実施の形態１の電子機器の構成を示す図である。
【図８】電子機器の利用の仕方の一例を示す図である。
【図９】赤外線カメラによって取得される距離画像を説明する図である。
【図１０】赤外線カメラによって取得される距離画像を説明する図である。
【図１１】ノイズを含む距離画像を示す図である。
【図１２】実施の形態１の電子機器が振幅データを割り当てるために実行する処理を表すフローチャートを示す図である。
【図１３】実施の形態１の電子機器が振幅データを割り当てるために実行する処理を表すフローチャートを示す図である。
【図１４】図１２のフローの一部の詳細を示すフローチャートである。
【図１５】図１４に示すフローによる画像処理を示す図である。
【図１６】ノイズ割合を取得する処理を示すフローチャートである。
【図１７】振幅データ割当部によって特定領域に割り当てられた振幅データを示す図である。
【図１８】メモリに格納する光沢物体用の振幅データと、非光沢物体用の振幅データとを示す図である。
【図１９】メモリに格納されるデータを示す図である。
【図２０】実施の形態の電子機器の駆動制御部が実行する処理を示すフローチャートである。
【図２１】実施の形態１の電子機器の動作例を示す図である。
【図２２】電子機器の利用シーンを示す図である。
【図２３】実施の形態２の電子機器が振幅データを割り当てるために実行する処理を表すフローチャートを示す図である。
【図２４】ノイズ割合の確率分布を示す図である。
【図２５】モード法により閾値を決定する方法を示す図である。
【図２６】実施の形態３による特定領域の画像の取得方法の処理を示すフローチャートである。
【図２７】図２６に示すフローによって行われる画像処理を示す図である。
【図２８】実施の形態４の電子機器を示す側面図である。
【発明を実施するための形態】
【０００９】
以下、本発明の電子機器、及び、駆動制御方法を適用した実施の形態について説明する。
【００１０】
＜実施の形態１＞
図１は、実施の形態１の電子機器１００を示す斜視図である。
【００１１】
電子機器１００は、一例として、タッチパネルを入力操作部とする、スマートフォン端末機、又は、タブレット型コンピュータである。電子機器１００は、タッチパネルを入力操作部とする機器であればよいため、例えば、携帯情報端末機、又は、ＡＴＭ（Automatic Teller Machine）のように特定の場所に設置されて利用される機器であってもよい。
【００１２】
電子機器１００の入力操作部１０１は、タッチパネルの下にディスプレイパネルが配設されており、ディスプレイパネルにＧＵＩ(Graphic User Interface)による様々なボタン１０２Ａ、又は、スライダー１０２Ｂ等（以下、ＧＵＩ操作部１０２と称す）が表示される。
【００１３】
電子機器１００の利用者は、通常、ＧＵＩ操作部１０２を操作するために、指先で入力操作部１０１に触れる。
【００１４】
次に、図２を用いて、電子機器１００の具体的な構成について説明する。
【００１５】
図２は、実施の形態１の電子機器１００を示す平面図であり、図３は、図２に示す電子機器１００のＡ−Ａ矢視断面を示す図である。図４は、実施の形態１の電子機器１００を示す底面図である。なお、図２乃至図４では、図示するように直交座標系であるＸＹＺ座標系を定義する。
【００１６】
電子機器１００は、筐体１１０、トップパネル１２０、両面テープ１３０、振動素子１４０、タッチパネル１５０、ディスプレイパネル１６０、及び基板１７０を含む。また、電子機器１００は、カメラ１８０と、赤外線カメラ１９０及び赤外線光源１９１とを含む。カメラ１８０と、赤外線カメラ１９０及び赤外線光源１９１とは、電子機器１００の底面（図４参照）に設けられている。
【００１７】
筐体１１０は、例えば、樹脂製であり、図３に示すように凹部１１０Ａに基板１７０、ディスプレイパネル１６０、及びタッチパネル１５０が配設されるとともに、両面テープ１３０によってトップパネル１２０が接着されている。筐体１１０の底面（図４参照）には、カメラ１８０と、赤外線カメラ１９０及び赤外線光源１９１とが設けられている。
【００１８】
トップパネル１２０は、平面視で長方形の薄い平板状の部材であり、透明なガラス、又は、ポリカーボネートのような強化プラスティックで作製される。トップパネル１２０の表面１２０Ａ（Ｚ軸正方向側の面）は、電子機器１００の利用者が操作入力を行う操作面の一例である。
【００１９】
トップパネル１２０は、Ｚ軸負方向側の面に振動素子１４０が接着され、平面視における四辺が両面テープ１３０によって筐体１１０に接着されている。なお、両面テープ１３０は、トップパネル１２０の四辺を筐体１１０に接着できればよく、図３に示すように矩形環状である必要はない。
【００２０】
トップパネル１２０のＺ軸負方向側にはタッチパネル１５０が配設される。トップパネル１２０は、タッチパネル１５０の表面を保護するために設けられている。なお、トップパネル１２０の表面１２０Ａに、さらに別なパネル又は保護膜等が設けられていてもよい。
【００２１】
トップパネル１２０は、Ｚ軸負方向側の面に振動素子１４０が接着された状態で、振動素子１４０が駆動されることによって振動する。実施の形態１では、トップパネル１２０の固有振動周波数でトップパネル１２０を振動させて、トップパネル１２０に定在波を生じさせる。ただし、トップパネル１２０には振動素子１４０が接着されているため、実際には、振動素子１４０の重さ等を考慮した上で、固有振動周波数を決めることが好ましい。
【００２２】
振動素子１４０は、トップパネル１２０のＺ軸負方向側の面において、Ｙ軸正方向側において、Ｘ軸方向に伸延する短辺に沿って接着されている。振動素子１４０は、超音波帯の振動を発生できる素子であればよく、例えば、ピエゾ素子のような圧電素子を含むものを用いることができる。
【００２３】
振動素子１４０は、後述する駆動制御部から出力される駆動信号によって駆動される。振動素子１４０が発生する振動の振幅（強度）及び周波数は駆動信号によって設定される。また、振動素子１４０のオン／オフは駆動信号によって制御される。
【００２４】
なお、超音波帯とは、例えば、約２０ｋＨｚ以上の周波数帯をいう。実施の形態１の電子機器１００では、振動素子１４０が振動する周波数は、トップパネル１２０の振動数と等しくなるため、振動素子１４０は、トップパネル１２０の固有振動数で振動するように駆動信号によって駆動される。
【００２５】
タッチパネル１５０は、ディスプレイパネル１６０の上（Ｚ軸正方向側）で、トップパネル１２０の下（Ｚ軸負方向側）に配設されている。タッチパネル１５０は、電子機器１００の利用者がトップパネル１２０に触れる位置（以下、操作入力の位置と称す）を検出する位置検出部の一例である。
【００２６】
タッチパネル１５０の下にあるディスプレイパネル１６０には、ＧＵＩによる様々なボタン等（以下、ＧＵＩ操作部と称す）が表示される。このため、電子機器１００の利用者は、通常、ＧＵＩ操作部を操作するために、指先でトップパネル１２０に触れる。
【００２７】
タッチパネル１５０は、利用者のトップパネル１２０への操作入力の位置を検出できる位置検出部であればよく、例えば、静電容量型又は抵抗膜型の位置検出部であればよい。ここでは、タッチパネル１５０が静電容量型の位置検出部である形態について説明する。タッチパネル１５０とトップパネル１２０との間に隙間があっても、静電容量型のタッチパネル１５０は、トップパネル１２０への操作入力を検出できる。
【００２８】
また、ここでは、タッチパネル１５０の入力面側にトップパネル１２０が配設される形態について説明するが、トップパネル１２０はタッチパネル１５０と一体的であってもよい。この場合、タッチパネル１５０の表面が図２及び図３に示すトップパネル１２０の表面１２０Ａになり、操作面を構築する。また、図２及び図３に示すトップパネル１２０を省いた構成であってもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、この場合には、操作面を有する部材を、当該部材の固有振動で振動させればよい。
【００２９】
また、タッチパネル１５０が静電容量型の場合は、トップパネル１２０の上にタッチパネル１５０が配設されていてもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、タッチパネル１５０が静電容量型の場合は、図２及び図３に示すトップパネル１２０を省いた構成であってもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、この場合には、操作面を有する部材を、当該部材の固有振動で振動させればよい。
【００３０】
ディスプレイパネル１６０は、例えば、液晶ディスプレイパネル又は有機ＥＬ(Electroluminescence)パネル等の画像を表示できる表示部であればよい。ディスプレイパネル１６０は、筐体１１０の凹部１１０Ａの内部で、図示を省略するホルダ等によって基板１７０の上（Ｚ軸正方向側）に設置される。
【００３１】
ディスプレイパネル１６０は、後述するドライバＩＣ(Integrated Circuit)によって駆動制御が行われ、電子機器１００の動作状況に応じて、ＧＵＩ操作部、画像、文字、記号、図形等を表示する。
【００３２】
なお、ディスプレイパネル１６０の表示領域の位置と、タッチパネル１５０の座標とは関連付けられている。例えば、ディスプレイパネル１６０の各ピクセルと、タッチパネル１５０の座標とを関連付けておけばよい。
【００３３】
基板１７０は、筐体１１０の凹部１１０Ａの内部に配設される。基板１７０の上には、ディスプレイパネル１６０及びタッチパネル１５０が配設される。ディスプレイパネル１６０及びタッチパネル１５０は、図示を省略するホルダ等によって基板１７０及び筐体１１０に固定されている。
【００３４】
基板１７０には、後述する駆動制御装置の他に、電子機器１００の駆動に必要な種々の回路等が実装される。
【００３５】
カメラ１８０は、カラー画像を取得するデジタルカメラであり、被写体を含む視野の画像を取得する。カメラ１８０が取得する視野の画像には、被写体の画像と背景の画像とが含まれる。カメラ１８０は、第１撮像部の一例である。デジタルカメラは、例えば、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサを有するものを用いることができる。なお、カメラ１８０は、モノクロ撮影用のデジタルカメラであってもよい。
【００３６】
赤外線カメラ１９０は、赤外線光源１９１から被写体に照射した赤外線の反射光を撮像することにより、被写体を含む視野の距離画像を取得する。赤外線カメラ１９０が取得する視野の距離画像には、被写体の距離画像と背景の距離画像とが含まれる。
【００３７】
赤外線カメラ１９０は、投光型距離画像カメラである。投光型距離画像カメラとは、被写体に赤外線などを投光し、被写体で反射された赤外線を読み取るカメラである。投光型距離画像カメラの一例として、ＴＯＦ(Time Of Flight)距離画像カメラがある。ＴＯＦ距離画像カメラは、投光した赤外線が被写体との往復にかかる時間から、ＴＯＦ距離画像カメラから被写体までの距離を計測するカメラである。ＴＯＦ距離画像カメラは、赤外線カメラ１９０と赤外線光源１９１を含む。赤外線カメラ１９０及び赤外線光源１９１は、第２撮像部の一例である。
【００３８】
なお、カメラ１８０と赤外線カメラ１９０は、筐体１１０の底面に近接して並べて配設されている。これは、カメラ１８０で取得する画像と、赤外線カメラ１９０で取得する距離画像とを用いて画像処理を行うため、カメラ１８０と赤外線カメラ１９０を近接して配置することにより、カメラ１８０で取得する画像と、赤外線カメラ１９０で取得する距離画像とにおける物体の大きさ及び方向等を合わせるためである。カメラ１８０で取得する画像と、赤外線カメラ１９０で取得する距離画像とにおける物体の大きさ及び方向等のずれが小さい方が、画像処理を容易に行えるからである。
【００３９】
以上のような構成の電子機器１００は、カメラ１８０で取得した視野の画像と、赤外線カメラ１９０によって取得される距離画像とに基づき、被写体の距離画像を抽出する。そして、被写体の距離画像に含まれるノイズに基づき、被写体が光沢のある物体であるかどうかを判定する。ここで、光沢のある物体の一例は、金属製の置物である。また、光沢のない物体の一例は、ぬいぐるみである。
【００４０】
電子機器１００は、ディスプレイパネル１６０に表示される被写体の画像に利用者が触れてトップパネル１２０の表面１２０Ａに沿って指先を移動させると、振動素子１４０を駆動してトップパネル１２０を超音波帯の周波数で振動する。この超音波帯の周波数は、トップパネル１２０と振動素子１４０とを含む共振系の共振周波数であり、トップパネル１２０に定在波を発生させる。
【００４１】
また、このときに、電子機器１００は、被写体が光沢のある物体である場合には、被写体が光沢のない物体である場合よりも、振幅の大きい駆動信号で振動素子１４０を駆動する。
【００４２】
一方、電子機器１００は、被写体が光沢のない物体である場合には、被写体が光沢のある物体である場合よりも、振幅の小さい駆動信号で振動素子１４０を駆動する。
【００４３】
このように、被写体が光沢のある物体である場合に、被写体が光沢のない物体である場合よりも、振幅の大きい駆動信号で振動素子１４０を駆動するのは、利用者の指先につるつるとした滑らかな触感を提供するためである。
【００４４】
比較的振幅が大きい駆動信号で振動素子１４０を駆動すれば、スクイーズ効果によってトップパネル１２０の表面１２０Ａと指との間に介在する空気層が厚くなり、動摩擦係数が低くなるため、光沢のある物体の表面に触れたような触感を提供できるからである。
【００４５】
一方、被写体が光沢のない物体である場合に、被写体が光沢のある物体である場合よりも、振幅の小さい駆動信号で振動素子１４０を駆動するのは、利用者の指先にソフトで弱い触感を提供するためである。
【００４６】
比較的振幅が小さい駆動信号で振動素子１４０を駆動すれば、スクイーズ効果によってトップパネル１２０の表面１２０Ａと指との間に介在する空気層が薄くなり、被写体が光沢のある物体である場合よりも動摩擦係数が高くなるため、光沢のない物体の表面に触れたような触感を提供できるからである。
【００４７】
また、被写体が光沢のない物体である場合には、駆動信号の振幅を時間の経過に応じて変化させてもよい。例えば、被写体がぬいぐるみである場合には、駆動信号の振幅を時間の経過に応じて変化させることにより、利用者の指先にぬいぐるみに触れているような触感を提供するようにしてもよい。
【００４８】
なお、電子機器１００は、利用者がディスプレイパネル１６０に表示される被写体の画像以外の領域に触れると、振動素子１４０を駆動しない。
【００４９】
以上のように、電子機器１００は、被写体が光沢のある物体であるかどうかで駆動信号の振幅を変えることにより、トップパネル１２０を通じて利用者に被写体の触感を提供する。
【００５０】
次に、図５を用いて、トップパネル１２０に発生させる定在波について説明する。
【００５１】
図５は、超音波帯の固有振動によってトップパネル１２０に生じる定在波のうち、トップパネル１２０の短辺に平行に形成される波頭を示す図であり、図５の（Ａ）は側面図、（Ｂ）は斜視図である。図５の（Ａ）、（Ｂ）では、図２及び図３と同様のＸＹＺ座標を定義する。なお、図５の（Ａ）、（Ｂ）では、理解しやすさのために、定在波の振幅を誇張して示す。また、図５の（Ａ）、（Ｂ）では振動素子１４０を省略する。
【００５２】
トップパネル１２０のヤング率Ｅ、密度ρ、ポアソン比δ、長辺寸法ｌ、厚さｔと、長辺方向に存在する定在波の周期数ｋとを用いると、トップパネル１２０の固有振動数（共振周波数）ｆは次式（１）、（２）で表される。定在波は１／２周期単位で同じ波形を有するため、周期数ｋは、０．５刻みの値を取り、０．５、１、１．５、２・・・となる。
【００５３】
【数１】
2016208036.tif 000003
【００５４】
【数２】
2016208036.tif 000004
なお、式（２）の係数αは、式（１）におけるｋ２以外の係数をまとめて表したものである。
【００５５】
図５の（Ａ）、（Ｂ）に示す定在波は、一例として、周期数ｋが１０の場合の波形である。例えば、トップパネル１２０として、長辺の長さｌが１４０ｍｍ、短辺の長さが８０ｍｍ、厚さｔが０．７ｍｍのGorilla（登録商標）ガラスを用いる場合には、周期数ｋが１０の場合に、固有振動数ｆは３３．５［ｋＨｚ］となる。この場合は、周波数が３３．５［ｋＨｚ］の駆動信号を用いればよい。
【００５６】
トップパネル１２０は、平板状の部材であるが、振動素子１４０（図２及び図３参照）を駆動して超音波帯の固有振動を発生させると、図５の（Ａ）、（Ｂ）に示すように撓むことにより、表面１２０Ａに定在波が生じる。
【００５７】
なお、ここでは、１つの振動素子１４０がトップパネル１２０のＺ軸負方向側の面において、Ｙ軸正方向側において、Ｘ軸方向に伸延する短辺に沿って接着される形態について説明するが、振動素子１４０を２つ用いてもよい。２つの振動素子１４０を用いる場合は、もう１つの振動素子１４０をトップパネル１２０のＺ軸負方向側の面において、Ｙ軸負方向側において、Ｘ軸方向に伸延する短辺に沿って接着すればよい。この場合に、２つの振動素子１４０は、トップパネル１２０の２つの短辺に平行な中心線を対称軸として、軸対称になるように配設すればよい。
【００５８】
また、２つの振動素子１４０を駆動する場合は、周期数ｋが整数の場合は同一位相で駆動すればよく、周期数ｋが小数（整数部と小数部とを含む数）の場合は逆位相で駆動すればよい。
【００５９】
次に、図６を用いて、電子機器１００のトップパネル１２０に生じさせる超音波帯の固有振動について説明する。
【００６０】
図６は、電子機器１００のトップパネル１２０に生じさせる超音波帯の固有振動により、操作入力を行う指先に掛かる動摩擦力が変化する様子を説明する図である。図６の（Ａ）、（Ｂ）では、利用者が指先でトップパネル１２０に触れながら、指をトップパネル１２０の奥側から手前側に矢印に沿って移動する操作入力を行っている。なお、振動のオン／オフは、振動素子１４０（図２及び図３参照）をオン／オフすることによって行われる。
【００６１】
また、図６の（Ａ）、（Ｂ）では、トップパネル１２０の奥行き方向において、振動がオフの間に指が触れる範囲をグレーで示し、振動がオンの間に指が触れる範囲を白く示す。
【００６２】
超音波帯の固有振動は、図５に示すようにトップパネル１２０の全体に生じるが、図６の（Ａ）、（Ｂ）には、利用者の指がトップパネル１２０の奥側から手前側に移動する間に振動のオン／オフを切り替える動作パターンを示す。
【００６３】
このため、図６の（Ａ）、（Ｂ）では、トップパネル１２０の奥行き方向において、振動がオフの間に指が触れる範囲をグレーで示し、振動がオンの間に指が触れる範囲を白く示す。
【００６４】
図６の（Ａ）に示す動作パターンでは、利用者の指がトップパネル１２０の奥側にあるときに振動がオフであり、指を手前側に移動させる途中で振動がオンになっている。
【００６５】
一方、図６の（Ｂ）に示す動作パターンでは、利用者の指がトップパネル１２０の奥側にあるときに振動がオンであり、指を手前側に移動させる途中で振動がオフになっている。
【００６６】
ここで、トップパネル１２０に超音波帯の固有振動を生じさせると、トップパネル１２０の表面１２０Ａと指との間にスクイーズ効果による空気層が介在し、指でトップパネル１２０の表面１２０Ａをなぞったときの動摩擦係数が低下する。
【００６７】
従って、図６の（Ａ）では、トップパネル１２０の奥側にグレーで示す範囲では、指先に掛かる動摩擦力は大きく、トップパネル１２０の手前側に白く示す範囲では、指先に掛かる動摩擦力は小さくなる。
【００６８】
このため、図６の（Ａ）に示すようにトップパネル１２０に操作入力を行う利用者は、振動がオンになると、指先に掛かる動摩擦力の低下を感知し、指先の滑り易さを知覚することになる。このとき、利用者はトップパネル１２０の表面１２０Ａがより滑らかになることにより、動摩擦力が低下するときに、トップパネル１２０の表面１２０Ａに凹部が存在するように感じる。
【００６９】
一方、図６の（Ｂ）では、トップパネル１２０の奥前側に白く示す範囲では、指先に掛かる動摩擦力は小さく、トップパネル１２０の手前側にグレーで示す範囲では、指先に掛かる動摩擦力は大きくなる。
【００７０】
このため、図６の（Ｂ）に示すようにトップパネル１２０に操作入力を行う利用者は、振動がオフになると、指先に掛かる動摩擦力の増大を感知し、指先の滑り難さ、あるいは、引っ掛かる感じを知覚することになる。そして、指先が滑りにくくなることにより、動摩擦力が高くなるときに、トップパネル１２０の表面１２０Ａに凸部が存在するように感じる。
【００７１】
以上より、図６の（Ａ）と（Ｂ）の場合は、利用者は指先で凹凸を感じ取ることができる。このように人間が凹凸の知覚することは、例えば、"触感デザインのための印刷物転写法とSticky-band Illusion"(第11回計測自動制御学会システムインテグレーション部門講演会論文集 (SI2010, 仙台)____174-177, 2010-12)に記載されている。また、"Fishbone Tactile Illusion"(日本バーチャルリアリティ学会第10 回大会論文集(2005 年9 月))にも記載されている。
【００７２】
なお、ここでは、振動のオン／オフを切り替える場合の動摩擦力の変化について説明したが、これは、振動素子１４０の振幅（強度）を変化させた場合も同様である。
【００７３】
次に、図７を用いて、実施の形態１の電子機器１００の構成について説明する。
【００７４】
図７は、実施の形態１の電子機器１００の構成を示す図である。
【００７５】
電子機器１００は、振動素子１４０、アンプ１４１、タッチパネル１５０、ドライバＩＣ(Integrated Circuit)１５１、ディスプレイパネル１６０、ドライバＩＣ１６１、カメラ１８０、赤外線カメラ１９０、赤外線光源１９１、制御部２００、正弦波発生器３１０、及び振幅変調器３２０を含む。
【００７６】
制御部２００は、アプリケーションプロセッサ２２０、通信プロセッサ２３０、駆動制御部２４０、及びメモリ２５０を有する。制御部２００は、例えば、ＩＣチップで実現される。
【００７７】
なお、ここでは、アプリケーションプロセッサ２２０、通信プロセッサ２３０、駆動制御部２４０、及びメモリ２５０が１つの制御部２００によって実現される形態について説明するが、駆動制御部２４０は、制御部２００の外部に別のＩＣチップ又はプロセッサとして設けられていてもよい。この場合には、メモリ２５０に格納されているデータのうち、駆動制御部２４０の駆動制御に必要なデータは、メモリ２５０とは別のメモリに格納すればよい。
【００７８】
図７では、筐体１１０、トップパネル１２０、両面テープ１３０、及び基板１７０（図２参照）は省略する。また、ここでは、アンプ１４１、ドライバＩＣ１５１、ドライバＩＣ１６１、アプリケーションプロセッサ２２０、駆動制御部２４０、メモリ２５０、正弦波発生器３１０、及び振幅変調器３２０について説明する。
【００７９】
アンプ１４１は、振幅変調器３２０と振動素子１４０との間に配設されており、振幅変調器３２０から出力される駆動信号を増幅して振動素子１４０を駆動する。
【００８０】
ドライバＩＣ１５１は、タッチパネル１５０に接続されており、タッチパネル１５０への操作入力があった位置を表す位置データを検出し、位置データを制御部２００に出力する。この結果、位置データは、アプリケーションプロセッサ２２０と駆動制御部２４０に入力される。
【００８１】
ドライバＩＣ１６１は、ディスプレイパネル１６０に接続されており、アプリケーションプロセッサ２２０から出力される描画データをディスプレイパネル１６０に入力し、描画データに基づく画像をディスプレイパネル１６０に表示させる。これにより、ディスプレイパネル１６０には、描画データに基づくＧＵＩ操作部又は画像等が表示される。
【００８２】
アプリケーションプロセッサ２２０は、電子機器１００の種々のアプリケーションを実行する処理を行う。ここでは、特に、アプリケーションプロセッサ２２０が含む構成要素のうちのカメラ制御部２２１、画像処理部２２２、距離画像抽出部２２３、光沢判定部２２４、及び振幅データ割当部２２５を示す。
【００８３】
カメラ制御部２２１は、カメラ１８０、赤外線カメラ１９０、及び赤外線光源１９１の制御を行う。カメラ制御部２２１は、ディスプレイパネル１６０にＧＵＩ操作部として表示されるカメラ１８０のシャッターボタンが操作されるとカメラ１８０で撮像処理を行う。また、カメラ制御部２２１は、ディスプレイパネル１６０にＧＵＩ操作部として表示される赤外線カメラ１９０のシャッターボタンが操作されると、赤外線光源１９１から赤外線を出力させて、赤外線カメラ１９０で撮像処理を行う。
【００８４】
カメラ制御部２２１には、カメラ１８０によって取得される画像を表す画像データと、赤外線カメラ１９０によって取得される距離画像を表す距離画像データとが入力される。カメラ制御部２２１は、画像データと距離画像データを距離画像抽出部２２３に出力する。
【００８５】
画像処理部２２２は、距離画像抽出部２２３と光沢判定部２２４が行う画像処理以外の画像処理を実行する。画像処理部２２２が実行する画像処理については後述する。
【００８６】
距離画像抽出部２２３は、カメラ制御部２２１から入力される画像データと距離画像データとに基づき、被写体の距離画像を抽出する。被写体の距離画像は、被写体を表す画像の各ピクセルに、赤外線カメラ１９０のレンズから被写体までの距離を表すデータを関連付けたデータである。なお、被写体の距離画像を抽出する処理については、図８及び図１２を用いて後述する。
【００８７】
光沢判定部２２４は、距離画像抽出部２２３によって抽出される被写体の距離画像に含まれるノイズを解析し、解析結果に基づいて被写体が光沢のある物体であるかどうかを判定する。ノイズの解析結果に基づいて被写体が光沢のある物体であるかどうかを判定する処理については、図１２を用いて後述する。
【００８８】
振幅データ割当部２２５は、光沢判定部２２４によって光沢のある物体と判定された被写体の画像、又は、光沢判定部２２４によって光沢のない物体と判定された被写体の画像に対して、振動素子１４０の駆動信号の振幅データを割り当てる。振幅データ割当部２２５が実行する処理の詳細については、図１２を用いて後述する。
【００８９】
通信プロセッサ２３０は、電子機器１００が３Ｇ(Generation)、４Ｇ(Generation)、LTE(Long Term Evolution)、WiFi等の通信を行うために必要な処理を実行する。
【００９０】
駆動制御部２４０は、２つの所定の条件が揃った場合に、振幅データを振幅変調器３２０に出力する。振幅データは、振動素子１４０の駆動に用いる駆動信号の強度を調整するための振幅値を表すデータである。振幅値は、位置データの時間的変化度合に応じて設定される。ここで、位置データの時間的変化度合としては、利用者の指先がトップパネル１２０の表面１２０Ａに沿って移動する速度を用いる。利用者の指先の移動速度は、ドライバＩＣ１５１から入力される位置データの時間的な変化度合に基づいて、駆動制御部２４０が算出する。
【００９１】
駆動制御部２４０は、利用者の指先がトップパネル１２０の表面１２０Ａに沿って移動したときに、指先に掛かる動摩擦力を変化させるためにトップパネル１２０を振動させる。動摩擦力は、指先が移動しているときに発生するため、駆動制御部２４０は、移動速度が所定の閾値速度以上になったときに、振動素子１４０を振動させる。移動速度が所定の閾値速度以上になることは、１つ目の所定の条件である。
【００９２】
従って、駆動制御部２４０が出力する振幅データが表す振幅値は、移動速度が所定の閾値速度未満のときはゼロであり、移動速度が所定の閾値速度以上になると、移動速度に応じて所定の振幅値に設定される。移動速度が所定の閾値速度以上のときには、移動速度が高いほど振幅値は小さく設定され、移動速度が低いほど振幅値を大きく設定される。
【００９３】
また、駆動制御部２４０は、操作入力を行う指先の位置が、振動を発生させるべき所定の領域内にある場合に、振幅データを振幅変調器３２０に出力する。操作入力を行う指先の位置が、振動を発生させるべき所定の領域内にあることは、２つ目の所定条件である。
【００９４】
操作入力を行う指先の位置が振動を発生させるべき所定の領域内にあるかどうかは、操作入力を行う指先の位置が、振動を発生させるべき所定の領域の内部にあるか否かに基づいて判定される。なお、振動を発生させるべき所定の領域とは、利用者によって特定される被写体を表示する領域である。
【００９５】
ここで、ディスプレイパネル１６０に表示するＧＵＩ操作部、画像を表示する領域、又は、ページ全体を表す領域等のディスプレイパネル１６０上における位置は、当該領域を表す領域データによって特定される。領域データは、すべてのアプリケーションにおいて、ディスプレイパネル１６０に表示されるすべてのＧＵＩ操作部、画像を表示する領域、又は、ページ全体を表す領域について存在する。
【００９６】
このため、２つ目の所定条件として、操作入力を行う指先の位置が、振動を発生させるべき所定の領域内にあるかどうかを判定する際には、電子機器１００が起動しているアプリケーションの種類が関係することになる。アプリケーションの種類により、ディスプレイパネル１６０の表示が異なるからである。
【００９７】
また、アプリケーションの種類により、トップパネル１２０の表面１２０Ａに触れた指先を移動させる操作入力の種類が異なるからである。トップパネル１２０の表面１２０Ａに触れた指先を移動させる操作入力の種類としては、例えば、ＧＵＩ操作部を操作する際には、所謂フリック操作がある。フリック操作は、指先をトップパネル１２０の表面１２０Ａに沿って、はじく（スナップする）ように比較的短い距離移動させる操作である。
【００９８】
また、ページを捲る場合には、例えば、スワイプ操作を行う。スワイプ操作は、指先をトップパネル１２０の表面１２０Ａに沿って掃くように比較的長い距離移動させる操作である。スワイプ操作は、ページを捲る場合の他に、例えば、写真を捲る場合に行われる。また、ＧＵＩ操作部によるスライダー（図１のスライダー１０２Ｂ参照）をスライドさせる場合には、スライダーをドラッグするドラッグ操作が行われる。
【００９９】
ここで一例として挙げるフリック操作、スワイプ操作、及びドラッグ操作のように、トップパネル１２０の表面１２０Ａに触れた指先を移動させる操作入力は、アプリケーションによる表示の種類によって使い分けられる。このため、操作入力を行う指先の位置が、振動を発生させるべき所定の領域内にあるかどうかを判定する際には、電子機器１００が起動しているアプリケーションの種類が関係することになる。
【０１００】
駆動制御部２４０は、ドライバＩＣ１５１から入力される位置データが表す位置が、振動を発生させるべき所定の領域の内部にあるか否かを判定する。
【０１０１】
以上より、駆動制御部２４０が振幅データを振幅変調器３２０に出力するために必要な２つの所定の条件は、指先の移動速度が所定の閾値速度以上であることと、操作入力の位置の座標が振動を発生させるべき所定の領域の内部にあることである。
【０１０２】
なお、電子機器１００は、利用者によって特定される被写体がディスプレイパネル１６０に表示される領域の内部に操作入力の位置があるときに、表示される被写体の画像に利用者が触れてトップパネル１２０の表面１２０Ａに沿って指先を移動させると、振動素子１４０を駆動してトップパネル１２０を超音波帯の周波数で振動する。
【０１０３】
このため、振動を発生させるべき所定の領域とは、利用者によって特定される被写体がディスプレイパネル１６０に表示される領域である。
【０１０４】
駆動制御部２４０は、指先の移動速度が所定の閾値速度以上であり、操作入力の位置の座標が振動を発生させるべき所定の領域の内部にある場合に、振幅値を表す振幅データをメモリ２５０から読み出して、振幅変調器３２０に出力する。
【０１０５】
メモリ２５０は、アプリケーションプロセッサ２２０がアプリケーションの実行に必要とするデータ及びプログラム、及び、通信プロセッサ２３０が通信処理に必要とするデータ及びプログラム等を格納する。
【０１０６】
正弦波発生器３１０は、トップパネル１２０を固有振動数で振動させるための駆動信号を生成するのに必要な正弦波を発生させる。例えば、トップパネル１２０を３３．５［ｋＨｚ］の固有振動数ｆで振動させる場合は、正弦波の周波数は、３３．５［ｋＨｚ］となる。正弦波発生器３１０は、超音波帯の正弦波信号を振幅変調器３２０に入力する。
【０１０７】
振幅変調器３２０は、駆動制御部２４０から入力される振幅データを用いて、正弦波発生器３１０から入力される正弦波信号の振幅を変調して駆動信号を生成する。振幅変調器３２０は、正弦波発生器３１０から入力される超音波帯の正弦波信号の振幅のみを変調し、周波数及び位相は変調せずに、駆動信号を生成する。
【０１０８】
このため、振幅変調器３２０が出力する駆動信号は、正弦波発生器３１０から入力される超音波帯の正弦波信号の振幅のみを変調した超音波帯の正弦波信号である。なお、振幅データがゼロの場合は、駆動信号の振幅はゼロになる。これは、振幅変調器３２０が駆動信号を出力しないことと等しい。
【０１０９】
図８は、電子機器１００の利用の仕方の一例を示す図である。
【０１１０】
まず、第１ステップとして、利用者は電子機器１００のカメラ１８０と赤外線カメラ１９０を用いて、ぬいぐるみ１と金属の置物２の写真を撮影する。より具体的には、カメラ１８０でぬいぐるみ１を撮影し、カメラ１８０で金属の置物２の写真を撮影する。また、赤外線カメラ１９０でぬいぐるみ１を撮影し、赤外線カメラ１９０で金属の置物２の写真を撮影する。第１ステップは、カメラ制御部２２１によって行われる。
【０１１１】
ここで、ぬいぐるみ１は、動物のキャラクターのぬいぐるみである。ぬいぐるみ１は光沢のない布製であり、手で触れるとフワフワした触感である。ぬいぐるみ１は、光沢のない物体の一例である。
【０１１２】
また、金属の置物２は、骸骨の形状の置物である。金属の置物２は、表面が滑らかな曲面であり、手で触れるとつるつるした触感である。金属の置物２は、光沢のある物体の一例である。
【０１１３】
なお、光沢があるとは、物体の表面がある程度滑らかな平面又は曲面であり、光をある程度反射し、触れるとある程度つるつるした触感が得られることをいう。ここでは、光沢があるかないかは、触感で判断することとする。
【０１１４】
触感には個人差があるため、ここでは一例として、光沢があるかないかを決める境界値（閾値）は、利用者が好みで設定できるようにする。
【０１１５】
次に、第２ステップとして、ぬいぐるみ１の画像１Ａと金属の置物２の画像２Ａを得る。画像１Ａと画像２Ａは、カメラ１８０がぬいぐるみ１と金属の置物２を別々に撮影することによって得られる。画像１Ａと画像２Ａは、電子機器１００のディスプレイパネル１６０に表示される。第２ステップは、カメラ制御部２２１と画像処理部２２２によって行われる。
【０１１６】
次に、第３ステップとして、電子機器１００が画像１Ａと画像２Ａに画像処理を行い、画像１Ａと画像２Ａにそれぞれ含まれる被写体（ぬいぐるみ１と金属の置物２）が表示される領域（以下、特定領域と称す）を表す画像１Ｂと画像２Ｂを作成する。
【０１１７】
画像１Ｂでは、被写体が表示される領域である特定領域が白く示されており、被写体以外の背景の部分が黒く示されている。黒く示される部分は、データが存在しない領域である。白く示される部分は、被写体の画像が存在するピクセルを表し、ぬいぐるみ１の表示領域に対応している。
【０１１８】
同様に、画像２Ｂでは、被写体が表示される領域である特定領域が白く示されており、被写体以外の背景の部分が黒く示されている。黒く示される部分は、データが存在しない領域である。白く示される部分は、被写体の画像が存在するピクセルを表し、金属の置物２の表示領域に対応している。なお、第３ステップは、画像処理部２２２によって行われる。
【０１１９】
また、第４ステップでは、ぬいぐるみ１の距離画像１Ｃと金属の置物２の距離画像２Ｃを得る。距離画像１Ｃと距離画像２Ｃは、赤外線カメラ１９０がぬいぐるみ１と金属の置物２を別々に撮影することによって得られる。なお、第４ステップは、第２ステップ及び第３ステップと平行して、画像処理部２２２によって行われる。
【０１２０】
次に、第５ステップでは、距離画像１Ｃと２Ｃのうち、画像１Ｂと２Ｂに含まれる特定領域の内部のピクセルに対応する画像を抽出することにより、特定領域の距離画像１Ｄと２Ｄをそれぞれ取得する。第５ステップは、距離画像抽出部２２３によって行われる。
【０１２１】
次に、第６ステップでは、特定領域の距離画像１Ｄと２Ｄに含まれるノイズの割合を算出し、算出したノイズの割合が所定値以上であるかどうかを判定する。算出したノイズの割合が所定値以上であれば、特定領域の距離画像１Ｄ又は２Ｄに対応する被写体は光沢のある物体である。一方、算出したノイズの割合が所定値以上でなければ、特定領域の距離画像１Ｄ又は２Ｄに対応する被写体は光沢のない物体である。
【０１２２】
ここでは、一例として、特定領域の距離画像１Ｄに対応する被写体（ぬいぐるみ１）は光沢のない物体であると判定され、特定領域の距離画像２Ｄに対応する被写体（金属の置物２）は光沢のある物体であると判定される。
【０１２３】
光沢のない物体と判定された特定領域の距離画像１Ｄがある領域１Ｅ（以下、非光沢領域１Ｅ）に対しては、光沢のない物体に応じた比較的小さい振幅を表す振幅データが割り当てられる。
【０１２４】
また、光沢のある物体と判定された特定領域の距離画像２Ｄがある領域２Ｅ（以下、光沢領域２Ｅ）に対しては、光沢のある物体に応じた比較的大きい振幅を表す振幅データが割り当てられる。
【０１２５】
このように、振幅データが割り当てられた非光沢領域１Ｅと光沢領域２Ｅを表すデータは、メモリ２５０に格納される。これで第６ステップが終了する。なお、第６ステップは、光沢判定部２２４と振幅データ割当部２２５によって行われる。
【０１２６】
そして、第７ステップとして、電子機器１００のディスプレイパネル１６０に金属の置物２の画像２Ａを表示し、利用者が画像２Ａが表示された部分を指でなぞると、振動素子１４０が駆動されて金属の置物２に応じた触感が提供される。
【０１２７】
次に、図９及び図１０を用いて、赤外線カメラ１９０によって取得される距離画像について説明する。
【０１２８】
図９及び図１０は、赤外線カメラ１９０によって取得される距離画像を説明する図である。
【０１２９】
図９に示すように、赤外線光源１９１から物体３（被写体）に赤外線を照射すると、赤外線は物体３の表面で拡散反射する。そして、物体３によって反射された赤外線を赤外線カメラ１９０で撮像することにより、距離画像を得る。
【０１３０】
図１０の下側に示す距離画像５は、物体３の距離画像３Ａと、背景の距離画像４Ａとを含む。距離画像５は、ピクセル毎に距離の情報が与えられているが、図１０の下側に示す距離画像５では、説明の便宜上、赤外線カメラ１９０からの距離をグレースケールで表す。図１０では、赤外線カメラ１９０に近いものほど薄いグレーで示し、赤外線カメラ１９０から遠いものほど濃いグレーで示す。赤外線カメラ１９０から見ると、背景よりも物体３が近いので、物体３の距離画像３Ａは薄いグレーで示され、背景の距離画像４Ａは濃いグレーで示されている。
【０１３１】
図１０の上側には、図１０の下側に示す距離画像５のうちの一部（四角で囲んだ部分）を拡大して示す。距離画像５における距離の情報は、各ピクセルに与えられている。ここでは、一例として、物体３の距離画像３Ａには１００（ｍｍ）という距離の情報が与えられており、背景の距離画像４Ａには３００（ｍｍ）という距離の情報が与えられている。
【０１３２】
次に、図１１を用いて、距離画像に含まれるノイズについて説明する。
【０１３３】
図１１は、ノイズ３Ａ１を含む距離画像５を示す図である。
【０１３４】
物体３が光沢物質製である場合には、ある特定の方向に強い反射を起こす鏡面反射の性質が強いため、一部の画素で反射光が赤外線カメラ１９０に戻らないことがある。赤外線光源１９１から照射される赤外線の反射光が戻らなかった部分の画素は、反射光の光のデータを有しないため、ノイズ３Ａ１となる。ノイズ３Ａ１は、光のデータがないため、黒く表示される。なお、ノイズ３Ａ１は、反射光のデータが欠落したデータ欠落部として取り扱うことができる。
【０１３５】
実施の形態１の電子機器１００は、ノイズ３Ａ１を利用して、物体３が光沢のある物体であるかどうかを判定し、判定結果に応じて振幅データを割り当てる。
【０１３６】
図１２及び図１３は、実施の形態１の電子機器１００が振幅データを割り当てるために実行する処理を表すフローチャートを示す図である。図１２及び図１３に示す処理は、アプリケーションプロセッサ２２０によって実行される。
【０１３７】
アプリケーションプロセッサ２２０は、閾値を決定する（ステップＳ１００）。閾値は、後にステップＳ１７０で特定領域の距離画像に含まれるノイズの割合が多いか少ないかを判定する際の基準値として用いられる。ステップＳ１００は、アプリケーションプロセッサ２２０の画像処理部２２２によって実行される処理である。
【０１３８】
ここでは、アプリケーションプロセッサ２２０が閾値を設定するための入力画面を１６０に表示し、入力画面を通じて利用者に閾値の設定を求める。利用者は１６０の入力画面を操作することによって、閾値を設定する。なお、利用者によって入力画面が操作されたときのアプリケーションプロセッサ２２０の処理については、図１３を用いて後述する。
【０１３９】
アプリケーションプロセッサ２２０は、カメラ１８０と赤外線カメラ１９０で被写体を撮影する（ステップＳ１１０）。アプリケーションプロセッサ２２０が１６０に被写体の撮影を求めるメッセージを表示し、利用者がカメラ１８０と赤外線カメラ１９０で被写体を撮影することにより、ステップＳ１１０の処理が実現される。
【０１４０】
なお、ステップＳ１１０は、カメラ制御部２２１によって実行される処理であり、図８に示す第１ステップに相当する。
【０１４１】
ステップＳ１１０が終了すると、アプリケーションプロセッサ２２０は、ステップＳ１２０〜Ｓ１３０の処理と、ステップＳ１４０の処理とを平行して同時に行う。
【０１４２】
アプリケーションプロセッサ２２０は、カメラ１８０からカラー画像を取得する（ステップＳ１２０）。ステップＳ１２０は、カメラ制御部２２１と画像処理部２２２によって実行される処理であり、図８に示す第２ステップに相当する。
【０１４３】
アプリケーションプロセッサ２２０は、ステップＳ１２０で取得したカラー画像に対して画像処理を行うことにより、特定領域の画像を取得する（ステップＳ１３０）。ステップＳ１３０は、画像処理部２２２によって実行される処理であり、図８に示す第３ステップに相当する。なお、特定領域の画像を取得する処理の詳細については、図１４及び図１５を用いて後述する。
【０１４４】
また、アプリケーションプロセッサ２２０は、赤外線カメラ１９０から距離画像を取得する（ステップＳ１４０）。ステップＳ１４０は、図８に示す第４ステップに相当する。
【０１４５】
アプリケーションプロセッサ２２０は、ステップＳ１３０で取得した特定領域の画像と、ステップＳ１４０で取得した距離画像とに基づき、特定領域の距離画像を取得する（ステップＳ１５０）。特定領域の距離画像は、被写体の距離画像を表す。ステップＳ１５０は、カメラ制御部２２１と画像処理部２２２によって実行される処理であり、図８に示す第５ステップに相当する。
【０１４６】
次に、アプリケーションプロセッサ２２０は、ステップＳ１５０で求めた特定領域の距離画像に含まれるノイズの特定領域の距離画像に対する割合を求める（ステップＳ１６０）。ステップＳ１６０は、光沢判定部２２４によって実行される処理であり、図８に示す第６ステップに相当する。なお、ノイズの割合の求め方の詳細については、図１６を用いて後述する。
【０１４７】
アプリケーションプロセッサ２２０は、ノイズの割合がステップＳ１００で求めた閾値以上であるかどうかを判定する（ステップＳ１７０）。ステップＳ１７０は、図８に示す第６ステップに相当する。
【０１４８】
アプリケーションプロセッサ２２０は、ノイズの割合が閾値以上ではない（Ｓ１７０：ＮＯ）と判定すると、特定領域を非光沢領域と判定する（ステップＳ１８０Ａ）。ステップＳ１８０Ａは、光沢判定部２２４によって実行される処理であり、図８に示す第６ステップに相当する。
【０１４９】
一方、アプリケーションプロセッサ２２０は、ノイズの割合が閾値以上である（Ｓ１７０：ＹＥＳ）と判定すると、特定領域を光沢領域と判定する（ステップＳ１８０Ｂ）。ステップＳ１８０Ｂは、光沢判定部２２４によって実行される処理であり、図８に示す第６ステップに相当する。
【０１５０】
アプリケーションプロセッサ２２０は、ステップＳ１８０Ａ又はステップＳ１８０Ｂの判定結果に応じた振幅データを特定領域に割り当てる（ステップＳ１９０）。アプリケーションプロセッサ２２０は、振幅データが割り当てられた特定領域を表すデータをメモリ２５０に格納する。ステップＳ１９０は、振幅データ割当部２２５によって実行される処理であり、図８に示す第６ステップに相当する。
【０１５１】
図１３に示す処理は、ステップＳ１００の処理が開始することによってスタートされる。
【０１５２】
まず、アプリケーションプロセッサ２２０は、光沢のある物体（以下、光沢物体）の数ｍ（ｍは１以上の整数）を１に設定する（ステップＳ１０１Ａ）。１個目の光沢物体についてカラー画像を取得するための準備である。
【０１５３】
アプリケーションプロセッサ２２０は、ｍ個目の光沢物体の距離画像を取得する（ステップＳ１０２Ａ）。光沢物体の距離画像は、ステップＳ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、及びＳ１５０の処理と同様に、カメラ１８０で取得したカラー画像と、赤外線カメラ１９０で取得した距離画像とを用いて、光沢物体に対応する特殊領域の距離画像を求めることによって取得される。
【０１５４】
すなわち、カメラ１８０と赤外線カメラ１９０でそれぞれ撮影する視野に含まれる光沢物体のみの距離画像が、光沢物体に対応する特殊領域の距離画像として取得される。
【０１５５】
なお、ステップＳ１０２Ａで用いるカラー画像と距離画像は、カメラ１８０と赤外線カメラ１９０で身の回りにある光沢物体を撮影することによって取得してもよいし、利用者が電子機器１００のメモリ２５０に予め保存してあるカラー画像と距離画像を読み出すことによって取得してもよい。
【０１５６】
アプリケーションプロセッサ２２０は、ｍ個目の光沢物体のノイズ割合を取得する（ステップＳ１０３Ａ）。ノイズ割合は、ステップＳ１０２Ａで取得した特殊領域の距離画像に対して、ステップＳ１６０と同様の処理を行うことによって取得することができる。
【０１５７】
アプリケーションプロセッサ２２０は、ノイズ割合は５０％以上であるかどうかを判定する（ステップＳ１０４Ａ）。ここでは、一例として判定に用いる閾値を５０％に設定しているが、利用者の好みで任意の値に設定できるようにしてもよい。
【０１５８】
アプリケーションプロセッサ２２０は、ノイズ割合は５０％以上である（Ｓ１０４Ａ：ＹＥＳ）と判定すると、判定対象になっている特殊領域の距離画像を破棄する（ステップＳ１０５Ａ）。ノイズ割合が５０％以上の特殊領域の距離画像は、光沢のある物体の特定領域の距離画像がある領域（光沢領域）として適切ではないためである。
【０１５９】
アプリケーションプロセッサ２２０は、数値ｍをインクリメントする（ステップＳ１０６Ａ）。すなわち、ｍ＝ｍ＋１となる。アプリケーションプロセッサ２２０は、ステップＳ１０６Ａの処理が終了すると、フローをステップＳ１０２Ａにリターンする。
【０１６０】
また、アプリケーションプロセッサ２２０は、１０４Ａでノイズ割合は５０％以上ではない（Ｓ１０４Ａ：ＮＯ）と判定すると、判定対象になっている特殊領域の距離画像とノイズ割合とを光沢領域のデータとして採用する（ステップＳ１０７Ａ）。
【０１６１】
アプリケーションプロセッサ２２０は、ステップＳ１０７Ａで採用した光沢領域のデータをメモリ２５０に保存する（ステップＳ１０８Ａ）。アプリケーションプロセッサ２２０は、ステップＳ１０８Ａを終えると、フローをステップＳ１０１Ｂに進行させる。
【０１６２】
アプリケーションプロセッサ２２０は、光沢のない物体（以下、非光沢物体）の数ｎ（ｎは１以上の整数）を１に設定する（ステップＳ１０１Ｂ）。１個目の非光沢物体についてカラー画像を取得するための準備である。
【０１６３】
アプリケーションプロセッサ２２０は、ｎ個目の非光沢物体の距離画像を取得する（ステップＳ１０２Ｂ）。非光沢物体の距離画像は、ステップＳ１１０、Ｓ１２０、Ｓ１３０、Ｓ１４０、及びＳ１５０の処理と同様に、カメラ１８０で取得したカラー画像と、赤外線カメラ１９０で取得した距離画像とを用いて、非光沢物体に対応する特殊領域の距離画像を求めることによって取得される。
【０１６４】
すなわち、カメラ１８０と赤外線カメラ１９０でそれぞれ撮影する視野に含まれる非光沢物体のみの距離画像が、非光沢物体に対応する特殊領域の距離画像として取得される。
【０１６５】
なお、ステップＳ１０２Ｂで用いるカラー画像と距離画像は、カメラ１８０と赤外線カメラ１９０で身の回りにある非光沢物体を撮影することによって取得してもよいし、利用者が電子機器１００のメモリ２５０に予め保存してあるカラー画像と距離画像を読み出すことによって取得してもよい。
【０１６６】
アプリケーションプロセッサ２２０は、ｎ個目の非光沢物体のノイズ割合を取得する（ステップＳ１０３Ｂ）。ノイズ割合は、ステップＳ１０２Ｂで取得した特殊領域の距離画像に対して、ステップＳ１６０と同様の処理を行うことによって取得することができる。
【０１６７】
アプリケーションプロセッサ２２０は、ノイズ割合は５０％以上であるかどうかを判定する（ステップＳ１０４Ｂ）。ここでは、一例として判定に用いる閾値を５０％に設定しているが、利用者の好みで任意の値に設定できるようにしてもよい。
【０１６８】
アプリケーションプロセッサ２２０は、ノイズ割合は５０％以上である（Ｓ１０４Ｂ：ＹＥＳ）と判定すると、判定対象になっている特殊領域の距離画像を破棄する（ステップＳ１０５Ｂ）。ノイズ割合が５０％以上の特殊領域の距離画像は、光沢のない物体の特定領域の距離画像がある領域（非光沢領域）として適切ではないためである。
【０１６９】
アプリケーションプロセッサ２２０は、数値ｎをインクリメントする（ステップＳ１０６Ｂ）。すなわち、ｎ＝ｎ＋１となる。アプリケーションプロセッサ２２０は、ステップＳ１０６Ｂの処理が終了すると、フローをステップＳ１０２Ｂにリターンする。
【０１７０】
また、アプリケーションプロセッサ２２０は、１０４Ｂでノイズ割合は５０％以上ではない（Ｓ１０４Ｂ：ＮＯ）と判定すると、判定対象になっている特殊領域の距離画像とノイズ割合とを非光沢領域のデータとして採用する（ステップＳ１０７Ｂ）。
【０１７１】
アプリケーションプロセッサ２２０は、ステップＳ１０７Ｂで採用した非光沢領域のデータをメモリ２５０に保存する（ステップＳ１０８Ｂ）。
【０１７２】
アプリケーションプロセッサ２２０は、メモリ２５０に保存した光沢領域のデータと、非光沢領域のデータとに含まれる特殊領域のノイズ割合をディスプレイパネル１６０に表示する（ステップＳ１０９Ｂ）。
【０１７３】
ノイズ割合の閾値を設定する利用者の参考用に、光沢領域のデータと、非光沢領域のデータとに含まれる特殊領域のノイズ割合を表示することとしたものである。
【０１７４】
アプリケーションプロセッサ２２０は、利用者の操作入力によって指定される値に閾値を設定する（ステップＳ１０９Ｃ）。
【０１７５】
例えば、金属の置物２についての特殊領域のノイズ割合が５％で、ぬいぐるみ１についての特殊領域のノイズ割合が０％である場合には、利用者は、例えば、ノイズ割合の閾値を２．５％に設定する。
【０１７６】
以上により、ステップＳ１００の閾値が決定する。
【０１７７】
図１４は、ステップＳ１３０の処理の詳細を示すフローチャートである。図１４に示すフローを説明するにあたり、図１５を用いる。図１５は、ステップＳ１３０による画像処理を示す図である。
【０１７８】
アプリケーションプロセッサ２２０は、ステップＳ１３２の処理で分割されるカラー画像の中の２つの領域のうち面積の大きい方と面積の小さい方のどちらを特定領域として扱うかを設定する（ステップＳ１３１）。この設定は、利用者の入力内容に従って行われる。なお、特定領域は、被写体の表示領域を表す領域である。
【０１７９】
このような設定を行うのは、被写体を含む視野において、被写体を大きく撮るか、又は、被写体を小さく取るかによって、カラー画像の中における被写体と背景の面積の大小関係が異なるからである。
【０１８０】
なお、ここでは、一例として、２つの領域のうち面積の小さい方が特定領域として扱われるように設定されたこととする。
【０１８１】
アプリケーションプロセッサ２２０は、グラフカットにより、カラー画像を被写体と背景との２つの領域に分割した画像を取得する（ステップＳ１３２）。例えば、図１５の（Ａ）に示す画像２Ａ（カラー画像）に対してグラフカットを行うことにより、図１５の（Ｂ）に示す画像２Ａ１を得る。画像２Ａ１の中では、領域２Ａ１１と、領域２Ａ１２とに分割されている。
【０１８２】
なお、この時点では、領域２Ａ１１と領域２Ａ１２のうちのどちらが被写体の表示領域であるかは分かっていない。
【０１８３】
次に、アプリケーションプロセッサ２２０は、一方の領域２Ａ１１の面積と、他方の領域２Ａ１２との面積を計算する（ステップＳ１３３Ａ、Ｓ１３３Ｂ）。面積の計算は、例えば、領域２Ａ１１と領域２Ａ１２とにそれぞれ含まれるピクセル数を数えることによって行うことができる。
【０１８４】
ピクセル数の数えるときは、例えば、図１０に示すようなＸＹ座標系において、原点Ｏに最も近いピクセルからＸ軸正方向（列方向における正方向）に数えて行き、Ｙ軸正方向（行方向における正方向）に１行ずつずらしながら、すべてのピクセルを数えればよい。
【０１８５】
例えば、図１５の（Ｃ）に示すように、領域２Ａ１１のピクセル数が92,160 [pixel]で、領域２Ａ１２のピクセル数215,040 [pixel]であったとする。
【０１８６】
アプリケーションプロセッサ２２０は、ステップＳ１３３Ａ及びＳ１３３Ｂで計算した面積を比較する（ステップＳ１３４）。
【０１８７】
次いで、アプリケーションプロセッサ２２０は、比較結果に基づいて、特定領域を決定する（ステップＳ１３５）。ここでは、一例として、ステップＳ１３１において、２つの領域のうち面積の小さい方が被写体の表示領域を表す特定領域として扱われるように設定されているため、領域２Ａ１１と領域２Ａ１２とのうち、面積の小さい領域２Ａ１１が特定領域として決定される。
【０１８８】
次いで、アプリケーションプロセッサ２２０は、特定領域の画像を取得する（ステップＳ１３６）。例えば、図１５の（Ｂ）に示す領域２Ａ１１を特定領域とする画像２Ｂ（図１５の（Ｄ）参照）を取得する。
【０１８９】
画像２Ｂでは、被写体が表示される領域である特定領域が白く示されており、被写体以外の背景の部分が黒く示されている。画像２Ｂは、特定領域にのみデータが存在し、特定領域のデータは、被写体の画像が存在するピクセルを表す。
【０１９０】
次に、図１６を用いて、ノイズ割合の取得方法について説明する。
【０１９１】
図１６は、ノイズ割合を取得する処理を示すフローチャートである。
【０１９２】
図１６に示すフローは、ステップＳ１６０においてノイズ割合を決定する処理の詳細を示すものである。図１６に示すフローは、振幅データ割当部２２５によって実行される。
【０１９３】
以下では、特定領域に含まれるピクセル数をＰ、特定領域に含まれるピクセルのうち、ｋ（１≦ｋ≦Ｐ）番目のピクセルに与えられる距離を表す値をＩ（ｋ）、ノイズの生じているピクセル数をＮ（０≦Ｎ≦Ｐ）、ノイズ割合をＲ（０％≦Ｒ≦１００％）とする。
【０１９４】
なお、ｋ番目とは、ピクセルを数えるときの順番と同様に、原点Ｏ（図１０参照）に最も近いピクセルからＸ軸正方向（列方向における正方向）に順番を割り振り、Ｙ軸正方向（行方向における正方向）に１行ずつずらしながら、すべてのピクセルに順番を割り振ればよい。
【０１９５】
アプリケーションプロセッサ２２０は、処理がスタートすると、特定領域に含まれる距離画像のピクセル数Ｐを取得する（ステップＳ１６１）。ピクセル数としては、ステップＳ１３３Ａ及びＳ１３３Ｂで数えたピクセル数のうち、ステップＳ１３５で特定領域であると判定された方のピクセル数を取得すればよい。例えば、図１５の（Ｃ）に示す領域２Ａ１１の92,160 [pixel]を取得する。
【０１９６】
アプリケーションプロセッサ２２０は、ｋ＝１、Ｎ＝０に設定する（ステップＳ１６２）。
【０１９７】
アプリケーションプロセッサ２２０は、ｋ番目のピクセルに与えられる距離を表す値Ｉ（ｋ）を参照する（ステップＳ１６３）。値Ｉ（ｋ）は、特定領域のｋ番目のピクセルから読み出せばよい。
【０１９８】
アプリケーションプロセッサ２２０は、ｋ番目のピクセルの距離を表す値Ｉ（ｋ）があるかどうかを判定する（ステップＳ１６４）。距離を表す値Ｉ（ｋ）があるかどうかは、距離を表す値Ｉ（ｋ）が０（ゼロ）であれば値Ｉ（ｋ）がないと判定し、距離を表す値Ｉ（ｋ）が０（ゼロ）でなければ（正の値があれば）距離を表す値Ｉ（ｋ）があると判定する。
【０１９９】
アプリケーションプロセッサ２２０は、距離を表す値Ｉ（ｋ）がない（Ｓ１６４：ＮＯ）と判定すると、ノイズの生じているピクセル数Ｎをインクリメントする（ステップＳ１６５）。すなわち、Ｎ＝Ｎ＋１となる。アプリケーションプロセッサ２２０は、ステップＳ１６５の処理が終わると、フローをステップＳ１６６に進行する。
【０２００】
一方、アプリケーションプロセッサ２２０は、距離を表す値Ｉ（ｋ）がある（Ｓ１６４：ＹＥＳ）と判定すると、フローをステップＳ１６６に進行させ、ｋの値をインクリメントする（ステップＳ１６６）。すなわち、ｋ＝ｋ＋１となる。
【０２０１】
アプリケーションプロセッサ２２０は、ｋ＞Ｐが成立するかどうかを判定する（ステップＳ１６７）。
【０２０２】
アプリケーションプロセッサ２２０は、ｋ＞Ｐが成立しない（Ｓ１６７：ＮＯ）と判定すると、フローをステップＳ１６３にリターンする。
【０２０３】
一方、アプリケーションプロセッサ２２０は、ｋ＞Ｐが成立する（Ｓ１６７：ＹＥＳ）と判定すると、フローをステップＳ１６８に進行させる。なお、ｋ＞Ｐが成立するのは、特定領域に含まれるすべてのピクセルについて処理が終わり、ｋ＝Ｐ＋１になった場合である。
【０２０４】
アプリケーションプロセッサ２２０は、ノイズ割合を求める（ステップＳ１６８）。ノイズ割合は、次の式（３）によって求められる。
Ｒ＝１００×Ｎ／Ｐ      （３）
すなわち、ノイズ割合は、すべての画素の数Ｐに対する、ノイズの生じている画素数Ｎの割合を百分率で表したものである。
【０２０５】
以上により、ステップＳ１６０におけるノイズ割合が求められる。
【０２０６】
図１７は、振幅データ割当部２２５によって特定領域に割り当てられた振幅データを示す図である。
【０２０７】
特定領域のピクセルは、図１０に示すＸＹ座標を用いて表される。図１７には、Ｘ軸方向において１列目、２列目、３列目で、Ｙ軸方向において１行目のピクセルに割り当てられる振幅データ（電圧値）を示す。
【０２０８】
なお、Ｘ軸方向において１列目とは、Ｘ軸方向において原点Ｏに最も近い列を表す。また、Ｙ軸方向において１行目とは、Ｙ軸方向において原点Ｏに最も近い行を表す。図１７に示すデータは、特定領域の原点に最も近い一部のピクセルに与えられる振幅値を示しており、Ｘ軸方向及びＹ軸方向にさらにデータを有する。
【０２０９】
なお、振幅データは、光沢物体用の振幅データと、非光沢物体用の振幅データとをメモリ２５０に格納しておき、特定領域の各ピクセルに振幅データ割当部２２５が振幅データを割り当てる際に読み出せばよい。
【０２１０】
図１８は、メモリ２５０に格納する光沢物体用の振幅データと、非光沢物体用の振幅データとを示す図である。
【０２１１】
図１８では、一例として、光沢物体用の振幅データは１．０（Ｖ）に設定されており、非光沢物体用の振幅データは０．５（Ｖ）に設定されている。なお、振幅データは、特定領域のピクセルによって異なる値に設定されてもよい。例えば、ぬいぐるみ１（図８参照）のように、表面に凹凸がある場合には、一定のピクセル数おきに、振幅データが周期的に変化するようにしてもよい。このような振幅データを特定領域に割り当てれば、ぬいぐるみ１の表面の触感をより忠実に再現することができる。
【０２１２】
図１９は、メモリ２５０に格納されるデータを示す図である。
【０２１３】
図１９に示すデータは、アプリケーションの種類を表すデータと、特定領域の座標値を表す領域データと、振動パターンを表すパターンデータとを関連付けたデータである。
【０２１４】
アプリケーションの種類を表すデータとして、アプリケーションＩＤ(Identification)を示す。アプリケーションＩＤは、例えば、振動データを関連付ける特定領域毎に割り振ればよい。すなわち、例えば、ぬいぐるみ１（図８参照）の特定領域と、金属の置物２（図８参照）の特定領域とでは、アプリケーションＩＤが異なるようにすればよい。
【０２１５】
また、領域データとして、特定領域の座標値を表す式f1~f4を示す。式f1~f4は、例えば、画像１Ｂと２Ｂに含まれる特定領域（図８の第３ステップ参照）のような特定領域の座標を表す式である。また、振動パターンを表すパターンデータとして、Ｐ１〜Ｐ４を示す。パターンデータＰ１〜Ｐ４は、特定領域内の各ピクセルについて、図１８に示す振幅データが割り当てられたデータである。
【０２１６】
次に、図２０を用いて、実施の形態の電子機器１００の駆動制御部２４０が実行する処理について説明する。
【０２１７】
図２０は、実施の形態の電子機器１００の駆動制御部２４０が実行する処理を示すフローチャートである。
【０２１８】
電子機器１００のＯＳ（Operating System）は、所定の制御周期毎に電子機器１００を駆動するための制御を実行する。このため、駆動制御部２４０は、所定の制御周期毎に、図２０に示すフローを所定の制御周期毎に繰り返し実行する。
【０２１９】
駆動制御部２４０は、電子機器１００の電源がオンにされることにより、処理をスタートさせる。
【０２２０】
駆動制御部２４０は、現在のアプリケーションの種類に応じて、振動パターンと関連付けられた領域データを取得する（ステップＳ１）。
【０２２１】
駆動制御部２４０は、移動速度が所定の閾値速度以上であるか否かを判定する（ステップＳ２）。移動速度は、ベクトル演算によって算出すればよい。なお、閾値速度は、所謂フリック操作、スワイプ操作、又はドラッグ操作等のように指先を移動させながら操作入力を行う際における指先の移動速度の最低速度として設定すればよい。このような最低速度は、実験結果に基づいて設定してもよく、タッチパネル１５０の分解能等に応じて設定してもよい。
【０２２２】
駆動制御部２４０は、ステップＳ２で移動速度が所定の閾値速度以上であると判定した場合は、現在の位置データが表す座標が、ステップＳ１で求めた領域データが表す特定領域の中になるか否かを判定する（ステップＳ３）。
【０２２３】
駆動制御部２４０は、現在の位置データが表す座標が、ステップＳ１で求めた領域データが表す特定領域の中にあると判定する場合は、現在の位置データが表す座標に対応する振動パターンを図１９に示すデータから求める（ステップＳ４）。
【０２２４】
駆動制御部２４０は、振幅データ出力する（ステップＳ５）。これにより、振幅変調器３２０において、正弦波発生器３１０から出力される正弦波の振幅が変調されることによって駆動信号が生成され、振動素子１４０が駆動される。
【０２２５】
一方、ステップＳ２で移動速度が所定の閾値速度以上ではないと判定した場合（Ｓ２：ＮＯ）と、ステップＳ３で現在の座標が、ステップＳ１で求めた領域データが表す特定領域の中にないと判定した場合は、駆動制御部２４０は、振幅値をゼロに設定する（ステップＳ６）。
【０２２６】
この結果、駆動制御部２４０は、振幅値がゼロの振幅データが出力され、振幅変調器３２０において、正弦波発生器３１０から出力される正弦波の振幅がゼロに変調された駆動信号が生成される。このため、この場合は、振動素子１４０は駆動されない。
【０２２７】
図２１は、実施の形態１の電子機器１００の動作例を示す図である。
【０２２８】
図２１において、横軸は時間軸を表し、縦軸は振幅データの振幅値を表す。また、ここでは、利用者がトップパネル１２０の表面１２０Ａに沿って指先を移動させる速度は略一定であることとする。また、ディスプレイパネル１６０には、光沢のある物体が表示されており、利用者は、光沢のある物体の画像をなぞる操作を行う。
【０２２９】
トップパネル１２０の特定領域の外に触れた指先を、時刻ｔ１において利用者が左方向に移動し始めたとする。そして、時刻ｔ２において、指先が光沢のある物体が表示される特定領域内に入ると、駆動制御部２４０は、振動素子１４０を振動する。
【０２３０】
このときの振動パターンは、振幅がＡ１１であり、指先が特定領域内で移動している間は、振動が連続する駆動パターンである。
【０２３１】
時刻ｔ３で利用者の指先が特定領域の外に出ると、駆動制御部２４０は、振幅値をゼロに設定する。このため、時刻ｔ３の直後に振幅がゼロになる。
【０２３２】
このように、指先が特定領域内で移動している間は、駆動制御部２４０は、一例として、振幅が一定値（Ａ１１）の振幅データを出力する。このため、利用者が特定領域に表示される物体の画像に触れながら指先を移動している間は、利用者の指先に掛かる動摩擦力は低下し、利用者に指先がつるつると滑る感覚を提供することができ、利用者は光沢のある物体の触感を得ることができる。なお、光沢のない物体の場合は、振幅が小さくなるため、触感が弱くなる。例えば、ぬいぐるみ１（図８参照）の場合は、ふわふわした柔らかい触感が提供される。
【０２３３】
図２２は、電子機器１００の利用シーンを示す図である。
【０２３４】
特定領域に振幅データを割り当てた後に、利用者は、電子機器１００のディスプレイパネル１６０に骸骨の形をした金属の置物２の画像２Ａを表示し、トップパネル１２０を指でなぞると、金属の置物２が表示されている特定領域以外では、振動素子１４０（図２、３、７参照）が振動されないため、スクイーズ効果は生じない。
【０２３５】
利用者の指先が、金属の置物２が表示されている特定領域の内部で移動すると、上述のように特定領域に割り当てられた振幅データによって強度が変調された駆動信号によって振動素子１４０が駆動される。
【０２３６】
この結果、利用者は、金属の置物２が表示されている特定領域の内部で指先を移動させると、スクイーズ効果によってつるつるした触感を得ることができる。
【０２３７】
すなわち、金属の置物２が表示されている特定領域以外では、短い矢印で示すように、利用者の指先はゆっくりと移動し、金属の置物２が表示されている特定領域の内部では、長い矢印で示すように利用者の指先が速い速度で移動する。
【０２３８】
また、ディスプレイパネル１６０にぬいぐるみ１（図８参照）を表示して、ぬいぐるみ１が表示されている特定領域の内部で移動すると、金属の置物２よりも小さい振幅データによって強度が変調された駆動信号によって振動素子１４０が駆動される。このため、利用者は、ぬいぐるみ１を触っているようなふわふわした触感を得ることができる。
【０２３９】
以上、実施の形態１によれば、光沢の有無に応じた触感を提供することができる電子機器１００と、駆動制御方法とを提供することができる。
【０２４０】
なお、特定領域に割り当てる振幅データは、利用者が自由に設定できるようにしてもよい。この場合は、利用者の好みに応じた様々な触感を提供することができる。
【０２４１】
また、以上では、カメラ１８０から取得したカラー画像に対して画像処理を行うことにより、特定領域の画像を取得する形態について説明した。しかしながら、電子機器１００は、カメラ１８０を含まずに、赤外線カメラ１９０で赤外線画像を取得し、上述したカラー画像の代わりに、赤外線画像に対して画像処理を行うことにより、特定領域の画像を取得してもよい。赤外線画像とは、被写体に赤外線を照射し、反射光の強度を画素値にした画像であり、白黒で表される画像である。
【０２４２】
この場合には、電子機器１００のディスプレイパネル１６０に赤外線画像を表示すればよい。
【０２４３】
また、カメラ１８０から取得したカラー画像に対して画像処理を行うことによって特定領域の画像を取得する場合に、赤外線カメラ１９０で取得した赤外線画像をディスプレイパネル１６０に表示してもよい。
【０２４４】
また、これとは逆に、赤外線カメラ１９０で取得した赤外線画像に対して画像処理を行うことによって特定領域の画像を取得する場合に、カメラ１８０から取得したカラー画像をディスプレイパネル１６０に表示してもよい。
【０２４５】
また、カメラ１８０で取得する画像は、カラー画像ではなく白黒の画像であってもよい。
【０２４６】
＜実施の形態２＞
実施の形態２は、ステップＳ１００（図１２参照）における閾値の設定方法が実施の形態１と異なる。それ以外は、実施の形態１の電子機器１００と同様であるため、同様の構成要素には同一符号を付し、その説明を省略する。
【０２４７】
図２３は、実施の形態２の電子機器１００が振幅データを割り当てるために実行する処理を表すフローチャートを示す図である。図２３に示す処理は、アプリケーションプロセッサ２２０によって実行される。
【０２４８】
図２３に示すフローのうち、ステップＳ１０１Ａ〜Ｓ１０８Ａと、ステップＳ１０１Ｂ〜Ｓ１０８Ｂとは、図１３に示すステップＳ１０１Ａ〜Ｓ１０８Ａと、ステップＳ１０１Ｂ〜Ｓ１０８Ｂと同様である。
【０２４９】
ただし、ステップＳ１０１Ａでは、光沢領域のデータの数ｘ１を０（ゼロ）に設定する処理が追加されている。また、ステップＳ１０１Ｂでは、非光沢領域のデータの数ｙ１を０（ゼロ）に設定する処理が追加されている。なお、ｘ１、ｙ１はともに２以上の整数である。
【０２５０】
また、ステップＳ１０７ＡとＳ１０８Ａとの間には、ステップＳ２０８Ａが挿入されている。また、ステップＳ１０８ＡとＳ１０１Ｂとの間には、ステップＳ２０９Ａが挿入されている。
【０２５１】
また、ステップＳ１０７ＢとＳ１０８Ｂとの間には、ステップＳ２０８Ｂが挿入されている。また、ステップＳ１０８Ｂの後には、ステップＳ２０９Ｂ、Ｓ２１０Ａ、Ｓ２１０Ｂが設けられている。
【０２５２】
ここでは、一例として、判別分析法を用いて、アプリケーションプロセッサ２２０が閾値を自動的に決定する。判別分析法とは、ヒストグラムを２つのクラスに分割する手法である。このため、図２３に加えて、図２４を用いて説明を行う。図２４は、ノイズ割合の確率分布を示す図である。
【０２５３】
実施の形態２では、アプリケーションプロセッサ２２０は、光沢のある物体（以下、光沢物体）の数ｍ（ｍは１以上の整数）を１に設定するとともに、光沢領域のデータの数ｘ１を０（ゼロ）に設定する（ステップＳ１０１Ａ）。１個目の光沢物体についてカラー画像を取得するための準備である。
【０２５４】
次いで、アプリケーションプロセッサ２２０は、実施の形態１のステップＳ１０２ＡからステップＳ１０７Ａと同様の処理を行う。
【０２５５】
アプリケーションプロセッサ２２０は、ステップＳ１０７Ａで光沢領域のデータを採用すると、光沢領域のデータの数ｘ１をインクリメントする（ステップＳ２０８Ａ）。
【０２５６】
次いで、アプリケーションプロセッサ２２０は、ステップＳ１０７Ａで採用した光沢領域のデータをメモリ２５０に保存する（ステップＳ１０８Ａ）。
【０２５７】
次いで、アプリケーションプロセッサ２２０は、光沢領域のデータの数ｘ１が所定の数ｘ２に達したかを判定する（ステップＳ２０９Ａ）。所定の数ｘ２は、予め設定された、必要な光沢領域のデータの数である。光沢領域のデータの数ｘ２の設定は、利用者が決めてもよいし、電子機器１００に予め設定されていてもよい。
【０２５８】
アプリケーションプロセッサ２２０は、光沢領域のデータの数ｘ１が所定の数ｘ２に達した（Ｓ２０９Ａ：ＹＥＳ）と判定すると、フローをステップＳ１０１Ｂに進行させる。
【０２５９】
また、アプリケーションプロセッサ２２０は、光沢領域のデータの数ｘ１が所定の数ｘ２に達していない（Ｓ２０９Ａ：ＮＯ）と判定すると、フローをステップＳ１０６Ａにリターンする。この結果、光沢領域のデータの数ｘ１が所定の数ｘ２に達するまで処理が繰り返される。
【０２６０】
アプリケーションプロセッサ２２０は、光沢のない物体（以下、非光沢物体）の数ｎ（ｎは１以上の整数）を１に設定するとともに、非光沢領域のデータの数ｙ１を０（ゼロ）に設定する（ステップＳ１０１Ｂ）。１個目の非光沢物体についてカラー画像を取得するための準備である。
【０２６１】
次いで、アプリケーションプロセッサ２２０は、実施の形態１のステップＳ１０２ＢからステップＳ１０７Ｂと同様の処理を行う。
【０２６２】
アプリケーションプロセッサ２２０は、ステップＳ１０７Ｂで非光沢領域のデータを採用すると、非光沢領域のデータの数ｙ１をインクリメントする（ステップＳ２０８Ｂ）。
【０２６３】
次いで、アプリケーションプロセッサ２２０は、ステップＳ１０７Ｂで採用した光沢領域のデータをメモリ２５０に保存する（ステップＳ１０８Ｂ）。
【０２６４】
次いで、アプリケーションプロセッサ２２０は、非光沢領域のデータの数ｙ１が所定の数ｙ２に達したかを判定する（ステップＳ２０９Ｂ）。所定の数ｙ２は、予め設定された、必要な非光沢領域のデータの数である。非光沢領域のデータの数ｙ２の設定は、利用者が決めてもよいし、電子機器１００に予め設定されていてもよい。
【０２６５】
アプリケーションプロセッサ２２０は、非光沢領域のデータの数ｙ１が所定の数ｙ２に達した（Ｓ２０９Ｂ：ＹＥＳ）と判定すると、フローをステップＳ２１０Ａに進行させる。
【０２６６】
また、アプリケーションプロセッサ２２０は、非光沢領域のデータの数ｙ１が所定の数ｙ２に達していない（Ｓ２０９Ｂ：ＮＯ）と判定すると、フローをステップＳ１０６Ｂにリターンする。この結果、光沢領域のデータの数ｙ１が所定の数ｙ２に達するまで処理が繰り返される。
【０２６７】
アプリケーションプロセッサ２２０は、ステップＳ２０９Ｂの処理を終えると、ノイズ割合の確率分布を作成し、分離度αを求める（ステップＳ２１０Ａ）。
【０２６８】
アプリケーションプロセッサ２２０は、確率分布に対して、判別分析法により、図２４に示す通り、まず、仮の閾値Ｔｈを設定し、非光沢領域データのサンプル数ω１、ノイズ割合の平均ｍ１、ノイズ割合の分散σ１と、光沢領域データのサンプル数ω２、ノイズ割合の平均ｍ２、ノイズ割合の分散σ２とを求める。
【０２６９】
なお、ここでは、光沢領域データとして採用された複数のデータの群を光沢領域データクラスと称し、非光沢領域データとして採用された複数のデータの群を非光沢領域データクラスと称す。
【０２７０】
次に、アプリケーションプロセッサ２２０は、これらの値を用いて、式（４）、（５）に従って、クラス内分散とクラス間分散を求める。そして、クラス内分散とクラス間分散から、式（６）に従って分離度αを求める。
【０２７１】
【数３】
2016208036.tif 000005
アプリケーションプロセッサ２２０は、分離度αを求める計算を、仮の閾値Ｔｈを動かしながら繰り返す。
【０２７２】
アプリケーションプロセッサ２２０は、最終的に、分離度αを最大化する仮の閾値ＴｈをステップＳ１００で用いる閾値として決定する（ステップＳ２１０Ｂ）。
【０２７３】
以上により、ステップＳ１００で用いる閾値を決定することができる。
【０２７４】
また、判別分析法の代わりにモード法を用いてもよい。モード法とは、判別分析法と同様で、ヒストグラムを２つのクラスに分割する手法である。
【０２７５】
モード法を用いる場合は、図２３に示すステップＳ２１０Ｂの代わりに、次のような処理を行う。
【０２７６】
図２５は、モード法により閾値を決定する方法を示す図である。
【０２７７】
まず、確率分布に含まれる２つの極大値を探索する。ここでは、極大値１と極大値２が求められたとする。
【０２７８】
次に、極大値１と極大値２の間の極小値を探索し、極小値となる点をステップＳ１００で用いる閾値に決定する。
【０２７９】
＜実施の形態３＞
実施の形態３は、ステップＳ１３０（図１２参照）における特定領域の画像の取得方法が実施の形態１と異なる。それ以外は、実施の形態１の電子機器１００と同様であるため、同様の構成要素には同一符号を付し、その説明を省略する。
【０２８０】
図２６は、実施の形態３による特定領域の画像の取得方法の処理を示すフローチャートである。図２７は、図２６に示すフローによって行われる画像処理を示す図である。
【０２８１】
アプリケーションプロセッサ２２０は、カメラ１８０を用いて背景画像を取得する（ステップＳ３３１）。例えば、図２７の（Ａ）に示すように、物体７（図２７の（Ｂ）参照）を配置しない状態で、背景のみを視野に入れてカメラ１８０で撮影を行うことにより、背景画像８Ａを取得する。
【０２８２】
次に、アプリケーションプロセッサ２２０は、カメラ１８０を用いて物体７の画像を取得する（ステップＳ３３２）。例えば、図２７の（Ｂ）に示すように、物体７を配置した状態で、物体７と背景とを視野に入れてカメラ１８０で撮影を行うことにより、物体画像８Ｂを取得する。
【０２８３】
次に、アプリケーションプロセッサ２２０は、物体画像８Ｂの画素値から背景画像８Ａの画素値を減算して、物体７の差分画像８Ｃを取得する（ステップＳ３３３）。図２７の（Ｃ）に示すように、物体画像８Ｂの画素値から背景画像８Ａの画素値を減算して、物体７についての差分画像８Ｃを取得する。
【０２８４】
次に、アプリケーションプロセッサ２２０は、差分画像８Ｃを２値化して、特定領域の画像８Ｄを取得する（ステップＳ３３４）。特定領域の画像８Ｄは、図２７の（Ｄ）に示すように、物体７の表示領域８Ｄ１（白い領域）内に'１'の値を持ち、物体７の表示領域８Ｄ１以外の領域８Ｄ２（黒い領域）内に'０'の値を持つデータである。表示領域８Ｄ１は、特定領域である。
【０２８５】
２値化を行う際には、差分画像８Ｃに対して、'０'に限りなく近い値の閾値を用いて、画素値がある表示領域８Ｄ１と、画素値がない領域８Ｄ２とに分割すればよい。
【０２８６】
以上のような処理を行うことにより、特定領域を求めてもよい。
【０２８７】
＜実施の形態４＞
図２８は、実施の形態４の電子機器４００を示す側面図である。図２８は、図３に対応する側面を示す図である。
【０２８８】
実施の形態４の電子機器４００は、実施の形態１の電子機器１００のように振動素子１４０を用いて触感を提供するのではなく、トップパネル１２０とタッチパネル１５０との間に配設される透明な電極板４１０を利用して触感を提供する。なお、トップパネル１２０の表面１２０Ａと反対側の面は、絶縁面である。トップパネル１２０がガラス板の場合には、表面１２０Ａと反対側の面に絶縁コーティングを施してもよい。
【０２８９】
電極板４１０に電圧を印加すると、トップパネル１２０の表面１２０Ａには電荷が生じる。ここで、一例として、トップパネル１２０の表面１２０Ａに負の電荷が生じたとする。
【０２９０】
このような状態で、利用者が指先を近づけると、指先に正の電荷が誘導されるため、表面１２０Ａに負の電荷と指先に正の電荷とが引き合うことによって静電気力が発生し、指先にかかる摩擦力が増大する。
【０２９１】
このため、利用者の指先がトップパネル１２０の表面に触れる位置（操作入力の位置）が特定領域の中にあって、かつ、操作入力の位置が移動しているときには、電極板４１０に電圧を印加しないようにする。電極板４１０に電圧を印加して静電気力が発生している場合よりも、利用者の指先にかかる摩擦力を低減するためである。
【０２９２】
一方、操作入力の位置が特定領域以外の領域にあって、かつ、操作入力の位置が移動しているときには、電極板４１０に電圧を印加する。電極板４１０に電圧を印加して静電気力が発生させることにより、静電気力が発生していない場合よりも、利用者の指先にかかる摩擦力を増大させるためである。
【０２９３】
このようにすれば、実施の形態１の電子機器１００と同様に、光沢の有無に応じた触感を提供することができる。
【０２９４】
以上、本発明の例示的な実施の形態の電子機器、及び、駆動制御方法について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【０２９５】
１  ぬいぐるみ
２  金属の置物
１００  電子機器
１１０  筐体
１２０  トップパネル
１３０  両面テープ
１４０  振動素子
１５０  タッチパネル
１６０  ディスプレイパネル
１７０  基板
１８０  カメラ
１９０  赤外線カメラ
１９１  赤外線光源
２００  制御部
２２０  アプリケーションプロセッサ
２２１  カメラ制御部
２２２  画像処理部
２２３  距離画像抽出部
２２４  光沢判定部
２２５  振幅データ割当部
２３０  通信プロセッサ
２４０  駆動制御部
２５０  メモリ
３１０  正弦波発生器
３２０  振幅変調器
４１０  電極板
【図１】
2016208036.tif 000006
【図２】
2016208036.tif 000007
【図３】
2016208036.tif 000008
【図４】
2016208036.tif 000009
【図５】
2016208036.tif 000010
【図６】
2016208036.tif 000011
【図７】
2016208036.tif 000012
【図８】
2016208036.tif 000013
【図９】
2016208036.tif 000014
【図１０】
2016208036.tif 000015
【図１１】
2016208036.tif 000016
【図１２】
2016208036.tif 000017
【図１３】
2016208036.tif 000018
【図１４】
2016208036.tif 000019
【図１５】
2016208036.tif 000020
【図１６】
2016208036.tif 000021
【図１７】
2016208036.tif 000022
【図１８】
2016208036.tif 000023
【図１９】
2016208036.tif 000024
【図２０】
2016208036.tif 000025
【図２１】
2016208036.tif 000026
【図２２】
2016208036.tif 000027
【図２３】
2016208036.tif 000028
【図２４】
2016208036.tif 000029
【図２５】
2016208036.tif 000030
【図２６】
2016208036.tif 000031
【図２７】
2016208036.tif 000032
【図２８】
2016208036.tif 000033
【国際調査報告】
2016208036.tif 000034
2016208036.tif 000035
2016208036.tif 000036
2016208036.tif 000037