(57)【要約】【課題】タッチＵＩにおいて、操作時に液晶が見えない場合でも触感だけで容易に操作すること。【解決手段】所定の機能が対応付けられたオブジェクトを表示する表示手段と、タッチセンサと、前記タッチセンサのタッチ面に対して触感を呈示する触感呈示手段と、前記タッチセンサのタッチ面への押圧力を検出する押圧検出手段と、第一の操作モードと第二の操作モードを切り替える制御手段と、を有することを特徴とする構成とした。【選択図】図１
2020057122.tif 000002
【特許請求の範囲】
【請求項１】
所定の機能が対応付けられたオブジェクトを表示する表示手段と、
タッチセンサと、
前記タッチセンサのタッチ面に対して触感を呈示する触感呈示手段と、
前記タッチセンサのタッチ面への押圧力を検出する押圧検出手段と、
第一の操作モードと第二の操作モードを切り替える制御手段と、を備え、
前記第一の操作モードは前記タッチセンサが前記表示手段に表示する前記オブジェクトの表示領域への接触を検出した場合にオブジェクトに応じた動作を実行し、
前記第二の操作モードは前記第一の操作モードにおける前記オブジェクトの表示領域よりも大きい領域に対して前記触感呈示手段で触感を呈示し、前記押圧検出手段が触感の呈示領域への押圧力が第一の閾値以上であることを検出した場合にオブジェクトに応じた動作を実行することを特徴とする電子機器。
【請求項２】
前記表示手段は、前記第二の操作モードにおいてオブジェクトの表示を行わないことを特徴とする請求項１に記載の電子機器。
【請求項３】
被写体を撮像する撮像手段と、
前記撮像手段で撮像した被写体画像から被写体を検出する被写体検出手段と、をさらに備え、
前記被写体検出手段で被写体が検出された場合に前記制御手段は操作モードを前記第一の操作モードに切り替え、
前記被写体検出手段で被写体が検出されない場合に前記制御手段は操作モードを前記第二の操作モードに切り替えることを特徴とする請求項１に記載の電子機器。
【請求項４】
前記表示手段の輝度を設定する輝度設定手段をさらに備え、
輝度が第二の閾値以上に設定された場合に前記制御手段は操作モードを前記第一の操作モードに切り替え、
輝度が第二の閾値未満に設定された場合に前記制御手段は操作モードを前記第二の操作モードに切り替えることを特徴とする請求項１に記載の電子機器。
【請求項５】
前記触感呈示手段は、
オブジェクトが複数ある場合に、前記第二の操作モードにおいて前記触感呈示手段が呈示する複数の触感の呈示領域を、前記第一の操作モードにおいて前記表示手段が表示する前記複数のオブジェクトの表示領域の位置関係と同じ位置関係になるように呈示することを特徴とする請求項１に記載の電子機器。
【請求項６】
前記触感呈示手段は、
オブジェクトが複数ある場合に、前記第二の操作モードにおいて呈示する複数の触感の呈示領域の間隔を、前記第一の操作モードにおいて前記表示手段が表示する前記複数のオブジェクトの表示領域の間隔よりも広くなるように呈示することを特徴とする請求項１に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器及び電子機器の制御方法に関する。
【背景技術】
【０００２】
従来、タッチパネルを備えた電子機器を操作する際に、舞台やコンサートなど周囲の環境によって液晶を明るくすることが憚られたり、満員電車など液晶を見ながら操作することが困難なケースがある。このようなタッチパネル上に表示される操作ボタン等が見えない場面では電子機器の操作性が低下する。
【０００３】
ここで、所定の機能が対応付けられたオブジェクトの表示位置に触感を呈示する触感パネルを備えた電子機器が提供されている。特許文献１では、所定の機能が対応付けられたオブジェクトの表示位置へのタッチを検出したら触感を呈示し、触感が呈示されている時に押し込んで接触の押圧に基づくデータが所定の閾値を満たすと所定の機能を実行する。これにより、意図しない接触による誤操作を軽減しながら、液晶を見なくとも操作することを可能としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＷＯ２０１２／１０８２０３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に開示された技術では、操作ボタンが小さかったり複数の操作ボタンが近い位置に配置されていたりする場合、液晶を見ずに触感だけで操作することは困難である。また、操作者の状態に依らず操作子とタッチパネルの接触時に常に触感を呈示すると、電力の消費が大きくなってしまうという問題がある。
【０００６】
本発明は上記の問題点に鑑み、触感パネルにおいて、誤操作を軽減しながら操作者の状態に応じて必要な時のみ触感を呈示する様に操作モードを切り替えることを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明は、所定の機能が対応付けられたオブジェクトを表示する表示手段と、タッチセンサと、前記タッチセンサのタッチ面に対して触感を呈示する触感呈示手段と、前記タッチセンサのタッチ面への押圧力を検出する押圧検出手段と、第一の操作モードと第二の操作モードを切り替える制御手段と、を備え、前記第一の操作モードは前記タッチセンサが前記表示手段に表示する前記オブジェクトの表示領域への接触を検出した場合にオブジェクトに応じた動作を実行し、前記第二の操作モードは前記第一の操作モードにおける前記オブジェクトの表示領域よりも大きい領域に対して前記触感呈示手段で触感を呈示し、前記押圧検出手段が触感の呈示領域への押圧力が第一の閾値以上であることを検出した場合にオブジェクトに応じた動作を実行することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、タッチパネル操作時に液晶が見えない場合でも、操作モードを切り替えることで触感だけで操作を行うことが容易になる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態による電子機器１００の構成例を示すブロック図である。
【図２】本実施形態の実施例における動作を説明するフローチャートである。
【図３】本実施形態の実施例における電子機器の表示処理を説明する図である。
【図４】本実施形態の実施例における電子機器の触感呈示処理を説明する図である。
【図５】本実施形態の実施例における電子機器のパネルの断面を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例】
【００１１】
本実施例では、触感パネルにおいて、操作モードを切り替えてモードに応じた表示や触感呈示を行い、ユーザによるタッチ操作で所定の処理を実行する例を述べる。
【００１２】
まず、図１を参照して、本実施例における電子機器１００の構成について説明する。
【００１３】
電子機器１００としては、スマートフォン、タブレット端末、デジタルカメラ等が挙げられる。本実施形態においては、電子機器１００がスマートフォンである場合を例に説明する。
【００１４】
電子機器１００は、ＣＰＵ１０１とメモリ１０２と不揮発性メモリ１０３と画像処理部１０４と表示部１０５と操作部１０６とタッチセンサ１０７と触感呈示部１０８と押圧検出部１０９と撮像部１１０と被写体検出部１１１とバス１１２によって構成されている。
【００１５】
ここで、ＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、表示部１０５、操作部１０６、触感呈示部１０８、押圧検出部１０９、撮像部１１０、被写体検出部１１１は、バス１１２を介して接続されている。
【００１６】
メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリ等）を有している。
【００１７】
不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラム等が格納されている。不揮発性メモリ１０３は、例えばハードディスク（ＨＤ）やＲＯＭ等を有している。
【００１８】
ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、電子機器１００の各部を制御する。なお、後述する電子機器１００の機能や処理は、ＣＰＵ１０１が不揮発性メモリ１０３等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１９】
画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、画像データに対して各種画像処理を施す。画像処理が施される画像データとしては、不揮発性メモリ１０３に格納された画像データや、撮像部１１０で撮像された画像データ等がある。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、画像データの符号化処理、複合化処理、圧縮処理、伸長処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理等が含まれる。画像処理部１０４は、例えば、特定の画像処理を施すための専用の回路ブロックである。また、画像処理の種別によっては、画像処理部１０４ではなく、ＣＰＵ１０１がプログラムに従って画像処理を実行することもできる。
【００２０】
表示部１０５は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面等を表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、表示部１０５に表示するための映像信号を表示部１０５に出力するように電子機器１００の各部を制御する。そして、表示部１０５は、出力された映像信号に基づいて映像を表示する。
【００２１】
操作部１０６は、タッチセンサ１０７等のポインティングデバイス、または釦等、ユーザ操作を受け付けるための入力デバイスである。
【００２２】
タッチセンサ１０７は、表示部１０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報を出力する入力デバイス（入力面）である。
【００２３】
触感呈示部１０８は、タッチセンサ１０７を操作する指等の操作子に与える触感を生成し、操作子に呈示する。すなわち、触感呈示部１０８は、タッチしている部位を通じて、タッチを行っているユーザが感知可能な刺激を発生させる。触感呈示部１０８は、接着等によりタッチセンサ１０７と一体に設けられている。
【００２４】
触感呈示部１０８は、導電層パネルと絶縁体パネルを有し、ＣＰＵ１０１の制御の下、任意の電気的な触感を生成する。ここで、導電層パネルと絶縁体パネルは、タッチセンサ１０７に重ね合わされ、平面的に設けられている。そして、ユーザが絶縁体パネルに触れると、導電層パネルに正電荷がチャージされる。すなわち、触感呈示部１０８は、導電層パネルに正電荷をチャージすることにより、電気刺激としての触感を生成することができる。また、触感呈示部１０８は、ユーザに、クーロン力により皮膚が引っ張られるような感覚（触感）を与えるものであってもよい。また他の例としては、触感呈示部１０８は、正電荷をチャージするか否かを、パネル上の位置毎に選択可能な導電層パネルを有してもよい。そして、ＣＰＵ１０１は、正電荷のチャージ位置を制御する。これにより、触感呈示部１０８は、ユーザに「ゴツゴツ感」、「ザラザラ感」、「さらさら感」等、様々な触感を与えることができる。
【００２５】
また触感呈示部１０８は、電気刺激としての触感を生成するものに限定されるものではない。他の例としては、触感呈示部１０８は、触感呈示部１０８の表面を超音波振動させることにより触感を生成してもよい。超音波振動により、触感呈示部１０８と指との間に高圧の空気膜が形成される。そこで、触感呈示部１０８は、この空気膜の浮揚作用により「ツルツル感」を与え、浮揚作用の大きさを瞬時に切り替えることにより「ザラザラ感」を与えてもよい。
【００２６】
押圧検出部１０９は、接着等によりタッチセンサ１０７と一体に設けられている。押圧検出部１０９は、タッチ操作の押圧力に応じてタッチセンサ１０７が微少量撓む（歪む）ことを利用して、タッチセンサ１０７に加わる押圧力を検出する。
【００２７】
ここで、ＣＰＵ１０１は、タッチセンサ１０７において検出されたタッチ位置と、押圧検出部１０９により検出された押圧力に基づいて、触感を制御することができる。例えば、操作子のタッチ操作に対応し、ＣＰＵ１０１が、表示部１０５に表示されたボタンアイコンに対応するタッチ位置を検出し、押圧検出部１０９が、所定値以上の押圧力を検出したとする。この場合、ＣＰＵ１０１は、一時的な電気刺激を生成する。これにより、ユーザは、あたかも機械的なボタンを押しこんだ際のクリック感のような触感を知覚することができる。
【００２８】
さらにＣＰＵ１０１は、ボタンアイコンの位置へのタッチを検出している状態で所定値以上の押圧力を検出した場合にのみ、ボタンアイコンの機能を実行することもできる。すなわち、ＣＰＵ１０１は、単にボタンアイコンに触れた場合のように弱い押圧力を検知した場合には、ボタンアイコンの機能を実行しない。これにより、ユーザは、機械的なボタンを押しこんだ際と同じような感覚で操作を行うことができる。
【００２９】
なお、押圧検出部１０９は、他の例として、圧電素子を有してもよい。この場合、押圧検出部１０９は、押圧に応じて圧電素子から出力される電圧に基づいて、押圧力を検出する。さらに、この場合の押圧検出部１０９としての圧力素子は、触感呈示部１０８としての圧力素子と共通であってもよい。
【００３０】
撮像部１１０は、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子、ズームレンズ、フォーカスレンズ、シャッター、絞り、測距部、Ａ／Ｄ変換器等を有するカメラユニットである。撮像部１１０は、静止画及び動画を撮像することができる。撮像部１１０により撮像された画像の画像データは、画像処理部１０４に送信され、画像処理部１０４において、各種処理を施された後、静止画ファイル又は動画ファイルとしてメモリ１０２又は不揮発性メモリ１０３に記録される。
【００３１】
顔検出部１１１は、画像処理部１０４で処理した画像データを読み出し、画像中に人物の顔が存在するか否か検出を行う。
【００３２】
次に、図１に示した電子機器で取得した被写体画像を基に操作モードを決定し、タッチセンサ１０７で操作を行うフローを、図２のフローチャートと図３、図４および図５を参照して説明する。
【００３３】
図３は、電子機器１００の第一の操作モードにおいて表示部１０５に表示される画面例を示している。図４は、電子機器１００の第二の操作モードにおいて触感呈示部１０８に呈示される触感呈示領域の例を示している。ここでは、電子機器１００で音楽再生機能を実行している場合を例とする。図３および図４に示す電子機器１００には、撮像部１１０とパネル３０１と操作ボタン３０２が同じ面に配置されている。
【００３４】
図５は、パネル３０１の断面を示している。パネル３０１は、表示部１０５とタッチセンサ１０７、触感呈示部１０８、押圧検出部１０９を重ね合わせて一体に構成したものである。タッチセンサ１０７は、弾性部材からなるインシュレータ５０１を介して表示部１０５上に保持される。パネル３０１は、楽曲情報である画像３０６や、楽曲再生中に一時停止を行うオブジェクト３０３、曲送りを行うオブジェクト３０４、曲戻しを行うオブジェクト３０５を表示すると同時に、ユーザによるオブジェクト３０３、３０４、３０５へのタッチ入力を受け付ける。オブジェクト３０３、３０４、３０５は、ＧＵＩであり、ユーザがオブジェクトの表示領域をタッチすることで、それぞれの機能を実行する。また、パネル３０１は、網掛状に図示する触感呈示領域４０３、４０４、４０５においてユーザによるタッチに応じて触感を呈示する。
【００３５】
ここから、図２のフローチャートについて詳細に説明する。
【００３６】
ステップＳ２０１において、撮像部１１０で被写体を撮像し、画像処理部１０４で各種画像処理を行った後、入力画像として一時記憶メモリであるメモリ１０２に記憶する。
【００３７】
ステップＳ２０２において、顔検出部１１１は、入力画像に対して人物の顔の検出を行い、入力画像中に人物の顔が検出されたかどうかを判定する。本実施例では、顔検出部１１１は、画像中から人物の顔の画像パターンをテンプレートマッチングによって検出するような構成とする。なお、顔検出部１１１は、入力画像と予め登録しておいた人物の顔画像との比較を行い、類似度が大きい領域を顔領域として検出するように構成してもよいし、公知の技術を用いても良い。
【００３８】
撮像部１１０は、図３および図４に示す様に、パネル３０１や操作ボタン３０２と同じ面に配置されているため、ユーザがパネル３０１を目視しながら電子機器１００を操作する場合、入力画像からは被写体としてユーザの顔が検出される。ステップＳ２０２によりユーザの顔が検出された場合は、ステップＳ２０３へ進み、以降、電子機器１００は第一の操作モードとして動作する。ユーザの顔が検出さなかった場合は、ステップＳ２０５へ進み、以降、電子機器１００は第二の操作モードとして動作する。
【００３９】
ステップＳ２０３において、表示部１０５で、画面表示を行う。ここでは、図３に示す様に、楽曲再生中に一時停止を行うオブジェクト３０３、曲送りを行うオブジェクト３０４、曲戻しを行うオブジェクト３０５、楽曲情報である画像３０６をパネル３０１に表示する。
【００４０】
ステップＳ２０４において、ＣＰＵ１０１で、ステップＳ２０３で表示した画面の内のいずれかのオブジェクトの表示領域に対してユーザによるタッチ操作を検出したかどうかを判定する。タッチセンサ１０７は表示部１０５に重ね合わせて構成されているため、ユーザは、表示部１０５に表示されている画面内の各種オブジェクトを直感的にタッチすることでタッチ操作を行うことが出来る。タッチセンサ１０７がユーザによるタッチ操作を検出すると、ＣＰＵ１０１はタッチ位置の座標を取得する。さらに、ＣＰＵ１０１は、取得した座標がオブジェクトの表示領域内か否かを判定する。例えば、図３に示す例においては、ＣＰＵ１０１は、タッチ位置の座標がオブジェクト３０３、３０４、３０５内の座標である場合に、オブジェクトの表示領域に対してユーザがタッチ操作を行ったと判断する。ステップＳ２０４によりオブジェクトの表示領域に対するタッチ操作を検出した場合は、ステップＳ２１０へ進む。オブジェクトの表示領域に対するタッチ操作が検出されなかった場合は、ステップＳ２０１へ進み、再度撮像から処理を行う。
【００４１】
ステップＳ２０５において、触感呈示部１０８で、オブジェクトに相応する触感呈示領域の設定を行う。第一の操作モードにおいてはユーザがタッチ操作を行うオブジェクトとしてオブジェクト３０３、３０４、３０５がパネル３０１に表示される。これに対し、第二の操作モードでは、第一の操作モードで実行できる機能と同じ機能を実現するために、図４に示す様な触感呈示領域４０３、４０４、４０５を設定する。触感呈示領域４０３はオブジェクト３０３に相応する領域であり、一時停止機能が対応付けられている。また、触感呈示領域４０４はオブジェクト３０４に相応する領域であり、曲送り機能が対応付けられている。また、触感呈示領域４０５はオブジェクト３０５に相応する領域であり、曲戻し機能が対応付けられている。
【００４２】
ここで、触感呈示部１０８は、触感呈示領域４０３、４０４、４０５が相応するオブジェクト３０３、３０４、３０５の表示領域よりも大きい領域になる様に領域設定を行う。さらに、触感呈示部１０８は、触感呈示領域４０３、４０４、４０５の相対的な位置関係が相応するオブジェクト３０３、３０４、３０５の相対的な位置関係（オブジェクト３０３の右側にオブジェクト３０４が表示され、オブジェクト３０３の左側にオブジェクト３０５が表示される）と等しくなるように、触感呈示領域４０４を触感呈示領域４０３の右側に、触感呈示領域４０５を触感呈示領域４０３の左側に設定する。さらに、触感呈示部１０８は、隣り合う触感呈示領域間の間隔が相応するオブジェクトの表示領域間の間隔よりも広くなるように領域設定を行う。具体的には、オブジェクト３０３とオブジェクト３０４の間隔Ｄ３１よりも、触感呈示領域４０３と触感呈示領域４０４の間隔Ｄ４１が広くなるように触感呈示領域４０３、４０４を配置する。同様に、オブジェクト３０３とオブジェクト３０５の間隔Ｄ３２よりも、触感呈示領域４０３と触感呈示領域４０５の間隔Ｄ４２が広くなるように触感呈示領域４０３、４０５を配置する。
【００４３】
また、図４において図示している網掛の触感呈示領域４０３、４０４、４０５は領域の大きさを説明するためのものであり、実際は、第二の操作モードにおいて表示部１０５は画面表示を行わない。これは、第二の操作モードはステップＳ２０２においてユーザの顔が検出されなかった、つまり、ユーザがパネル３０１を見ていない状況を前提としているためである。ユーザがパネル３０１を見ていない場合の不要な画面表示を行わないことにより、画面表示による電力消費を軽減することが出来る。一方、電子機器１００の設定や状況に応じては、触感呈示領域４０３、４０４、４０５を確認できるように表示部１０５で画面表示を行ってもよい。
【００４４】
ステップＳ２０６において、ＣＰＵ１０１で、ステップＳ２０５で設定した触感呈示領域に対してユーザによるタッチ操作を検出したかどうかを判定する。タッチセンサ１０７がユーザによるタッチ操作を検出すると、ＣＰＵ１０１はタッチ位置の座標を取得する。さらに、ＣＰＵ１０１は、取得した座標が触感呈示領域内か否かを判定する。例えば、図４に示す例においては、ＣＰＵ１０１は、タッチ位置の座標が触感呈示領域４０３、４０４、４０５内の座標である場合に、触感呈示領域に対してユーザがタッチ操作を行ったと判断する。ステップＳ２０６により触感呈示領域に対するタッチ操作を検出した場合は、ステップＳ２０７へ進む。触感呈示領域に対するタッチ操作が検出されなかった場合は、ステップＳ２０１へ進み、再度撮像から処理を行う。
【００４５】
ステップＳ２０７において、触感呈示部１０８で、触感の呈示を行う。図４の例では、例えば、ユーザが触感呈示領域４０３内の座標をタッチすると、タッチ位置に触感が呈示され、ユーザにタッチ位置が一時停止機能を実行するための操作領域であることを通知できる。さらに、触感呈示領域４０３、４０４、４０５にそれぞれ異なる触感を呈示すれば、ユーザは触感だけでどの機能を実行するための操作領域であるか判断することが容易になる。
【００４６】
ステップＳ２０８において、押圧検出部１０９で、タッチセンサ１０７に対する押圧を検出し、その押圧力を押圧値として取得する。
【００４７】
ステップＳ２０９において、ＣＰＵ１０１で、ステップＳ２０８で取得した押圧値が所定の閾値以上かどうかを判定する。押圧値が所定の閾値以上である場合は、ステップＳ２１０へ進む。押圧値が所定の閾値未満である場合は、ステップＳ２０１へ進み、再度撮像から処理を行う。
【００４８】
ステップＳ２１０において、ＣＰＵ１０１で、タッチ位置に相応するオブジェクトに対応付けられた動作を実行する。例えば、第一の操作モードにおいては、パネル３０１に表示された一時停止を行うオブジェクト３０３を、ユーザが画面を見ながらタッチすることで、電子機器１００での楽曲再生中にＣＰＵ１０１は一時停止の機能を実行する。同様に、第二の操作モードにおいては、ユーザが画面を見ることなくパネル３０１をタッチし、タッチ位置が触感呈示領域４０３内で触感を感じた時にタッチ位置を押し込む操作をすることで、電子機器１００での楽曲再生中にＣＰＵ１０１は一時停止の機能を実行する。
【００４９】
本実施例に示したように構成された電子機器によれば、触感パネルにおいて、タッチパネル操作時に液晶が見えない場合でも、操作モードを切り替えることで触感だけで操作を行うことが容易になる。
【００５０】
以上、本発明の好ましい実施形態について説明したが、図１に示した電子機器の構成は一例であり、各実施例の動作を実行できるのであれば、本発明に係る電子機器の構成は、図１に示した構成に限定されるものではない。
【００５１】
また、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５２】
１００  電子機器、１０１  ＣＰＵ、１０２  メモリ、１０３  不揮発性メモリ、
１０４  画像処理部、１０５  表示部、１０６  操作部、１０７  タッチセンサ、
１０８  触感呈示部、１０９  押圧検出部、１１０  撮像択部、１１１  顔検出部、
１１２  バス
【図１】
2020057122.tif 000003
【図２】
2020057122.tif 000004
【図３】
2020057122.tif 000005
【図４】
2020057122.tif 000006
【図５】
2020057122.tif 000007