(57)【要約】【課題】ユーザの意図しない音声の入力を抑止する「情報処理装置」を提供する。【解決手段】ユーザがタッチパネル１２に指をタッチしながら移動する操作を行った後(ａ、ｂ）、移動を継続して指がタッチパネル１２の領域を外れてしまったときに（ｃ）、タッチ座標の履歴より求まる直前の指の移動方向がマイクロフォン１３の音響孔１７１に向かう方向であった場合には、音声利用アプリケーション４３の音声を処理する機能を停止する。また、タッチ無の検出を一定期間保留し、当該期間内に、指がマイクロフォン１３の音響孔１７１の位置まで移動して（ｄ）指によるノイズ音がピックアップされたならば、タッチパネル１２のタッチを行っていたときから(ａ、ｂ）、指によるノイズ音が検出されなくなるまでタッチパネル１２へのタッチが継続しているものとしてタッチ操作の受付を行う。【選択図】図５
2019016253.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのタッチの有無を検出しタッチされた座標を出力するタッチパネルと、前記タッチパネルの近傍の位置に配置されたセンサとを備えた情報処理装置であって、
前記タッチパネルが出力した座標に応じてユーザのタッチ操作を受け付けるタッチ操作受付手段と、
前記タッチ操作受付手段が受け付けたタッチ操作に応じた処理を行う第１処理手段と、
前記センサの出力に対して所定の処理を行う第２処理手段と、
前記タッチパネルが検出したタッチの有無が、タッチ有からタッチ無に変化したときに、直前の期間にタッチパネルが検出した座標より求まる直前の期間の指の軌跡が、前記タッチパネルの周縁まで前記センサに向かう方向に進む軌跡であった場合に、少なくとも所定期間、前記第２処理手段の前記センサの出力に対する所定の処理が行われないように抑止する抑止手段とを有することを特徴とする情報処理装置。
【請求項２】
請求項１記載の情報処理装置であって、
前記センサの位置に指が移動したことにより、当該センサの出力に出現する所定の事象を検出するセンサ出力監視手段を有し、
前記タッチ操作受付手段は、前記タッチパネルが検出したタッチの有無を認識し、認識したタッチの有無の変化パターンと、前記タッチパネルが出力した座標の変化パターンとに応じてユーザのタッチ操作を受け付け、かつ、
前記タッチ操作受付手段は、
前記タッチパネルが検出したタッチの有無が、タッチ有からタッチ無に変化したときに、直前の期間にタッチパネルが検出した座標より求まる直前の期間の指の軌跡が、前記タッチパネルの周縁まで前記センサに向かう方向に進む軌跡であった場合に、タッチ無の認識を行わずに、その後、
所定期間内に前記センサ出力監視手段が前記所定の事象を検出しなかったときに、タッチ無を認識し、
当該所定期間内に前記センサ出力監視手段が前記所定の事象を検出したときに、前記センサ出力監視手段が前記所定の事象を検出しなくなるまで、タッチ有の認識を継続し、前記センサ出力監視手段が前記所定の事象を検出しなくなった時点でタッチ無を認識することを特徴とする情報処理装置。
【請求項３】
ユーザのタッチの有無を検出しタッチされた座標を出力するタッチパネルと、前記タッチパネルの近傍の位置に配置されたセンサとを備えた情報処理装置であって、
前記タッチパネルが検出したタッチの有無を認識し、認識したタッチの有無の変化パターンと、前記タッチパネルが出力した座標の変化パターンとに応じてユーザのタッチ操作を受け付けタッチ操作受付手段と、
前記タッチ操作受付手段が受け付けたタッチ操作に応じた処理を行う第１処理手段と、
前記センサの出力に対して所定の処理を行う第２処理手段と、
前記センサの位置に指が移動したことにより、当該センサの出力に出現する所定の事象を検出するセンサ出力監視手段を有し、
前記タッチ操作受付手段は、
前記タッチパネルが検出したタッチの有無が、タッチ有からタッチ無に変化したときに、直前の期間にタッチパネルが検出した座標より求まる直前の期間の指の軌跡が、前記タッチパネルの周縁まで前記センサに向かう方向に進む軌跡であった場合に、タッチ無の認識を行わずに、その後、
所定期間内に前記センサ出力監視手段が前記所定の事象を検出しなかったときに、タッチ無を認識し、
当該所定期間内に前記センサ出力監視手段が前記所定の事象を検出したときに、前記センサ出力監視手段が前記所定の事象を検出しなくなるまで、タッチ有の認識を継続し、前記センサ出力監視手段が前記所定の事象を検出しなくなった時点でタッチ無を認識することを特徴とする情報処理装置。
【請求項４】
請求項２または３記載の情報処理装置であって、
前記タッチ操作受付手段は、前記所定期間内に前記センサ出力監視手段が前記所定の事象を検出したときに、前記センサ出力監視手段が前記所定の事象を検出しなくなるまで、前記タッチパネルが出力する前記タッチされた座標の座標系と同じ座標系上で前記センサの配置位置を表す座標を、前記タッチパネルが出力した座標と見なしてタッチ操作を受け付けることを特徴とする情報処理装置。
【請求項５】
請求項１、２、３または４記載の情報処理装置であって、
前記タッチパネルは、所定のタッチ受付面へのユーザのタッチの有無を検出しタッチされた座標を出力し、
当該情報処理装置は、前記タッチ受付面を一部として含む連続した面である前面を形成する前面形成部材を有し、
前記センサは、前記前面の前記タッチ受付面の近傍に配置されていることを特徴とする情報処理装置。
【請求項６】
請求項１、２、３、４または５記載の情報処理装置であって、
前記センサは、マイクロフォンであり、前記センサの出力に出現する前記所定の事象は、所定レベル以上の音量の音が前記マイクロフォンに入力したことを表す音声信号であることを特徴とする情報処理装置。
【請求項７】
請求項１、２、３、４または５記載の情報処理装置であって、
前記センサは、マイクロフォンであり、前記センサの出力に出現する前記所定の事象は、人声の音域外の、所定の周波数帯域の所定レベル以上の音量の音が前記マイクロフォンに入力したことを表す音声信号であることを特徴とする情報処理装置。
【請求項８】
請求項１、２、３、４、５、６または７記載の情報処理装置であって、
当該情報処理装置は、自動車に搭載される車載型の装置であることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイとタッチパネルとセンサを備えた情報処理装置においてユーザからの入力を処理する技術に関するものである。
【背景技術】
【０００２】
ディスプレイとタッチパネルとセンサを備えた情報処理装置においてユーザからの入力を処理する技術としては、ディスプレイと、ディスプレイの表示面に重ねて配置されたタッチパネルと、ディスプレイの少し下の位置に配置されたマイクロフォンとを備えた携帯電話において、マイクロフォンのそばに第１の近接センサを配置し、ディスプレイの少し上の位置に第２の近接センサを配置し、第１の近接センサが物体の近接を検出しており、第２の近接センサが物体の近接を検出していないときに、マイクロフォンから入力した音声の移動電話の通話相手への送信を抑止することにより、マイクロフォンを押さえつけるユーザの操作を、通話の保留操作として受け付ける技術が知られている（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３-２２５８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
たとえば、ディスプレイと、ディスプレイの表示面に重ねて配置されたタッチパネルと、ディスプレイの近傍の位置に配置されたマイクロフォンとを備えた情報処理装置において、ドラッグ操作やピンチアウト操作などのタッチパネルを指でなぞる操作を行ったときに、マイクロフォンの配置位置まで指が移動してしまい、指によるノイズ音のマイクロフォンへの入力という意図していない入力として情報処理装置によって処理され不都合な動作が発生してしまうことがある。
【０００５】
ここで、このような問題は、マイクロフォン以外センサをディスプレイの近くに配置した場合にも同様に生じ得る。
そこで、本発明は、ディスプレイとタッチパネルとセンサとを備えた情報処理装置において、ユーザの意図しない入力の発生を抑止することを課題とする
【課題を解決するための手段】
【０００６】
前記課題達成のために、本発明は、ユーザのタッチの有無を検出しタッチされた座標を出力するタッチパネルと、前記タッチパネルの近傍の位置に配置されたセンサとを備えた情報処理装置に、前記タッチパネルが出力した座標に応じてユーザのタッチ操作を受け付けるタッチ操作受付手段と、前記タッチ操作受付手段が受け付けたタッチ操作に応じた処理を行う第１処理手段と、前記センサの出力に対して所定の処理を行う第２処理手段と、前記タッチパネルが検出したタッチの有無が、タッチ有からタッチ無に変化したときに、直前の期間にタッチパネルが検出した座標より求まる直前の期間の指の軌跡が、前記タッチパネルの周縁まで前記センサに向かう方向に進む軌跡であった場合に、少なくとも所定期間、前記第２処理手段の前記センサの出力に対する所定の処理が行われないように抑止する抑止手段とを設けたものである。
【０００７】
このような情報処理装置によれば、タッチパネルを指でなぞる操作を行ったときにセンサの配置位置まで指が移動しまうことによって、センサからのユーザの意図しない入力が発生してしまうことを、特段の構成を追加すること無しに抑止することができる。
【０００８】
ここで、このような情報処理装置は、当該情報処理装置に、前記センサの位置に指が移動したことにより、当該センサの出力に出現する所定の事象を検出するセンサ出力監視手段を設けると共に、前記タッチ操作受付手段において、前記タッチパネルが検出したタッチの有無を認識し、認識したタッチの有無の変化パターンと、前記タッチパネルが出力した座標の変化パターンとに応じてユーザのタッチ操作を受け付け、かつ、前記タッチ操作受付手段において、前記タッチパネルが検出したタッチの有無が、タッチ有からタッチ無に変化したときに、直前の期間にタッチパネルが検出した座標より求まる直前の期間の指の軌跡が、前記タッチパネルの周縁まで前記センサに向かう方向に進む軌跡であった場合に、タッチ無の認識を行わずに、その後、所定期間内に前記センサ出力監視手段が前記所定の事象を検出しなかったときに、タッチ無を認識し、当該所定期間内に前記センサ出力監視手段が前記所定の事象を検出したときに、前記センサ出力監視手段が前記所定の事象を検出しなくなるまで、タッチ有の認識を継続し、前記センサ出力監視手段が前記所定の事象を検出しなくなった時点でタッチ無を認識するように構成してもよい。
【０００９】
このようにすることにより、ユーザの、タッチパネル上の位置からタッチパネル外のセンサの位置までタッチを継続する動作を、ユーザが意図した、センサの位置までタッチが継続するタッチ操作として受け付けることができるようになる。
【００１０】
また、前記課題達成のために、本発明は、ユーザのタッチの有無を検出しタッチされた座標を出力するタッチパネルと、前記タッチパネルの近傍の位置に配置されたセンサとを備えた情報処理装置に、前記タッチパネルが検出したタッチの有無を認識し、認識したタッチの有無の変化パターンと、前記タッチパネルが出力した座標の変化パターンとに応じてユーザのタッチ操作を受け付けタッチ操作受付手段と、前記タッチ操作受付手段が受け付けたタッチ操作に応じた処理を行う第１処理手段と、前記センサの出力に対して所定の処理を行う第２処理手段と、前記センサの位置に指が移動したことにより、当該センサの出力に出現する所定の事象を検出するセンサ出力監視手段を備えたものである。ここで、前記タッチ操作受付手段は、前記タッチパネルが検出したタッチの有無が、タッチ有からタッチ無に変化したときに、直前の期間にタッチパネルが検出した座標より求まる直前の期間の指の軌跡が、前記タッチパネルの周縁まで前記センサに向かう方向に進む軌跡であった場合に、タッチ無の認識を行わずに、その後、所定期間内に前記センサ出力監視手段が前記所定の事象を検出しなかったときに、タッチ無を認識し、当該所定期間内に前記センサ出力監視手段が前記所定の事象を検出したときに、前記センサ出力監視手段が前記所定の事象を検出しなくなるまで、タッチ有の認識を継続し、前記センサ出力監視手段が前記所定の事象を検出しなくなった時点でタッチ無を認識するものである。
【００１１】
このような情報処理装置によれば、ユーザの、タッチパネル上の位置からタッチパネル外のセンサの位置までタッチを継続する動作を、ユーザが意図した、センサの位置までタッチが継続するタッチ操作として受け付けることができるようになる。
【００１２】
ここで、以上のようなタッチ操作受付手段において、所定期間内に前記センサ出力監視手段が前記所定の事象を検出したときに、前記センサ出力監視手段が前記所定の事象を検出しなくなるまで、タッチ有の認識を継続し、前記センサ出力監視手段が前記所定の事象を検出しなくなった時点でタッチ無を認識する情報処理装置においては、前記タッチ操作受付手段において、前記所定期間内に前記センサ出力監視手段が前記所定の事象を検出したときに、前記センサ出力監視手段が前記所定の事象を検出しなくなるまで、前記タッチパネルが出力する前記タッチされた座標の座標系と同じ座標系上で前記センサの配置位置を表す座標を、前記タッチパネルが出力した座標と見なしてタッチ操作を受け付けるように構成してもよい。
【００１３】
このようにすることにより、ユーザの、タッチパネル上の位置からタッチパネル外のセンサの位置まで指を移動する動作を、ユーザが意図した、センサの位置までタッチ位置が移動するタッチ操作として受け付けることができるようになる。
【００１４】
また、以上の各情報処理装置において、前記タッチパネルは、所定のタッチ受付面へのユーザのタッチの有無を検出しタッチされた座標を出力するものであり、そして、当該情報処理装置は、たとえば、前記タッチ受付面を一部として含む連続した面である前面を形成する前面形成部材を備えると共に、前記センサを、前記前面の前記タッチ受付面の近傍に配置したものである。
【００１５】
また、以上の情報処理装置において、前記センサは、たとえば、マイクロフォンであり、この場合、前記センサの出力に出現する前記所定の事象としては、所定レベル以上の音量の音が前記マイクロフォンに入力したことを表す音声信号や、人声の音域外の、所定の周波数帯域の所定レベル以上の音量の音が前記マイクロフォンに入力したことを表す音声信号を用いることができる。
【００１６】
また、以上の情報処理装置は、自動車に搭載される車載型の装置であってもよい。
【発明の効果】
【００１７】
以上のように、本発明によれば、ディスプレイとタッチパネルとセンサとを備えた情報処理装置において、ユーザの意図しない入力の発生を抑止することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る入出力ユニットを示す図である。
【図３】本発明の実施形態に係るタッチ操作検出処理を示すフローチャートである。
【図４】本発明の実施形態に係るマイクロフォンの入力音声を示す図である。
【図５】本発明の実施形態に係るタッチ操作検出処理の処理例を示す図である。
【図６】本発明の実施形態に係るタッチ操作検出処理の処理例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について説明する。
図１に、本実施形態に係る情報処理装置の構成を示す。
図示するように、情報処理装置は、入出力ユニット１、オペレーティングシステム２、記憶装置やディスクドライブや放送受信装置やＧＰＳ受信器やスピーカや移動通信装置などの各種周辺装置３、オペレーティングシステム２上で稼働する複数のアプリケーションを備えている。
【００２０】
ここで、入出力ユニット１は、ディスプレイ１１、タッチパネル１２、マイクロフォン１３、複数の静電スイッチ１４を、図２ａに示すように一体化した装置である。
図２ｂに、図２ａの断面線Ａ-Ａによる断面を、図２ｃに断面線Ｂ-Ｂによる断面を示すように、入出力ユニット１は、前面側が開放されたケース１６と、ケース１６の前面を覆う一枚のカバーガラス１７を有し、カバーガラス１７の後ろにタッチパネル１２が、タッチパネル１２の後ろ側にディスプレイ１１が配置されている。また、カバーガラス１７の後ろの、タッチパネル１２の直ぐ下の位置に静電スイッチ１４とマイクロフォン１３とが配置されている。また、カバーガラス１７のマイクロフォン１３に重なる位置には、マイクロフォン１３が音声を取り込むための音響孔１７１が設けられている。
【００２１】
このように、本実施形態に係る入出力ユニット１は、ケース１６の前面の全体が一枚のカバーガラス１７でシームレスに覆われていて境界や段差がないので、ユーザのタッチパネル１２を操作する指が、タッチパネル１２の領域外まで逸脱し易い。
【００２２】
ここで、本実施形態に係る情報処理装置は、たとえば、自動車に搭載される装置であり、この場合、入出力ユニット１は、図２ｄに示すように、自動車のダッシュボードに装着されて使用される。
【００２３】
図１に戻り、情報処理装置のオペレーティングシステム２は、ディスプレイ１１の表示を制御する表示制御部２１、タッチパネル１２に対して行われたタッチ操作を検出するタッチ操作検出部２２、マイクロフォン１３がピックアップした音声の入力処理を行い入力処理を行った音声をアプリケーションに提供する音声入力部２３、静電スイッチ１４に対する操作の有無を検出するスイッチ操作検出部２４などを備えている。
【００２４】
そして、オペレーティングシステム２上で稼働する各アプリケーションは、オペレーティングシステム２の表示制御部２１を介してディスプレイ１１への表示を行ったり、タッチ操作検出部２２を介してタッチ操作を受け付けて所定の処理を行ったり、音声入力部２３がアプリケーションに提供するマイクロフォン１３がピックアップした音声に対して所定の処理を行ったり、スイッチ操作検出部２４を介して各静電スイッチ１４に対する操作を受け付けて所定の処理を行ったりすることができる。
【００２５】
また、本実施形態では、このようなアプリケーションとして、地図上で道案内を行うナビゲーションアプリケーション４１や、オーディオメディアやビジュアルメディアの再生出力を行うＡＶプレイヤアプリケーション４２や、音声利用アプリケーション４３などを備えている。
【００２６】
ここで、音声利用アプリケーション４３は、たとえば、マイクロフォン１３から入力した音声の音声認識を行うアプリケーションや、マイクロフォン１３から入力した音声を送話音声とする移動通信網を介した音声通信を行うアプリケーションや、自動車に搭載された情報処理装置において、マイクロフォン１３から入力した音声を後席用のスピーカから出力するアプリケーションなどである。
【００２７】
以上、情報処理装置の構成について説明した。
なお、以上の情報処理装置は、ＣＰＵやメモリや周辺回路を備えたコンピュータを用いて構成されるものであってよく、この場合、オペレーティングシステム２や各アプリケーションはＣＰＵがコンピュータプログラムを実行することにより実現されるものである。
【００２８】
以下、オペレーティングシステム２のタッチ操作検出部２２が行うタッチ操作検出処理について説明する。
図３に、このタッチ操作検出処理の手順を示す。
なお、本実施形態に係るタッチパネル１２は、タッチの有無を検出してオペレーティングシステム２に出力し、当該出力から、オペレーティングシステム２のタッチ操作検出部２２は、タッチパネル１２のタッチの有無を判定する。また、オペレーティングシステム２のタッチ操作検出部２２は、タッチパネル１２が検出したタッチパネル１２上のタッチされた座標であるタッチ座標をタッチパネル１２から取得することができる。なお、タッチパネル１２は、カバーガラス１７のタッチパネル１２と重なる領域へのタッチをタッチパネル１２のタッチとして検出し、タッチされたカバーガラス１７の位置に重なるタッチパネル１２の位置の座標をタッチ座標として検出する。
【００２９】
さて、図示するように、タッチ操作検出部２２はタッチ操作検出処理において、タッチパネル１２のタッチ有の発生を監視し（ステップ３０２）、タッチ有が発生したならば、タッチパネル１２からタッチ座標を取得し、タッチ履歴として記録する（ステップ３０４）。
【００３０】
そして、タッチ無となっているかどうかを調べ（ステップ３０６）、タッチ無となっていなければ、タッチ型操作検出処理を行う（ステップ３０８）。
ここで、タッチ型操作検出処理では、タッチ履歴と整合するタッチ型操作の有無を調べ、タッチ履歴と整合するタッチ型操作があれば、その整合するタッチ型操作をユーザが行ったタッチ操作として検出する処理を行う。
【００３１】
また、タッチ型操作とは、タッチパネル１２へのタッチが継続している期間中に受け付けるタッチ操作であり、ドラッグ操作、ピンチイン操作、ピンチアウト操作、長押し操作、スワイプ操作などが該当する。
【００３２】
そして、ステップ３０４からの処理に戻る。
一方、ステップ３０６で、タッチ無が検出された場合には、タッチ履歴から、タッチ無が検出される直前のタッチ座標の軌跡が、マイクロフォン１３（音響孔１７１）の配置位置に向かってタッチパネル１２の周縁まで進む軌跡であったかどうかを調べる（ステップ３１０）。
【００３３】
そして、マイクロフォン１３（音響孔１７１）の配置位置に向かってタッチパネル１２の周縁まで進む軌跡でなければ（ステップ３１０）、デタッチ型操作検出処理を行う（ステップ３１２）。
【００３４】
ここで、デタッチ型操作検出処理では、タッチ履歴と整合するデタッチ型操作の有無を調べ、タッチ履歴と整合するデタッチ型操作があれば、その整合するデタッチ型操作をユーザが行ったタッチ操作として検出する処理を行う。
【００３５】
また、デタッチ型操作とは、タッチパネル１２へのタッチが無くなったときに受け付けるタッチ操作であり、タップ操作、ドロップ操作などが該当する。
なお、タップ操作とダブルタップ操作などのタッチの回数に応じて異なるタッチ操作を受け付ける場合には、このデタッチ型操作検出処理において、タッチ操作の弁別を行うようにしてもよい。すなわち、たとえば、デタッチ型操作処理において、タッチ履歴が、タッチ有発生直後のタッチ無の発生を表しているときには、一定期間内に再度タッチ有発生直後のタッチ無が発生するかどうかを監視し、発生しなかったときにタップ操作を検出し、発生した場合にダブルタップ操作を検出する。
【００３６】
そして、ステップ３０２からの処理に戻る。
一方、ステップ３１０において、タッチ無が検出される直前のタッチ座標の軌跡が、マイクロフォン１３（音響孔１７１）の配置位置に向かってタッチパネル１２の周縁まで進む軌跡であったと判定された場合には、音声利用アプリケーション４３のマイクロフォン１３の音声を処理する機能を停止する（ステップ３１４）。ここで、音声利用アプリケーション４３のマイクロフォン１３の音声を処理する機能の停止は、音声入力部２３に、マイクロフォン１３の音声の音声利用アプリケーション４３への音声の提供を停止させることによって行ってもよいし、音声利用アプリケーション４３の音声を処理する動作を停止させることによって行ってもよい。
【００３７】
そして、所定のタイムアウト時間を設定したタイマをスタートし（ステップ３１６）、マイクロフォン１３からのタッチ音の入力の発生（ステップ３１８）と、タイマのタイムアウトの発生（ステップ３２０）とを監視する。
【００３８】
ここで、ステップ３１８において入力の発生を検出するタッチ音とは、ユーザの指がマイクロフォン１３の音響孔１７１に触れることによりマイクロフォン１３において検出される音である。
【００３９】
また、ステップ３１８では、音声入力部２３が入力処理したマイクロフォン１３の音声波形がサチュレーションが発生している波形となったときにタッチ音を検出する。
すなわち、マイクロフォン１３やマイクロフォン１３に付随する音声処理回路の入力レンジは、通常マイクロフォンに入力するユーザの発話音声のレベルが収まるように設定されているので、マイクロフォン１３がピックアップしたユーザの発話音声に対して、音声入力部２３が入力処理した音声の波形は、図４ａに示すように、正しく発話音声を表す波形となる。
【００４０】
一方、ユーザの指がマイクロフォン１３の音響孔１７１に触れたときには、マイクロフォン１３に入力レンジを超える大音量の音が入力し、この音に対して、音声入力部２３が入力処理した音声の波形は、図４ｂに示すように、入力レンジを超えた部分の波形が失われた、飽和した波形となる。
【００４１】
そこで、ステップ３１８では、図４ｂに示すような飽和した波形を検出することにより、タッチ音の発生を検出する。
ただし、ステップ３１８では、音声入力部２３が入力処理した音声中に、人間の音域（生理的声域）外の周波数帯の所定レベルを超える音量の音が出現したときに、タッチ音の発生を検出するようにしてもよい。
【００４２】
さて、図３に戻り、ステップ３２０でタイムアウトが発生が検出された場合には、デタッチ型操作検出処理を行い（ステップ３２２）、停止していた音声利用アプリケーション４３のマイクロフォン１３の音声を処理する機能を再開し（ステップ３２４）、ステップ３２０からの処理に戻る。
【００４３】
ここで、ステップ３２４における音声利用アプリケーション４３のマイクロフォン１３の音声を処理する機能の再開は、ステップ３１４で、音声入力部２３にマイクロフォン１３の音声の音声利用アプリケーション４３への音声の提供を停止させることにより音声利用アプリケーション４３のマイクロフォン１３の音声を処理する機能を停止させた場合には、音声入力部２３にマイクロフォン１３の音声の音声利用アプリケーション４３への音声の提供を再開させることにより行い、ステップ３１４で、音声利用アプリケーション４３の音声を処理する動作を停止させることにより、音声利用アプリケーション４３のマイクロフォン１３の音声を処理する機能を停止させた場合には、音声利用アプリケーション４３の音声を処理する動作を再開させることにより行う。
【００４４】
次に、ステップ３１８で、タッチ音の入力の発生を検出した場合には、マイクロフォン１３の音響孔１７１の座標をタッチ座標としたタッチ履歴を記録する（ステップ３２６）。なお、マイクロフォン１３の音響孔１７１の座標は、タッチパネル１２の座標範囲外となるが、タッチパネル１２がマイクロフォン１３の音響孔１７１の位置まで拡がっていると仮定した場合の、タッチパネル１２上のマイクロフォン１３の音響孔１７１の位置の、タッチパネル１２の座標系上の座標を予め設定しておき、この予め設定しておいた座標をマイクロフォン１３の音響孔１７１の座標として用いるようにする。
【００４５】
そして、タッチ音の入力が無くなっているかどうかを調べ（ステップ３２８）、タッチ音の入力が無くなっていなければ、タッチ型操作検出処理を行う（ステップ３３０）。そして、ステップ３２６からの処理に戻る。
【００４６】
一方、ステップ３３０で、タッチ音の入力が無くなっていると判定された場合には、デタッチ型操作検出処理を行い（ステップ３２２）、停止していた音声利用アプリケーション４３のマイクロフォン１３の音声を処理する機能を再開し（ステップ３２４）、ステップ３２０からの処理に戻る。
【００４７】
以上、オペレーティングシステム２のタッチ操作検出部２２が行うタッチ操作検出処理について説明した。
このようなタッチ操作検出処理によれば、図５ａ、ｂのように、ユーザがタッチパネル１２にタッチしながら指を移動する操作を行った後、そのまま移動を継続して、図５ｃに示すように、指が、タッチパネル１２の領域を外れてしまったときに、タッチ座標の履歴より求まる直前の指の移動方向が図５ａ、ｂ、cのようにタッチパネル１２の周縁までマイクロフォン１３の音響孔１７１に向かう方向であった場合には、音声利用アプリケーション４３のマイクロフォン１３の音声を処理する機能を停止する。
【００４８】
よって、その後、図５ｄに示すように指がマイクロフォン１３の音響孔１７１の位置まで移動して、マイクロフォン１３によって指によるノイズ音がピックアップされても、音声利用アプリケーション４３において当該音は処理されず、指によるノイズ音によって情報処理装置が不都合な動作を行ってしまうことが抑止される。
【００４９】
また、図５ｃに示すように、指が、タッチパネル１２の領域を外れてしまったときに、タッチ座標の履歴より求まる直前の指の移動方向が図５ａ、ｂ、cのようにタッチパネル１２の周縁までマイクロフォン１３の音響孔１７１に向かう方向であった場合には、タッチ無の検出を一定期間保留し、当該期間内に、図５ｄに示すように指がマイクロフォン１３の音響孔１７１の位置まで移動して、マイクロフォン１３によって指によるノイズ音がピックアップされたならば、これをタッチ音として検出し、図５ａ、ｂのようにタッチパネル１２のタッチを行っていたときから、タッチ音が検出されなくなるまでタッチパネル１２へのタッチが継続しているものとしてタッチ操作の受付を行う。
【００５０】
よって、図５ａ、ｂ、ｃ、ｄのように、ユーザが、マイクロフォン１３の音響孔１７１の位置までタッチパネル１２が存在していると誤認してタッチパネル１２外のマイクロフォン１３の音響孔１７１の位置まで指をタッチしたまま移動した場合でも、その動作を、ユーザが意図した、マイクロフォン１３の音響孔１７１の位置までタッチ位置を移動させるタッチ操作として受け付けることができるようになる。
【００５１】
なお、図５では、一本の指をタッチさせながら移動するタッチ操作について示したが、図６ａに示す二本の指をタッチさせながら広げていくピンチアウト操作や、図６ｂに示すような二本の指をタッチさせながら移動するタッチ操作についても、同様に、マイクロフォン１３によってピックアップされた指の音響孔１７１への接触によって発生するノイズ音による情報処理装置の不都合な動作を抑止することができると共に、タッチパネル１２外のマイクロフォン１３の音響孔１７１の位置までタッチした指を移動する動作を、ユーザが意図した、マイクロフォン１３の音響孔１７１の位置までのタッチ位置を移動させるタッチ操作として受け付けることができるようになる。
【００５２】
以上、本発明の実施形態について説明した。
ここで、以上での実施形態は、マイクロフォン１３に代えてイメージセンサや輝度センサなどのセンサを、入出力ユニット１の前面のタッチパネル１２の近傍の位置に配置した場合にも同様に適用することができる。
【００５３】
この場合には、ユーザがタッチパネル１２にタッチしながら移動する操作を行った後、そのまま移動を継続して、指が、タッチパネル１２の領域を外れてしまったときに、タッチ座標の履歴より求まる直前の指の移動方向がセンサに向かう方向であった場合には、センサを利用するアプリケーションのセンサの出力を処理する機能を停止する。
【００５４】
ここで、センサを利用するアプリケーションとしては、センサがイメージセンサである場合には、イメージセンサが撮影した撮影画像からユーザの状態を検知するアプリケーションやユーザのジェスチャによる入力を受け付けるアプリケーションなどがあり、センサが輝度センサである場合には、センサが検出した輝度に応じてディスプレイ１１の表示輝度を調整したり表示画面のデザインを変更するアプリケーションなどがある。
【００５５】
また、この場合には、ユーザがタッチパネル１２にタッチしながら移動する操作を行った後、そのまま移動を継続して、指が、タッチパネル１２の領域を外れてしまったときに、タッチ座標の履歴より求まる直前の指の移動方向がセンサに向かう方向であった場合には、タッチ無の検出を一定期間保留し、当該期間内に、指がセンサの位置まで移動して、センサによって指の接触による事象が検出されたならば、タッチパネル１２のタッチを行っていたときから、センサによって指による事象が検出されなくなるまでタッチパネル１２へのタッチが継続しているものとしてタッチ操作の受付を行う。
【００５６】
ここで、センサによって検出される指の接触による事象としては、センサがイメージセンサである場合には撮影画像の全面の黒画像化や撮影画像の平均輝度の急激な低下などを、センサが輝度センサなどである場合には、検出輝度の急激な低下などを用いることができる。
【符号の説明】
【００５７】
１…入出力ユニット、２…オペレーティングシステム、３…種周辺装置、１１…ディスプレイ、１２…タッチパネル、１３…マイクロフォン、１４…静電スイッチ、１６…ケース、１７…カバーガラス、２１…表示制御部、２２…タッチ操作検出部、２３…音声入力部、２４…スイッチ操作検出部、４１…ナビゲーションアプリケーション、４２…ＡＶプレイヤアプリケーション、４３…音声利用アプリケーション、１７１…音響孔。
【図１】
2019016253.tif 000003
【図２】
2019016253.tif 000004
【図３】
2019016253.tif 000005
【図４】
2019016253.tif 000006
【図５】
2019016253.tif 000007
【図６】
2019016253.tif 000008