(57)【要約】【課題】  物体の接触による操作入力が行われる画面上において、複数の物体による接触が行われることのできる領域を、その操作入力を行うユーザが容易に理解できるようにする。【解決手段】  画像出力部と光照射部と受光部とを備え、前記画像出力部によって画像が表示された画面上に物体を接触させた際、前記光照射部から照射された光を前記物体が遮り、かつ該物体が反射した反射光を前記受光部が受光したことにより前記物体の接触位置を認識させる情報処理装置であって、前記画面上に物体が接触した位置を認識する位置認識部と、前記位置に基づいて、前記物体が接触したことにより前記光照射部が照射する光が到達しなくなった範囲を算出する算出部と、前記算出された範囲に含まれる、前記画面上の画像の表示方法を変更する変更部とを備える。【選択図】  図４
2011257797.tif 000002
【特許請求の範囲】
【請求項１】
画像出力部と光照射部と受光部とを備え、前記画像出力部によって画像が表示された画面上に物体を接触させた際、前記光照射部から照射された光を前記物体が遮り、かつ該物体が反射した反射光を前記受光部が受光したことにより前記物体の接触位置を認識させる情報処理装置であって、
前記画面上に物体が接触した位置を認識する位置認識部と、
前記位置に基づいて、前記物体が接触したことにより前記光照射部が照射する光が到達しなくなった範囲を算出する算出部と、
前記算出された範囲に含まれる、前記画面上の画像の表示方法を変更する変更部とを備えることを特徴とする情報処理装置。
【請求項２】
前記変更部は、前記算出された範囲に含まれる画像の明るさを変更することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
更に、前記算出された範囲に含まれるＧＵＩを特定する特定部を備え、前記算出部は、前記特定されたＧＵＩの色または濃度または形状を変更することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記変更部は、前記特定されたＧＵＩの少なくとも一部分が、前記算出部によって算出された範囲外に存在するように、前記ＧＵＩの表示方法を変更することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至４のいずれか１項に記載の情報処理装置として機能させるコンピュータプログラム。
【請求項６】
請求項５に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項７】
画像出力部と光照射部と受光部とを備え、前記画像出力部によって画像が表示された画面上に物体を接触させた際、前記光照射部から照射された光を前記物体が遮り、かつ該物体が反射した反射光を前記受光部が受光したことにより前記物体の接触位置を認識させる情報処理装置の制御方法であって、
位置認識部によって、前記画面上に物体が接触した位置を認識する位置認識工程と、
算出部によって、前記位置に基づいて、前記物体が接触したことにより前記光照射部が照射する光が到達しなくなった範囲を算出する算出工程と、
変更部によって、前記算出された範囲に含まれる、前記画面上の画像の表示方法を変更する変更工程とを備えることを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の接触により操作を行うタッチパネル等において、画像の表示を制御する技術に関する。
【背景技術】
【０００２】
近年、テーブル上や壁面に画像を投影し、投影された画像に含まれるＧＵＩ（グラフィカルユーザインタフェース）などに指などを接触させることで、領域指定あるいは情報入力ができるシステムが知られている。この種の装置は、表示画面の端部からレーザ照射を行い、その反射光などを検知することによって、上記指などの物体による接触を認識することが多い。
【０００３】
また、従来、画面上の２箇所以上に指などを接触させることにより、多種の指示入力を行うことができる、いわゆるマルチタッチ入力の技術が知られている。マルチタッチ入力による指示では、表示中の複数オブジェクトへの並列指定や、オブジェクトを拡大、縮小する指定など、画面上の１点だけのタッチでは困難な指示を容易に表現できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５８５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以下では、上述したレーザ照射による接触の認識を行うシステムにおいて、マルチタッチを行った場合を考える。あるレーザ光の先に相当する同一直線上で２つの指の接触を同時に行った場合には、レーザ光を最初に遮断した指の接触しか認識できず、もう一方の指の接触は認識できない。ところが、この接触による操作中のユーザにとっては、画面上の映像を見ただけでは、どのような理由で一方の接触しか検知していないのか等が判らない。
【０００６】
本発明は上記従来例に鑑みて成されたものであり、物体の接触による操作入力が行われる画面上において、複数の物体による接触が行われることのできる領域を、その操作入力を行うユーザが容易に理解できるようにすることを主な目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、例えば、画像出力部と光照射部と受光部とを備え、前記画像出力部によって画像が表示された画面上に物体を接触させた際、前記光照射部から照射された光を前記物体が遮り、かつ該物体が反射した反射光を前記受光部が受光したことにより前記物体の接触位置を認識させる情報処理装置であって、前記画面上に物体が接触した位置を認識する位置認識部と、前記位置に基づいて、前記物体が接触したことにより前記光照射部が照射する光が到達しなくなった範囲を算出する算出部と、前記算出された範囲に含まれる、前記画面上の画像の表示方法を変更する変更部とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、物体の接触による操作入力が行われる画面上において、複数の物体による接触が行われることのできる領域を、その操作入力を行うユーザが容易に理解できる。
【図面の簡単な説明】
【０００９】
【図１】情報処理装置の概略を説明する図
【図２】情報処理装置の機能ブロック図
【図３】情報処理装置の処理手順を示す図
【図４】一部の画像が変更された様子を示す図
【図５】情報処理装置の機能ブロック図
【図６】情報処理装置の処理手順を示す図
【図７】一部の画像が変更された様子を示す図
【図８】情報処理装置の処理手順を示す図
【図９】一部の画像が変更された様子を示す図
【図１０】認識不可能領域の一例を示す図
【図１１】情報処理装置および表示画面の一例を示す図
【発明を実施するための形態】
【００１０】
［概略説明］
まず最初に、本実施形態の概略を説明する。
【００１１】
図１１は、写真等の画像を画面上に投影し、そこに投影された画像をユーザによる画面へのタッチ操作で、印刷したり、削除したり、複製したりできるアプリケーション（以下、画像閲覧アプリケーションとも呼ぶ）の一例である。図１１（ａ）に示される情報処理装置１１０１は、内部に保持する種々の画像（画像１１０４、１１０５、１１０６）をテーブル等の画面１１０２に投影する映像投影部１１１１を備える。映像投影部１１１１は、上記種々の画像とともに、削除、印刷、複製の操作を指示するための操作ボタン１１０７、１１０８、１１０９も含めたウィンドウ１１０３を画面１１０２上に投影する。このシステムにおいては、上記画像１１０４、１１０５、１１０６にユーザがタッチした状態で、上記操作ボタン１１０７、１１０８、１１０９の何れかをタッチすることにより、タッチされている画像の削除、印刷、複製を行うことができる。ここで、削除とは、画面上からの該当画像の削除であり、印刷とは不図示の印刷機器から該当画像を印刷することであり、複製とは画面上に同じ画像をもう１つ表示させることである。ここで複製された画像は、上記種々の画像と同様に、タッチされ、削除、印刷、複製されることができる。なお、ここでは、その画面１１０２は画面が地面に対して水平になるように設置されているものとし、図１１（ａ）は、ユーザの頭上（装置の上）から見た外観図とする。これに対して、図１１（ｂ）は、上記情報処理装置１１０１および画面１１０２を側面から見た外観図である。この図１１（ｂ）において、映像投影部１１１１は、情報処理装置１１０１の上部に配置されており、そこから下方の画面１１０２に向けてウィンドウ１１０３に含まれる各画像（投影光１１１０）を投影する。さらに、情報処理装置１１０１は、レーザ照射部１１１３とレーザ受光部１１１４を備えており、これにより、画面１１０２に対する物体の接触（指などによるタッチ）を検出する。このレーザ照射部１１１３は、図のように画面上に平行するようにレーザ光１１１２を照射しており、レーザ受光部１１１４は、このレーザ光１１１２に何らかの物体が当たったとき（遮ったとき）の反射光を受信することで、物体が接触した位置を特定する。これらの技術については公知であるので詳細説明は省略する。図１１（ｃ）と（ｄ）は、図１１（ａ）と（ｂ）に対して「指でタッチした場合」に相当する外観図である。これらの図では、物体１１１５によって、レーザ照射部１１１３から照射されたレーザ光１１１２が遮られるため、点線１１１６に相当する部分に、レーザ光１１１２が届かないことになる。これは、点線１１１６の部分に別の物体が接触しても、その接触を検知できないことを意味する。もしこのシステムが、上述したようなマルチタッチが可能なものであれば、ユーザは、「点線１１１６に相当する領域にもタッチできるはず」と理解するのが普通である。よって、ユーザには正しい理解を促すことが、ユーザの利便性を向上させる。また、図１１（ｃ）に示すように、タッチできない操作ボタンに該当する操作を行えるようにすることも、ユーザの利便性を向上させるであろう。以下の実施形態では、これらの利便性を向上する種々の方法について説明する。
【００１２】
［第１の実施形態］
図１は、各実施形態に適用可能な情報処理装置の構成を示す図である。ここに示す情報処理装置は、上述した図１１の情報処理装置１１０１に相当する。データ入力部１０１は各種のデータを入力したり、上述したようなユーザによる画面上のタッチによる指示などを情報として受け付ける。この入力部１０１には、上述したレーザ受光部１１１４とレーザ照射部１１１３が連結し、これらの働きにより、ユーザのタッチによる操作入力、あるいはペンなどの物体による接触による操作入力が可能である。ＣＰＵ１０２は、バス１０６に接続された各構成要素を制御することにより、各実施形態で説明する一連の動作を実行させる。出力部１０３は、情報処理装置１１０１が扱う各種のデータを出力するものである。この出力部１０３は、後述するメモリ１０５などに保持される写真等の画像データを、上述した映像投影部１１１１などに出力したり、不図示のプリンタあるいはネットワーク上に出力したりできる。プログラムメモリ１０４は、後述するフローチャートをＣＰＵ１０２による制御の下で実行できるプログラムコードを格納する。この、プログラムメモリ１０４はＲＯＭやＲＡＭで構成され、入力部１０１などを介して外部装置から取得することもできる。データメモリ１０５は、後述する各種のデータを格納する。このデータメモリ１０５には、ＲＡＭ、あるいはＤＶＤなどの着脱可能な記憶媒体が適用される。ＣＰＵ１０２の制御の対象とする各構成要素を指示するアドレス信号や、各構成要素を制御するための制御信号、その他、各構成要素間で送受信されるべきデータは、バス１０６を介して送受信できる。
【００１３】
図２は、上記情報処理装置１１０１の各種機能をブロックで示したものである。これら各機能は、主に、上述したＣＰＵ１０２およびプログラムコードに基づいて実行され、必要に応じてＣＰＵ１０２の制御の下で動作できる図１の各手段が動作することによって実現される。図２において、タッチ位置認識部２０１は、後述する映像投影部２０４が投影した画像（ウィンドウ１１０３）に対して、ユーザの指等の物体が接触した位置を認識する。認識不可能領域算出部２０２は、タッチ位置認識部２０１が認識した、指等の物体の接触位置に基づいて、他の物体による接触が認識できない領域を算出する。即ち、現在認識している物体の接触位置に基づいて、その物体が接触したことによりレーザ照射部が照射するレーザ光が到達しなくなった範囲を算出する。映像変更部２０３は、認識不可能領域算出部２０２が算出した領域に表示されるべき画像を、後述する種々の方法で変更する。即ち、画面１１０２上において、上記算出された範囲（例えば、点線１１１６に相当する領域）に相当する画像の表示方法を変更する。映像投影部２０４は、映像変更部２０３が実行した画像の変更が反映するように、ウィンドウ１１０３に相当する画像を投影し直す。この映像投影部２０４の機能は、上述した映像投影部１１１１の一動作に相当する。
【００１４】
図３は、第１実施形態における情報処理装置が行う処理手順を示したものである。上述したように、この一連の処理手順は、ＣＰＵ１０２を中心に情報処理装置１１０１の各部が共同して行う。ステップＳ３０１において、映像投影部１１１１は、データメモリ１０５に格納されている画像および上述した操作ボタンなどを、図１１（ａ）に示したような形で、テーブル型の画面１１０２上に投影する。以下では、この画面上に表示されている画像および操作ボタンのそれぞれをＧＵＩと呼ぶこととする。ステップＳ３０２において、タッチ位置認識部２０１は、映像投影部２０４が投影した画像（画面１１０２）に対して、接触している物体があるか否かを判定する。もし物体が接触している場合にはステップＳ３０３に進む。もし、接触していない場合は処理を終了する。ステップＳ３０３において、タッチ位置認識部２０１は、物体が接触している位置を認識する。この位置の認識方法は公知であるので説明を省略する。ステップＳ３０４において、認識不可能領域算出部２０２は、ステップＳ３０３で取得した接触位置に基づいて、他の物体による接触を認識できない領域を算出する。即ち、現在認識している物体の接触位置に基づいて、その物体が接触したことによりレーザ照射部が照射するレーザ光が到達しなくなった範囲を特定する。
【００１５】
図１０は、図１１の（ｃ）の「物体が接触している状態」と同じ状態を示し、かつ、その物体を図から除いて描画しているものである。そして、この図は、物体１１１５が頂点１００２と頂点１００３を結ぶ線分１１０２−１１０３に相当する位置に接触している場合を示している。この図１０に示すように、物体１１１５は、頂点１００１から照射されたレーザ光を、線分１１０２−１１０３の部分で遮る。これにより、５つの頂点１００２〜１００６で結ぶ５角形の領域にレーザ光が届かず、この５角形の領域で別の物体が画面上に接触したとしても、レーザ受光部１１１４は何ら認識することができない。図１０の例では、この５角形の領域が上記「認識不可能領域」に相当する。そして、この領域は、物体１１１５が接触している上記線分の位置さえ認識できれば、容易に算出できる。なお、その具体的な算出方法は省略する。ステップＳ３０５において、映像変更部２０３は、ステップＳ３０４で算出した上記「認識不可能領域」を、他の物体による接触が認識できない領域として、ユーザに報知する。特に本実施形態では、その報知の方法として、「認識不可能領域」に該当する位置に存在する画像を変更することで報知する。
【００１６】
図４は、上記画像の変更方法の一例を示したものである。図４（ａ）では、「認識不可能領域」に該当する位置に存在する画像の明るさを暗く変更している。図４（ｂ）では、「認識不可能領域」に該当する位置に存在する画像全体の輪郭部分を強調するように表示する。特に、図４（ａ）の表示によれば、あたかも物体１１１５による影ができているように見え、「影の部分の操作ができない」ということがユーザには直感的に理解できるという効果が有る。
【００１７】
以上説明したように、本実施形態によれば、物体の接触による操作入力が行われる画面上において、複数の物体による接触が行われることのできる領域を、その操作入力を行うユーザが容易に理解できる。具体的には、現時点で接触している物体に基づいて、他の物体の接触が認識できる領域に影響が出ていること、およびその領域を、ユーザに視覚的に知らせることができる。
【００１８】
［第２の実施形態］
上記実施形態では、「認識不可能領域」の全体について、画像を変更するようにしたが、本発明はこれに限らない。例えば、「認識不可能領域」の全体ではなく、その領域に含まれることで操作入力の可否に影響が出ているＧＵＩについてのみ、画像の内容を変更することでも同様の効果を得ることができるであろう。以下では、その一実施形態を説明する。
【００１９】
図５は、本実施形態における、上記情報処理装置１１０１の各種機能をブロックで示したものである。図２と同じ機能ブロックについては、同様に動作するので、その説明を省略する。また、第１の実施形態と同じく、図５に示す各機能は、主に、上述したＣＰＵ１０２およびプログラムコードに基づいて実行され、必要に応じてＣＰＵ１０２の制御の下で動作できる図１の各手段が動作することによって実現される。図５において、ＧＵＩ情報取得部５０１は、ウィンドウ１１０３として表示している画像に含まれる各ＧＵＩの情報を取得する。例えば、図１１の（ａ）の状態であれば、６つのＧＵＩが存在し、それらＧＵＩとしては、画像１１０４〜１１０６と操作ボタン１１０７〜１１０９のそれぞれが相当する。ＧＵＩ情報取得部５０１は、上記各ＧＵＩのそれぞれがどの位置に表示されているかなどを示す情報を取得し、認識不可能ＧＵＩ特定部５０２の参照情報として保持する。認識不可能ＧＵＩ特定部５０２は、認識不可能領域算出部２０２によって算出されたに示した「認識不可能領域」に含まれるＧＵＩを特定するものである。例えば、第１の実施形態で説明した図１１、図４等の状態であれば、「認識不可能領域」に含まれるＧＵＩは、削除ボタン１１０７が相当する。本実施形態における映像変更部２０３は、「認識不可能領域」全体の画像は変更しない。その代わり、「認識不可能領域」に含まれるＧＵＩのみ（上記例では削除ボタン１１０７のみ）を変更し、映像投影部２０４からその画像を投影させる。
【００２０】
図６は、第２の実施形態における情報処理装置が行う処理手順を示したものである。図３と同じ工程については、同様に動作するので、その説明を省略する。また、第１の実施形態と同じく、この一連の処理手順は、ＣＰＵ１０２を中心に情報処理装置１１０１の各部が共同して行う。Ｓ６０１において、ＧＵＩ情報取得部５０１は、投影された画像（ウィンドウ１１０３）に含まれるＧＵＩの情報を取得する。例えば、図１１の（ａ）の状態であれば、画像１１０４〜１１０６と操作ボタン１１０７〜１１０９のそれぞれがどの位置に表示されているかなどを示す情報を取得する。ステップＳ６０２において、認識不可能ＧＵＩ特定部５０２は、認識不可能領域算出部２０２によって算出されたに示した「認識不可能領域」に含まれるＧＵＩを特定する。これは、ステップＳ６０１で取得した情報から、各ＧＵＩが何処に表示されているか判ることから判断できる。例えば、第１の実施形態で説明した図１１、図４等の状態であれば、「認識不可能領域」に含まれるＧＵＩは、削除ボタン１１０７が相当する。ステップＳ６０３において、映像変更部２０３は、「認識不可能領域」全体の画像は変更せずに、「認識不可能領域」に含まれるＧＵＩのみを変更し、映像投影部２０４からその画像を投影させる。
【００２１】
図７は、本実施形態において、図１１の（ｃ）と同様に物体１１１５が接触した場合の、投影画像（ウィンドウ１１０３）を示す図である。上述したように、６つのＧＵＩのうち削除ボタン１１０７のみを、通常とは異なる色あるいは濃度あるいは形状で表示する。
【００２２】
以上説明したように、本実施の形態によれば、物体の接触による操作ができないＧＵＩのみについて、ユーザに視覚的に報知することができる。
【００２３】
［第３の実施形態］
以上の実施形態では、「認識不可能領域」もしくはその領域に含まれるＧＵＩを報知するに留まっていた。本実施形態では、更に、認識不可能領域に含まれるＧＵＩを操作できるようにする。
【００２４】
図８は、第３の実施形態における情報処理装置が行う処理手順を示したものである。図３、図６と同じ工程については、同様に動作するので、その説明を省略する。また、第１の実施形態と同じく、この一連の処理手順は、ＣＰＵ１０２を中心に情報処理装置１１０１の各部が共同して行う。ステップＳ８０１において、映像変更部２０３は、ステップＳ６０２で特定したＧＵＩの少なくとも一部分が、「認識不可能領域外」に存在するように、ＧＵＩの位置を変更するか、ＧＵＩのサイズを拡大する。
【００２５】
図９に上記変更の方法を示す。図９（ａ）は、ＧＵＩの位置をステップＳ６０２で特定したＧＵＩの少なくとも一部分が、「認識不可能領域外」に存在するように、ＧＵＩの位置を変更した様子を示す図である。ここでは、削除ボタン１１０７が移動し、削除ボタン１１０７ａとして画面右側に配置されている。図９（ｂ）は、ＧＵＩの位置をステップＳ６０２で特定したＧＵＩの少なくとも一部分が、「認識不可能領域外」に存在するように、ＧＵＩのサイズを拡大した様子を示す図である。何れの図でも解かるように、移動やサイズの変更によって、削除ボタン１１０７を指でタッチできる（タッチを認識できる）状態に変更されている。これによって、各ＧＵＩの少なくとも一部分が、認識不可能な範囲外に存在することになる。
【００２６】
なお、これら具体的な表示の方法は種々考えられるが、本実施形態においても、上記実施形態と同様に、“もし、そのＧＵＩ（削除ボタン１１０７）をそのまま表示したら、「認識不可能領域外」に含まれる”という状況は、ユーザに報知しておくべきであろう。従って、図９（ａ）においても、もともと存在している領域に該当する削除ボタン１１０７は、そこに存在するべきＧＵＩとして何らかの形で表示しておくことが好ましい。そして、その削除ボタン１１０７は、色や濃度や形状が変更されるなどによって「タッチできないもの」としてユーザに理解されるべきである。また、図９（ｂ）においても、本来ならばタッチできないことを表すために、削除ボタン１１０７の一部の色や濃度や形状を変更させる。
【００２７】
以上説明したように、本実施形態によれば、ＧＵＩが「認識不可能領域」に包含されない状態に変更することができる。従って、第１、第２の実施形態の効果に加え、更に、各種のＧＵＩを常にタッチ入力できるようになる。
【００２８】
［変形例］
なお、以上の説明では、レーザ光を照射することによる、ユーザのタッチ位置の検出を例にあげたが、本発明はこれに限らない。例えば、レーザ照射部１１１３、受光部１１１４は、レーザ光に相当する光を照射する光照射部とその受光部で構成しても良い。
【００２９】
また、以上の説明では、画像出力部として、映像投影部１１１１からの投影によってウィンドウ１１０３を表示していたが、例えば液晶ディスプレイのように、画面上に直接的に画像を表示する出力部を利用しても良い。その場合には、図１の情報処理装置１１０１は、映像投影部１１１１の代わりに、テーブル型の画面１１０２を内部に備えることになるであろう。
【００３０】
また、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。
【図１】
2011257797.tif 000003
【図２】
2011257797.tif 000004
【図３】
2011257797.tif 000005
【図４】
2011257797.tif 000006
【図５】
2011257797.tif 000007
【図６】
2011257797.tif 000008
【図７】
2011257797.tif 000009
【図８】
2011257797.tif 000010
【図９】
2011257797.tif 000011
【図１０】
2011257797.tif 000012
【図１１】
2011257797.tif 000013