(57)【要約】  タッチ操作が検出された場合に、表示装置それ自体でタッチ操作方向を特定可能な表示装置を提供する。表示装置（１）に、表示画面に対するタッチ操作を前記表示部の内部から撮像する光センサ内蔵ＬＣＤ（１０）と、撮像された画像に基づいてタッチ位置に対するタッチ操作方向を判別するタッチ操作方向判別部（１５）とを設けた。
2009139214.tif 000002
【特許請求の範囲】
【請求項１】
表示画面を有する表示部（１０，１８，２０）と、
前記表示画面に対するタッチ操作を前記表示部（１０，１８，２０）の内部から撮像する撮像部と、
前記タッチ操作における前記表示画面に対するタッチ位置を検出するタッチ位置検出部（１４）と、
前記撮像部による撮像で得られた画像に基づいて、前記タッチ操作における前記表示画面に対するタッチ方向を判別する方向判別部（１５）とを備える、表示装置（１，２，１１）。
【請求項２】
前記方向判別部（１５）は、前記撮像部による撮像で得られた画像のうち、前記タッチ位置を基準とした所定範囲の画像に基づいて、前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項３】
前記方向判別部（１５）は、前記タッチ操作のために前記表示画面に接触した指またはタッチ部材が前記撮像部により撮像されたときに、前記タッチ位置の周辺画像の濃度変化に基づいて、前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項４】
前記方向判別部（１５）は、
前記タッチ操作のために前記表示画面に接触した指またはタッチ部材が前記撮像部（１０，１８，２０）により撮像されたときに、前記タッチ位置の周辺画像の濃度勾配方向を算出する濃度勾配方向算出部を含み、
前記濃度勾配方向算出部が算出した濃度勾配方向に基づいて前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項５】
前記方向判別部（１５）は、
前記タッチ操作のために前記表示画面に接触した指またはタッチ部材が前記撮像部（１０，１８，２０）により撮像されたときに、前記タッチ位置の周辺画像のエッジ特徴量分布を算出するエッジ特徴量分布算出部を含み、
前記エッジ特徴量分布算出部が算出したエッジ特徴量分布に基づいて前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項６】
前記方向判別部（１５）は、
前記タッチ操作のために前記表示画面に接触した指が前記撮像部により撮像されたときに、前記タッチ位置周辺の指画像の楕円長軸方向を算出する長軸方向算出部を含み、
前記長軸方向算出部が算出した楕円長軸方向に基づいて前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項７】
前記方向判別部（１５）は、前記タッチ操作のために前記表示画面に接触した指が前記撮像部により撮像されたときに、前記タッチ位置周辺の指画像の指紋形状に基づいて前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項８】
前記表示部（１０，１８，２０）は、前記タッチ操作に基づいて所定機能が有効化される複数の操作対象画像を前記表示画面に表示可能であり、
前記表示装置は、
前記複数の操作対象画像の各々について、前記タッチ操作に基づく機能が有効化されるタッチ方向を記憶する記憶部（１２，２２）と、
前記操作対象画像に対するタッチ操作が検出されたときのタッチ方向と当該操作対象画像に対応して前記記憶部（１２，２２）に記憶されたタッチ方向とが一致したときに、当該操作対象画像に対するタッチ操作に基づく機能を有効化する機能有効化部とをさらに備える、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項９】
前記表示部（１０，１８，２０）は、
異なる方向に対して異なる画像を表示可能であって、
前記表示画面の特定位置において、タッチ操作によって第１の機能が有効化される第１のボタン画像を第１の方向に表示し、前記特定位置において、タッチ操作によって第２の機能が有効化される第２のボタン画像を第２の方向に表示し、
前記表示装置（１，２，１１）は、
前記タッチ位置検出部（１４）により検出されたタッチ位置が前記特定位置であるときに、前記方向判別部（１５）により判別されたタッチ方向に基づいて、前記２種類の機能のうちのいずれか一方を有効化する機能選択部をさらに備える、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項１０】
前記撮像部は、光センサである、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項１１】
前記撮像部は、温度センサである、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項１２】
前記タッチ位置検出部は、前記撮像部により撮像された画像に基づいてタッチ位置を検出する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項１３】
前記表示装置（１，２，１１）は、前記表示装置（１，２，１１）の動作を制御する制御部（１９，２１）をさらに備え、
前記制御部（１９，２１）は、前記検出された前記タッチ位置と前記判別された前記タッチ方向とに応じた動作を前記表示装置（１，２，１１）に実行させる、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項１４】
表示画面を有し、タッチ操作に用いる物体が前記表示画面に接触することにより入力を受付ける表示装置（１，２，１１）であって、
前記表示画面を介して、前記表示画面に接触した前記物体を撮像する撮像部と、
前記表示画面に対する前記物体の接触位置を検出する検出部（１４）と、
前記撮像部による撮像で得られた画像に基づいて、前記表示画面に対する前記物体の方向を判別する判別部（１５）と、
前記表示装置（１，２，１１）の動作を制御する制御部（１９，２１）とを備え、
前記制御部（１９，２１）は、前記接触位置と前記判別した方向とに応じた動作を前記表示装置（１，２，１１）に実行させる、表示装置（１，２，１１）。
【請求項１５】
タッチ操作に用いる物体が表示画面に接触することにより入力を受付ける表示装置（１，２，１１）における制御方法であって、
前記表示画面を介して、前記表示画面に接触した前記物体を撮像するステップと、
前記表示画面に対する前記物体の接触位置を検出するステップと、
前記撮像部による撮像で得られた画像に基づいて、前記表示画面に対する前記物体の方向を判別するステップ（Ｓ１〜Ｓ５，Ｓ１３，Ｓ１４，Ｓ２３，Ｓ３３）と、
前記接触位置と前記判別した方向とに応じた動作を前記表示装置（１，２，１１）に実行させるステップ（Ｓ３６，Ｓ３７，Ｓ４４，Ｓ４５）とを備える、制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネル等の表示部を備える表示装置に関する。
【背景技術】
【０００２】
タッチ入力が可能な表示装置は、典型的にはＬＣＤ（Liquid  Crystal  Display）の上に抵抗膜方式や静電容量方式などのシートを１枚重ねることで実現することができる。この種の表示装置は、銀行などに設置されているＡＴＭ、乗車券などを購入するための券売機、カーナビゲーションシステム、携帯機器、ゲーム機器など、様々な場面において、直観的な入力ができるインタフェースとして利用されている。【０００３】
基本的に、これらのタッチ入力が可能な表示装置では、ユーザは、１点または複数点で入力することができる。当該表示装置は、表示画面のどの位置に触れたか否かのみを判断することが可能である。【０００４】
タッチ入力を実現する技術としては、抵抗膜方式、静電容量方式、赤外線方式、電磁誘導方式、超音波方式などの他、光センサ内蔵ＬＣＤで撮像した画像を解析してタッチ位置を検出することによりタッチ入力を実現する方式も知られている。たとえば、特開２００６−２４４４４６号公報（特許文献１）には、光センサ内蔵ＬＣＤについて説明されている。【０００５】
このように、タッチ位置を検出するための技術は多数知られている。しかしながら、タッチ位置の検出のみでは、タッチ位置に対するタッチ操作方向を判別できない。【０００６】
そこで、特開２００６−４７５３４号公報（特許文献２）には、左右から見る人に各々違う画像を表示可能なデュアルビューＬＣＤ型の車載用カーナビゲーションシステムにおいて、運転席と助手席とのうちのどちら側から表示画面に対するタッチ操作が行なわれたかを判別し、その判別結果に応じた表示制御を行なうことが提案されている。このシステムは、車内の椅子またはハンドルに接地した人体を通して運転席と助手席とで各々異なる信号を表示装置に伝達することにより、左右どちらの席に座っている人のタッチ操作であるかを判別している。
【特許文献１】特開２００６−２４４４４６号公報
【特許文献２】特開２００６−４７５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２で提案されたシステムでは、人間が常に椅子に座っているか、ハンドルを触っているなどして、表示装置以外に仕込まれた信号伝達装置に接触していることが必須となる。このため、上記システムは、特定の状況においてのみしか、タッチ操作方向を判別することができない。また、上記システムは、表示装置の外部に、信号を伝達するための比較的大掛かりな装置が必要となる。このため、外で持ち歩くような場面で利用するモバイル機器などに上記システムを応用するには、非現実的である。【０００８】
特許文献２には、人体を通して判別信号を伝達する方式以外に、車室内の後方天井部にカメラを設置して、助手席および運転席の後方から表示装置の表示画面を撮影した画像を解析することにより、タッチ操作方向を判別する方式についても提案されている。【０００９】
しかしながら、この方式では、頭や背中などの障害物でタッチしている部分が隠されたり、人と人の手が交錯したりした場合、正確にどの方向からタッチしたかを上記システムが検出することは困難である。また、表示装置の外部に信号伝達装置を置く方式と同様に、モバイル機器など外で持ち歩くような場面に当該方法を応用することはできない。【００１０】
本発明は、上記のような問題を解決するためになされたものであって、その目的は、タッチ操作が検出された場合に、表示装置それ自体でタッチ操作方向（タッチ操作における表示画面に対するタッチ方向）を特定可能な表示装置、および当該表示装置における制御方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明に係る表示装置は、表示画面を有する表示部と、前記表示画面に対するタッチ操作を前記表示部の内部から撮像する撮像部と、前記タッチ操作における前記表示画面に対するタッチ位置を検出するタッチ位置検出部と、前記撮像部による撮像で得られた画像に基づいて、前記タッチ操作における前記表示画面に対するタッチ方向を判別する方向判別部とを備える。【００１２】
好ましくは、前記方向判別部は、前記撮像部により撮像された画像のうち、前記タッチ位置を基準とした所定範囲の画像に基づいて、前記タッチ操作方向を判別する。【００１３】
好ましくは、前記方向判別部は、タッチ操作のために前記表示画面に接触した指またはタッチ部材が前記撮像部により撮像されたときに、前記タッチ位置の周辺画像の濃度変化に基づいて、前記タッチ操作方向を判別する。【００１４】
好ましくは、前記撮像部は、光センサまたは温度センサである。
好ましくは、前記タッチ位置検出部は、前記撮像部により撮像された画像に基づいてタッチ位置を検出する。
【発明の効果】
【００１５】
本発明によれば、表示画面に対するタッチ操作が表示部の内部から撮像され、その撮像画像に基づいて、タッチ位置に対するタッチ操作方向が判別される。このため、タッチ操作が検出された場合に、表示装置それ自体でタッチ操作方向を特定可能となる。
【図面の簡単な説明】
【００１６】
【図１】実施の形態１に従う表示装置１の概略構成を示すブロック図である。
【図２】光センサ内蔵ＬＣＤの機能を説明するための図である。
【図３】撮像画像の例を示す図である。
【図４】濃度勾配方向を特定することによってタッチ操作方向を判別する判別手法の原理を説明するための図である。
【図５】タッチ操作方向判別処理Ｐ１を説明するためのフローチャートである。
【図６】タッチ操作方向判別処理Ｐ１を説明するための概念図である。
【図７】タッチ操作方向の基準を決定するための処理手順を示すフローチャートである。
【図８】エッジ特徴量分布に基づいてタッチ操作方向を判別する判別手法の原理を説明するための図である。
【図９】タッチ操作方向判別処理Ｐ２を説明するためのフローチャートである。
【図１０】指紋の特徴を説明するための図である。
【図１１】表示装置をゲーム機に応用したときの画面図である。
【図１２】操作権限データの概念図である。
【図１３】表示装置が駒の操作の有効・無効を判定するための処理手順を示すフローチャートである。
【図１４】静電容量方式のタッチパネルを設けた表示装置の概略構成を示すブロック図である。
【図１５】本発明の実施の形態２に従う表示装置の概略構成を示すブロック図である。
【図１６】ＬＣＤの表示画面例を示す図である。
【図１７】「楕円長軸方向による判別手法」の原理を説明するための図である。
【図１８】「楕円長軸方向による判別手法」による処理手順を示すフローチャートである。
【符号の説明】
【００１７】
１，２，１１  表示装置、１０，１８  光センサ内蔵ＬＣＤ、１４  タッチ位置検出部、１５  タッチ操作方向判別部、１７  静電容量方式タッチパネル、２０  光センサ内蔵デュアルビューＬＣＤ。
【発明を実施するための最良の形態】
【００１８】
以下に図面を参照しつつ、本発明の実施の形態について説明する。以下の説明においては同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同一であるものとする。【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に従う表示装置１の概略構成を示すブロック図である。表示装置１は、たとえば、ゲーム機に応用可能である。【００２０】
表示装置１は、各画素に光センサが内蔵され、表示だけではなく画像の撮像が可能な光センサ内蔵ＬＣＤ（液晶パネル/ディスプレイ）１０を備える。表示装置１は、光センサ内蔵ＬＣＤ１０によって撮像された画像を解析してタッチ位置を検出するタッチ位置検出部１４をさらに備える。表示装置１は、光センサ内蔵ＬＣＤ１０によって撮像された画像を解析してどの方向からタッチされたかを判別するタッチ操作方向判別部１５をさらに備える。表示装置１は、タッチ位置やタッチ操作方向を示すデータを受け取り表示装置１の全ての制御を行なう制御部１９をさらに備える。表示装置１は、データや命令を格納するメモリ部１２をさらに備える。表示装置１は、画面へ表示する画像を生成する画像生成部１３をさらに備える。【００２１】
表示画面に対するタッチ操作が検出されると、光センサ内蔵ＬＣＤ１０は、タッチ操作の際の画像を表示画面の内部から撮像する。光センサ内蔵ＬＣＤ１０は、撮像した画像を、タッチ位置検出部１４に入力する。タッチ位置検出部１４は、画像を解析することによりタッチ位置を検出する。【００２２】
タッチ位置を検出する手法として、たとえば、エッジ特徴量抽出、パターンマッチングなどの技術を採用することができる。このように画像処理によってタッチ位置を検出することで、画面の複数箇所が同時にタッチされても、タッチ位置検出部１４は、それら複数のタッチ位置を検出することが可能である。このため、操作者は、画面上に表示されている複数の操作対象物を同時に操作することができる。また複数人で同時に操作することも可能である。【００２３】
タッチ操作方向判別部１５は、タッチ位置検出部１４で検出されたタッチ位置を基準として、光センサ内蔵ＬＣＤ１０によって得られた画像を解析する。当該解析により、タッチ操作方向判別部１５は、タッチ操作方向を判別する。【００２４】
制御部１９は、タッチ位置検出部１４によって得られたタッチ位置と、タッチ操作方向判別部１５によって得られたタッチ操作方向とを用いて、たとえば、ゲーム機としての表示装置１の制御を行なう。【００２５】
光センサ内蔵ＬＣＤ１０は、主に可視光領域の周波数に反応する光センサ（図示省略）を各画素に対応して内蔵している。図２に例示するように、光センサ内蔵ＬＣＤ１０の各光センサは、室内光や太陽光などの外光と、バックライト１６から照射される光が表示画面上に置かれた指１００などに反射して成る反射光とを受け取るように設計されている。光センサ内蔵ＬＣＤ１０は、光センサで受け取った光をＡＤコンバータでデジタル値に変換し、白と黒の濃淡画像として出力される。【００２６】
光センサによって得られるタッチ操作の際の画像は、外光やバックライトの強さ、指の置き方などによって異なる。図３に典型的な例を３つ例示する。【００２７】
外光の強度が変化しても、表示画面に接するか若しくはその近傍に位置する指の腹部分の明るさはあまり変化しない。これに対して、指で外光が遮断されない部分は外光の明るさの変化をそのまま受ける。このため、指で外光が遮断されない部分は、指の腹部分と比べて相対的に黒くなったり、白くなったりと、コントラストが変化する。【００２８】
図３（ａ）は、表示装置１の表示画面が比較的明るい外光で照らされているような場合の画像例である。図３（ａ）に示されるように、指で光が遮断されていない外側部分は白くなる。画面に一部が接している指の腹画像１０１は、バックライト１６の反射光でやや白くなる。指の影画像１０２は、光が遮断されているので黒くなる。【００２９】
図３（ｂ）は、比較的暗い外光の場合の画像例である。図３（ｂ）に示されるように、画面にその一部が接している指の腹画像１０１だけがバックライト１６の反射光によってやや白くなっており、他の部分は黒くなっている。【００３０】
図３（ｃ）は、外光が太陽光のように平行光で非常に明るい場合の画像例である。画面にその一部が接している指の腹画像１０１のバックライト１６による反射光よりも、指の腹画像１０１のまわりの外光のほうが強いために、指の腹画像１０１のみが黒くなっている。【００３１】
次に、タッチ操作方向判別部１５がタッチ操作方向を判別する手法について、詳細に説明する。タッチ操作方向判別部１５は、光センサ内蔵ＬＣＤ１０により撮像された画像のうち、タッチ位置を基準とした、所定範囲の画像に基づいて、タッチ操作方向を判別する。タッチ操作方向判別部１５がタッチ操作方向を判別する手法として、以下では、「濃度勾配方向による判別手法」、「エッジ特徴量分布による判別手法」、「指紋形状による判別手法」の３手法を順に説明する。【００３２】
（濃度勾配方向による判別手法）
図４は、濃度勾配方向を特定することによってタッチ操作方向を判別する判別手法の原理を説明するための図である。【００３３】
この判別手法は、光センサ内蔵ＬＣＤ１０によって撮像された表示画面全体の画像のうち、検出されたタッチ位置を基準として、タッチ位置周辺の白と黒の濃淡画像の濃度勾配方向を調べることでタッチ操作方向を判別する。【００３４】
図４（ａ）には、光センサ内蔵ＬＣＤ１０によって撮像された画像のうち、タッチ位置周辺の画像が示されている。この画像には、図３（ａ）と同様に、画面に一部が接している指の腹画像１０１と、指の影画像１０２とが表示されている。なお、図中の十字マーク１０５は、タッチ位置検出部１４によって検出されたタッチ位置を説明するためのマークである。タッチ位置は、十字中心位置で示される。十字マーク１０５は、実際の画像には表示されていない。【００３５】
図４（ａ）の指の腹画像１０１を詳細に観察すると、「指の腹部分の拡大図」に示されるように、タッチ位置を基準として指先方向は指が画面に近いために反射光によって白く撮像される一方、指元方向に向かう程、反射光の強度が弱まって画像の濃度が濃くなり、黒く撮像されるという特徴があることに気づく。これは、指が腕から斜め下に向かう角度を持って画面にタッチされることによる。なお、指でなく、タッチペンでタッチ操作が行なわれた場合にも、同様の特徴が現れることはいうまでもない。【００３６】
このため、図４（ａ）の例では、指の腹画像１０１のうち、画像濃度が濃くなる方向が腕側に向かう指元方向、あるいは操作者の方向に向かう方向であるといえる。そこで、図４（ａ）の例では、画像濃度が濃くなる濃度勾配方向を特定してその方向をタッチ操作方向として判別してやればよい。【００３７】
図４（ｂ）には、この原理に基づいて、タッチ操作方向を上下左右の４方向のいずれであるかを判別する判別基準が示されている。図４（ｂ）に示されるように、指の腹画像１０１の濃度勾配方向（図中の「白→黒」）に基づいて、タッチ操作方向が左、右、上、下の４方向のいずれであるかを判別できる。【００３８】
なお、図４（ｂ）では、簡単のために４方向のタッチ操作方向しか例示していないが、濃度勾配方向をより細かく算出することによって、斜め方向も加えた８方向、さらには１６方向などと、より詳細にタッチ操作方向を判別することも可能である。【００３９】
また、ここでは、濃淡画像が白から黒へ向かう方向（指元方向）をタッチ操作方向と判別するようにしているが、黒から白へ向かう方向（指先方向）をタッチ操作方向と判別するようにしてもよい。【００４０】
一般に、タッチ位置近傍では、たとえば指が表示画面上に強く接している部分、軽く接している部分、少し浮いている部分などにより異なる濃淡画像が得られる。このため、表示装置１は、このように濃淡画像の濃度勾配方向からタッチ操作方向を判別することで、精度よくタッチ操作方向を判別することが可能となる。【００４１】
次に、図５および図６を参照して、図４に示される判定原理に基づいて表示装置１がタッチ操作方向を判別する具体的手順について説明する。図５は、表示装置１によって実行されるタッチ操作方向判別処理Ｐ１を説明するためのフローチャートである。また、図６は、タッチ操作方向判別処理Ｐ１を説明するための概念図である。【００４２】
タッチ操作方向判別処理Ｐ１においては、表示装置１は、最初に、タッチ位置の座標を中心とした濃淡画像を取得する（Ｓ１）。取得される濃淡画像は、たとえば、光センサ内蔵ＬＣＤ１０によって撮像された画像のうち、図６（ａ）に示されるように十字マーク１０５の十字中心に示されるタッチ位置の座標を中心とした縦横Ｌ１×Ｌ１の正方形の解析エリア８０に含まれる画像である。ここで、Ｌ１の長さは、標準的な指の大きさを基準にして、指の腹画像１０１が含まれるように予め定められている。【００４３】
なお、表示装置１にユーザの指のサイズを登録する機能を設けて、その登録サイズに基づいて解析エリア８０のサイズを表示装置１が定めるようにしてもよい。また、解析エリア８０の形状は、正方形に限られるものではなく、長方形であっても、円であっても、楕円であってもよい。【００４４】
次に、取得された濃淡画像に対して、濃度勾配方向を算出するために、表示装置１は、横方向（ｘ方向）および縦方向（ｙ方向）それぞれについて、ソーベルフィルタ処理を実行する（Ｓ２、Ｓ３）。横方向（ｘ方向）および縦方向（ｙ方向）それぞれに対応するソーベルフィルタの一例を図６（ｂ）に示す。なお、ここでは、ソーベルフィルタを用いる例を示すが、エッジ抽出用のフィルタであれば、いずれのフィルタを用いてもよい。【００４５】
表示装置１は、解析エリア８０内の濃淡画像にソーベルフィルタを適用することによって、濃淡画像を構成する画素毎に、横方向（ｘ方向）および縦方向（ｙ方向）のソーベル値を算出する。図６（ｂ）は、特定の画素に対して、横方向（ｘ方向）のソーベル値Ｇｘと縦方向（ｙ方向）のソーベル値Ｇｙとから求められる、濃度勾配角θを有する濃度勾配ベクトル１１１を示す図である。【００４６】
次に、Ｓ２およびＳ３にて画素毎に算出された横方向および縦方向のソーベル値に基づいて、表示装置１は、各画素の濃度勾配方向を上下左右の４方向のいずれかに分類する（Ｓ４）。図６（ｂ）に示されるように、各画素に対応して、横方向（ｘ方向）のソーベル値Ｇｘと縦方向（ｙ方向）のソーベル値Ｇｙとが算出されているが、表示装置１は、濃度勾配方向を上下左右の４方向に分類するため、ＧｘとＧｙとのうちで絶対値が大きい方の値に基づいた方向をその画素の濃度勾配方向として決定する。ここで、横方向のソーベル値はプラスのとき左方向、マイナスのとき右方向、縦方向のソーベル値はプラスのとき上方向、マイナスのとき下方向を表す。【００４７】
たとえば、（Ｇｘ，Ｇｙ）＝（−１０，＋１５）であれば、表示装置１は、Ｇｙ方向すなわち、縦方向でかつ＋方向に対応する上方向をその画素の濃度勾配方向として決定する。ただし、ノイズ等の影響を考慮して、絶対値が予め定めた閾値以下のときには、表示装置１は、その画素に対応する濃度勾配方向を定めないものとする。【００４８】
表示装置１は、このようにして各画素の濃度勾配方向を上下左右の４方向のいずれかに分類することによって、解析エリア８０に含まれる画像について、図６（ｃ）の概念図に示されるように画素毎の濃度勾配方向を算出する。【００４９】
次に、表示装置１は、上下左右方向の濃度勾配方向のうちで、一番多い方向を算出し、その値をタッチ操作方向と判別し（Ｓ５）、処理を終える。【００５０】
なお、表示装置１が４方向以上の方向を判別するときは、各画素で算出した横方向と縦方向のソーベル値の値に応じて斜め方向も定義すればよい。たとえば、Ｓ２およびＳ３の処理結果から、表示装置１は、画素毎に濃度勾配ベクトル１１１を算出する。そして、表示装置１は、各画素の濃度勾配ベクトル１１１を合成して得られる合成ベクトルの勾配角と、上下左右斜め方向とを比較して、最も角度差が少ない方向をタッチ操作方向として判別する。【００５１】
あるいは、表示装置１は、タッチ操作方向を４方向のうちから判別する場合であっても、合成ベクトルの勾配角と上下左右方向とを比較して、最も角度差が少ない方向をタッチ操作方向として判別してもよい。【００５２】
以上、説明した濃度勾配方向による判別手法は、図３（ａ）に示したような画像が撮像された場合を想定したものである。ところが、実際には、図３（ｂ）や図３（ｃ）のような撮像画像がタッチ操作方向判別部１５に入力される場合もある。【００５３】
特に、図３（ｃ）のように、画像中に指の影画像ができず、指の腹画像１０１の背景が白くなる場合には、濃度勾配方向に基づいてタッチ操作方向を判定する場合の判定方向が図３（ａ）の場合とは逆になる。なぜなら、バックライトの間近で照射される指の腹のタッチ位置よりも、タッチ位置から指元方向に向かう指の腹部分の方が、強い外光で照射されるため、指の腹画像中、指の腹のタッチ位置付近の画像の方が指の腹の指元側の画像よりも画素濃度が濃くなるからである。【００５４】
このため、表示装置１は、タッチ位置を基準とした指の腹部分の画像のみでタッチ操作方向を判別するのではなく、指の腹部分以外の画像も判断材料として条件に加えて、タッチ操作方向を判別するのが望ましい。【００５５】
そこで、指の腹部分以外の画像も判断材料として条件に加えて、表示装置１がタッチ操作方向を判別可能にするために、図７に、タッチ操作方向の基準を決定するための処理手順を示すフローチャートを示す。【００５６】
図７を参照して、最初に、タッチ操作が検出された際に撮像された画像に、表示装置１は、指の影があるか否かを判定する（Ｓ１１）。指の影があるか否かは、たとえば、次のようにして判定する。指の影が存在する場合の画像を対象とするヒストグラムなどによる画素濃度分布データを予め採取し、これを表示装置１に記憶しておく。Ｓ１１では、表示装置１は、撮像画像に基づいてヒストグラムなどによる画素濃度分布データを生成し、これを予め記憶している画素濃度分布データと比較して、一定以上の類似度が得られた場合に指の影有と判定する。【００５７】
図３（ａ）のように画像中に指の影画像１０２が存在する場合には、表示装置１は、画像濃度が濃くなる方向（図４（ｂ）参照）をタッチ操作方向として決定する（Ｓ１４）。これに対して、画像中に指の影画像が存在しない場合には、表示装置１は、指の腹画像１０１の背景が白であるか否かを判断する（Ｓ１２）。【００５８】
たとえば、図３（ｂ）のような場合には、Ｓ１２においてＮＯと判断され、図３（ｃ）のような場合には、Ｓ１２においてＹＥＳと判断される。【００５９】
Ｓ１２においてＮＯと判断されたときには、表示装置１は、処理をステップＳ１４に進め、画像濃度が濃くなる方向をタッチ操作方向として決定する。これに対して、Ｓ１２においてＹＥＳと判断されたときには、表示装置１は、画像濃度が薄くなる方向をタッチ操作方向として決定する（Ｓ１３）。【００６０】
以上、説明した図７の処理手順において、表示装置１が、画像濃度が薄くなる方向をタッチ操作方向として決定した場合には、図５に示されるタッチ操作方向判別処理Ｐ１での上下方向および左右方向の判断が逆になる。このため、表示装置１は、横方向のソーベル値はプラスのとき右方向、マイナスのとき左方向、縦方向のソーベル値はプラスのとき下方向、マイナスのとき上方向を表すものと判断する。【００６１】
（エッジ特徴量分布による判別手法）
次に、エッジ特徴量分布に基づいて表示装置１がタッチ操作方向を判別する判別手法を説明する。図８は、エッジ特徴量分布に基づいてタッチ操作方向を判別する判別手法の原理を説明するための図である。【００６２】
この判別手法では、光センサ内蔵ＬＣＤ１０によって撮像された表示画面全体の画像のうち、検出されたタッチ位置を基準として、表示装置１は、タッチ位置周辺の白と黒の濃淡画像から指先周辺部分のエッジを抽出してタッチ操作方向を判別する。【００６３】
図８（ａ）の左側には、光センサ内蔵ＬＣＤ１０によって撮像された画像のうち、タッチ位置周辺の画像が示されている。この画像には、図４（ａ）と同様に、画面に一部が接している指の腹画像１０１と、指の影画像１０２と、タッチ位置検出部１４によって検出されたタッチ位置を十字中心位置で示す十字マーク１０５とが示されている。【００６４】
指の影画像１０２は、図示のとおり、指先の先端部分で高い濃度値となり、背景との濃度差が明確となる一方、指元方向に向かうほど、その濃度値が薄れる。したがって、表示装置１は、このような画像を対象としてエッジの抽出を行なうと、図８（ａ）の右側に示されるようなエッジ１０３を得る。エッジ１０３は指先部分を示すため、エッジ１０３と対向する位置にある開口は、タッチ位置を基準にすると、指元方向、すなわち、操作者の方向を表すことになる。【００６５】
図８（ｂ）には、この原理に基づいて、タッチ操作方向を上下左右の４方向のいずれであるかを判別する判別基準が示されている。図８（ｂ）に示されるように、表示装置１は、エッジ抽出処理により得られたエッジの開口方向に基づいて、タッチ操作方向が左、右、上、下の４方向のいずれであるかを判別できる。【００６６】
なお、図８（ｂ）では、簡単のために４方向のタッチ操作方向しか例示していないが、表示装置１は、エッジの開口方向をより細かく算出することによって、斜め方向も加えた８方向、さらには１６方向などと、より詳細にタッチ操作方向を判別することも可能である。【００６７】
また、ここでは、指元方向（エッジ開口方向）をタッチ操作方向と判別するように表示装置１を構成しているが、指先方向をタッチ操作方向と判別するように表示装置１を構成してもよい。【００６８】
このようにエッジ検出技術を適用することにより、表示装置１は、たとえば指が表示画面上に強く接している部分、軽く接している部分、少し浮いている部分などにより異なるタッチ位置近傍のエッジ特徴量が得られる。表示装置１は、そのエッジ特徴量の分布を調べることにより、タッチ操作方向を判別することで、表示画面上に設置する指などの微妙な接触度合いから精度よくタッチ操作方向を判別することが可能となる。【００６９】
次に、図９を参照して、図８に示される判定原理に基づいて表示装置１がタッチ操作方向を判別する具体的手順について説明する。図９は、表示装置１によって実行されるタッチ操作方向判別処理Ｐ２を説明するためのフローチャートである。【００７０】
タッチ操作方向判別処理Ｐ２においては、表示装置１は、最初に、タッチ位置の座標を中心とした濃淡画像を取得する（Ｓ２１）。取得される濃淡画像は、たとえば、光センサ内蔵ＬＣＤ１０によって撮像された画像のうち、図８（ａ）に示されるように十字マーク１０５の十字中心に示されるタッチ位置の座標を中心とした正方形の解析エリアに含まれる画像である。ここで、解析エリアのサイズは、標準的な指の大きさを基準にして、指の腹画像１０１と指の影画像１０２の一部が含まれるように予め定められている。なお、図５のステップＳ１と同様に、表示装置１にユーザの指のサイズを登録する機能を設けて、その登録サイズに基づいて、ここでの解析エリアのサイズを表示装置１が定めるようにしてもよい。また、解析エリアの形状は、正方形に限られるものではなく、長方形であっても、円であっても、楕円であってもよい。【００７１】
次に、表示装置１は、取得した濃淡画像に基づいて、エッジ特徴量を抽出する処理を実行する（Ｓ２２）。エッジ特徴量の抽出には、表示装置１は、ソーベルフィルタその他のエッジ抽出用のフィルタを用いる。そして、表示装置１は、所定の閾値を用いて、エッジ特徴量を抽出する。【００７２】
次に、表示装置１は、中心座標（タッチ位置の座標）から見てエッジ特徴量が少ない方向、すなわち開口方向を特定し、特定した開口方向がタッチ操作方向と判別する（Ｓ２３）。これにより、表示装置１は、処理を終了する。【００７３】
あるいは、ステップＳ２３において、表示装置１は、エッジ特徴量を有する複数の画素の重心の座標を求めて、タッチ操作方向を判別してもよい。具体的には、最初に、表示装置１は、所定の閾値以上のエッジ特徴量を有する複数の画素を抽出する。次に、表示装置１は、抽出画素の各々に対して、画素値の大きさに対応した重み付けを加えた上で、重心座標を算出する。表示装置１は、算出した重心座標と、解析エリアの中心座標（タッチ位置の座標）とを結ぶ直線において、重心座標位置からタッチ位置座標位置に向かう方向をタッチ操作方向とする。【００７４】
なお、エッジ特徴量を使ったタッチ操作方向の判別は、上記の例に限定されないことはもちろんであり、エッジ特徴量によりタッチ操作方向を判別できる手法であればどのような手法を採用してもよい。【００７５】
（指紋による判別手法）
次に、表示装置１が、指紋に基づいてタッチ操作方向を判別する判別手法を説明する。図１０に示されるように、人間の指紋には、指先になるほど横方向の線の模様が多く、指付根部分になるほど縦方向の線の模様が多くなるという特徴がある。ここでは、表示装置１は、このような指紋の特徴を利用してタッチ操作方向を判別する。【００７６】
具体的には、最初に、表示装置１は、指の腹画像を対象にして、濃度勾配方向による判別手法と同様に、ソーベルフィルタ等を用いて画素毎にソーベル値を算出する。次に、表示装置１は、算出されたソーベル値に基づいて、濃度勾配方向による判別手法と同様に、各画素に割り当てる方向を算出する。次に、表示装置１は、算出した各画素に割り当てた方向の分布から指先部分と指付根部分とを特定する。【００７７】
指紋は、常に図１０の方向には撮像されるとは限らず、タッチ操作方向によって傾きが生じたものとなるが、縦方向の模様と横方向の模様とは直交するため、これら２方向の分布を調べることによって、指先と指付根との方向をおおまかに特定できる。これにより、表示装置１は、タッチ操作方向を判別することが可能となる。【００７８】
このように、表示装置１は、指でタッチ操作した際の濃淡画像から指紋の模様を読み取り、その模様から方向を判別する。これにより、表示装置１は、精度よくタッチ操作方向を判別することが可能となる。【００７９】
指紋に基づいてタッチ操作方向を判別する判別手法としては、上記のものに限られない。たとえば、予め、操作者の指紋を表示装置１に登録しておき、表示装置１が、撮像された指の腹画像と登録された指紋とをパターンマッチングにより比較して、タッチ操作方向を判別することも考えられる。【００８０】
次に、上記の各種判別手法を表示装置１の制御に応用した例を説明する。ここでは、ホッケーゲームの制御を例に挙げる。【００８１】
図１１に示されるように、表示装置１は、表示画面に、左右方向からの操作者の操作によって楽しめるホッケーゲームの画面を表示する。以下の説明において、図１１に示される表示画面の左方向（図面のゴール３０ａ側）から駒を操作する者を「操作者Ａ」、右方向（図面のゴール３０ｂ側）から駒を操作する者を「操作者Ｂ」、ホッケーゲームでの操作者Ａのチームを「チームＡ」、操作者Ｂのチームを「チームＢ」と称する。表示装置１においては、操作者Ａは図１１の左側から、操作者Ｂは右側から操作する決まりとなっている。【００８２】
表示装置１は、表示画面の両はじに、チームＡのゴール３０ａ、およびチームＢのゴール３０ｂを画像表示している。また、表示装置１は、両ゴール間に、五角形の図形で表示されたチームＡの５つの駒２０ａと、八角形の図形で表示されたチームＢの５つの駒２０ｂと、駒２０ａ，２０ｂに衝突することで移動方向が変化する玉３０とを画像表示している。表示装置１は、各駒２０ａ，２０ｂに対して１〜５の背番号を表示する。図において、指１００ａは操作者Ａの指を、指１００ｂは操作者Ｂの指を、それぞれ示す。なお、以下では、背番号がｎ（ｎは１以上５以下の自然数）の駒を、「駒ｎ」と称する。【００８３】
操作者Ａ、Ｂは、互いに自身のチームの駒２０ａ，２０ｂを指１００ａ，１００ｂにより操作して、玉３０を相手チームのゴール３０ａ，３０ｂへと進める。玉が相手チームのゴールに入ると、表示装置１は得点を加算する。操作者Ａ、Ｂの操作に基づいた以上のゲーム制御は、たとえば、表示装置１の制御部１９（図１参照）によって実行される。【００８４】
表示装置１は、各駒に対して、図１２に例示されるような操作権限を割り当てている。表示装置１は、Ａチームの駒２０ａが操作者Ａにしか操作できないように、表示装置１の動作を制御する。また、表示装置１は、Ｂチームの駒２０ｂが操作者Ｂにしか操作できないように、表示装置１の動作を制御する。【００８５】
この制御は、図１２に示されるように、操作権限の有無を表示装置１がタッチ操作方向（右、左）で識別することによって実現されている。すなわち、表示装置１は、Ａチームの駒２０ａについては、タッチ操作方向が左であるときにのみ、操作を有効とする。一方、表示装置１は、Ｂチームの駒２０ｂについては、タッチ操作方向が右であるときにのみ、操作を有効とする。なお、玉３０は、基本的に駒２０ａ，２０ｂを介して操作されるため、表示装置１は、操作権限をＡ、Ｂいずれの操作者にも割り当てていない。図１２に示される操作権限データは、たとえば、表示装置１のメモリ部１２に格納されている。【００８６】
図１３は、操作権限データに基づいて、表示装置１が駒の操作の有効・無効を判定するための処理手順を示すフローチャートである。【００８７】
最初に、表示装置１は、駒へのタッチ操作がタッチ位置検出部１４により検出されたか否かを判定する（Ｓ３１）。表示装置１は、駒へのタッチ操作が検出されない場合には処理を終了する。【００８８】
図１１に示される例では、操作者Ａは、Ａチームの駒２０ａのうち、「駒１」と「駒２」とを操作しようとしている。操作者Ｂは、Ｂチームの駒２０ｂのうち、「駒３」と「駒５」とを操作しようとしている。この場合、表示装置１は、ステップＳ３１においてタッチ操作有と判断する。【００８９】
次に、表示装置１は、タッチ操作が検出された駒の種類（図１２のＩＤ）を判別する（Ｓ３２）。図１１の場合、表示装置１は、検出された４つのタッチ位置と各駒２０ａ，２０ｂの現在位置とから、操作者が操作しようとしている「駒」のＩＤが「１」、「２」、「８」、「１０」であることを特定する。【００９０】
次に、表示装置１は、特定された各駒別に、タッチ操作方向判別部１５で判別されたタッチ操作方向を特定する（Ｓ３３）。続いて、表示装置１は、各駒別に特定されたタッチ操作方向と、各駒に対応して記憶されているタッチ操作方向とを照合する（Ｓ３４）。表示装置１は、タッチ操作方向が一致しているか否かを各駒別に判定される（Ｓ３５）。【００９１】
図１１の例の場合では、表示装置１は、Ａチームの「駒１」、「駒２」についてのタッチ操作方向を左であると特定し、操作者Ａが操作しているものと判断する。これに対して、表示装置１は、Ｂチームの「駒３」、「駒５」についてのタッチ操作方向を右と特定し、操作者Ｂが操作していると判断する。これら特定された情報は、図１２の操作権限データとマッチしている。この場合、ステップＳ３５においていずれの駒についても、判別されたタッチ操作方向と、駒に対応して記憶されているタッチ操作方向とが一致していると判定され。その結果、表示装置１は、各駒の操作を有効化する（Ｓ３６）。したがって、図１１の例の場合には、操作者Ａ・Ｂともに操作しようとしている駒を動かすことができる。【００９２】
しかし、たとえば操作者ＡがＢチームの「駒１」を操作しようとしても、図１２の操作権限データとマッチしないので、表示装置１は、Ｓ３５においてＮＯと判断する。その結果、表示装置１は、操作者ＡによるＢチームの「駒１」の操作を無効化する。これにより、操作者ＡはＢチームの「駒１」を操作して動かすことができない。【００９３】
このように、表示装置１は、タッチ位置検出部１４で検出したタッチ位置と各駒２０ａ，２０ｂの現在位置とでタッチ操作が検出された「駒」を特定する。表示装置１は、タッチ操作方向判別部１５で判別した方向により「操作者」を特定する。これにより、表示装置１は、操作権限が与えられた「駒」しか操作者が操作することができないといった制御をすることが可能となる。【００９４】
このため、表示装置１は、操作入力者を判別することによって、操作者が複数人いた場合に誰が操作しようとしたのかを明確に特定できる。【００９５】
また、同じ画面上に複数の操作対象物があり、それを複数人の操作入力者が操作するような場合、表示装置１は、操作対象物と操作入力者の操作権限が一致するものしか操作できないようにすることで、操作入力者が誤った操作をしてしまうことを防止できる。さらに、表示装置１は、ゲームなどにおいてお互いにチームの駒しか操作できないような制限を加えたりすることが可能となる。【００９６】
以上、説明した実施の形態に係る表示装置１によれば、入力された指やペンなどの画像を解析することにより、タッチ位置の検出とタッチ操作方向の判別とが可能である。このため、制御部１９は、タッチ位置を示す信号およびタッチ操作方向を示す信号と、メモリ部１２に格納されている情報とに基づいて、どの方向にいる操作者が操作したかを判断することができる。このため、制御部１９は、操作者に与えられた操作権限に応じた情報処理を行なうことができる。【００９７】
また、本実施の形態に係る表示装置１によれば、表示画面の後方に設置した光センサで得られた画像を解析して、画面から見てどの方向にいる人が表示画面上に表示されている操作対象を操作したかを判別できるようにしている。このため、表示装置１は、小規模な構成で、かつ正確に操作方向を判別することができる。【００９８】
つまり、表示装置１では、表示画面の前方にどのような障害物があろうが操作方向を判別するための入力画像に障害物が写り込んで判別の邪魔をすることがない。また、表示装置１は、背景技術欄において紹介したようシステムのように表示装置の外部に人体を通して信号を伝達するような装置を設置する必要がない。このため、表示装置１は、表示装置単体の小規模で単純な構成でタッチ操作方向を判別し、その後の情報処理を行なうことが可能となる。【００９９】
上述した実施の形態では、光センサ内蔵ＬＣＤ１０から得られた画像を解析することでタッチ位置の検出を行なう場合を例にとって説明した。しかしながら、タッチ位置を検出するための構成はこれに限定されないことはもちろんであり、他にも様々な形態が考えられる。【０１００】
たとえば、図１の表示装置１の構成を変更して、図１４に例示する表示装置１１のように、光センサ内蔵ＬＣＤ１８の上に静電容量方式のタッチパネル１７を設けてもよい。この場合、表示装置１１は、静電容量方式のタッチパネル１７でタッチ位置を検出する。また、表示装置１１は、静電容量方式のタッチパネル１７で得られたタッチ位置と光センサ内蔵ＬＣＤ１８で得られた画像とを解析することで、タッチ操作方向を判別する。【０１０１】
また、タッチパネルについては、タッチ位置が検出できるものであれば、抵抗膜方式、赤外線方式、電磁誘導方式、超音波方式などの各種タッチパネルの方式のいずれを用いてもよい。【０１０２】
しかし、タッチ操作方向の判別を光センサ内蔵ＬＣＤで得た画像を解析することによって行なう場合、静電容量方式などのタッチパネルを使わずに、光センサ内蔵ＬＣＤでタッチ位置も併せて検出できたほうが好ましい。これは、抵抗膜のようなタッチパネルの部材や、表示画面上に抵抗膜を配置する行程を削減できるなどの理由によって、表示装置の構成が簡単になるためである。さらには、構成が簡単になるため、コストが安く済むといったメリットがあるためである。【０１０３】
また上述した実施形態では、画像を撮像する撮像装置（画像を入力する入力装置）として、主に可視光領域の光の周波数に反応する光センサ内蔵ＬＣＤを例に挙げて説明したが、撮像装置の構成はこれに限定されないことはもちろんであり、他にも様々な構成が考えられる。【０１０４】
たとえば、可視光領域以外の周波数で、主に赤外線の周波数に反応する光センサを表示装置１，１１に内蔵しておく。そして、表示装置１，１１は、表示画面の後方から照射した赤外線を指やペンなどで反射させ、当該反射した赤外線を光センサに入力する。さらに、表示装置１、１１は、当該入力された赤外線を画像に変換する。このように可視光以外の主に赤外線に反応する光センサを用いると、表示装置１、１１は、室内光などの外光に影響受けずに指の腹の反射や指の影の画像を得ることができるようになる。また、赤外線に反応する光センサで得られる画像は指の反射を利用するものなので、可視光領域の周波数に反応する光センサで得られる画像と基本的に同じである。【０１０５】
このように、表示装置１、１１は、光センサでバックライトによる指などの操作入力物体への反射光などを画像として取得することで、表示画面上への指やタッチペンなどの操作入力物体の接触度合いを詳細に把握することが可能となる。【０１０６】
あるいは、表示装置１、１１は、光センサの代わりに温度センサを内蔵することにより、指やペンなどを置いた場合の温度変化を画像に変換して入力画像にするようにしてもよい。温度センサで得られる画像は、たとえば図３（ｂ）や図３（ｃ）のように指を置いた部分だけが温められるか、冷やされるかして、指を置いた部分だけが周囲と異なるコントラストを持つ画像を得ることができる。また、表示画面上に指が強く接している部分と指が軽く接している部分とで温度差ができるので、指の腹部分の画像は図４で示したような白と黒のグラデーションになる。つまり、温度センサで得られる画像は光センサで得られる画像と同じような画像になる。【０１０７】
表示装置１、１１は、温度センサで画像を取得することで、指やタッチペンなどの操作入力物体が表示画面上に接触している度合いを詳細に把握することが可能となる。また、光センサのように室内光や太陽光といった外光にあまり影響されることない。このため、表示装置１、１１は、操作入力物体による温度変化だけを取得することが可能となる。【０１０８】
よって、表示装置１、１１は、上述した主に可視光領域に反応する光センサで得られた画像からタッチ位置の検出およびタッチ方向の判別を行なうアルゴリズムを用いることで、赤外線などの光センサおよび温度センサで得られた画像からタッチ位置の検出およびタッチ方向の判別も行なうことも可能である。【０１０９】
なお、撮像装置としては、指やペンなどを置いた場合に画像が撮像できるセンサやカメラであればどのような方式のものを用いてもよい。【０１１０】
（実施の形態２）
実施の形態１では、表示装置１の一実施形態として、表示装置１をゲーム機に応用する例を説明した。さらに、光センサ内蔵ＬＣＤ１０の代わりに光センサ内蔵デュアルビューＬＣＤを組み込んだ構成に表示装置をすることで、当該表示装置をカーナビゲーションシステムに応用することも可能である。【０１１１】
図１５は、本発明の実施の形態２に従う表示装置２の概略構成を示すブロック図である。表示装置２は、光センサ内蔵デュアルビューＬＣＤ２０を備えるカーナビゲーションシステムである。【０１１２】
表示装置２は、光センサ内蔵デュアルビューＬＣＤ２０（以下、単に「ＬＣＤ２０」と称する）および既に説明したタッチ位置検出部１４を備える。表示装置２は、タッチ操作方向判別部１５から入力される信号に基づいた左右方向の操作者の識別及びＬＣＤ２０の制御等を行なう制御部２１をさらに備える。表示装置２は、制御に関わる各種情報を記憶するメモリ部２２さらに備える。表示装置２は、各種の視聴用のデータを出力する出力装置２６〜２８（テレビ受信機２６、ナビゲーション装置２７、ＤＶＤプレーヤ２８）さらに備える。表示装置２は、各出力装置２６〜２８から出力されたデータを左方向用の画像と右方向用の画像とに振り分けて選択的に出力する画像選択部２５さらに備える。表示装置２は、画像選択部２５から出力された画像データに基づいてＬＣＤ２０に対し、それぞれ左方向および右方向に対応させてＬＣＤ画面上に表示させるべき画像の表示制御を行なう左方向表示制御部２３および右方向表示制御部２４をさらに備える。【０１１３】
図１６は、ＬＣＤ２０の表示画面例を示す図である。図１６（ｃ）に示すように、表示装置２は、雲が掛かった山の風景が映し出されたテレビ画面上にテレビのチャネルを選択するためのチャネルボタン（図では「２ｃｈ」が見える）４０１を表示している。これに対して、図１６（ｄ）に示すように、表示装置２は、ナビゲーション用の地図上に地図をスクロールさせるためのスクロールボタン３０１をさらに表示している。デュアルビューのＬＣＤ２０は、助手席側から見た者には図１６（ｃ）の画面を、運転席側から見た者には図１６（ｄ）の画面を、それぞれ同時に表示する機能を備えている。【０１１４】
図１６（ｃ）に示される画面において、助手席側の操作者は、自身の指１００Ｌをチャネルボタン４０１に触れることによってテレビチャネルを任意に変更できる。他方、図１６（ｄ）に示される画面において、運転席側の操作者は、自身の指１００Ｒをスクロールボタン３０１に触れることによって地図を任意にスクロールできる。【０１１５】
しかしながら、図１６（ａ）に示されるように、画面上でチャネルボタン４０１とスクロールボタン３０１とが同じ位置に重複して配置されている。したがって、助手席側の操作者がチャネルボタン４０１を操作したときに、当該操作が助手席側の操作者によるものであることを表示装置２が判別できることが必要となる。【０１１６】
また、図１６（ｂ）に示されるように、運転席側の操作者がスクロールボタン３０１を、助手席側の操作者がチャネルボタン４０１を、夫々同時に操作したときにおいても、以下のことが必要となる。すなわち、ボタンにタッチした指が運転席側の操作者の指１００Ｒであるか助手席側の操作者の指１００Ｌであるかを表示装置２が判別できることが必要となる。さらに、ボタン３０１，４０１のうち、操作者に対応するボタンの機能を表示装置２が起動させることが必要となる。【０１１７】
本実施の形態２に係る表示装置２は、実施の形態１として説明した表示装置１，１１と同様にタッチ位置検出部１４に加えてタッチ操作方向判別部１５を備える。このために、表示装置２は、ボタン３０１，４０１へのタッチ操作を検出し、さらにそのタッチ操作が助手席側からのタッチ操作であるか、運転席側からのタッチ操作であるかを特定できる。【０１１８】
その結果、たとえば、図１６（ａ）に示されるようなケースでも、タッチ操作方向判別部１５により、助手席のある左側から操作されたことを判別できる。それゆえ、表示装置２は、ＴＶ番組のチャンネル操作だけが実行され、地図に対する操作として反応しない。あるいは、図１６（ｂ）に示されるようなケースでも、タッチ位置検出部１４によって検出された２点のタッチ位置と、タッチ操作方向判別部１５によって判別されたタッチ操作方向とにより、表示装置２は、左側の助手席の人が押したボタンがチャネルボタン４０１であり、右側の運転席の人が押したボタンがスクロールボタン３０１であることを判別できる。よって、ＴＶ番組のチャネルボタン４０１と地図操作のスクロールボタン３０１とが同じ位置に重複して配置されている場合でも、左側の助手席の人がした操作はＴＶ番組の選択操作にだけ反映され、右側の運転席の人がした操作は地図のスクロール操作にだけ反映させることが可能となる。【０１１９】
なお、ここでは、車内に配置されるカーナビゲーションシステムを前提として、テレビの操作に関するボタンとナビゲーションに関するボタンとを例に挙げて説明したが、カーナビゲーションシステムおよびこれに関連するソースは一例に過ぎない。デュアルビュー表示画面を中心にして一方側（たとえば、運転席側）に操作が委ねられるソースと他方側（たとえば、助手席側）に操作が委ねられるソースとが異なるシステムについて、適用できることはいうまでもない。【０１２０】
また、実施の形態２におけるタッチ操作方向判別部１５による判別手法としては、実施の形態１として説明した、「濃度勾配方向による判別手法」、「エッジ特徴量分布による判別手法」、「指紋形状による判別手法」のいずれを採用してもよい。【０１２１】
あるいは、タッチ操作方向判別部１５による判別手法として、次に説明する「楕円長軸方向による判別手法」を採用することも可能である。【０１２２】
図１７は、「楕円長軸方向による判別手法」の原理を説明するための図である。表示装置２をカーナビゲーションシステムに応用する場合には、画面が運転席と助手席との間に配置される。このため、運転席側および助手席側から画面にタッチするときの指のタッチ操作方向は、通常の操作の仕方を考慮すると、一定範囲内に制限される。さらに、タッチ操作方向の範囲は、両者で重複しない。【０１２３】
たとえば、図１７（ａ）に示されるように、画面の左側から操作する操作者（助手席側の操作者）の指１００Ｌの先端と指元とを結ぶ直線と、画面のｘ軸方向線とのなす角（タッチ操作方向角）φは、０度を超えて９０度未満の範囲にあると考えることができる。同様の理由により、右側から操作する操作者（運転席側の操作者）の指１００Ｒのタッチ操作方向角の範囲は、左側から操作する操作者のそれとは左右対称の範囲となる。このため、左側から操作する操作者のタッチ操作方向の角度と右側から操作する操作者のタッチ操作方向の角度とは重複しない。【０１２４】
そのため、図１７（ｂ）に示されるように、表示装置２は、タッチ操作が検出された際の指の腹画像１０１Ｌ、１０１Ｒを撮像したときに、楕円形状の指の腹画像１０１Ｌ、１０１Ｒから、図１７（ｃ）のように長軸５２を算出する。さらに、表示装置２は、たとえば、長軸５２の傾きがプラスならタッチ操作方向を「左」、長軸の傾きがマイナスならタッチ操作方向を「右」と判別する。つまり、表示装置２は、長軸の傾きから左右のタッチ操作方向を判別する。【０１２５】
このように、指でタッチ操作した場合の指の腹部分の形状が楕円状になることに注目し、表示装置２は、この楕円の長軸の向きからタッチ操作方向を判別することで、精度よくタッチ操作方向を判別することが可能となる。【０１２６】
なお、表示装置２は、ここでは楕円の長軸５２の傾きからタッチ操作方向を判別するようにしているが、楕円の長軸５２に限定されないことはもちろんである。表示装置２は、楕円の短軸からタッチ操作方向を判別してもよい。【０１２７】
楕円の長軸は、たとえば、次のようにして算出できる。たとえば図１７（ｄ）のように、表示装置２は、２値化処理やエッジ検出処理により求めた楕円画像から外接長方形と対角線を算出する。ここで算出された一対の対角線が長軸および短軸になる。図１７（ｄ）に示されるように、長軸方向には、短軸方向よりも、指の腹によって濃度値が高い画素が多く分布している。このため、表示装置２は、たとえば、長軸上の画素と短軸上の画素との分布を演算し、白黒に２値化した画素値の黒が多い方の対角線を楕円の長軸方向と判別する。【０１２８】
次に、図１８に示されるフローチャートを参照して、図１７に示される判定原理に基づいた表示装置２の動作を説明する。表示装置２は、最初に、ボタン３０１，４０１へのタッチ操作が検出されたか否かを判定する（Ｓ４１）。タッチ操作が検出されると、表示装置２は、タッチ操作位置の楕円形状の指の腹画像に基づいて、長軸の傾き方向を判別する（Ｓ４２）。【０１２９】
次に、表示装置２は、長軸の傾き方向がプラス方向であるか（図１７のφが０°＜φ＜９０°を満たすか）否かを判別する（Ｓ４３）。プラス方向と判別されたときには、表示装置２は、左側の操作者、すなわち助手席側に対応するボタン４０１に割り当てられた機能を起動する（Ｓ４４）。これに対して、マイナス方向と判別されたときは、表示装置２は、右側の操作者、すなわち運転席側に対応するボタン３０１に割り当てられた機能を起動する（Ｓ４５）。【０１３０】
実施の形態２に係る表示装置２によれば、操作者を特定するために、表示装置の外部にカメラを設置したり、椅子やハンドルに信号伝達装置を設置したりする必要がなくなる。このため、表示装置２のみで操作者が左右のいずれから操作しているかを判別できる。また、表示画面の内側から画像を撮像しているので、判別の邪魔になる障害物を排除できる。このため、たとえば、図１６（ａ）に示されるように助手席と運転席の人の手が重なったような場合など、表示画面の前方にいかなる障害物があろうと、正確にタッチ操作方向を判別することが可能となる。これにより、表示装置２は、助手席側にいる人と運転席側にいる人のどちらの人が重なって配置されたボタン等を押したかを正確、かつ小規模な構成で判別することが可能となる。【０１３１】
なお、助手席側にいる人と運転席側にいる人のどちらがボタンを押したかを区別できるように、助手席用と運転席用のボタンを重ならない位置に配置することもできる。しかしながら、ボタンを表示する領域が限られてしまうという問題があり、この点においても本実施の形態２に係る表示装置２は有効である。【０１３２】
各実施の形態に係る表示装置によれば、表示装置の外部にカメラや信号伝達装置などを設置する必要がない。それゆえ、当該表示装置は、表示画面前方にどのような障害物があろうが、立っていようが寝ていようが、あらゆる状況においてどの方向からタッチされたかを正確に判別できる。このため、表示装置は、その判別した情報を用いてその後の情報処理を正確に行なうことが可能となる。また、表示装置だけの簡単な構成でどの方向からタッチされたかを正確に判別できるので、コストは従来のタッチパネル付きの表示装置と同程度に抑えることができる。それゆえ、表示装置を持ち運ぶようなモバイル用途など、多様な場面で各実施の形態に係る表示装置を利用することが可能となる。【０１３３】
以上、説明した各実施の形態の変形例や特徴点を列挙する。
（１）  表示装置は、タッチ位置検出部１４で検出されたタッチ位置を基準として画像を解析して、タッチ操作方向を判別してもよい。【０１３４】
（２）  各実施の形態１，２では、表示装置は、撮像された画像のうち、所定範囲の画像を対象として画像解析を行なって、タッチ操作方向を判別する。このように、表示装置はタッチ位置周辺の画像だけを対象に処理してタッチ操作方向を判別するので、処理の単純化や高速化を図ることができる。さらに、表示装置は、不必要な画像領域を見る必要がない。したがって、表示装置は、タッチ操作方向判別の精度も上げることができる。また、処理が単純化されることにより、回路化の際のゲート数を少なくすることができる。このため、表示装置の製造コストも削減できる。しかしながら、これに代えて、表示装置は、撮像された全画像を解析対象としてもよい。【０１３５】
（３）  タッチ操作方向判別部１５による判別手法は、上記実施の形態で挙げた例に限定されないことはもちろんであり、画像からタッチ操作方向を判別できる方法であればどのような判別手法を用いてもよい。【０１３６】
（４）  各実施の形態１、２では、タッチ操作が指で行なわれる場合を例にして説明した。しかしながら、タッチ操作がタッチペンなどのような部材によって行なわれる場合にも各実施の形態１，２は適用可能である。タッチペン等でタッチ操作が行なわれる場合にも、タッチ操作が検出された座標位置を中心とした影の画像が図４に示されるように撮像されるためである。【０１３７】
（５）  実施の形態２に係る表示装置２は、テレビ受信機２６や、ナビゲーション装置２７、ＤＶＤプレーヤ２８を構成に含めないで構成してもよい。【０１３８】
（６）  実施の形態２において説明した、「楕円長軸方向による判別手法」は、実施の形態１に係る表示装置１，１１に採用してもよい。【０１３９】
（７）  表示装置１，２，１１に対して、「濃度勾配方向による判別手法」、「エッジ特徴量分布による判別手法」、「指紋形状による判別手法」、および「楕円長軸方向による判別手法」のうち、いずれの判別手法を採用してもよい。さらに、表示装置１，２，１１は、それら複数の判別手法のうちの任意の複数の判別手法に基づく判別処理を選択的に実行できるように、複数のタッチ操作方向判別部１５を設けてもよい。また、表示装置１，２，１１は、操作者の操作によって、複数のタッチ操作方向判別部１５のいずれかを選択できるように選択操作部をさらに設けてもよい。あるいは、表示装置１，２，１１は、複数のタッチ操作方向判別部１５を機能させ、その複数の判別結果に基づいて、タッチ操作方向を判別するようにしてもよい。【０１４０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図１】
2009139214.tif 000003
【図２】
2009139214.tif 000004
【図５】
2009139214.tif 000005
【図７】
2009139214.tif 000006
【図９】
2009139214.tif 000007
【図１０】
2009139214.tif 000008
【図１１】
2009139214.tif 000009
【図１２】
2009139214.tif 000010
【図１３】
2009139214.tif 000011
【図１４】
2009139214.tif 000012
【図１５】
2009139214.tif 000013
【図１６】
2009139214.tif 000014
【図１８】
2009139214.tif 000015
【図３】
2009139214.tif 000016
【図４】
2009139214.tif 000017
【図６】
2009139214.tif 000018
【図８】
2009139214.tif 000019
【図１７】
2009139214.tif 000020
【手続補正書】
【提出日】平成21年8月7日(2009.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
タッチ入力を受付ける表示装置（１，２，１１）であって、
表示画面を有する表示部（１０，１８，２０）と、
前記タッチ入力である前記表示画面に対するタッチ操作を前記表示部（１０，１８，２０）の内部から撮像する撮像部と、
前記タッチ操作における前記表示画面に対するタッチ位置を検出するタッチ位置検出部（１４）と、
前記撮像部による撮像で得られた画像に基づいて、前記タッチ操作における前記表示画面に対するタッチ方向を判別する方向判別部（１５）とを備える、表示装置（１，２，１１）。
【請求項２】
前記方向判別部（１５）は、前記撮像部による撮像で得られた画像のうち、前記タッチ位置を基準とした所定範囲の画像に基づいて、前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項３】
前記方向判別部（１５）は、前記タッチ操作のために前記表示画面に接触した指またはタッチ部材が前記撮像部により撮像されたときに、前記タッチ位置の周辺画像の濃度変化に基づいて、前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項４】
前記方向判別部（１５）は、
前記タッチ操作のために前記表示画面に接触した指またはタッチ部材が前記撮像部（１０，１８，２０）により撮像されたときに、前記タッチ位置の周辺画像の濃度勾配方向を算出する濃度勾配方向算出部を含み、
前記濃度勾配方向算出部が算出した濃度勾配方向に基づいて前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項５】
前記方向判別部（１５）は、
前記タッチ操作のために前記表示画面に接触した指またはタッチ部材が前記撮像部（１０，１８，２０）により撮像されたときに、前記タッチ位置の周辺画像のエッジ特徴量分布を算出するエッジ特徴量分布算出部を含み、
前記エッジ特徴量分布算出部が算出したエッジ特徴量分布に基づいて前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項６】
前記方向判別部（１５）は、
前記タッチ操作のために前記表示画面に接触した指が前記撮像部により撮像されたときに、前記タッチ位置周辺の指画像の楕円長軸方向を算出する長軸方向算出部を含み、
前記長軸方向算出部が算出した楕円長軸方向に基づいて前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項７】
前記方向判別部（１５）は、前記タッチ操作のために前記表示画面に接触した指が前記撮像部により撮像されたときに、前記タッチ位置周辺の指画像の指紋形状に基づいて前記タッチ方向を判別する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項８】
前記表示部（１０，１８，２０）は、前記タッチ操作に基づいて所定機能が有効化される複数の操作対象画像を前記表示画面に表示可能であり、
前記表示装置は、
前記複数の操作対象画像の各々について、前記タッチ操作に基づく機能が有効化されるタッチ方向を記憶する記憶部（１２，２２）と、
前記操作対象画像に対するタッチ操作が検出されたときのタッチ方向と当該操作対象画像に対応して前記記憶部（１２，２２）に記憶されたタッチ方向とが一致したときに、当該操作対象画像に対するタッチ操作に基づく機能を有効化する機能有効化部とをさらに備える、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項９】
前記表示部（１０，１８，２０）は、
異なる方向に対して異なる画像を表示可能であって、
前記表示画面の特定位置において、タッチ操作によって第１の機能が有効化される第１のボタン画像を第１の方向に表示し、前記特定位置において、タッチ操作によって第２の機能が有効化される第２のボタン画像を第２の方向に表示し、
前記表示装置（１，２，１１）は、
前記タッチ位置検出部（１４）により検出されたタッチ位置が前記特定位置であるときに、前記方向判別部（１５）により判別されたタッチ方向に基づいて、前記２種類の機能のうちのいずれか一方を有効化する機能選択部をさらに備える、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項１０】
前記撮像部は、光センサである、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項１１】
前記撮像部は、温度センサである、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項１２】
前記タッチ位置検出部は、前記撮像部により撮像された画像に基づいてタッチ位置を検出する、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項１３】
前記表示装置（１，２，１１）は、前記表示装置（１，２，１１）の動作を制御する制御部（１９，２１）をさらに備え、
前記制御部（１９，２１）は、前記検出された前記タッチ位置と前記判別された前記タッチ方向とに応じた動作を前記表示装置（１，２，１１）に実行させる、請求の範囲第１項に記載の表示装置（１，２，１１）。
【請求項１４】
表示画面を有し、タッチ操作に用いる物体が前記表示画面に接触することにより入力を受付ける表示装置（１，２，１１）であって、
前記表示画面を介して、前記表示画面に接触した前記物体を撮像する撮像部と、
前記表示画面に対する前記物体の接触位置を検出する検出部（１４）と、
前記撮像部による撮像で得られた画像に基づいて、前記表示画面に対する前記物体の方向を判別する判別部（１５）と、
前記表示装置（１，２，１１）の動作を制御する制御部（１９，２１）とを備え、
前記制御部（１９，２１）は、前記接触位置と前記判別した方向とに応じた動作を前記表示装置（１，２，１１）に実行させる、表示装置（１，２，１１）。
【請求項１５】
タッチ操作に用いる物体が表示画面に接触することにより入力を受付ける表示装置（１，２，１１）における制御方法であって、
前記表示画面を介して、前記表示画面に接触した前記物体を撮像するステップと、
前記表示画面に対する前記物体の接触位置を検出するステップと、
前記撮像部による撮像で得られた画像に基づいて、前記表示画面に対する前記物体の方向を判別するステップ（Ｓ１〜Ｓ５，Ｓ１３，Ｓ１４，Ｓ２３，Ｓ３３）と、
前記接触位置と前記判別した方向とに応じた動作を前記表示装置（１，２，１１）に実行させるステップ（Ｓ３６，Ｓ３７，Ｓ４４，Ｓ４５）とを備える、制御方法。
【請求項１６】
前記タッチ位置を基準とした所定範囲の画像は、前記タッチ位置を中心とした指またはタッチ部材が前記表示部に接触した範囲および当該表示部に近接した範囲の画像である、請求の範囲第２項に記載の表示装置（１，２，１１）。
【手続補正書】
【提出日】平成22年10月4日(2010.10.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
表示装置１は、解析エリア８０内の濃淡画像にソーベルフィルタを適用することによって、濃淡画像を構成する画素毎に、横方向（ｘ方向）および縦方向（ｙ方向）のソーベル値を算出する。図６（ｃ）は、特定の画素に対して、横方向（ｘ方向）のソーベル値Ｇｘと縦方向（ｙ方向）のソーベル値Ｇｙとから求められる、濃度勾配角θを有する濃度勾配ベクトル１１１を示す図である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
表示装置１は、このようにして各画素の濃度勾配方向を上下左右の４方向のいずれかに分類することによって、解析エリア８０に含まれる画像について、図６（ｄ）の概念図に示されるように画素毎の濃度勾配方向を算出する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
次に、表示装置１は、タッチ操作が検出された駒の種類（図１２のＩＤ）を判別する（Ｓ３２）。図１１の場合、表示装置１は、検出された４つのタッチ位置と各駒２０ａ，２０ｂの現在位置とから、操作者が操作しようとしている「駒」のＩＤが「１」、「２」、「３」、「５」であることを特定する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
このように、指でタッチ操作した場合の指の腹部分の形状が楕円状になることに注目し、表示装置２は、この楕円の長軸の傾きからタッチ操作方向を判別することで、精度よくタッチ操作方向を判別することが可能となる。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
タッチ入力を受付ける表示装置であって、
表示画面を有する表示部と、
前記タッチ入力である前記表示画面に対するタッチ操作を前記表示部の内部から撮像する撮像手段と、
前記タッチ操作における前記表示画面に対するタッチ位置を検出するタッチ位置検出手段と、
前記撮像手段による撮像で得られた画像に基づいて、前記タッチ操作における前記表示画面に対するタッチ方向を判別する方向判別手段とを備える、表示装置。
【請求項２】
前記方向判別手段は、前記撮像手段による撮像で得られた画像のうち、前記タッチ位置を基準とした所定範囲の画像に基づいて、前記タッチ方向を判別する、請求項１に記載の表示装置。
【請求項３】
前記方向判別手段は、前記タッチ操作のために前記表示画面に接触した指またはタッチ部材が前記撮像手段により撮像されたときに、前記タッチ位置の周辺画像の濃度変化に基づいて、前記タッチ方向を判別する、請求項１または２に記載の表示装置。
【請求項４】
前記方向判別手段は、
前記タッチ操作のために前記表示画面に接触した指またはタッチ部材が前記撮像手段により撮像されたときに、前記タッチ位置の周辺画像の濃度勾配方向を算出する濃度勾配方向算出手段を含み、
前記濃度勾配方向算出手段が算出した濃度勾配方向に基づいて前記タッチ方向を判別する、請求項１から３のいずれか１項に記載の表示装置。
【請求項５】
前記方向判別手段は、
前記タッチ操作のために前記表示画面に接触した指またはタッチ部材が前記撮像手段により撮像されたときに、前記タッチ位置の周辺画像のエッジ特徴量分布を算出するエッジ特徴量分布算出手段を含み、
前記エッジ特徴量分布算出手段が算出したエッジ特徴量分布に基づいて前記タッチ方向を判別する、請求項１から３のいずれか１項に記載の表示装置。
【請求項６】
前記方向判別手段は、
前記タッチ操作のために前記表示画面に接触した指が前記撮像手段により撮像されたときに、前記タッチ位置周辺の指画像の楕円長軸方向を算出する長軸方向算出手段を含み、
前記長軸方向算出手段が算出した楕円長軸方向に基づいて前記タッチ方向を判別する、請求項１から３のいずれか１項に記載の表示装置。
【請求項７】
前記方向判別手段は、前記タッチ操作のために前記表示画面に接触した指が前記撮像手段により撮像されたときに、前記タッチ位置周辺の指画像の指紋形状に基づいて前記タッチ方向を判別する、請求項１から３のいずれか１項に記載の表示装置。
【請求項８】
前記表示部は、前記タッチ操作に基づいて所定機能が有効化される複数の操作対象画像を前記表示画面に表示可能であり、
前記表示装置は、
前記複数の操作対象画像の各々について、前記タッチ操作に基づく機能が有効化されるタッチ方向を記憶する記憶手段と、
前記操作対象画像に対するタッチ操作が検出されたときのタッチ方向と当該操作対象画像に対応して前記記憶手段に記憶されたタッチ方向とが一致したときに、当該操作対象画像に対するタッチ操作に基づく機能を有効化する機能有効化手段とをさらに備える、請求項１から７のいずれか１項に記載の表示装置。
【請求項９】
前記表示部は、
異なる方向に対して異なる画像を表示可能であって、
前記表示画面の特定位置において、タッチ操作によって第１の機能が有効化される第１のボタン画像を第１の方向に表示し、前記特定位置において、タッチ操作によって第２の機能が有効化される第２のボタン画像を第２の方向に表示し、
前記表示装置は、
前記タッチ位置検出手段により検出されたタッチ位置が前記特定位置であるときに、前記方向判別手段により判別されたタッチ方向に基づいて、前記２種類の機能のうちのいずれか一方を有効化する機能選択手段をさらに備える、請求項１から７のいずれか１項に記載の表示装置。
【請求項１０】
前記撮像手段は、光センサである、請求項１から９のいずれか１項に記載の表示装置。
【請求項１１】
前記撮像手段は、温度センサである、請求項１から９のいずれか１項に記載の表示装置。
【請求項１２】
前記タッチ位置検出手段は、前記撮像手段により撮像された画像に基づいてタッチ位置を検出する、請求項１から１１のいずれか１項に記載の表示装置。
【請求項１３】
前記表示装置は、前記表示装置の動作を制御する制御手段をさらに備え、
前記制御手段は、前記検出された前記タッチ位置と前記判別された前記タッチ方向とに応じた動作を前記表示装置に実行させる、請求項１から７のいずれか１項に記載の表示装置。
【請求項１４】
表示画面を有し、タッチ操作に用いる物体が前記表示画面に接触することにより入力を受付ける表示装置であって、
前記表示画面を介して、前記表示画面に接触した前記物体を撮像する撮像手段と、
前記表示画面に対する前記物体の接触位置を検出する検出手段と、
前記撮像手段による撮像で得られた画像に基づいて、前記表示画面に対する前記物体の方向を判別する判別手段と、
前記表示装置の動作を制御する制御手段とを備え、
前記制御手段は、前記接触位置と前記判別した方向とに応じた動作を前記表示装置に実行させる、表示装置。
【請求項１５】
タッチ操作に用いる物体が表示画面に接触することにより入力を受付ける表示装置における制御方法であって、
前記表示画面を介して、前記表示画面に接触した前記物体を撮像するステップと、
前記表示画面に対する前記物体の接触位置を検出するステップと、
前記撮像で得られた画像に基づいて、前記表示画面に対する前記物体の方向を判別するステップと、
前記接触位置と前記判別した方向とに応じた動作を前記表示装置に実行させるステップとを備える、制御方法。
【請求項１６】
前記タッチ位置を基準とした所定範囲の画像は、前記タッチ位置を中心とした指またはタッチ部材が前記表示部に接触した範囲および当該表示部に近接した範囲の画像である、請求項２に記載の表示装置。
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2009139214.tif 000021
【国際調査報告】
2009139214.tif 000022
2009139214.tif 000023
2009139214.tif 000024
2009139214.tif 000025
2009139214.tif 000026
2009139214.tif 000027