(57)【要約】【課題】入射光がどの方向から入射しているかを特定する。【解決手段】本発明のデータ表示／センサ装置１００は、受光面を有し、該受光面で受光した入射光を検出する光検出部と、出射装置より出射された光が受光面に入射したときの、光検出部が検出した光の受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定部１２２と、を備えているので、データ表示／センサ装置１００に対する入射光がどの方向から入射しているかを特定することができる。【選択図】図１
2010158389.tif 000002
【特許請求の範囲】
【請求項１】
入射した光の入射方向を特定する方向特定装置において、
受光面を有し、該受光面で受光した入射光を検出する光検出部と、
出射装置より出射された光が上記受光面に入射したときの、上記光検出部が検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定手段と、を備えていることを特徴とする方向特定装置。
【請求項２】
上記光検出部は、表示を行う面状部材の表示領域を上記受光面とし、該表示領域にマトリクス状に配列された複数の光センサよりなるものであり、
上記面状部材の表示領域に受光した入射光の該表示領域における入射位置を、該光を検知した上記光センサの上記マトリクスにおける位置により特定する位置特定手段を備えていることを特徴とする請求項１に記載の方向特定装置。
【請求項３】
上記光検出部によって検出された光の色を判別する色判別手段を備えていることを特徴とする請求項１または２に記載の方向特定装置。
【請求項４】
上記光検出部の受光面に受光している期間と受光していない期間との組合せによって規定される時間的パターンを判別する受光パターン判別手段を備えていることを特徴とする請求項１〜３のいずれか１項に記載の方向特定装置。
【請求項５】
上記光検出部によって検出された光が、単位距離あたりどれだけ拡散するかを示す拡散率と、出射後の所定の地点における上記光の断面の大きさを示す代表値である基準代表値とを記憶している記憶部と、
上記光検出部が検出した上記光の上記受光面における断面の大きさを示す代表値と、上記記憶部に記憶されている上記拡散率および上記基準代表値とによって、上記光の出射装置と自装置との距離を算出する距離算出手段とを備えていることを特徴とする請求項１〜４のいずれか１項に記載の方向特定装置。
【請求項６】
上記方向特定手段は、特定した方向を示す情報を外部へ出力するものであることを特徴とする請求項１〜５のいずれか１項に記載の方向特定装置。
【請求項７】
入射した光の入射方向を特定する方向特定方法であって、
受光面で受光した、出射装置より出射された光を検出する光検出ステップと、
上記光検出ステップで検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定ステップと、を含むことを特徴とする方向特定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入射する光の方向を特定する方向特定装置、方向特定方法に関するものである。
【背景技術】
【０００２】
従来から、ＣＲＴ（cathode−ray tube）を用いた表示装置の画面にゲーム用銃の銃口を向けて画面上の標的を射撃するシューティングゲームが存在している。これは、ゲーム機本体と表示装置とゲーム用銃とが接続されており、ゲーム用銃のトリガが引かれたときに、該ゲーム用銃の銃口が対向している画面上の位置を特定し、ここで特定した位置に標的が表示されていれば命中と判定するものである。
【０００３】
そして、ゲーム用銃の銃口が対向している画面上の位置を特定は、以下のように行っている。
【０００４】
まず、点順次走査発光方式の表示装置を用いて、銃口が対向している画面上の位置を特定するものについて説明する。
【０００５】
すなわち、ゲーム用銃の銃口には表示装置の画面における走査線の光点からの光を受光する受光センサが配置されている。そして、ゲーム用銃は、トリガ（引き金）が引かれたときにトリガ信号をゲーム機本体に対し出力する。ゲーム機本体は、ゲーム用銃からトリガ信号を取得すると（ゲーム用銃のトリガが引かれると）、次の１フレームの画像を全ての画素が白である発光画像にする。このとき、ゲーム用銃の銃口に配置された受光センサが、銃口が対向している画面上の画素が走査されたときの走査線の光点からの光を検出する。
【０００６】
一方、ＣＲＴを用いた表示装置は、ラスタスキャン方式と呼ばれる方式により、電子ビームを水平方向に走査しつつ順次垂直方向に動かして画像を表示している（点順次走査発光方式）。
【０００７】
そして、ゲーム機本体は、画面左上の電子ビーム走査開始時点からクロックパルスの計数（カウント）を開始し、カウント開始からゲーム用銃が走査線の光点からの光を検出した時点までのクロックパルスのカウント値を求め、当該カウント値に対応する電子ビームの照射位置を特定して、画面上のどの位置にゲーム用銃の銃口が向いているのかを特定する（例えば、特許文献１、２）。
【０００８】
また、近年の表示装置として主流となってきているＬＣＤ（liquid crystal display）や、ＰＤＰ（plasma display panel）等の点順次走査発光方式を用いない表示装置では、銃口が対向している画面上の位置の特定を以下のように行っている。
【０００９】
例えば、特許文献３には、ＬＣＤやＰＤＰ等の点順次走査発光方式を用いない表示装置において、ゲーム用銃の銃口が対向している画面上の位置を特定する構成が記載されている。
【００１０】
特許文献３に記載されている構成は、表示装置の表示画面の前面に、透明ＥＬパネルを配置するものである。そして、特許文献３では、上記透明ＥＬパネルに透明ガラス基板を備え、該透明ガラス基板上に格子状に電極線を配置し、該電極線に対し、水平同期信号および垂直同期信号を出力して、電極線の交点で赤外光を発光させている。そして、該赤外光を銃側で検出することで、上述した点順次走査発光方式の場合と同様の方法を用いて、銃口が対向している画面上の位置を特定している。
【００１１】
また、特許文献４には、ゲーム用銃から赤外線を画面に向けて発光し、画面を赤外線カメラ等で撮影することで、銃口が対向している画面上の位置を特定する構成が記載されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平８−１１７４３７号公報（１９９６年５月１４日公開）
【特許文献２】特開２０００−１０２６７１号公報（２０００年４月１１日公開）
【特許文献３】特開２００３−３２０１６６号公報（２００３年１１月１１日公開）
【特許文献４】特開２００１−２２４８５６号公報（２００１年８月２１日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上記従来の構成は、銃口が画面上のどの位置に向いているかという点を特定するものであり、画面から見てゲーム用銃（入力装置）がどの方向に存在するかという点については、言及していない。
【００１４】
すなわち、上記従来の構成では、ゲーム用銃から光を発射した場合、発射した光が画面上のどの位置に入射しているかという点を認識することはできるが、ゲーム用銃から発射した光が、画面に対しどの方向から入射しているかを認識することができない。
【００１５】
また、そもそも上記従来の構成では、ゲーム用銃から発射した光が、画面に対しどの方向から入射しているかという点は問題ではなく、この点について解決する必要は無い。
【００１６】
本発明は、従来問題とされなかった、画面への入射光が画面に対してどの方向から入射しているのかを認識するという課題を解決するものであり、その目的は、入射光がどの方向から入射しているかを特定する方向特定装置等を実現することにある。
【課題を解決するための手段】
【００１７】
上記課題を解決するために、本発明に係る方向特定装置は、入射した光の入射方向を特定する方向特定装置において、受光面を有し、該受光面で受光した入射光を検出する光検出部と、出射装置より出射された光が上記受光面に入射したときの、上記光検出部が検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定手段と、を備えていることを特徴としている。
【００１８】
また、本発明に係る方向特定装置の制御方法は、入射した光の入射方向を特定する方向特定方法であって、受光面で受光した、出射装置より出射された光を検出する光検出ステップと、上記光検出ステップで検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定ステップと、を含むことを特徴としている。
【００１９】
上記の構成および方法によれば、受光面を有し、該受光面で受光した入射光を検出する光検出部が備えられ、出射装置より出射された光が上記受光面に入射したときの、上記光検出部が検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向が特定される。
【００２０】
より詳細には、入射光が距離とともに拡散しない場合、入射光が受光面に対して垂直方向から入射したときの、該入射光の該受光面における輪郭の形状と、入射光の断面の所定の輪郭とは、同じ形状となる。一方、入射光が受光面に対して垂直方向以外の方向から入射した場合、該入射光の該受光面における輪郭の形状と、入射光の断面の所定の輪郭とは異なる。そこで、入射光が受光面に対してどのような角度で入射すると、出射装置から出射された、断面が所定の輪郭を有する光の断面の輪郭が、上記輪郭の形状となるかを求める。そして、この求めた角度が、上記光の入射方向に相当する。なお、光が距離とともに拡散する場合であっても、拡散を考慮して、上記角度を求めることが可能である。すなわち、光は、距離とともに拡散するものであっても、しないものであってもよい。また、上記所定の断面としては、対称な図形でもよいし、非対称な図形であってもよい。
【００２１】
これにより、所定の断面の輪郭を有する光が上記受光面に入射したときに、該光の受光面に対する入射方向を特定することができる。
【００２２】
さらに、上記の構成および方法によれば、光の入射方向に応じた処理を行うことが可能となる。例えば、受光面に対して右側から光が入射してきた場合は装置の電源をオフにし、受光面に対して左側から光が入射してきた場合は装置をスリープモードにするといったことが可能となる。
【００２３】
本発明に係る方向特定装置では、上記光検出部は、表示を行う面状部材の表示領域を上記受光面とし、該表示領域に、マトリクス状に配列された複数の光センサよりなるものであり、上記面状部材の表示領域に受光した入射光の該表示領域における入射位置を、該光を検知した上記光センサの上記マトリクスにおける位置により特定する位置特定手段を備えているものであることが好ましい。
【００２４】
上記の構成によれば、上記光検出部は、表示を行う面状部材の表示領域に、マトリクス状に配列された複数の光センサよりなっている。そして、位置特定手段は、上記面状部材の表示領域に受光した入射光の該表示領域における入射位置を、光を検知した光センサが、マトリクスのどの位置に配置されているかによって特定する。また、上記方向特定手段は、光を検知した複数の光センサが配置されている形状の輪郭を、面状部材に入射した光の入射面における輪郭として用いて、これに基づいて、入射光の入射方向を特定する。
【００２５】
これにより、表示を行うとともに、面状部材に入射している光の入射方向と光が面状部材に当たった入射位置とを特定することができるので、表示に組み合わせて入射方向および入射位置を特定することができる。
【００２６】
さらに、上記の構成によれば、表示と、光の入射位置と、光の入射方向とを組み合わせた処理を行うことが可能である。
【００２７】
例えば、出射装置が光を出射する光線銃であり、表示画面に的を表示して、的を光線銃で撃つというゲーム装置を考える。表示画面に的が表示されると、入射光の入射位置と入射方向とを特定することができるので、光線銃から出射された光が表示画面に表示されている的に当たったか否かを、光線銃から出射された光が表示画面に当たった位置と表示されている的の位置とから判定することができる。また、入射光の方向から光の出射装置が存在している方向を特定することができるので、表示画面に表示されている的の一方の横に防御壁を表示させ、防御壁が表示されている方向から光線銃が出射された場合、防御壁で防御されているために、的には当たっていないと判定することもできる。
【００２８】
本発明に係る方向特定装置では、上記光検出部によって検出された光の色を判別する色判別手段を備えているものであってもよい。
【００２９】
上記の構成によれば、色判別手段は光検出部によって検出された光の色を判別する。これにより、何色の光がどの方向から入射したかを認識することができる。すなわち、光の色と光の入射方向とを関連付けて認識することができる。
【００３０】
また、光の色を異ならせることで、複数の光を同時に用いることができる。すなわち、色の異なる複数の光が同時に入射した場合に、色毎の光の入射方向を認識することができる。
【００３１】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示に組み合わせて、色毎の光の入射方向および入射位置を特定することができる。
【００３２】
さらに、上記の構成によれば、光の入射方向と色とに応じた処理を行うことが可能となる。例えば、右方向から赤色の光が入射してきた場合は装置の電源をオフとし、左方向から青色の光が入射してきた場合は装置をスリープ状態とするということができる。
【００３３】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示と、光の入射位置と、光の色とに応じた処理を行うことが可能となる。例えば、出射装置である光線銃が複数存在し、それぞれが異なる光を出射し、表示画面に表示された的に命中させるゲーム装置において、光線銃から出射された光が表示画面に表示された的に命中した場合に、どの光線銃から出射した光が的に命中したのかを判定することができる。
【００３４】
これにより、複数のユーザがそれぞれが光線銃で的に対して光を出射してどのユーザの光線銃から出射された光が的に命中したのかを競うことができる。
【００３５】
本発明に係る方向特定装置では、上記光検出部の受光面に受光している期間と受光していない期間との組合せによって規定される時間的パターンを判別する受光パターン判別手段を備えているものであってもよい。
【００３６】
上記の構成によれば、受光パターン判別手段は光検出部の受光面に受光している期間と受光していない期間との組合せによって規定される時間的パターンを判別する。これにより、どのような時間的パターンの光がどの方向から入射したかを認識することができる。すなわち、時間的パターンと光の入射方向とを関連付けて認識することができる。
【００３７】
また、光の時間的パターンを異ならせることで、複数の光を用いることができる。すなわち、時間的パターンの異なる複数の光が同時に入射した場合に、時間的パターン毎の光の入射方向を認識することができる。
【００３８】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示に組み合わせて、時間的パターン毎の光の入射方向および入射位置を特定することができる。
【００３９】
さらに、上記の構成によれば、光の入射方向と時間的パターンとに応じた処理を行うことが可能となる。例えば、右方向からある時間的パターンの光が入射してきた場合は装置の電源をオフとし、左方向から別の時間的パターンの光が入射してきた場合は装置をスリープ状態とするということができる。
【００４０】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示と、光の入射位置と、時間的パターンとに応じた処理を行うことが可能となる。例えば、出射装置である光線銃が複数存在し、それぞれが異なる時間的パターンで光を出射し、表示画面に表示された的に命中させるゲーム装置において、光線銃から出射された光が表示画面に表示された的に命中した場合に、どの光線銃から出射した光が的に命中したのかを判定することができる。
【００４１】
これにより、複数のユーザがそれぞれが光線銃で的に対して光を出射してどのユーザの光線銃から出射された光が的に命中したのかを競うことができる。
【００４２】
本発明に係る方向特定装置では、上記光検出部によって検出された光が、単位距離あたりどれだけ拡散するかを示す拡散率と、出射後の所定の地点における上記光の断面の大きさを示す代表値である基準代表値とを記憶している記憶部と、上記光検出部が検出した上記光の上記受光面における断面の大きさを示す代表値と、上記記憶部に記憶されている上記拡散率および上記基準代表値とによって、上記光の出射装置と自装置との距離を算出する距離算出手段とを備えているものであってもよい。
【００４３】
上記の構成によれば、記憶部に、上記光検出部によって検出された光が、単位距離あたりどれだけ拡散するかを示す拡散率と、出射後の所定の地点における上記光の断面の大きさを示す代表値である基準代表値とが記憶されている。そして、距離算出手段は、上記光検出部が検出した上記光の上記受光面における断面の大きさを示す代表値と、上記記憶部に記憶されている上記拡散率および上記基準代表値とによって、上記光の出射装置と自装置との距離を算出する。
【００４４】
より詳細には、上記受光面における断面の大きさを示す代表値と、出射後の所定の地点における上記光の断面の大きさを示す代表値である基準代表値との差から、上記所定の地点から上記受光面までの間に、上記光がどれだけ拡散しているかを求める。そして、上記光が該拡散するだけの距離を、上記拡散率を用いて算出する。これにより、上記所定の地点から上記受光面（自装置）までの距離が算出できる。
【００４５】
そして、予め定められている上記所定の地点と出射装置との距離と、上記で求めた所定の地点と自装置との距離とから、出射装置と自装置との距離を算出する。
【００４６】
なお、上記所定の地点が、出射直後の地点であれば、所定の地点と自装置との距離が出射装置と自装置との距離となる。
【００４７】
また、断面の大きさを示す代表値としては、例えば断面が円であれば直径、半径等の値を、断面が方形であれば対角線の長さ、一辺の長さ等の値を挙げることができる。
【００４８】
これにより、光検出部によって検出された光を出射した出射装置と自装置との距離を算出することができる。
【００４９】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示に組み合わせて、光の入射方向および入射位置を特定し、かつ、出射装置と自装置との距離を算出することができる。
【００５０】
さらに、上記の構成によれば、光の出射装置と自装置との距離も考慮した処理を行うことが可能となる。例えば、右方向から入射した光の出射装置と自装置との距離が所定の値以上の場合は、自装置の電源をオフとし、左方向から入射した光の出射装置と自装置との距離が所定の値よりも小さい場合は、自装置をスリープ状態とするということができる。
【００５１】
また、表示を行うとともに、光の入射位置も特定可能な場合は、表示と、光の入射位置と、光の出射装置と自装置との距離とに応じた処理を行うことが可能となる。例えば、出射装置が光を出射する光線銃であり、表示画面に表示されている的を該光線銃で撃つというゲーム装置において、光線銃と自装置とが所定の距離以上ある場合、的に命中しないと判定することができる。これにより、実際の銃では弾が届かないほど離れている場合に対応させることができ、よりリアルなゲーム装置を提供できる。
【００５２】
本発明に係る方向特定装置では、上記方向特定手段は、特定した方向を示す情報を外部へ出力するものであってもよい。
【００５３】
上記の構成によれば、方向特定手段は、特定した方向を外部へ出力する。
【００５４】
よって、方向特定手段が特定した方向を取得した外部の装置は、上記方向特定手段が特定した方向を認識することができる。例えば、外部の装置が表示装置で、上記方向特定装置の受光面とともに、表示装置の表示画面の方向を変更できる装置であれば、取得した、方向特定手段が特定した方向に関連付けて、方向特定装置の受光面とともに表示装置の表示画面の方向を変更することにより、表示画面を上記光の入射方向へ向けることができる。
【発明の効果】
【００５５】
以上のように、本発明に係る方向特定装置は、受光面を有し、該受光面で受光した入射光を検出する光検出部と、出射装置より出射された光が上記受光面に入射したときの、上記光検出部が検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定手段と、を備えている構成である。
【００５６】
また、本発明に係る方向特定装置の制御方法は、受光面で受光した、出射装置より出射された光を検出する光検出ステップと、上記光検出ステップで検出した上記光の上記受光面における輪郭と、上記出射装置が出射する光の断面の所定の輪郭との比較結果に基づいて、該光の入射方向を特定する方向特定ステップと、を含む方法である。
【００５７】
これにより、所定の断面形状を有する光が上記受光面に入射したときに、該光の受光面に対する入射方向を特定することができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態を示すものであり、データ表示／センサ装置の主制御部の要部構成および記憶部に記憶されているデータを示すブロック図である。
【図２】上記実施の形態に係るセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、上記実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、上記実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】上記実施の形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】上記実施の形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、上記実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、上記実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像データである。
【図８】上記実施の形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図９】上記実施の形態の全体の概要を示す説明図である。
【図１０】上記実施の形態において、データ表示／センサ装置がセンサ内蔵液晶パネルに入射する光の位置および形状を認識する原理の説明図である。
【図１１】上記実施の形態における、距離とともに拡散する光を用いた場合のセンサ内蔵液晶パネルに入射した光が示す形状と、入射している方向との関係を示す説明図である。図１１（ａ）は、センサ内蔵液晶パネルに対して９０度の方向から光が入射したときに、センサ内蔵液晶パネルに当たった入射光が示す形状を示す図である。図１１（ｂ）は、光線銃から出射した光がセンサ内蔵液晶パネルに対して９０度の方向から入射している様子を上から見た図である。図１１（ｃ）は、上から見てセンサ内蔵液晶パネルに対しαの角度で右側から光が入射したときに、センサ内蔵液晶パネルに当たった入射光が示す形状を現した図である。図１１（ｄ）は、光線銃から出射した光が、上から見てセンサ内蔵液晶パネルに対してαの角度で右側から入射している様子を上から見た図である。
【図１２】上記実施の形態において、拡散しない光を用いた場合のセンサ内蔵液晶パネルに入射した光が示す形状と、入射している方向との関係を示す説明図である。図１２（ａ）は、センサ内蔵液晶パネルに対して９０度の方向から光が入射したときに、センサ内蔵液晶パネルに当たった入射光が示す形状を示す図である。図１２（ｂ）は、光線銃から出射した光がセンサ内蔵液晶パネルに対して９０度の方向から入射している様子を上から見た図である。図１２（ｃ）は、上から見てセンサ内蔵液晶パネルに対しαの角度で右側から光が入射したときに、センサ内蔵液晶パネルに当たった入射光が示す形状を現した図である。図１２（ｄ）は、光線銃から出射した光が、上から見てセンサ内蔵液晶パネルに対してαの角度で右側から入射している様子を上から見た図である。図１２（ｅ）は、上から見てセンサ内蔵液晶パネルに対しαの角度で左側から光が入射したときに、センサ内蔵液晶パネルに当たった入射光が示す形状を現した図である。図１２（ｆ）は、光線銃から出射した光が、上から見てセンサ内蔵液晶パネルに対してαの角度で左側から入射している様子を上から見た図である。
【図１３】上記実施の形態に係るデータ表示／センサ装置が、入射した光が的に命中したか否かを判断する処理の流れを示すフローチャートである。
【図１４】本発明の他の実施の形態を示すものであり、データ表示／センサ装置のセンサ内蔵液晶パネルに入射した光を判別する場合の主制御部のブロック図である。
【図１５】上記他の実施の形態において、入射光データ記憶部に記憶されている対応テーブルの例を示す図であり、図１５（ａ）は、複数の光線銃が出射する光の色がそれぞれ異なる場合の対応テーブルを示す図であり、図１５（ｂ）は、複数の光線銃が出射する光の断面の形状がそれぞれ異なる場合の対応テーブルを示す図であり、図１５（ｃ）は、複数の光線銃が出射する光の出射パターンがそれぞれ異なる場合の対応テーブルを示す図である。
【図１６】上記他の実施の形態において、入射光の色を判別する場合のセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図１７】上記他の実施の形態に係るセンサ内蔵液晶パネルにおいてスキャンが実行される周期とセンサ内蔵液晶パネルに入射した光の出射パターンとの関係を示す図であり、図１７（ａ）は、出射パターンが「１１００」の場合を示す図であり、図１７（ｂ）は、出射パターンが「１１１０００」の場合を示す図であり、図１７（ｃ）は、出射パターンが「１１１０」の場合を示す図である。
【図１８】上記他の実施の形態に係るデータ表示／センサ装置が、入射した光が的に命中したか否かを判断する処理の流れを示すフローチャートである。
【図１９】本発明のさらに他の実施の形態を示すものであり、センサ内蔵液晶パネルに対して光が入射すると、センサ内蔵液晶パネルの面している方向が光の入射方向となる場合を示す説明図である。
【発明を実施するための形態】
【００５９】
〔実施の形態１〕
本発明の一実施の形態について図１から図１３に基づいて説明すれば、以下のとおりである。
【００６０】
（全体の概要およびデータ表示／センサ装置の機能の概要）
まず、図９を用いて、本発明の一実施の形態の全体の概要、データ表示／センサ装置（方向特定装置）１００の機能の概要について説明する。図９は、本実施の形態の全体の概要を示す説明図である。
【００６１】
図９に示すように、本実施の形態は、データ表示／センサ装置１００に表示された的１０１を、光を出射する光線銃（出射装置）１１１を用いて撃ち、データ表示／センサ装置１００において、命中したか否かを判断するものである。
【００６２】
より具体的には、データ表示／センサ装置１００は、センサ内蔵液晶パネル（面状部材）３０１を備えており、センサ内蔵液晶パネル３０１に入射した光の位置および入射した光の方向を認識する。そして、入射した光の位置と表示している的の位置とから、入射した光が的に命中したか否かを判断するものである。
【００６３】
また、データ表示／センサ装置１００は、入射した光の方向を認識することができるので、以下の判断を行うこともできる。すなわち、データ表示／センサ装置１００は、的１０１とともに的１０１の横の一方に防御壁１０２を表示させ、的１０１から見て防御壁１０２が存在する方向から光が入射した場合は、光の入射位置と的１０１の表示位置とが一致していても、的１０１には命中していないとすることもできる。
【００６４】
なお、本実施の形態では、光線銃１１１が出射する光は拡散する（距離が長くなるほど広がっていく）ものとして説明する。
【００６５】
次に、以下で、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１について説明する。
【００６６】
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００６７】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００６８】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００６９】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００７０】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００７１】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００７２】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００７３】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００７４】
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもよい。
【００７５】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００７６】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００７７】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００７８】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００７９】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００８０】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００８１】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００８２】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００８３】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００８４】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００８５】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００８６】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００８７】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００８８】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００８９】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００９０】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００９１】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００９２】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００９３】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９４】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００９５】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００９６】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００９７】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００９８】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００９９】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【０１００】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【０１０１】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【０１０２】
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【０１０３】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【０１０４】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【０１０５】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【０１０６】
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【０１０７】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【０１０８】
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【０１０９】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【０１１０】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【０１１１】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【０１１２】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【０１１３】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【０１１４】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【０１１５】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【０１１６】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【０１１７】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【０１１８】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【０１１９】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【０１２０】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【０１２１】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１２２】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１２３】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１２４】
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１の表示／光センサ部３００）、“010”（第２の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１の表示／光センサ部３００”と“第２の表示／光センサ部３００”とを同時に指定する場合、“011”と指定することができる。
【０１２５】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１の表示／光センサ部３００”であるコマンドを受信すると、第１の表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１２６】
次に、「表示パネル」フィールドは、データ表示／センサ装置１００が複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１の表示／光センサ部３００）、“010”（第２の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１の表示／光センサ部３００”と“第２の表示／光センサ部３００”とを同時に指定する場合、“011”と指定することができる。
【０１２７】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１の表示／光センサ部３００”であるコマンドを受信すると、第１の表示／光センサ部３００に表示データを表示させるために、第１の表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１２８】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１２９】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１３０】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【０１３１】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１３２】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【０１３３】
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１３４】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１３５】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１３６】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１３７】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１３８】
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１３９】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
【０１４０】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１４１】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１４２】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１４３】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１４４】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１４５】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１４６】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１４７】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１４８】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１４９】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１５０】
（主制御部の構成および記憶部に記憶されているデータ）
次に、図１を参照しながら、データ表示／センサ装置１００の主制御部８００の構成および記憶部９０１に記憶されているデータについて説明する。図１は、本実施の形態に係るデータ表示／センサ装置１００の主制御部８００の要部構成および記憶部９０１に記憶されているデータを示すブロック図である。
【０１５１】
なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０１５２】
図１に示すように、記憶部９０１は、画像データ記憶部２１、入射光データ記憶部２２、スキャン処理データ記憶部２３、およびスキャンデータ記憶部２４を含んでいる。
【０１５３】
画像データ記憶部２１は、画像表示処理部１１がセンサ内蔵液晶パネル３０１に表示させる画像データを記憶しているものである。画像データが示す画像の例としては、標的となる的や的を銃から守る防御壁等を挙げることができる。
【０１５４】
入射光データ記憶部２２は、方向特定部（方向特定手段）１２２がセンサ内蔵液晶パネル３０１に入射した光の方向を特定するため、および距離算出部（距離算出手段）１２３がセンサ内蔵液晶パネル３０１と光線銃１１１との距離を算出するために用いるデータを記憶している。具体的には、光線銃１１１から出射される光が拡散する比率（単位距離に対し拡散する比率）、および光線銃１１１から出射するときの光の断面の直径を記憶している。この拡散比率および光の断面の直径を用いてどのように、入射した光の方向を特定し、光線銃１１１とセンサ内蔵液晶パネル３０１との距離を算出するかについては後述する。
【０１５５】
スキャン処理データ記憶部２３は、スキャン処理部１４がセンサ内蔵液晶パネル３０１においてスキャンを行うために用いる各種情報を記憶している。ここで、各種情報とは、例えば、スキャンしたデータを取得するタイミング、スキャンの方式、スキャン画像の階調、スキャンの解像度等を決定する情報である。
【０１５６】
スキャンデータ記憶部２４は、センサ内蔵液晶パネル３０１においてスキャンを行ったときのデータである、座標データ、全体画像データ、および部分画像データを記憶している。
【０１５７】
次に、主制御部８００について説明する。図９に示すように、主制御部８００は、画像表示処理部１１、入射光認識部１２、命中判定部１３、およびスキャン処理部１４を含む構成である。また、入射光認識部１２は、位置特定部（位置特定手段）１２１、方向特定部１２２、および距離算出部１２３を含む構成である。
【０１５８】
画像表示処理部１１は、画像データ記憶部２１に記憶されている画像データを、センサ内蔵液晶パネル３０１上に表示させるものである。また、画像表示処理部１１は、センサ内蔵液晶パネル３０１上に表示させている画像データを命中判定部１３へ送信するものである。また、画像表示処理部１１は、命中判定部１３から取得した、命中したか否かを示すデータである結果データが示す内容をセンサ内蔵液晶パネル３０１に表示させるものである。
【０１５９】
入射光認識部１２は、センサ内蔵液晶パネル３０１に入射した光のセンサ内蔵液晶パネル３０１上における位置および入射した光の方向を特定し、入射した光を出射した発射元装置とデータ表示／センサ装置１００との距離を算出するものである。
【０１６０】
より詳細には、入射光認識部１２は上述したように、位置特定部１２１、方向特定部１２２、および距離算出部１２３を含む構成である。
【０１６１】
そして、位置特定部１２１は、スキャンデータ記憶部２４から座標データを取得し、センサ内蔵液晶パネル３０１に入射した光の位置を特定するものである。そして、特定した入射光の位置を示す位置データを命中判定部１３へ送信する。
【０１６２】
方向特定部１２２は、スキャンデータ記憶部２４から全体画像データ、または部分画像データを取得し、該画像データと入射光データ記憶部２２に記憶されている入射光の拡散する比率とを用いて、センサ内蔵液晶パネル３０１に入射した光の方向を特定するものである。そして、特定した入射光の方向示す方向データを命中判定部１３へ送信する。入射した光の方向の特定は、以下の方法によって行う。
【０１６３】
まず、データ表示／センサ装置１００において、センサ内蔵液晶パネル３０１において受光した光の位置および形状を認識する原理について図１０を用いて説明する。図１０は、センサ内蔵液晶パネル３０１が光を受光した場合の説明図である。
【０１６４】
図１０に示すように、センサ内蔵液晶パネル３０１に光が入射すると、センサ内蔵液晶パネル３０１を構成する単位画素３１１毎に配置されている光センサ（光検出部）３１２が光を検知する。そして、光を検知した光センサ３１２が配置されている単位画素３１１のセンサ内蔵液晶パネル３０１上における位置を認識することにより、センサ内蔵液晶パネル３０１上に入射した光の位置を認識することができる。
【０１６５】
また、光を検知した光センサ３１２が配置されている単位画素３１１それぞれが全体として形成する形状を認識することで、センサ内蔵液晶パネル３０１に入射した光がセンサ内蔵液晶パネル３０１に当たったときの断面の形状を認識することができる。
【０１６６】
次に、方向特定部１２２が、センサ内蔵液晶パネル３０１に入射した光の方向を特定する方法について図１１を用いて説明する。図１１は、距離とともに拡散する光を用いた場合のセンサ内蔵液晶パネル３０１に入射した光が示す形状と、入射している方向との関係を示す説明図である。なお、ここで言う右側、左側とは、光線銃１１１から見てセンサ内蔵液晶パネル３０１の右側、左側を示すものとする。
【０１６７】
図１１（ａ）は、センサ内蔵液晶パネル３０１に対して９０度の方向から光が入射したときに、センサ内蔵液晶パネル３０１に当たった入射光が示す形状を示す図である。図１１（ｂ）は、光線銃１１１から出射した光がセンサ内蔵液晶パネル３０１に対して９０度の方向から入射している様子を上から見た図である。図１１（ｃ）は、上から見てセンサ内蔵液晶パネル３０１に対しαの角度で右側から光が入射したときに、センサ内蔵液晶パネル３０１に当たった入射光が示す形状を現した図である。図１１（ｄ）は、光線銃１１１から出射した光が、上から見てセンサ内蔵液晶パネル３０１に対してαの角度で右側から入射している様子を上から見た図である。
【０１６８】
図１１（ａ）に示すように、センサ内蔵液晶パネル３０１に当たった光の形状が真円のとき、センサ内蔵液晶パネル３０１への入射光は、センサ内蔵液晶パネル３０１に対して９０度の角度から入射していることになる。
【０１６９】
一方、図１１（ｃ）に示すように、センサ内蔵液晶パネル３０１に当たった光の形状が扁平の楕円のとき、センサ内蔵液晶パネル３０１への入射光は、センサ内蔵液晶パネル３０１に対して９０度ではない角度から入射していることになる。そして、扁平の楕円では、径が大きい側と小さい側とが存在する。この大きい側の径Ｒ１と小さい側の径Ｒ２との比と、入射光の拡散する比率（単位距離あたりどれだけ拡散するかを示す比率）によって、センサ内蔵液晶パネル３０１と入射光との角度αを求めることができる。
【０１７０】
そして、方向特定部１２２は、スキャンデータ記憶部２４から取得した全体画像データ、または部分画像データから径Ｒ１と径Ｒ２との比を求め、入射光データ記憶部２２に記憶されている入射光の拡散する比率を用いて、センサ内蔵液晶パネル３０１と入射光との角度αを求める。そして、方向特定部１２２は、求めた角度αより、センサ内蔵液晶パネル３０１に入射した光の方向を特定する。
【０１７１】
また、方向特定部１２２は、スキャンデータ記憶部２４から取得した全体画像データ、または部分画像データが真円であった場合は、センサ内蔵液晶パネル３０１に入射した光は、センサ内蔵液晶パネル３０１と９０度の方向から入射したと特定する。
【０１７２】
また、方向特定部１２２は、特定した、光の入射方向を外部へ出力するものであってもよい。これにより、外部の装置が、上記光の入射方向に、データ表示／センサ装置１００および該外部の装置の方向を変更することが可能となる。
【０１７３】
なお、本実施の形態において、センサ内蔵液晶パネル３０１に入射する光（光線銃１１１から出射する光）は距離とともに拡散する光である。拡散しない光を用いた場合の弊害を図１２を用いて以下に説明する。
【０１７４】
図１２は、拡散しない光を用いた場合のセンサ内蔵液晶パネル３０１に入射した光が示す形状と、入射している方向との関係を示す説明図である。なお、ここで言う右側、左側とは、光線銃１１１から見てセンサ内蔵液晶パネル３０１の右側、左側を示すものとする。
【０１７５】
図１２（ａ）は、センサ内蔵液晶パネル３０１に対して９０度の方向から光が入射したときに、センサ内蔵液晶パネル３０１に当たった入射光が示す形状を示す図である。図１２（ｂ）は、光線銃１１１から出射した光がセンサ内蔵液晶パネル３０１に対して９０度の方向から入射している様子を上から見た図である。図１２（ｃ）は、上から見てセンサ内蔵液晶パネル３０１に対しαの角度で右側から光が入射したときに、センサ内蔵液晶パネル３０１に当たった入射光が示す形状を現した図である。図１２（ｄ）は、光線銃１１１から出射した光が、上から見てセンサ内蔵液晶パネル３０１に対してαの角度で右側から入射している様子を上から見た図である。図１２（ｅ）は、上から見てセンサ内蔵液晶パネル３０１に対しαの角度で左側から光が入射したときに、センサ内蔵液晶パネル３０１に当たった入射光が示す形状を現した図である。図１２（ｆ）は、光線銃１１１から出射した光が、上から見てセンサ内蔵液晶パネル３０１に対してαの角度で左側から入射している様子を上から見た図である。
【０１７６】
図１２（ｂ）に示すように、センサ内蔵液晶パネル３０１に対して９０度の角度で光が入射した場合、センサ内蔵液晶パネル３０１に当たった光の形状は図１２（ａ）に示すような真円となる。一方、図１２（ｄ）および（ｆ）に示すように、センサ内蔵液晶パネル３０１に対してαの角度で光が入射した場合、右側からであっても左側からであっても、センサ内蔵液晶パネル３０１に当たった光の形状は、図１２（ｃ）および（ｅ）に示すように同じ楕円となる。
【０１７７】
よって、拡散しない光の場合、センサ内蔵液晶パネル３０１に入射した光の方向を２方向まで特定することはできるが、そのどちらかであるかを特定することができない。よって、本実施の形態では、拡散しない光を用いていない。
【０１７８】
なお、光の断面形状が星型、Ｈ字型、井の字型等であれば、拡散しない光であっても、センサ内蔵液晶パネル３０１に入射した方向を特定することは可能である。よって、光の断面形状が星型、Ｈ字型、井の字型等であれば、拡散しない光を用いることもできる。
【０１７９】
距離算出部１２３は、スキャンデータ記憶部２４から全体画像データ、または部分画像データを取得し、入射光データ記憶部２２に記憶されている入射光が拡散する比率および光線銃１１１から光が出射するときの光の断面の直径とを用いて、センサ内蔵液晶パネル３０１に入射した光を出射した光線銃１１１とデータ表示／センサ装置１００との距離を算出するものである。そして、算出した距離を示す距離データを命中判定部１３へ送信する。光線銃１１１とデータ表示／センサ装置１００との距離の算出は、以下のように行う。
【０１８０】
距離算出部１２３は、スキャンデータ記憶部２４から取得した全体画像データ、または部分画像データから、真円の直径Ｒ（代表値）または扁平の楕円の径Ｒ１（代表値）を求める。そして、入射光データ記憶部２２に記憶されている光線銃１１１から出射するときの光の断面の直径（基準代表値）と、入射光の拡散する比率とを用いて入射光の断面が直径Ｒ、または扁平の楕円の径Ｒ１になる距離を算出する。これにより、データ表示／センサ装置１００と光線銃１１１との距離を算出する。
【０１８１】
なお、光の断面が円でない場合、例えば方形の場合は、対角線の長さや一辺の長さ等を断面の大きさを示す代表値として用いることで、距離を算出することができる。
【０１８２】
命中判定部１３は、位置特定部１２１から取得した位置データ、方向特定部１２２から取得した方向データ、距離算出部１２３から取得した距離データ、および画像表示処理部１１から取得した画像データを用いて、センサ内蔵液晶パネル３０１に表示されている的に、光線銃１１１から出射した光が命中しているか否かを判断するものである。そして判断した結果を示す結果データを画像表示処理部１１へ送信する。
【０１８３】
光線銃１１１から出射した光が、センサ内蔵液晶パネル３０１に表示されている的１０１に命中しているか否かを判断は次のようにして行う。
【０１８４】
すなわち、命中判定部１３は、画像表示処理部１１から取得した画像データから的１０１がセンサ内蔵液晶パネル３０１において表示されている位置を認識し、この位置と、位置特定部１２１から取得した位置データが示す位置とが一致すれば、光線銃１１１から出射した光が、センサ内蔵液晶パネル３０１に表示されている的１０１に命中している判断する。
【０１８５】
また、センサ内蔵液晶パネル３０１に的１０１だけでなく防御壁１０２も表示されている場合、命中判定部１３は、的１０１に対して防御壁１０２が表示されている方向と、方向特定部１２２から取得した方向データが示す入射光の方向とが一致しているか否かを判断する。そして、一致している場合には、的１０１がセンサ内蔵液晶パネル３０１において表示されている位置と、位置特定部１２１から取得した位置データが示す位置とが一致しても、光線銃１１１から出射した光が、センサ内蔵液晶パネル３０１に表示されている的１０１に命中していないと判断する。
【０１８６】
これにより、的１０１から見て防御壁１０２が存在する方向からは、的１０１を攻撃することができないとすることができる。
【０１８７】
また、命中判定部１３は、距離算出部１２３から取得した距離データが示す距離が、所定の値よりも大きい場合、的１０１がセンサ内蔵液晶パネル３０１において表示されている位置と、位置特定部１２１から取得した位置データが示す位置とが一致しても、光線銃１１１から出射した光が、センサ内蔵液晶パネル３０１に表示されている的１０１に命中していないと判断するものであってもよい。
【０１８８】
これにより、データ表示／センサ装置１００と光線銃１１１との距離が所定の値よりも大きい場合は、的１０１に命中していないと判断することができる。よって、あまりにも遠くから撃たれた場合は、的１０１に命中していないとすることができる。
【０１８９】
スキャン処理部１４は、センサ内蔵液晶パネル３０１にスキャン処理を実行させ、センサ内蔵液晶パネル３０１がスキャンを実行した結果を取得してスキャンデータ記憶部２４へ記憶させるものである。
【０１９０】
より詳細には、スキャン処理部１４は、スキャン実行指示部１４１およびスキャンデータ格納部１４２を含む構成である。
【０１９１】
そして、スキャン実行指示部１４１は、スキャン処理データ記憶部２３に記憶されているスキャンを実行するための各種情報に基づいて、センサ内蔵液晶パネル３０１においてスキャンを実行させるものである。
【０１９２】
スキャンデータ格納部１４２は、センサ内蔵液晶パネル３０１が行ったスキャンの結果である座標データ、全体画像データ、および部分画像データをデータ処理部７００から取得し、スキャンデータ記憶部２４へ記憶させるものである。
【０１９３】
なお、スキャンの実行は、画像表示処理部１１が的１０１等をセンサ内蔵液晶パネル３０１に表示した後に開始する構成であってもよい。これにより、的１０１を表示した後に光線銃１１１から出射した光を検出することが可能となる。
【０１９４】
（各種コマンドとデータ表示／センサ装置の動作との関係）
次に、データ表示／センサ装置１００における各種コマンドと、データ表示／センサ装置１００の動作との関係について説明する。
【０１９５】
本実施の形態では、上記各種コマンドは、スキャン処理データ記憶部２３に予め記憶されているものとして説明する。なお、各種コマンドは、スキャン属性情報設定部（図示せず）がユーザの指示を受けることによって設定できるものであってもよい。
【０１９６】
まず、本実施の形態では、「データ取得タイミング」フィールドの値は“01”（イベント）に設定されている。
【０１９７】
なぜなら、センサ内蔵液晶パネル３０１に対して光の入射があったときにスキャンした画像データがデータ処理部７００に送信されれば、光の入射があったことを認識できるからである。
【０１９８】
これにより、所定の周期でスキャンされたデータに変化があったとき、データ処理部７００のセンサデータ処理部７０３はスキャンの結果である画像データを取得する。
【０１９９】
次に、「データ種別」フィールドの値は“011”（座標、部分画像）に設定されている。なぜなら、座標と部分画像のデータがあれば、入射した光の位置と、入射した光の形状を認識することができるからである。
【０２００】
これにより、主制御部８００は、データ処理部７００から座標データおよび部分画像データを取得する。なお、「データ種別」フィールドの値を「“101”または“111”」に設定して、全体画像を取得するものであってもよい。
【０２０１】
次に、「スキャン方式」フィールドの値は“01”（透過）に設定されている。なぜなら、バックライトを点灯した状態では、入射してくる光を検出することが困難となるからである。これにより、表示／光センサ部３００は、バックライトを消灯した状態でスキャンを行う。
【０２０２】
次に、「スキャン画像階調」フィールドの値は“00”（２値）に設定されている。なぜなら、光が入射しているか否かが判断できればよいからである。これにより、データ処理部７００は、モノクロの画像データを取得する。なお、「“01”（多値）」に設定されていてもよい。
【０２０３】
最後に、「スキャン解像度」フィールドの値は“1”（低）に設定されている。なぜなら、スキャン画像階調と同様に、光が入射しているか否かが判断できればよいからである。これにより、データ処理部７００は、解像度が低い画像データを取得する。なお、「“0”（高）」に設定されていてもよい。
【０２０４】
（データ表示／センサ装置の動作）
次に、図１３を参照しながら、データ表示／センサ装置１００において、入射した光が的１０１に命中したか否かを判断する処理の流れについて説明する。図１３は、データ表示／センサ装置１００が、入射した光が的１０１に命中したか否かを判断する処理の流れを示すフローチャートである。
【０２０５】
図１３に示すように、データ表示／センサ装置１００は、まず、センサ内蔵液晶パネル３０１に的１０１および防御壁１０２を表示させる（Ｓ１３０１）。次に、入射光認識部１２は、センサ内蔵液晶パネル３０１に光が入射した否かを判断する（Ｓ１３０２）。センサ内蔵液晶パネル３０１に対する入射光があれば（Ｓ１３０２でＹＥＳ）、位置特定部１２１は、入射光の入射位置と的１０１の表示位置とが一致しているか否かを判断する（Ｓ１３０３）。
【０２０６】
入射光の入射位置と的１０１の表示位置とが一致していれば（Ｓ１３０３でＹＥＳ）、方向特定部１２２は、入射光が入射した方向と的１０１から見た防御壁１０２の方向とが一致しているか否かを判断する（Ｓ１３０４）。そして、入射光が入射した方向と的１０１から見た防御壁１０２の方向とが一致していなければ（Ｓ１３０４でＮＯ）、命中判定部１３は、入射した光が的１０１に命中したと判断する（Ｓ１３０５）。
【０２０７】
一方、入射光の入射位置と的１０１の表示位置とが一致していない場合（Ｓ１３０３でＮＯ）、および入射光が入射した方向と的１０１から見た防御壁１０２の方向とが一致している場合（Ｓ１３０４でＹＥＳ）は、命中判定部１３は、入射した光が的１０１に命中していないと判断する（Ｓ１３０６）。以上で、処理を終了する。
【０２０８】
なお、命中したか否かの判断において、距離算出部１２３が算出したデータ表示／センサ装置１００と光線銃１１１との距離が所定の値以上だった場合、命中していないと判断するものであってもよい。
【０２０９】
〔実施の形態２〕
本発明の他の実施の形態について図１４から図１９に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態１において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
【０２１０】
本実施の形態において上記実施の形態１と異なるのは、複数の光線銃１１１が存在し、該複数の光線銃１１１から出射した光を判別する点である。より詳細には、上記複数の光線銃１１１は、それぞれ異なる色の光を出射する。そして、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に入射した光の色を判別し、複数の光線銃１１１のうち、いずれの光線銃１１１から出射した光であるかを判別する。
【０２１１】
また、複数の光線銃１１１は、異なる色の光ではなく、進行方向に対して垂直に切ったときの断面形状が異なる光を出射するものであってもよいし、光の出射パターンを光線銃１１１毎に異ならせるものであってもよい。ここで、光の出射パターンとは、光の出射と非出射とを規則的に繰り返すときのパターンをいう。例えば、出射を「１」、非出射を「０」とし、出射パターンが「１１００」である場合、単位時間の２倍の時間、出射を行い、その後、単位時間の２倍の時間、出射しないというパターンを繰り返す。このようなパターンのことを光の出射パターンという。
【０２１２】
そして、光線銃１１１が、断面形状が異なる光を出射するものである場合、または、出射パターンが異なる光を出射するものである場合、データ表示／センサ装置１００は、入射光の断面形状、または出射パターンを判別する。
【０２１３】
具体的に図１４を用いて説明する。図１４は、センサ内蔵液晶パネルに入射した光を判別する場合の主制御部８００のブロック図である。図１４において、上記実施の形態１と異なる点は、入射光認識部１２に入射光判別部（色判別手段、受光パターン判別手段）１２４が設けられている点である。
【０２１４】
そして、入射光データ記憶部２２には、入射光の色と光線銃１１１とを対応付けた対応テーブルが記憶されている。対応テーブルの例を図１５に示す。図１５は、入射光データ記憶部２２に記憶されている対応テーブルの例を示す図である。そして、図１５（ａ）は、複数の光線銃１１１が出射する光の色がそれぞれ異なる場合の対応テーブルを示す図である。図１５（ｂ）は、複数の光線銃１１１が出射する光の断面の形状がそれぞれ異なる場合の対応テーブルを示す図である。図１５（ｃ）は、複数の光線銃１１１が出射する光の出射パターンがそれぞれ異なる場合の対応テーブルを示す図である。
【０２１５】
図１５（ａ）の例では、光線銃１１１Ａには赤色の光が、光線銃１１１Ｂには青色の光が、光線銃１１１Ｃには緑色の光が対応付けられている。
【０２１６】
また、図１５（ｂ）の例では、光線銃１１１Ａには三角の断面形状が、光線銃１１１Ｂには四角の断面形状が、光線銃１１１Ｃには星型の断面形状が対応付けられている。
【０２１７】
また、図１５（ｃ）の例では、光線銃１１１Ａにはパターン「１１００」が、光線銃１１１Ｂにはパターン「１１１０００」が、光線銃１１１Ｃにはパターン「１１１０」が対応付けられている。なお、パターンの「１」は光を出射していることを示し、「０」は、光を出射していないことを示す。また、「１」および「０」の出射パターンの周期は、センサ内蔵液晶パネル３０１がスキャンを行う周期と一致しているものとする。
【０２１８】
入射光判別部１５は、スキャンデータ記憶部２４に記憶されている画像データからセンサ内蔵液晶パネル３０１に入射した光を判別する。そして、該光の判別結果と、入射光データ記憶部２２に記憶されている対応テーブルとを用いて、入射光がどの光線銃１１１から出射されたものであるかを判別し、結果を命中判定部１３へ送信する。
【０２１９】
入射光を判別する方法について、以下に具体的に説明する。
【０２２０】
まず、入射光の色を判別する場合について説明する。色を判別する場合のセンサ内蔵液晶パネル３０１の構造について図１６を用いて説明する。図１６は、入射光の色を判別する場合のセンサ内蔵液晶パネル３０１の断面を模式的に示す図である。
【０２２１】
図１６において、上記実施の形態１の図２と異なる点は、フォトダイオード６が、青のカラーフィルタ５３ｂの近傍だけでなく、赤のカラーフィルタ５３ｒ、緑のカラーフィルタ５３ｇそれぞれの近傍にも設けられている点である。これにより、赤、緑、青の３色を検知することができるので、どのような色であっても検知することができる。そして、異なる色を認識することができる。
【０２２２】
また、スキャン処理データ記憶部２３に記憶されているコマンドにおいて、「スキャン画像階調」フィールドの値が“01”（多値）に設定されている。これにより、入射光の色を反映した画像データがデータ処理部７００へ送信される。
【０２２３】
そして、入射光判別部１２４は、スキャンデータ記憶部２４に記憶されている画像データから、入射光の色を判別し、どの光線銃１１１から出射されたものであるかを判別する。
【０２２４】
次に、入射光の光の出射パターンを判別する方法について説明する。出射パターンを判別する場合、スキャン処理データ記憶部２３に記憶されているコマンドにおいて、「データ取得タイミング」フィールドの値は“10”（オール）に設定されている。これにより、スキャンした結果である画像データは、所定の周期でデータ処理部７００へ送信される。なお、上述したように、画像データが送信される所定の周期は、センサ内蔵液晶パネル３０１においてスキャンが実行される周期と一致している。
【０２２５】
そして、入射光判別部１２４は、スキャンデータ記憶部２４に記憶されている所定の周期毎の画像データから入射光の出射パターンを判別する。この点について図１７を用いて説明する。
【０２２６】
図１７は、センサ内蔵液晶パネル３０１においてスキャンが実行される周期とセンサ内蔵液晶パネル３０１に入射した光の出射パターンとの関係を示す図である。そして、図１７（ａ）は、出射パターンが「１１００」の場合を示す図である。図１７（ｂ）は、出射パターンが「１１１０００」の場合を示す図である。図１７（ｃ）は、出射パターンが「１１１０」の場合を示す図である。
【０２２７】
図１７（ａ）に示すように、出射パターンが「１１００」の場合、スキャンのタイミングと入射した光の出射パターンのタイミングがどのような関係であっても、光を２回検出した後、２回非検出という状態が続いている。よって、入射光判別部１２４は、スキャンデータ記憶部２４に記憶されている画像データにおいて、入射光が存在している画像と存在していない画像とが２回ずつ連続している場合を認識することによって、出射パターンが「１１００」の入射光を判別することができる。
【０２２８】
また、図１７（ｂ）に示すように、出射パターンが「１１１０００」の場合、スキャンのタイミングと入射した光の出射パターンのタイミングがどのような関係であっても、光を３回検出した後、３回非検出という状態が続いている。よって、入射光判別部１２４は、スキャンデータ記憶部２４に記憶されている画像データにおいて、入射光が存在している画像と存在していない画像とが３回ずつ連続している場合を認識することによって、出射パターンが「１１１０００」の入射光を判別することができる。
【０２２９】
また、図１７（ｃ）に示すように、出射パターンが「１１１０」の場合、スキャンのタイミングと入射した光の出射パターンのタイミングがどのような関係であっても、光を３回検出した後、１回非検出という状態が続いている。よって、入射光判別部１２４は、スキャンデータ記憶部２４に記憶されている画像データにおいて、入射光が存在している画像が３回、存在していない画像が１回というパターンで連続している場合を認識することによって、出射パターンが「１１１０」の入射光を判別することができる。
【０２３０】
最後に、入射光の光の断面形状を判別する方法について説明する。スキャンデータ記憶部２４には、スキャンした結果である画像データが記憶されているので、入射光判別部１２４は、該画像データから入射光がセンサ内蔵液晶パネル３０１に入射したときの形状を認識することができる。これにより、形状によって入射光を判別し、どの光線銃１１１から出射された光であるかを判別する。
【０２３１】
次に、図１８を用いて、本実施の形態において、入射した光が的１０１に命中したか否かを判断する処理の流れについて説明する。図１８は、データ表示／センサ装置１００が、入射した光が的１０１に命中したか否かを判断する処理の流れを示すフローチャートである。
【０２３２】
図１８に示すように、データ表示／センサ装置１００はまず、センサ内蔵液晶パネル３０１に的１０１および防御壁１０２を表示させる（Ｓ１８０１）。なお、表示させる的１０１および防御壁１０２は１個に限られない。次に、入射光認識部１２は、センサ内蔵液晶パネル３０１に光が入射したか否かを判断する（Ｓ１８０２）。センサ内蔵液晶パネル３０１に対する入射光があれば（Ｓ１８０２でＹＥＳ）、位置特定部１２１は、入射光の入射位置と的１０１の表示位置とが一致しているか否かを判断する（Ｓ１８０３）。複数の入射光および的１０１が存在する場合は、それぞれの入射光および的１０１について、入射光の入射位置と的の表示位置とが一致するか否かを判断する。
【０２３３】
そして、入射光の入射位置と的１０１の表示位置とが一致していれば（Ｓ１８０３でＹＥＳ）、方向特定部１２２は、入射光が入射した方向と的１０１から見た防御壁１０２の方向とが一致しているか否かを判断する（Ｓ１８０４）。複数の入射光および的１０１が存在する場合は、入射光の入射位置と的１０１の表示位置とが一致している入射光の入射方向と的１０１から見た防御壁１０２の方向とが一致しているか否かを判断する。
【０２３４】
そして、入射光が入射した方向と的１０１から見た防御壁１０２の方向とが一致していなければ（Ｓ１８０４でＮＯ）、入射光判別部１２４は、的１０１の表示位置と入射位置とが一致している入射光がどの光線銃１１１と対応するものか判別する（Ｓ１８０５）。そして、命中判定部１３は、入射光判別部１２４が判別した光線銃１１１が出射した光によって的１０１に命中したと判断する（Ｓ１８０６）。
【０２３５】
一方、入射光の入射位置と的１０１の表示位置とが一致していない場合（Ｓ１８０３でＮＯ）、および入射光が入射した方向と的１０１から見た防御壁１０２の方向とが一致している場合（Ｓ１８０４でＹＥＳ）は、命中判定部１３は、入射した光が的１０１に命中していないと判断する（Ｓ１８０７）。以上で、処理を終了する。
【０２３６】
なお、命中したか否かの判断において、距離算出部１２３が算出したデータ表示／センサ装置１００と光線銃１１１との距離が所定の値以上だった場合、命中していないと判断するものであってもよい。
【０２３７】
また、的１０１と防御壁１０２とが所定の距離以上離れて表示されている場合は、的１０１から見て防御壁１０２が存在する方向が、入射光の入射方向と一致していたとしても、的１０１に入射光が命中していると判断するものであってもよい。
【０２３８】
以上の構成によれば、複数の光線銃１１１が存在する場合に、どの光線銃１１１によって出射した光が的１０１に命中したかを判断することができる。よって、複数のユーザが、それぞれ光線銃１１１を用いて対戦し、どちらが多くの的１０１を撃ったかを競うこともできる。
【０２３９】
なお、次に示すような構成も可能である。
【０２４０】
例えば、データ表示／センサ装置１００に入射した光の方向を取得し、取得した方向に基づいて、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１の方向を変更する駆動装置（図示せず）である。該駆動装置は、センサ内蔵液晶パネル３０１の方向を制御する駆動装置制御部（図示せず）を備えている。そして、センサ内蔵液晶パネル３０１に対して入射した光の方向を取得すると、上記駆動装置制御部は、センサ内蔵液晶パネル３０１が面している方向が、上記光の入射方向となるように上記駆動装置を制御する。
【０２４１】
図１９を参照して説明する。図１９は、センサ内蔵液晶パネル３０１に対して光が入射したときに、センサ内蔵液晶パネル３０１の画像表示面と光の入射方向とが垂直となるように、センサ内蔵液晶パネル３０１の方向を変更する例を示す説明図である。なお、図１９は、センサ内蔵液晶パネル３０１を上から見た状態を示す。
【０２４２】
図１９に示すように、センサ内蔵液晶パネル３０１に対して光が入射すると、駆動装置はセンサ内蔵液晶パネル３０１が面している方向が光の入射方向となるように（光の入射方向とセンサ内蔵液晶パネル３０１の画像表示面とが垂直となるように）センサ内蔵液晶パネル３０１の方向を変更する。
【０２４３】
これにより、光の出射装置１８０１をユーザが所持している場合等のように、ユーザの近辺に出射装置１８０１が存在する場合に、センサ内蔵液晶パネル３０１がユーザの方向を向くので、ユーザがセンサ内蔵液晶パネル３０１を見易くなるという効果を奏する。
【０２４４】
また、センサ内蔵液晶パネル３０１がデュアルビュー（表示画面に対して、右側から見た場合と左側から見た場合とで内容の異なる表示を同時に行う）が可能な場合に、センサ内蔵液晶パネル３０１に対する光の入射方向によって、その後の処理を異ならせるという構成も可能である。
【０２４５】
すなわち、センサ内蔵液晶パネル３０１に対して、右側から入射してきた光に対しては、右側から見える表示に対応した処理を、左側から入射してきた光に対しては、左側から見た表示に対応した処理を行う。
【０２４６】
これにより、それぞれの方向から見た表示に対応する処理を行わせることができ、１つのセンサ内蔵液晶パネル３０１で２つの内容（例えば、ゲーム等）を実施することができる。
【０２４７】
なお、公知のデュアルビュー液晶の構成を、センサ内蔵液晶パネル３０１と組み合わせることで、センサ内蔵液晶パネル３０１において、デュアルビューを行うことは可能である。
【０２４８】
本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２４９】
最後に、データ表示／センサ装置１００の各ブロック、特に回路制御部６００、データ処理部７００、および主制御部８００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。
【０２５０】
すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２５１】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２５２】
また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２５３】
表示画面に対し入射した光の位置および入射方向を判別できるので、表示画面に表示された的を光を出射する装置で撃つシューティングゲーム等に好適である。
【符号の説明】
【０２５４】
１１    画像表示処理部
１２    入射光認識部
１３    命中判定部
１４    スキャン処理部
２１    画像データ記憶部
２２    入射光データ記憶部
２３    スキャン処理データ記憶部
２４    スキャンデータ記憶部
１００    データ表示／センサ装置（方向特定装置）
１１１    光線銃（出射装置）
１２１    位置特定部（位置特定手段）
１２２    方向特定部（方向特定手段）
１２３    距離算出部（距離算出手段）
１２４    入射光判別部（色判別手段、受光パターン判別手段）
３０１    センサ内蔵液晶パネル（面状部材）
３１２    光センサ（光検出部）
９０１    記憶部
【図１】
2010158389.tif 000003
【図２】
2010158389.tif 000004
【図３】
2010158389.tif 000005
【図４】
2010158389.tif 000006
【図５】
2010158389.tif 000007
【図６】
2010158389.tif 000008
【図７】
2010158389.tif 000009
【図８】
2010158389.tif 000010
【図９】
2010158389.tif 000011
【図１０】
2010158389.tif 000012
【図１１】
2010158389.tif 000013
【図１２】
2010158389.tif 000014
【図１３】
2010158389.tif 000015
【図１４】
2010158389.tif 000016
【図１５】
2010158389.tif 000017
【図１６】
2010158389.tif 000018
【図１７】
2010158389.tif 000019
【図１８】
2010158389.tif 000020
【図１９】
2010158389.tif 000021