(57)【要約】【課題】ユーザに対して特有の操作感を与えることができる表示装置を提供する。【解決手段】本発明に係るデータ表示／センサ装置１００は、画像データに基づく表示を行なうためのセンサ内蔵液晶パネルを備え、センサ内蔵液晶パネルが設けられている側を表面とし、その反対側を背面とすると、対象物が背面側に存在する場合、対象物の画像データであるスキャンデータ２２を抽出するスキャン実行部１２２と、その背景の画像データである背景データ２３を取得する撮像処理部１４と、スキャンデータ２２と、背景データ２３とを合成する画像合成処理部１３とを備え、センサ内蔵液晶パネルが合成したデータを表示する。【選択図】図１
2010122383.tif 000002
【特許請求の範囲】
【請求項１】
画像データに基づく表示を行なうための表示画面を有する表示部を備えた表示装置であって、
当該表示装置において上記表示画面が設けられている側の面を表面とし、その反対側の面を背面とすると、
当該表示装置に対し操作を行なう主体である操作主体が背面側に存在する場合、該操作主体の画像データである操作主体データを抽出する抽出手段と、
上記操作主体の背景の画像データである背景データを取得する撮像手段と、
上記抽出手段によって抽出した操作主体データと、上記撮像手段によって取得した背景データとを合成し、合成データを生成する合成手段とを備え、
上記表示部は、上記合成手段によって生成した合成データを上記表示画面上に表示させることを特徴とする表示装置。
【請求項２】
上記操作主体の所定の接触位置と、当該表示装置にて実行する機能との対応関係を示すテーブルを記憶する記憶装置と、
上記背面における上記操作主体の接触位置を検出する第１位置検出手段と、
上記記憶装置に記憶されたテーブルを参照して、上記第１位置検出手段によって検出された操作主体の接触位置に基づき、上記実行する機能を特定する特定手段と、を備えることを特徴とする請求項１に記載の表示装置。
【請求項３】
上記表面における上記操作主体の接触位置をさらに検出する第２位置検出手段を備え、
上記特定手段は、上記記憶装置に記憶されたテーブルを参照して、上記第２位置検出手段によって検出された操作主体の接触位置に基づき、上記実行する機能を特定することを特徴とする請求項２に記載の表示装置。
【請求項４】
上記テーブルは、上記操作主体の所定の接触位置および該接触位置に対応する上記機能に対して、該機能を示し、上記所定の接触位置と対応する上記表示画面上における位置を表示位置とするアイコンがさらに対応付けられており、
上記アイコンを所定の位置に配置させた画像データであるメニュー画面データを作成するメニュー画面作成手段をさらに備え、
上記合成手段は、上記操作主体データおよび上記背景データに加え、上記メニュー画面作成手段によって作成されたメニュー画面データをさらに合成し、上記合成データを生成することを特徴とする請求項３に記載の表示装置。
【請求項５】
上記表面または背面に対して上記操作主体が接近している位置を検出する接近位置検出手段をさらに備え、
上記メニュー画面作成手段は、上記接近位置検出手段によって検出された操作主体が接近している位置に応じてアイコンを再配置させたメニュー画面データを作成することを特徴とする請求項４に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに基づく表示を行なうための表示画面を有する表示部を備えた表示装置に関するものである。
【背景技術】
【０００２】
近年、携帯電話や携帯型音楽プレーヤー等の端末では、多機能化が進むとともに、様々なデータを取り扱うようになってきている。このため、これらの端末では、各種機能の実行結果や、様々なデータを視認性よく表示させることができるようにするため、できるだけ大きな表示画面が備えられるようになってきている。
【０００３】
上記表示画面で表示されるものとしては、例えば、受信した放送番組の映像、保持している動画データの映像、ゲームの映像など様々な映像や、通信ネットワークを通じて取得した各サイトの表示画像などが挙げられる。
【０００４】
ところで、上述のように筐体に占める表示画面の範囲が大きくなると、端末を操作するための操作キー等を設けるスペースが小さくなり、操作キー自身の大きさを小さくする必要がでてくる。このように操作キー自身の大きさを小さくすると、操作キーの操作性が悪くなる。
【０００５】
そこで、表示画面に直接触れて、操作を行なうことができる端末も開発されている。すなわち、筐体の大部分を占める表示画面に表示機能だけではなく、入力機能を持たせ操作性の向上を図った端末が開発されている（例えば、特許文献１）。
【特許文献１】特開２００８−１４１５１９公報（２００８年６月１９日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の構成では、ユーザに対して特有の操作感を与えることができないという問題を生じる。
【０００７】
具体的には、端末の筐体部分において、表示画面の占める割合が大きくなればなるほど、筐体部分にデザイン性を持たすことができる範囲が小さくなり、結果として外観形状のデザインによって他の機器との差別化を図ることが困難となる。
【０００８】
また、端末における操作パターンも、端末に設けられた操作キーを押下したり、表示画面に接触したりするなど、いくつかのパターンに限定される。このため、様々な端末が、異なるメーカから販売されていても、ユーザに対して与える各端末の操作感は類似するようなものとなってしまう。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザに対して特有の操作感を与える表示装置を実現することにある。
【課題を解決するための手段】
【００１０】
本発明に係る表示装置は、上記した課題を解決するために、画像データに基づく表示を行なうための表示画面を有する表示部を備えた表示装置であって、当該表示装置において上記表示画面が設けられている側の面を表面とし、その反対側の面を背面とすると、当該表示装置に対し操作を行なう主体である操作主体が背面側に存在する場合、該操作主体の画像データである操作主体データを抽出する抽出手段と、上記操作主体の背景の画像データである背景データを取得する撮像手段と、上記抽出手段によって抽出した操作主体データと、上記撮像手段によって取得した背景データとを合成し、合成データを生成する合成手段とを備え、上記表示部は、上記合成手段によって生成した合成データを上記表示画面上に表示させることを特徴とする。
【００１１】
ここで、操作主体とは、本発明に係る表示装置に操作を直接行なうことができる、例えば、ユーザの指、またはペンなどが挙げられる。
【００１２】
上記構成によると、上記抽出手段および撮像手段を備えているため、本発明の背面側にある操作主体と、該操作主体の背景とのそれぞれの画像データを取得することができる。また、合成手段を備えているため、これらの画像データを合成した合成データを生成することができる。
【００１３】
このため、表示装置の筐体の背面、すなわち死角となる位置にある操作主体とその背景を表面にある表示画面上に表示させることができ、表面における操作と同様な感覚で背面においても行なうことができる。また、死角となる背面側の状態、すなわち、操作主体とその背景とを、表面に設けられた表示画面に表示することで、表示装置の筐体が透過性を有しているような心象をユーザに与えることができる。
【００１４】
このように、本発明に係る表示装置は、従来と異なり筐体により死角となる背面からも操作を行なうことができ、操作パターンの幅を広げることができるとともに、ユーザに対して筐体が透過性を有している心象を与えることができる。
【００１５】
よって、本発明に係る表示装置は、ユーザに対して特有の操作感を与えることができるという効果を奏する。
【００１６】
本発明に係る表示装置は、上記した構成において、上記操作主体の所定の接触位置と、当該表示装置にて実行する機能との対応関係を示すテーブルを記憶する記憶装置と、上記背面における上記操作主体の接触位置を検出する第１位置検出手段と、上記記憶装置に記憶されたテーブルを参照して、上記第１位置検出手段によって検出された操作主体の接触位置に基づき、上記実行する機能を特定する特定手段と、を備えるように構成されていてもよい。
【００１７】
上記した構成によると、記憶装置、第１位置検出手段、および特定手段を備えているため、操作主体が背面において接触した場合、接触した位置に応じて割り当てられている機能を特定することができる。
【００１８】
このため、表示装置のユーザは、上記背面において操作主体を接触させることで、表示装置が有する機能を実行させることができる。
【００１９】
本発明に係る表示装置は、上記した構成において、上記表面における上記操作主体の接触位置をさらに検出する第２位置検出手段を備え、上記特定手段は、上記記憶装置に記憶されたテーブルを参照して、上記第２位置検出手段によって検出された操作主体の接触位置に基づき、上記実行する機能を特定するように構成されていてもよい。
【００２０】
上記した構成によると、第２位置検出手段をさらに備えているため、表示装置の表面における上記操作主体の接触位置を検出することができる。このため、上記操作主体によって、上記表示装置の表面側においても操作することができる。
【００２１】
本発明に係る表示装置は、上記した構成において、上記テーブルは、上記操作主体の所定の接触位置および該接触位置に対応する上記機能に対して、該機能を示し、上記所定の接触位置と対応する上記表示画面上における位置を表示位置とするアイコンがさらに対応付けられており、上記アイコンを所定の位置に配置させた画像データであるメニュー画面データを作成するメニュー画面作成手段をさらに備え、上記合成手段は、上記操作主体データおよび上記背景データに加え、上記メニュー画面作成手段によって作成されたメニュー画面データをさらに合成し、上記合成データを生成するように構成されていてもよい。
【００２２】
上記した構成によると、上記メニュー画面作成手段を備えているため、メニュー画面データを作成し、各機能をアイコンで示したメニュー画面を表示させることができる。
【００２３】
また、このアイコンの表示画面上における表示位置は、操作主体の所定の接触位置と対応づけられている。このため、操作主体が所望のアイコンの表示位置に接触すると、該アイコンに対応付けられた機能を実行させることができる。
【００２４】
したがって、本発明に係る表示装置は、当該表示装置の表面側および背面側の両方向から操作主体によってアイコンを選択し、該アイコンに対応付けられた機能を実行することができる。
【００２５】
本発明に係る表示装置は、上記した構成において、上記表面または背面に対して上記操作主体が接近している位置を検出する接近位置検出手段をさらに備え、上記メニュー画面作成手段は、上記接近位置検出手段によって検出された操作主体が接近している位置に応じてアイコンを再配置させたメニュー画面データを作成するように構成されていてもよい。
【００２６】
上記した構成によると、接近位置検出手段を備えているため、上記操作主体が背面または表面において接近すると、その接近している位置を検出することができる。また、メニュー画面作成手段は、操作主体が接近している位置に応じて、アイコンを再配置させ、メニュー画面データを作成することができるため、例えば、接近する操作主体の近傍に各アイコンを配置させることができる。
【００２７】
このように、背面または表面における操作主体の動きに応じて、メニュー画面データにおけるアイコンを再配置させることができるため、アイコンを選択する操作の操作性を向上させることができる。
【発明の効果】
【００２８】
本発明に係る表示装置は、以上のように、画像データに基づく表示を行なうための表示画面を有する表示部を備えた表示装置であって、当該表示装置において上記表示画面が設けられている側の面を表面とし、その反対側の面を背面とすると、当該表示装置に対し操作を行なう主体である操作主体が上記背面側に存在する場合、該操作主体の画像データである操作主体データを抽出する抽出手段と、上記操作主体の背景の画像データである背景データを取得する撮像手段と、上記抽出手段によって抽出した操作主体データと、上記撮像手段によって取得した背景データとを合成し、合成データを生成する合成手段とを備え、上記表示部は、上記合成手段によって生成した合成データを上記表示画面上に表示させることを特徴とする。
【００２９】
よって、本発明に係る表示装置は、ユーザに対して特有の操作感を与えることができるという効果を奏する。
【発明を実施するための最良の形態】
【００３０】
本発明の一実施形態について図１ないし図１６に基づいて説明すると以下の通りである。すなわち、本実施の形態に係るデータ表示／センサ装置（表示装置）１００は、図２に示すように、その外観形状において本体部１、光センサ部２、表示／光センサ部３、およびＣＭＯＳカメラ４を備えてなる構成である。なお、本実施の形態に係るデータ表示／センサ装置１００は、例えば、図２に示す表示／光センサ部３のような表示面を備えた携帯通信端末、デジタルカメラ、あるいは携帯型音楽プレーヤーなどによって実現できる。
【００３１】
光センサ部２は、後述するセンサ内蔵パネル３０２を備え、対象物（操作主体）の画像検出を行なうパネルであり、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、当該光センサ部２の近傍にある対象物の画像データの読み取り（スキャン）を行なうものである。
【００３２】
表示／光センサ部３は、後述するセンサ内蔵液晶パネル（表示画面）３０１を備え、ユーザが指やペンなどの対象物でポインティング（タッチ）した位置の検出、当該光センサ部２の近傍にある対象物の画像データの読み取り（スキャン）、ならびにデータの表示を行なうものである。
【００３３】
センサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出を行なう液晶パネルであり、その構造の詳細は後述する。なお、表示／光センサ部３では表示に用いるデバイスとして液晶パネルを採用しているが、これに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルを採用してもよい。
【００３４】
なお、本実施の形態では説明の便宜上、データ表示／センサ装置１００において、本体部１に対して表示／光センサ部３が備えられている側を表面側、本体部１に対して光センサ部２が備えられている側を背面側と称する。
【００３５】
ＣＭＯＳカメラ４は、撮像素子としてＣＭＯＳを利用したデジタルカメラである。ＣＭＯＳカメラ４のレンズ面はデータ表示／センサ装置１００の背面側に設けられており、背面側の背景、すなわち、視線方向が表面側から背面側に向かう方向となる場合に見える背景の画像データを取得することができる。
【００３６】
（データ表示／センサ装置の要部構成）
次に、図３を参照しながら、上記した外観形状を有するデータ表示／センサ装置１００の要部構成について説明する。図３は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、光センサ部２、表示／光センサ部３、ＣＭＯＳカメラ４、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、音声入力部９０９、および外部入出力部９１０を備えている。
【００３７】
表示／光センサ部３は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００３８】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００３９】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００４０】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００４１】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００４２】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００４３】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００４４】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００４５】
光センサ部２は、上記した表示／光センサ部３の機能から表示機能を除いたものであり、いわゆるスキャナ装置である。光センサ部２は、図３に示すように、センサ内蔵パネル３０２、バックライト３０７、それらを駆動するための周辺回路３１０を含んで構成される。
【００４６】
センサ内蔵パネル３０２は、上述したセンサ内蔵液晶パネル３０１の構成において画素回路３１を除いた構成となっており、センサ内蔵液晶パネル３０１と同様の光センサ回路３２を備える。周辺回路３１０は、上述した周辺回路３０９の構成において液晶パネル駆動回路３０４を除いた構成となっており、周辺回路３０９と同様の光センサ駆動回路３０５、信号変換回路３０６、およびバックライト駆動回路３０８を備える。すなわち、光センサ部２は、表示／光センサ部３と比較して、画素回路３１および液晶パネル駆動回路３０４を有していない点でのみ異なっている。このため、光センサ部２が備える各部について、表示／光センサ部３が備える各部と同様の部材には同じ符号を付してその説明は省略する。
【００４７】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３の周辺回路３０９および光センサ部２の周辺回路３１０を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００４８】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００４９】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００５０】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５、または光センサ部２の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２にてスキャンを実行させる。
【００５１】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２、またはセンサ内蔵パネル３０２に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００５２】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３のバックライト駆動回路３０８、または光センサ部２のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００５３】
なお、センサ制御部６０２は、データ処理部７００から、表示／光センサ部３または光センサ部２のいずれにおいて対象物のスキャンを行なう旨の指示を受けたとき、当該指示に応じた表示／光センサ部３または光センサ部２の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３または光センサ部２の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００５４】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００５５】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００５６】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００５７】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００５８】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００５９】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００６０】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２にて対象物のスキャンを行なわせたりするために、データ処理部７００に対して、コマンドおよび／または表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００６１】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００６２】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００６３】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００６４】
なお、上記スイッチの例としては、筐体が開閉可能な蓋部（不図示）と、該蓋部と本体部１とを接続するヒンジ部（不図示）と備えるように構成されている場合、このヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００６５】
また、データ表示／センサ装置１００は、ＣＭＯＳカメラ４にて撮影した画像データを受付けたり、ＣＭＯＳカメラ４に起動を指示するコマンドを出力したりするための外部入出力部９１０を備えている。
【００６６】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００６７】
（コマンドの詳細）
次に、図４および図５を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図４は、コマンドのフレーム構造の一例を模式的に示す図である。また、図５は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００６８】
図４に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図５に示す値が指定可能である。
【００６９】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００７０】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００７１】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００７２】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００７３】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００７４】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００７５】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００７６】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００７７】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００７８】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００７９】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００８０】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００８１】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００８２】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００８３】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００８４】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００８５】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００８６】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「スキャン解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００８７】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【００８８】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【００８９】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（表示／光センサ部３）、“010”（光センサ部２）という値が指定可能である。なお、これらの値を加算することによって、表示／光センサ部３と光センサ部２とを同時に指定可能である。例えば、“表示／光センサ部３”と“光センサ部２”とを同時に指定する場合、“011”と指定することができる。
【００９０】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“表示／光センサ部３”であるコマンドを受信すると、表示／光センサ部３の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００９１】
次に、「表示パネル」フィールドは、表示／光センサ部３にて表示データを表示させるように指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（表示／光センサ部３）という値が指定可能である。
【００９２】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“表示／光センサ部３”であるコマンドを受信すると、表示／光センサ部３に表示データを表示させるために、表示／光センサ部３の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【００９３】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【００９４】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【００９５】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「スキャン解像度」フィールドの値は“低”を指定しておけばよい。
【００９６】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【００９７】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「スキャン解像度」フィールドには“高”を指定することが望ましい。
【００９８】
なお、上記では主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明したが、主制御部８００から外部入出力部９１０を通じてＣＭＯＳカメラ４に送信されるコマンドも同様に、「ヘッダ」、「データ取得タイミング」、「データ種別」等の各フィールドを含み、各フィールドに指定可能な値が割り当てられている。
【００９９】
（センサ内蔵液晶パネルによる対象物の検出方法−センサ内蔵液晶パネルの概要）
次に、表示／光センサ部３が備えるセンサ内蔵液晶パネル３０１による対象物の検出方法について図６を参照にして以下に説明する。
【０１００】
図６は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【０１０１】
図示のとおり、センサ内蔵液晶パネル３０１は、その背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【０１０２】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【０１０３】
次に、図７（ａ）および図７（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する方法について説明する。
【０１０４】
図７（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【０１０５】
なお、ユーザのタッチ位置を検出する方法は上記した方法に限定されるものではなく、図７（ｂ）に示すように外光による撮像を検知してもよい。
【０１０６】
図７（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図７（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【０１０７】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知する構成であるが、外光による影像を検知する構成としてもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知する構成としてもよい。
【０１０８】
（全体画像データ／部分画像データ／座標データ）
次に、図８を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図８（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図８（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１０９】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１１０】
図８（ｂ）に示す画像データでは、図８（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図８（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１１１】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１１２】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１１３】
なお、上記ではセンサ内蔵液晶パネル３０１上にタッチした対象物の画像データおよび座標データを取得する方法について説明したが、光センサ部２が備えるセンサ内蔵パネル３０２においても同様にして画像データ、座標データを取得することができる。このため、センサ内蔵パネル３０２における画像データおよび座標データの取得方法についての説明は省略する。
【０１１４】
（センサ内蔵液晶パネルの構成）
次に、図９を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図９は、表示／光センサ部３の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１１５】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１１６】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１１７】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１１８】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１１９】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１２０】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１２１】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１２２】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１２３】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１２４】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１２５】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１２６】
上記では、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明した。センサ内蔵パネル３０２とその周辺回路３１０は、センサ内蔵パネル３０２が画素回路３１を、周辺回路３１０が液晶パネル駆動回路３０４を備えていない点を除きセンサ内蔵液晶パネル３０１と同様である。このため、センサ内蔵パネル３０２とその周辺回路３１０との説明については省略する。
【０１２７】
ところで、本実施の形態に係るデータ表示／センサ装置１００では、図１０に示すように、表面側の表示／光センサ部３において、ＣＭＯＳカメラ４により撮影された背面側の背景画像と、光センサ部２によりスキャンされた、該光センサ部２の近傍にある対象物（ユーザの指等）の画像とを合成して表示させることができる。このように、データ表示／センサ装置１００の筐体により隠れて見えない背面側の背景、背面側にあるユーザの指等を表面側の表示／光センサ部３に表示させることができるため、データ表示／センサ装置１００では、図１０に示すようにその筐体が透けたように見せることができる。
【０１２８】
なお、本実施の形態では、背面側の背景画像と、光センサ部２の近傍にある対象物（例えばユーザの指等）の画像とを合成し、表示／光センサ部３で表示させる処理を合成画像表示処理と称する。
【０１２９】
（合成画像表示処理に係るデータ表示／センサ装置の構成）
次に、図１を参照しながら、合成画像表示処理に係るデータ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行なうにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。
【０１３０】
また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０１３１】
本実施の形態に係るデータ表示／センサ装置１００では、後述する主制御部８００におけるスキャン実行部１２２がデータ処理部７００から取得した全体画像データのうち、センサ内蔵パネル３０２上でスキャンして得た全体画像データ選択する。そして選択した全体画像データから対象物の画像データを抽出する。そして、この抽出した画像データを背面側の背景画像と合成するためのデータとする。そこで、この全体画像データから抽出した対象物の画像データをスキャンデータ２２と称し、センサ内蔵液晶パネル３０１にて取得する全体画像データとは区別するものとする。
【０１３２】
図１は、本発明の実施形態を示すものであり、合成画像表示処理に係るデータ表示／センサ装置１００のより詳細な構成を示すブロック図である。
【０１３３】
（合成画像表示処理を実行するにあたりデータ表示／センサ装置が保持するデータ）
まず、合成画像表示処理を実行するにあたりデータ表示／センサ装置１００が、記憶部９０１および一次記憶部９０２において保持するデータについて説明する。
【０１３４】
図１に示すように、合成画像表示処理に係るデータ表示／センサ装置１００が備える記憶部９０１には、メニュー記憶部２１を含んでいる。
【０１３５】
メニュー記憶部２１には、センサ内蔵液晶パネル３０１上に表示する各メニュー項目を象徴するアイコン画像が記憶されている。各メニュー項目としては、データ表示／センサ装置１００において実行される各種機能を実現するアプリケーションの起動指示が挙げられる。データ表示／センサ装置１００において実行される各種機能としては、例えば、ＣＭＯＳカメラ４を起動させ画像データを取得するカメラ機能、外部通信部９０７を介して無線ルータ等と接続を確立させ、通信ネットワークを通じて他の装置との通信を行なう通信機能等が挙げられる。
【０１３６】
さらに、メニュー記憶部２１には、図１１に示すように、各アイコン画像と、該アイコン画像のセンサ内蔵液晶パネル３０１上における表示位置を示す座標と、該アイコン画像が選択された場合に実行する処理（機能）とが対応付けられたアイコンテーブル２１１が記憶されている。アイコン画像のセンサ内蔵液晶パネル３０１上における表示位置を示す座標は、センサ内蔵液晶パネル３０１上に設定された縦横の座標軸（ｘｙ軸）により規定されている。
【０１３７】
なお、上記アイコン画像の表示位置を示す座標とは、ユーザの指等によって接触されると対応付けられた特定の機能が実行される所定の接触位置の座標、あるいはこの所定の接触位置と対応する座標であるとも言える。すなわち、センサ内蔵液晶パネル３０１においてユーザ指が接触すると特定の機能を実行する所定の接触位置の座標は、アイコン画像の表示位置の座標と一致するものと言える。一方、センサ内蔵パネル３０２においてユーザの指が接触すると特定の機能を実行する所定の接触位置の座標を反転させた座標が、アイコン画像の表示位置の座標と一致するものと言える。
【０１３８】
なお、本実施の形態に係るデータ表示／センサ装置１００では、メニュー画面における各アイコンの表示位置は、各アイコンがセンサ内蔵液晶パネル３０１上にそれぞれ均等な間隔で配置されるように設定されている。
【０１３９】
一次記憶部９０２には、スキャンデータ２２および背景データ２３が記憶されている。
【０１４０】
スキャンデータ２２は、上記したように、センサ内蔵パネル３０２上でスキャンして得た全体画像データから抽出した対象物の画像データであって、背面側の背景画像と合成するためのデータである。
【０１４１】
背景データ２３は、ＣＭＯＳカメラ４により撮影した画像データであって、合成画像表示処理においてスキャンデータ２２と合成するためのデータである。
【０１４２】
（合成画像表示処理に関するデータ表示／センサ装置の機能ブロック）
次に、合成画像表示処理を実行するにあたりデータ表示／センサ装置１００が有する機能ブロックについて説明する。図１に示すように、主制御部８００は、機能ブロックとしてメニュー表示制御部１１、スキャン処理部１２、画像合成処理部１３、撮像処理部１４、およびアイコン特定部１５を備えてなる構成である。これら各機能ブロックは、主制御部８００がＣＰＵによって実現される場合、ＣＰＵが記憶部９０１に格納されたプログラムを、例えばＲＡＭ等で構成される一次記憶部９０２に読み出して実行することで実現される。
【０１４３】
メニュー表示制御部１１は、メニュー記憶部２１に格納されているアイコン画像を、メニュー記憶部２１から読み出し、該読み出した各アイコン画像を利用してメニュー画面を生成するものである。すなわち、メニュー表示制御部１１は、メニュー画面として、アイコン画像がセンサ内蔵液晶パネル３０１上の所定位置に配された画像データを生成する。メニュー表示制御部１１は、操作部９０３により、メニュー表示の指示が入力されたことを検出した場合、それをトリガとしてメニュー記憶部２１に記憶したアイコン画像を読出し、上記メニュー画面の画像データを生成する。そして、メニュー表示制御部１１は、生成したメニュー画面の画像データを後述する画像合成処理部１３に出力する。画像合成処理部１３に出力されたメニュー画面の画像データは、スキャンデータ２２と背景データ２３とともに重畳するように合成されデータ処理部７００に出力される。
【０１４４】
スキャン処理部１２は、センサ内蔵液晶パネル３０１および／またはセンサ内蔵パネル３０２における、近傍の対象物のスキャンに関する処理を実行するものである。スキャン処理部１２は、スキャンパネル決定部１２０、対象物位置判定部１２１、およびスキャン実行部１２２を備えている。
【０１４５】
スキャンパネル決定部１２０は、対象物をスキャンしたパネルが、センサ内蔵液晶パネル３０１であるのか、センサ内蔵パネル３０２であるのか特定するものである。
【０１４６】
ところで、本実施の形態に係るデータ表示／センサ装置１００では、図１２に示すように、センサ内蔵液晶パネル３０１と、センサ内蔵パネル３０２とにおける表示位置の位置関係は鏡像関係となっている。このため、センサ内蔵パネル３０２にてスキャンした対象物の画像をセンサ内蔵液晶パネル３０１にて表示させる場合、センサ内蔵液晶パネル３０１で規定している座標をそのまま適用して対象物をセンサ内蔵液晶パネル３０１で表示させると、反転してしまう。
【０１４７】
そこで、スキャンパネル決定部１２０は、対象物をスキャンしたパネルを特定し、該パネルに応じて、スキャンした対象物の座標データをそのまま利用するのか、反転した位置となるように変換して利用するのか決定する。
【０１４８】
なお、スキャンパネル決定部１２０による、対象物をスキャンしたパネルの特定は、以下のようにして行われる。
【０１４９】
すなわち、データ表示／センサ装置１００では、上述した図７に示すように、主制御部８００から出力するコマンドによって、対象物をスキャンするパネルを、表示／光センサ部３とするのか光センサ部２とするのか、あるいは、これら両方とするのか指示することできる構成である。
【０１５０】
ここで、対象物をスキャンするパネルを、表示／光センサ部３または光センサ部２のうちのいずれか一方とする場合は、スキャンパネル決定部１２０は、上記コマンドにおいて設定された値を参照することで、対象物をスキャンしたパネルを特定することができる。
【０１５１】
一方、対象物をスキャンするパネルを、コマンドにより表示／光センサ部３と、光センサ部２との両方に設定している場合は、上記コマンドにおいて設定された値を参照しても、対象物をスキャンしたパネルを特定することができない。そこで、本実施の形態に係るデータ表示／センサ装置１００では、センサ制御部６０２が、光センサ回路３２から出力されたセンサ出力信号のデジタル信号（ＤＳ）に対して、該デジタル信号が表示／光センサ部３の光センサ回路３２から出力されたものか、光センサ部２の光センサ回路３２から出力されたものかを示す情報を付加するように構成されている。そして、この付加された情報を参照することで、スキャンパネル決定部１２０は、対象物をスキャンしたパネルを決定することができる。
【０１５２】
対象物位置判定部１２１は、センサ内蔵液晶パネル３０１上またはセンサ内蔵パネル３０２上に対象物が接触した位置を示す座標データを取得する。さらにまた、対象物位置判定部１２１は、対象物がセンサ内蔵液晶パネル３０１上、またはセンサ内蔵パネル３０２上に接近してきている位置を示す座標データを取得することもできる。
【０１５３】
すなわち、対象物がセンサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２に接触、あるいは近接した場合、光センサ回路３２が、対象物の影像および反射像の少なくともいずれかを検知し、その結果、データ処理部７００のセンサデータ処理部７０３がセンサ制御部６０２から受信する画像データに変化が生じる。そこで、その変化に応じて、対象物位置判定部１２１は、対象物が接触している位置または対象物が接近してきている位置を示す座標データを、データ処理部７００から取得する。
【０１５４】
ただし、対象物位置判定部１２１は、スキャンパネル決定部１２０によって、対象物をスキャンしたパネルが、センサ内蔵パネル３０２であると特定されている場合、取得した座標データの値を反転させ、センサ内蔵液晶パネル３０１の座標にあわせるように変換する。
【０１５５】
なお、対象物位置判定部１２１は、対象物がセンサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２に接触しているのか、あるいは近接しているのかの区別を、センサ制御部６０２が生成する画像データにおける画素値の明度の違いから判定する。
【０１５６】
また、対象物がユーザの指である場合、ユーザの指がセンサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２に接触または接近したことを確度よく判定するために、本実施の形態に係るデータ表示／センサ装置１００では、指とそれ以外の体の部位とを区別できるように予め、典型的な指の形状や、該指の形状を特定するための情報を記憶部９０１に記憶しておく。そして、対象物位置判定部１２１は、指の接触または接近を、この情報を利用して判断し、対象物が接触または接近した位置を示す座標データを取得する。
【０１５７】
以上のように、対象物位置判定部１２１が対象物の接触または接近した座標を検出できる。このため、センサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２においてユーザにより指やペンなどで接触したり、接近しようとしたりした場合、データ表示／センサ装置１００は接触した位置または、接近してきている位置を示す座標データを取得することができる。
【０１５８】
なお、対象物位置判定部１２１は、対象物が接触している位置を示す座標データを取得すると、この座標データをアイコン特定部１５に送信する。一方、対象物位置判定部１２１は、対象物が接近してきている位置を示す座標データを取得すると、この座標データをメニュー表示制御部１１に送信する。
【０１５９】
スキャン実行部１２２は、センサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２にスキャンを実行させた結果として、全体画像データを取得し、該取得した全体画像データから対象物のスキャンデータ２２を抽出するものである。すなわち、スキャン実行部１２２は、取得した全体画像データのうち、センサ内蔵パネル３０２にてスキャンした全体画像データからスキャンデータ２２を抽出する。そして、スキャン実行部１２２により抽出されたスキャンデータ２２は、一次記憶部９０２に一旦記憶され、後述する画像合成処理部１３による背景データ２３との画像合成処理の際に読み出される。
【０１６０】
ところで、本実施の形態に係るデータ表示／センサ装置１００では、合成画像表示処理において、センサ内蔵パネル３０２でのスキャン結果が対象物の動きに追従した表示となるように構成されている。このため、主制御部８００からデータ処理部７００に送信されるコマンドのデータ取得タイミングにおける、データを要求する所定周期の間隔は、対象物の動きに追従した表示となるように非常に小さい間隔が設定される。
【０１６１】
なお、センサ内蔵液晶パネル３０１にてスキャンした画像データについては、合成画像表示処理では使用しない。このため、センサ内蔵液晶パネル３０１にてスキャンした画像データを他の処理にて実行する場合は、該画像データを上記スキャンデータ２２とは別に、一次記憶部９０２、あるいは記憶部９０１に記憶させる構成であってもよい。
【０１６２】
撮像処理部１４は、外部入出力部９１０を介してＣＭＯＳカメラ４から、データ表示／センサ装置１００の背面側の背景データ２３を取得するものである。撮像処理部１４は、ＣＭＯＳカメラ４から取得した背景データ２３を一次記憶部９０２に一旦記憶させる。このように、一次記憶部９０２に記憶された背景データ２３は、後述する画像合成処理部１３によって、スキャンデータ２２との画像合成処理の際に読み出される。
【０１６３】
また、ＣＭＯＳカメラ４により取得される背景データ２３は、静止画像であってもよいし動画像であってもよい。背景データ２３が静止画像である場合、一次記憶部９０２において該背景データ２３を保持するために必要な記憶容量を低減させることができる。一方、背景データ２３が動画像である場合は、データ表示／センサ装置１００を利用する際の空間位置が逐次変化する場合であっても、その変化に応じてリアルタイムに背面側の背景を表示させることができる。
【０１６４】
なお、ＣＭＯＳカメラ４により撮影した画像データのうち、合成画像表示処理として使用しない画像データについては、他の処理を実行する際に利用できるように、記憶部９０１に記憶しておく構成であってもよい。
【０１６５】
上述したスキャン処理部１２によるスキャンデータ２２の読取り処理、および撮像処理部１４による背景データ２３の取得処理の開始は、操作部９０３の電源スイッチ９０５の電源オンを検出したことをトリガとして実行する。
【０１６６】
画像合成処理部１３は、一次記憶部９０２に格納されているスキャンデータ２２および背景データ２３を読出し、これらを合成して、表示／光センサ部３にて表示できるデータ形式に変換させるものである。画像合成処理部１３は、メニュー表示制御部１１からメニュー画面の画像データが入力されている場合、スキャンデータ２２と背景データ２３とを合成したデータに、該画像データをさらに重畳させて合成する。画像合成処理部１３は、上記データの合成を行なうと、この合成したデータとともに、コマンド(フィールド名が表示パネルであり、その値が００１となるコマンド）をデータ処理部７００に出力する。これにより、画像合成処理部１３によって合成されたデータは、表示／光センサ部３にて表示される。
【０１６７】
アイコン特定部１５は、対象物位置判定部１２１から入力された座標データに基づき、アイコンテーブル２１１を参照して、該座標データに対応するアイコンを特定するものである。つまり、アイコン特定部１５は、入力された座標データで示される位置が、センサ内蔵液晶パネル３０１に表示したアイコン画像の表示位置と一致する場合、ユーザが、当該アイコンを選択したものと判定することができる。そして、上記座標データが、アイコン画像を表示している位置に対応する座標データであるとき、アイコン特定部１５は、当該アイコン画像に対応づけられている処理を実行するように各部に指示する。
【０１６８】
例えば、「カメラ撮影の実行」を示すアイコンの表示位置に対応する座標データを受信したとき、アイコン特定部１５は、撮像処理部１４を起動させ、ＣＭＯＳカメラ４による撮影を開始させる。このようにして、アイコン特定部１５は、アイコンを特定すると、このアイコンに対応する処理を実行させるため、各部に起動を指示するためのコマンドを出力する。ただし、図１では、アイコン特定部１５から各部に対して出力されるコマンドの流れについては、説明の便宜上、図示していない。
【０１６９】
上記した合成画像表示処理では、光センサ部２によりスキャンした対象物のスキャンデータ２２とＣＭＯＳカメラ４により撮影された背景データ２３とを合成して、表示／光センサ部３にて表示させる構成、ならびにスキャンデータ２２と背景データ２３とメニュー画面の画像データとを合成して、表示／光センサ部３にて表示させる構成について説明した。
【０１７０】
次に図１３に示すフローチャートを参照して、データ表示／センサ装置１００による合成画像表示処理の流れについて説明する。
【０１７１】
（合成画像表示処理）
まず、データ表示／センサ装置１００において、ユーザが電源スイッチ９０５を操作して電源投入指示が入力されると、スキャン処理部１２が、データ処理部７００、回路制御部６００を介して、光センサ部２からスキャンデータ２２を取得するとともに、撮像処理部１４が、外部入出力部９１０を介してＣＭＯＳカメラ４から背景データ２３を取得する（ステップＳ１１、これ以降Ｓ１１のように称する）。
【０１７２】
ステップＳ１１において取得されたスキャンデータ２２と背景データ２３とは、一次記憶部９０２に記憶される。そして、画像合成処理部１３がこの記憶されたスキャンデータ２２と背景データ２３とを一次記憶部９０２から読出し、背景データ２３による画像上にスキャンデータ２２による画像が重畳するように合成する（Ｓ１２）。
【０１７３】
このように、スキャンデータ２２と背景データ２３とが合成されると、この合成され生成された画像データ（合成画像データ）は、データ処理部７００、回路制御部６００を介して表示／光センサ部３に出力される。そして、表示／光センサ部３において、この合成画像データが表示される（Ｓ１３）。スキャンデータ２２と背景データ２３とを合成させた上記合成画像データの表示は、例えば、スキャンデータ２２がユーザの指の画像データである場合、上述した図１０に示すようになる。すなわち、データ表示／センサ装置１００の筐体により隠れて見えない背面側の背景、背面側にあるユーザの指を表示させたものとなる。
【０１７４】
このように、スキャンデータ２２と背景データ２３との合成画像データが表示されている状態において、操作部９０３により、メニュー表示の指示が入力されると、メニュー表示制御部１１は、メニュー記憶部２１に記憶したアイコン画像を読出し、上記メニュー画面の画像データを生成する（Ｓ１５）。そして、メニュー表示制御部１１は、生成したメニュー画面の画像データを画像合成処理部１３に出力する。
【０１７５】
画像合成処理部１３は、メニュー表示制御部１１にからメニュー画面の画像データが入力されると、スキャンデータ２２と背景データ２３との合成データにメニュー画面の画像データを重畳させるように合成する。そして、画像合成処理部１３は、この合成したデータをデータ処理部７００、回路制御部６００を介して表示／光センサ部３に出力する。このようにして、上記合成したデータを出力されると、表示／光センサ部３においてこの合成データが表示される（Ｓ１６）。
【０１７６】
以上のようにして、本実施の形態に係るデータ表示／センサ装置１００は、合成画像表示処理を実行することができる。
【０１７７】
このため、データ表示／センサ装置１００の筐体により死角となる背面側にあるユーザの指等の対象物とその背景を、表面側にある表示画面上、すなわちセンサ内蔵液晶パネル３０１上に表示させることができ、表面側における操作と同様な感覚で背面側においても行なうことができる。また、死角となる背面側の状態、すなわち、ユーザの指等の対象物とその背景とを、表面に設けられた表示画面、すなわちセンサ内蔵液晶パネル３０１に表示することで、データ表示／センサ装置１００の筐体が透過性を有しているような心象をユーザに与えることができる。
【０１７８】
このように、データ表示／センサ装置１００は、従来と異なり筐体により死角となる背面からも操作を行なうことができ、操作パターンの幅を広げることができるとともに、ユーザに対して筐体が透過性を有している心象を与えることができる。よって、データ表示／センサ装置１００は、ユーザに対して特有の操作感を与えることができる。
【０１７９】
また、データ表示／センサ装置１００は、その筐体の背面側にある例えばユーザの指の画像（スキャンデータ２２）を抽出し、その背景の画像データ(背景データ２３）を取得することができる。このため、データ表示／センサ装置１００のユーザは、背面側における指の動きを把握することができる。それゆえ、図１４に示すように、背面側における指を使って、メニュー画面のアイコンを選択するなど、通常の操作とは異なる操作感で、データ表示／センサ装置１００を利用することができる。具体的には、図１４では、ユーザの親指と中指、薬指、小指によりデータ表示／センサ装置１００を保持し、人指し指によって背面をタッチして上記アイコンを選択することができる。
【０１８０】
また、この図１４に示すようにデータ表示／センサ装置１００が使用される場合、親指を装置の側部に配置し、安定させて当該装置を保持することができる。さらに、親指の使用により、装置の保持を安定させることができるため、片手操作の操作性を向上させることができる。また、親指を装置の側部に配置するため、指の中で一番太い親指により、センサ内蔵液晶パネル３０１の表示面を遮ることがなく視認性を高めることができる。
【０１８１】
さらには、図１５に示すように、センサ内蔵液晶パネル３０１に対し親指を接触させ、センサ内蔵パネル３０２に対しては、人指し指、および中指を接触させることで、データ表示／センサ装置１００の表面側と背面側との両方から操作指示を行なうこともできる。
【０１８２】
このようにデータ表示／センサ装置１００を操作する場合、メニュー画面において表面側に配した親指では届かない領域については、背面側に配した人指し指、および中指を利用して操作することができる。すなわち、所望する操作ごとにデータ表示／センサ装置１００を保持する手の配置を変更させることがないため、安定してユーザは、データ表示／センサ装置１００を保持することができる。さらにまた、手の配置を変更させることがないため、片手による操作性を向上させることができる。
【０１８３】
なお、メニュー画面における各アイコンの表示位置は、各アイコンがセンサ内蔵液晶パネル３０１上にそれぞれ均等な間隔で配置されるように設定される構成であった。しかしながら、メニュー画面における各アイコンの配置は、センサ内蔵液晶パネル３０１、またはセンサ内蔵パネル３０２上におけるユーザの指の位置に応じて動的に変更される構成であってもよい。より具体的には、図１６に示すように、センサ内蔵パネル３０２にユーザの指が接近してきた場合、この接近してきた指の位置を検出して、該検出した位置の周辺に各アイコンが集合するように構成されていてもよい。
【０１８４】
このように構成される場合、スキャン処理部１２における対象物位置判定部１２１が、接近してきているユーザの指の位置を示す座標データをデータ処理部７００から取得する。そして、取得した座標データをメニュー表示制御部１１に出力する。メニュー表示制御部１１は、対象物位置判定部１２１から入力された座標データに基づき、該座標近傍に各アイコンが所定の配置で配されるように、アイコンテーブル２１１において各アイコン画像に対応付けられている座標を変更させる。そして、この変更された座標の位置にアイコン画像がそれぞれ配置されたメニュー画面をメニュー表示制御部１１が生成し、画像合成処理部１３に出力する。
【０１８５】
画像合成処理部１３では、スキャンデータ２２と背景データ２３とを合成している画像に、上記メニュー画面を重畳させるように、該メニュー画面の画像データをさらに合成する。
【０１８６】
このように、ユーザの指の動きに追随してセンサ内蔵液晶パネル３０１上におけるアイコンの表示位置が変更され、該アイコンがユーザの指の近傍に配される構成では、アイコンを選択するために移動させる指の動きを小さくすることができる。このため、ユーザは片手操作を容易に行うことができ、また指の移動範囲が小さいため、長時間操作した場合であっても指にかける負担を低減させることができる。
【０１８７】
また、上記アイコンテーブル２１１では、図１１に示すように、各アイコン画像と、該アイコン画像のセンサ内蔵液晶パネル３０１上における表示位置を示す座標と、該アイコン画像が選択された場合に実行する処理（機能）とが対応付けられる構成であった。
【０１８８】
しかしながら、これに限定されるものではない。例えば、アイコン画像のセンサ内蔵液晶パネル３０１上で規定された座標の代わりに、センサ内蔵パネル３０２上で規定された座標を利用してもよい。この場合、対象物位置判定部１２１は、センサ内蔵液晶パネル３０１でスキャンしたユーザの指等の座標を、センサ内蔵パネル３０２上における座標に合わせるため反転させて利用する。
【０１８９】
また、上記したデータ表示／センサ装置１００では、アイコンが配置されたメニュー画面において、所望する機能を示すアイコンをユーザが選択する構成であった。そして、選択されたアイコンに対応する機能を実行する構成であった。
【０１９０】
しかしながら、メニュー画面を表示させず、スキャンデータ２２と背景データ２３とを合成して表示している状態で、ユーザがセンサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２を指でタッチした場合、そのタッチした位置に応じて割り当てられている機能を実行する構成としてもよい。このような構成の場合、メニュー記憶部２１では、アイコンテーブル２１１の代わりに、センサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２における所定位置の座標と、該座標に応じて割り当てられた機能との対応関係を示すテーブルを記憶する。
【０１９１】
このように構成されている場合、画像合成処理部１３がメニュー画面データを、スキャンデータ２２と背景データ２３とを組み合わせたデータと合成し、表示／光センサ部３に送信して表示させる処理を省略することができる点で有利である。ただし、センサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２のどの場所をタッチすれば、どのような機能が実行されるのか視覚的に把握することができない。このため、ユーザは予め、センサ内蔵液晶パネル３０１またはセンサ内蔵パネル３０２のどの場所をタッチすれば、どのような機能が実行されるのか記憶しておかなければならない点で不利である。
【０１９２】
また、上記では、本実施の形態に係るデータ表示／センサ装置１００を、図２に示すような表示面を備えた携帯通信端末、デジタルカメラ、あるいは携帯型音楽プレーヤーなどの携帯端末として説明してきた。しかしながら、データ表示／センサ装置１００は、これら携帯端末に限定されるものではなく、例えば、据え置き型の表示装置であってもよい。
【０１９３】
最後に、データ表示／センサ装置１００の各ブロック、特にスキャン処理部１２が備えるスキャンパネル決定部１２０、スキャン処理部１２が備える対象物位置判定部１２１、スキャン処理部１２が備えるスキャン実行部１２２、メニュー表示制御部１１、および撮像処理部１４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１９４】
すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１９５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１９６】
また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１９７】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１９８】
本発明の表示装置は、その筐体により死角となる背面側にあるユーザの指等の操作主体とその背景を、表面側にある表示画面上に表示させ、表面側における操作と同様な感覚で背面側からも操作を行なうことができる。また、死角となる背面側の状態、すなわち、ユーザの指等の操作主体とその背景とを、表面に設けられた表示画面に表示することで、筐体が透過性を有しているような心象をユーザに与えることができる。よって、筐体の大部分を表示画面が占めるような表示装置に広く適用できる。
【図面の簡単な説明】
【０１９９】
【図１】本発明の実施形態を示すものであり、合成画像表示処理に係るデータ表示／センサ装置のより詳細な構成を示すブロック図である。
【図２】本発明の実施形態を示すものであり、データ表示／センサ装置の外観形状を示す図である。
【図３】データ表示／センサ装置の要部構成を示すブロック図である。
【図４】コマンドのフレーム構造の一例を模式的に示す図である。
【図５】コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図６】センサ内蔵液晶パネルの断面を模式的に示す図である。
【図７】（ａ）および（ｂ）は、ユーザがタッチした位置を検出する様子を示す模式図である。
【図８】（ａ）および（ｂ）は、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図９】表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図１０】表示／光センサ部における表示状態の一例を示す図である。
【図１１】アイコンテーブルの一例を示す図である。
【図１２】センサ内蔵液晶パネルと、センサ内蔵パネルとにおける表示位置の位置関係の一例を示す図である。
【図１３】データ表示／センサ装置による合成画像表示処理の処理の流れを示すフローチャートである。
【図１４】データ表示／センサ装置の操作状態の一例を示す図である。
【図１５】データ表示／センサ装置の操作状態の一例を示す図である。
【図１６】センサ内蔵液晶パネル上において表示するアイコンの配置の一例を示す図である。
【符号の説明】
【０２００】
１    本体部
２    光センサ部（表示部）
３    表示／光センサ部（表示部）
４    ＣＭＯＳカメラ
１１  メニュー表示制御部（メニュー画面作成手段）
１２  スキャン処理部（抽出手段・第１位置検出手段・第２位置検出手段・接近位置検出手段）
１３  画像合成処理部(合成手段）
１４  撮像処理部（撮像手段）
１５  アイコン特定部(特定手段）
２１  メニュー記憶部
２２  スキャンデータ（操作主体データ）
２３  背景データ
６２  対象物（操作主体）
６４  対象物（操作主体）
１００  データ表示／センサ装置（表示装置）
１２０  スキャンパネル決定部
１２１  対象物位置判定部（第１位置検出手段・第２位置検出手段・接近位置検出手段）
１２２  スキャン実行部（抽出手段）
２１１  アイコンテーブル（テーブル）
３００  表示／光センサ部
３０１  センサ内蔵液晶パネル（表示画面）
３０２  センサ内蔵パネル（表示画面）
８００  主制御部
９０１  記憶部(記憶装置）
９０２  一次記憶部
９０３  操作部
９１０  外部入出力部
【図１】
2010122383.tif 000003
【図２】
2010122383.tif 000004
【図３】
2010122383.tif 000005
【図４】
2010122383.tif 000006
【図５】
2010122383.tif 000007
【図６】
2010122383.tif 000008
【図７】
2010122383.tif 000009
【図８】
2010122383.tif 000010
【図９】
2010122383.tif 000011
【図１０】
2010122383.tif 000012
【図１１】
2010122383.tif 000013
【図１２】
2010122383.tif 000014
【図１３】
2010122383.tif 000015
【図１４】
2010122383.tif 000016
【図１５】
2010122383.tif 000017
【図１６】
2010122383.tif 000018