(57)【要約】【課題】電子機器の表示面上に載置された媒体の貫通穴を通して、ユーザが媒体の表面に表示された情報に関連する情報を視認可能とする。【解決手段】媒体においては、媒体の第１面から当該第１面の裏面である第２面への貫通穴が形成されている。第１面には第１情報が表示され、第２面には第１情報に関連する第２情報が表示されている。電子機器１００は、複数の光センサを表示面に沿って内蔵した液晶パネル１４０と、表示面と媒体の第２面とが対向した状態で、液晶パネル１４０に第２面をスキャンさせるスキャン部１１と、スキャンにより得られたスキャンデータに基づいて、表示面における貫通穴に対応する対応領域を特定する特定部１２と、スキャンデータから、第２情報に対応するデータを抽出する抽出部１３と、抽出されたデータに基づいた情報を、特定された対応領域に表示させる表示制御部１６とを含む。【選択図】図１５
2010117430.tif 000002
【特許請求の範囲】
【請求項１】
媒体と電子機器とを備える表示システムであって、
前記媒体においては、
前記媒体の第１面から当該第１面の裏面である第２面への貫通穴が形成され、
前記第１面には、第１情報が表示され、
前記第２面には、前記第１情報に関連する第２情報が表示されており、
前記電子機器は、
複数の光センサを表示面に沿って内蔵した表示パネルと、
前記第２面と前記表示面とが対向した状態で、前記表示パネルに前記第２面をスキャンさせるスキャン手段と、
前記スキャンにより得られたスキャンデータに基づいて、前記表示面における前記貫通穴に対応する対応領域を特定する特定手段と、
前記スキャンデータから、前記第２情報に対応するデータを抽出する抽出手段と、
前記抽出されたデータに基づいた情報を、前記特定された対応領域に表示させる表示制御手段とを含む、表示システム。
【請求項２】
前記電子機器は、
少なくとも、前記抽出されたデータに関連する情報を記憶している第１記憶装置と、
前記第１記憶装置から前記抽出されたデータに関連する情報を取得する取得手段とをさらに含み、
前記表示制御手段は、前記抽出されたデータに基づいた情報として前記取得された情報を、前記特定された対応領域に表示させる、請求項１に記載の表示システム。
【請求項３】
前記表示システムは、少なくとも、前記抽出されたデータに関連する情報を記憶しているサーバ装置をさらに備え、
前記電子機器は、
ネットワークを介して前記サーバ装置から、前記抽出されたデータに関連する情報を取得する取得手段をさらに含み、
前記表示制御手段は、前記抽出されたデータに基づいた情報として前記取得された情報を、前記特定された対応領域に表示させる、請求項１に記載の表示システム。
【請求項４】
前記媒体には、前記貫通穴が複数形成され、
前記抽出されたデータは、少なくとも前記貫通穴と同数の要素データを含み、
前記特定手段は、前記スキャンデータに基づいて、前記複数の貫通穴の各々に対応する対応領域を特定し、
前記表示制御手段は、前記要素データに基づく情報を、前記複数の対応領域のうち当該要素データに対応した対応領域に、前記要素データ毎に表示させる、請求項１から３のいずれか１項に記載の表示システム。
【請求項５】
各要素データは、要素データ毎に異なる第１識別子を有し、
前記電子機器は、
各対応領域の位置関係に基づき、互いに異なる第２識別子を、各対応領域の位置を示す位置情報に対応付ける対応付手段と、
前記第１識別子と前記第２識別子との対応関係を示した対応情報を記憶している第２記憶装置とをさらに含み、
前記表示制御手段は、前記各要素データに含まれる第１識別子と前記対応付けされた第２識別子と前記対応情報とに基づき、前記要素データに基づく情報を、前記複数の対応領域のうち当該要素データに対応した対応領域に、前記要素データ毎に表示させる、請求項４に記載の表示システム。
【請求項６】
前記要素データに対応した対応領域は、当該要素データに含まれる第１識別子との間で対応関係にある第２識別子が対応付けされた前記位置情報で示される領域である、請求項５に記載の表示システム。
【請求項７】
前記第１情報は、少なくとも複数の異なる名詞を有し、
各貫通穴の周辺には、貫通穴毎に異なる名詞が表示されている、請求項４から６のいずれか１項に記載の表示システム。
【請求項８】
前記媒体は紙媒体である、請求項１から７のいずれか１項に記載の表示システム。
【請求項９】
シート状の媒体と電子機器とを備える表示システムであって、
前記媒体においては、
前記媒体の一部が透明部材により形成され、
前記透明部材の第１面と当該第１面の裏面である第２面とが外部に露出し、
前記媒体における前記第１面側の面には、前記透明部材の領域とは異なる第１領域に第１情報が表示され、
前記媒体における前記第２面側の面には、前記透明部材の領域とは異なる第２領域に前記第１情報に関連する第２情報が表示されており、
前記電子機器は、
複数の光センサを表示面に沿って内蔵した表示パネルと、
前記第２面側の面と前記表示面とが対向した状態で、前記表示パネルに前記第２面側の面をスキャンさせるスキャン手段と、
前記スキャンにより得られたスキャンデータに基づいて、前記表示面における、前記透明部材の領域に対応する対応領域を特定する特定手段とを備え、
前記スキャンデータから、前記第２情報に対応するデータを抽出する抽出手段と、
前記抽出されたデータに基づいた情報を、前記特定された対応領域に表示させる表示制御手段とを含む、表示システム。
【請求項１０】
媒体をスキャンする電子機器であって、
前記媒体には、第１情報が表示されている第１面から当該第１面の裏面である第２面への貫通穴が形成されており、
複数の光センサを表示面に沿って内蔵した表示パネルと、
前記第１面と前記表示面とが対向した状態で、前記表示パネルに前記第１面をスキャンさせるスキャン手段と、
前記スキャンにより得られたスキャンデータに基づいて、前記表示面における前記貫通穴に対応する対応領域を特定する特定手段と、
前記スキャンデータから、前記第１情報に対応するデータを抽出する抽出手段と、
前記抽出されたデータに基づいた情報を、前記特定された対応領域に表示させる表示制御手段とを備える、電子機器。
【請求項１１】
少なくとも、前記抽出されたデータに関連する情報を記憶している記憶装置と、
前記記憶装置から、前記抽出されたデータに関連する情報を取得する取得手段とをさらに備え、
前記表示制御手段は、前記抽出されたデータに基づいた情報として前記取得された情報を、前記特定された対応領域に表示させる、請求項１０に記載の電子機器。
【請求項１２】
少なくとも前記抽出されたデータに関連する情報を記憶しているサーバ装置から、ネットワークを介して前記抽出されたデータに関連する情報を取得する取得手段をさらに備え、
前記表示制御手段は、前記抽出されたデータに基づいた情報として前記取得した情報を、前記特定された対応領域に表示させる、請求項１０に記載の電子機器。
【請求項１３】
電子機器の表示パネルを介してスキャンされる媒体であって、
前記スキャンは、前記表示パネルの表面に沿って内蔵された複数の光センサによって行なわれ、
前記媒体においては、
前記媒体の第１面から当該第１面の裏面である第２面への貫通穴が形成され、
前記媒体の第１面には、第１情報が表示され、
前記第２面には、前記スキャンの対象となる、前記第１情報に関連する第２情報が表示されている、媒体。
【請求項１４】
前記媒体は紙媒体である、請求項１３に記載の媒体。
【請求項１５】
媒体をスキャンする電子機器における表示制御方法であって、
前記媒体には、情報が表示されている第１面から当該第１面の裏面である第２面への貫通穴が形成されており、前記電子機器は、複数の光センサを表示面に沿って内蔵した表示パネルを含み、
前記表示制御方法は、
前記第１面と前記表示面とが対向した状態で、前記表示パネルに前記第１面をスキャンさせるステップと、
前記スキャンにより得られたスキャンデータに基づいて、前記表示面における前記貫通穴に対応する対応領域を特定するステップと、
前記スキャンデータから、前記情報に対応するデータを抽出するステップと、
前記抽出されたデータに基づいた情報を、前記特定された対応領域に表示させるステップとを備える、表示制御方法。
【請求項１６】
媒体をスキャンする電子機器における表示制御を前記電子機器に実行させるためのプログラムであって、
前記媒体には、情報が表示されている第１面から当該第１面の裏面である第２面への貫通穴が形成されており、前記電子機器は、複数の光センサを表示面に沿って内蔵した表示パネルを備え、
前記プログラムは、
前記第１面と前記表示面とが対向した状態で、前記表示パネルに前記第１面をスキャンさせるステップと、
前記スキャンにより得られたスキャンデータに基づいて、前記表示面における前記貫通穴に対応する対応領域を特定するステップと、
前記スキャンデータから、前記情報に対応するデータを抽出するステップと、
前記抽出されたデータに基づいた情報を、前記特定された対応領域に表示させるステップとを前記電子機器に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器と媒体とを含む表示ステム、表示パネルを備えた電子機器、情報が表示された媒体、電子機器における表示制御方法、および表示制御を電子機器に実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来、光センサを内蔵した液晶パネルが知られている。
特許文献１には、ＬＣＤ（Liquid Crystal Display）上に載置された対象物（たとえばパンフレット）を識別する表示装置が開示されている。当該表示装置は、対象物を識別すると、識別した対象物に関連付けて記憶されている関連情報を検索する。さらに、表示装置は、検索された関連情報に基づく画像を表示する。
【０００３】
特許文献２には、表示面上の表示阻害要因がある表示阻害領域を検出する表示装置が開示されている。当該表示装置は、表示阻害領域を検出した場合、表示内容の領域を表示阻害領域外の表示可能領域に移動させるための処理を行なう。さらに、表示装置は、移動処理された表示内容を表示阻害領域を避けて表示する。
【特許文献１】特開２００７−２９２８９４号公報
【特許文献２】特開２００４−２７１８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の表示装置は、関連情報に基づく画像を対象物の周囲に表示する。したがって、特許文献１の表示装置は、対象物に貫通穴が開いていても、当該貫通穴に対応する表示領域に関連情報に基づく画像を表示することはできない。
【０００５】
特許文献２の表示装置は、表示阻害領域外の表示領域に情報を表示する。当該表示装置は、ディスプレイ上に置かれた表示阻害物体が接触している領域を含んだ領域を表示阻害領域に設定する。しかしながら、特許文献２では、表示阻害物体に貫通穴が形成され、かつ当該貫通穴を介して表示面が視認可能な姿勢で表示阻害物体が表示面上に載置された場合であっても、当該貫通穴に対応する表示領域に情報を表示することはできない。
【０００６】
本願発明は、上記の問題点に鑑みなされたものであって、その目的は、電子機器の表示面上に載置された媒体の貫通穴を通して、ユーザが当該媒体の表面に表示された情報に関連する情報を視認可能となる表示システム、電子機器、媒体、表示制御方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある局面に従うと、表示システムは、媒体と電子機器とを備える表示システムであって、媒体においては、媒体の第１面から当該第１面の裏面である第２面への貫通穴が形成され、第１面には、第１情報が表示され、第２面には、第１情報に関連する第２情報が表示されており、電子機器は、複数の光センサを表示面に沿って内蔵した表示パネルと、第２面と表示面とが対向した状態で、表示パネルに第２面をスキャンさせるスキャン手段と、スキャンにより得られたスキャンデータに基づいて、表示面における貫通穴に対応する対応領域を特定する特定手段と、スキャンデータから、第２情報に対応するデータを抽出する抽出手段と、抽出されたデータに基づいた情報を、特定された対応領域に表示させる表示制御手段とを含む。
【０００８】
好ましくは、電子機器は、少なくとも、前記抽出されたデータに関連する情報を記憶している第１記憶装置と、前記第１記憶装置から前記抽出されたデータに関連する情報を取得する取得手段とをさらに含み、表示制御手段は、抽出されたデータに基づいた情報として取得された情報を、特定された対応領域に表示させる。
【０００９】
好ましくは、表示システムは、少なくとも、抽出されたデータに関連する情報を記憶しているサーバ装置をさらに備え、電子機器は、ネットワークを介してサーバ装置から、抽出されたデータに関連する情報を取得する取得手段をさらに含み、表示制御手段は、抽出されたデータに基づいた情報として取得された情報を、特定された対応領域に表示させる。
【００１０】
好ましくは、媒体には、貫通穴が複数形成され、抽出されたデータは、少なくとも貫通穴と同数の要素データを含み、特定手段は、スキャンデータに基づいて、複数の貫通穴の各々に対応する対応領域を特定し、表示制御手段は、要素データに基づく情報を、複数の対応領域のうち当該要素データに対応した対応領域に、要素データ毎に表示させる。
【００１１】
好ましくは、各要素データは、要素データ毎に異なる第１識別子を有し、電子機器は、各対応領域の位置関係に基づき、互いに異なる第２識別子を、各対応領域の位置を示す位置情報に対応付ける対応付手段と、第１識別子と第２識別子との対応関係を示した対応情報を記憶している第２記憶装置とをさらに含み、表示制御手段は、各要素データに含まれる第１識別子と対応付けされた第２識別子と対応情報とに基づき、要素データに基づく情報を、複数の対応領域のうち当該要素データに対応した対応領域に、要素データ毎に表示させる。
【００１２】
好ましくは、要素データに対応した対応領域は、当該要素データに含まれる第１識別子との間で対応関係にある第２識別子が対応付けされた位置情報で示される領域である。
【００１３】
好ましくは、第１情報は、少なくとも複数の異なる名詞を有し、各貫通穴の周辺には、貫通穴毎に異なる名詞が表示されている。
【００１４】
好ましくは、媒体は紙媒体である。
本発明の他の局面に従うと、表示システムは、シート状の媒体と電子機器とを備える表示システムであって、媒体においては、媒体の一部が透明部材により形成され、透明部材の第１面と当該第１面の裏面である第２面とが外部に露出し、媒体における第１面側の面には、透明部材の領域とは異なる第１領域に第１情報が表示され、媒体における第２面側の面には、透明部材の領域とは異なる第２領域に第１情報に関連する第２情報が表示されており、電子機器は、複数の光センサを表示面に沿って内蔵した表示パネルと、第２面側の面と表示面とが対向した状態で、表示パネルに第２面側の面をスキャンさせるスキャン手段と、スキャンにより得られたスキャンデータに基づいて、表示面における、透明部材の領域に対応する対応領域を特定する特定手段とを備え、スキャンデータから、第２情報に対応するデータを抽出する抽出手段と、抽出されたデータに基づいた情報を、特定された対応領域に表示させる表示制御手段とを含む。
【００１５】
本発明のさらに他の局面に従うと、電子機器は、媒体をスキャンする電子機器であって、媒体には、第１情報が表示されている第１面から当該第１面の裏面である第２面への貫通穴が形成されており、複数の光センサを表示面に沿って内蔵した表示パネルと、第１面と表示面とが対向した状態で、表示パネルに第１面をスキャンさせるスキャン手段と、スキャンにより得られたスキャンデータに基づいて、表示面における貫通穴に対応する対応領域を特定する特定手段と、スキャンデータから、第１情報に対応するデータを抽出する抽出手段と、抽出されたデータに基づいた情報を、特定された対応領域に表示させる表示制御手段とを備える。
【００１６】
好ましくは、電子機器は、少なくとも、抽出されたデータに関連する情報を記憶している記憶装置と、記憶装置から、抽出されたデータに関連する情報を取得する取得手段とをさらに備え、表示制御手段は、抽出されたデータに基づいた情報として取得された情報を、特定された対応領域に表示させる。
【００１７】
好ましくは、電子機器は、少なくとも上記抽出されたデータに関連する情報を記憶しているサーバ装置から、ネットワークを介して当該抽出されたデータに関連する情報を取得する取得手段をさらに備え、表示制御手段は、抽出されたデータに基づいた情報として取得した情報を、特定された対応領域に表示させる。
【００１８】
本発明のさらに他の局面に従うと、媒体は、電子機器の表示パネルを介してスキャンされる媒体であって、スキャンは、表示パネルの表面に沿って内蔵された複数の光センサによって行なわれ、媒体においては、媒体の第１面から当該第１面の裏面である第２面への貫通穴が形成され、媒体の第１面には、第１情報が表示され、第２面には、スキャンの対象となる、第１情報に関連する第２情報が表示されている。
【００１９】
好ましくは、媒体は紙媒体である。
本発明のさらに他の局面に従うと、表示制御方法は、媒体をスキャンする電子機器における表示制御方法であって、媒体には、情報が表示されている第１面から当該第１面の裏面である第２面への貫通穴が形成されており、電子機器は、複数の光センサを表示面に沿って内蔵した表示パネルを含み、表示制御方法は、第１面と表示面とが対向した状態で、表示パネルに第１面をスキャンさせるステップと、スキャンにより得られたスキャンデータに基づいて、表示面における貫通穴に対応する対応領域を特定するステップと、スキャンデータから、情報に対応するデータを抽出するステップと、抽出されたデータに基づいた情報を、特定された対応領域に表示させるステップとを備える。
【００２０】
本発明のさらに他の局面に従うと、プログラムは、媒体をスキャンする電子機器における表示制御を当該電子機器に実行させるためのプログラムであって、媒体は、情報が表示されている第１面から当該第１面の裏面である第２面への貫通穴が形成されており、電子機器は、複数の光センサを表示面に沿って内蔵した表示パネルを備え、プログラムは、第１面と表示面とが対向した状態で、表示パネルに第１面をスキャンさせるステップと、スキャンにより得られたスキャンデータに基づいて、表示面における貫通穴に対応する対応領域を特定するステップと、スキャンデータから、情報に対応するデータを抽出するステップと、抽出されたデータに基づいた情報を、特定された対応領域に表示させるステップとを電子機器に実行させるためのプログラム。
【発明の効果】
【００２１】
電子機器の表示面上に載置された媒体の貫通穴を通して、ユーザが当該媒体の表面に表示された情報に関連する情報を視認可能となるといった効果を奏する。
【発明を実施するための最良の形態】
【００２２】
本発明に係る表示システムの一実施態様について、図１から図３１を参照して説明すると以下のとおりである。
【００２３】
＜システム構成＞
図１は、本実施の形態に係る表示システム１の構成を示した図である。図１を参照して、表示システム１は、電子機器１００と、媒体２００と、サーバ装置３００とを含む。
【００２４】
電子機器１００は、光センサ内蔵液晶パネル１４０と操作キー１７７とを備えている。電子機器１００は、ＰＤＡ（Personal Digital Assistant）、携帯型電話機、パーソナルコンピュータなどの表示機能を有するデバイスとして構成される。
【００２５】
媒体２００は紙媒体である。紙媒体とは、材質が紙の媒体である。さらに、紙媒体とは、媒体の表面に情報が印刷等され、当該情報が当該表面に表示されている媒体である。媒体２００の例としては、たとえば、新聞に折り込まれているチラシ、街頭で配られているチラシ、学習用教材の紙シートなどが挙げられる。
【００２６】
なお、媒体２００は、紙媒体に限定されるものではない。媒体２００の材質は、樹脂でもよい。あるいは、媒体２００の材質は、樹脂および紙であってもよい。あるいは、媒体２００の材質は、金属、木材、または布であってもよい。媒体２００の材質は、媒体２００の表面に情報の表示が可能な材質であれば、特に限定されるものではない。
【００２７】
サーバ装置３００は、電子機器１００からの要求信号に応じて、応答信号を電子機器１００に送信する。媒体２００がチラシである場合には、サーバ装置３００は、たとえば、当該チラシを配布した会社に設置される。
【００２８】
以下では、媒体２００がチラシである場合を例に挙げて説明する。
＜電子機器１００のハードウェア構成について＞
次に、電子機器１００の具体的構成の一態様について説明する。図２は、電子機器１００のハードウェア構成を表わすブロック図である。図２を参照して、電子機器１００は、主たる構成要素として、本体装置１０１と、表示装置１０２とを含む。
【００２９】
本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、通信部１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７とを含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。また、本体装置１０１は、ハードディスク（図示せず）を備えてもよい。
【００３０】
ＣＰＵ１１０は、プログラムを実行する。操作キー１７７は、電子機器１００の使用者による指示の入力を受ける。ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどの書込みおよび消去が可能なＲＯＭである。通信部１７４は、図示しない他の電子機器との間で無線通信を行う。なお、図２には図示していないが、電子機器１００が、他の電子機器に有線により接続するためのインターフェイス（ＩＦ）を備える構成としてもよい。
【００３１】
表示装置１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０と称する）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。
【００３２】
ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。
【００３３】
液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル１４０の詳細については、後述する。
【００３４】
内部ＩＦ（Interface）１７８は、本体装置１０１と表示装置１０２との間で、データの遣り取りを仲介する。
【００３５】
バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。
【００３６】
画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。
【００３７】
ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。
【００３８】
タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。
【００３９】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する（図７〜図９）。
【００４０】
なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示装置１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、電子機器１００が常に備える構成ではなく、電子機器１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。
【００４１】
ここで、表示装置１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示装置１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。
【００４２】
ところで、電子機器１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。
【００４３】
図２に示される電子機器１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１７１、ＲＯＭ１７２、メモリカード１７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器１００の本体装置１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【００４４】
なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible  Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【００４５】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４６】
＜光センサ内蔵液晶パネルの構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。
【００４７】
図３を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。
【００４８】
また、図２に示した表示装置１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。
【００４９】
走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【００５０】
データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。
【００５１】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【００５２】
画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図３の縦方向にｍ個、横方向にｎ個配されている。
【００５３】
画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。
【００５４】
なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示装置１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。
【００５５】
Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、Ｒサブピクセル回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。
【００５６】
ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。
【００５７】
光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。
【００５８】
そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。
【００５９】
また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。
【００６０】
なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。
【００６１】
光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。
【００６２】
フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。
【００６３】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。
【００６４】
スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。
【００６５】
アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図２に示した信号処理部１８３に送られる。
【００６６】
なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。
【００６７】
図４は、液晶パネル１４０とバックライト１７９との断面図である。図４を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。
【００６８】
アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５と、データ信号線１５７と、配向膜１６４とを含む。さらに、図４には示していないが、アクティブマトリクス基板１５１Ａは、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。
【００６９】
また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５とデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。
【００７０】
対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。
【００７１】
また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と同一の層に形成されている。
【００７２】
カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。
【００７３】
液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。
【００７４】
なお、フォトダイオード１４５の位置は、上記の位置に限定されるものではなく、カラーフィルタ１５３ｒに対向する位置やカラーフィルタ１５３ｇに対向する位置に設けることも可能である。
【００７５】
ここで、光センサ回路１４４の動作について説明する。図５は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図３に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。
【００７６】
以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【００７７】
まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（１）で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。
【００７８】
ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ  …  （１）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。
【００７９】
ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。
【００８０】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。
【００８１】
このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。
【００８２】
なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。
【００８３】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。
【００８４】
このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。
【００８５】
この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。
【００８６】
ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。
【００８７】
ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、液晶パネル１４０における各光センサ回路の動作について説明する。
【００８８】
まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。
【００８９】
なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【００９０】
１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【００９１】
以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。
【００９２】
なお、表示装置１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル１４０から出力される。このため、以下では、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【００９３】
また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
【００９４】
以下では、電子機器１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。
【００９５】
このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。
【００９６】
図６は、液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５がバックライト１７９からの光を受光する構成を示した図である。
【００９７】
図６を参照して、ユーザの指９００が液晶パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９００（略平面）にて反射される。そして、フォトダイオード１４５は、当該反射された光を受光する。
【００９８】
また、指９００が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９００にて反射される。この場合においても、フォトダイオード１４５は、当該反射された光を受光する。ただし、当該領域においては液晶パネル１４０の表面に指９００が接触していないため、指９００が接触している領域よりも、フォトダイオード１４５の受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９００に到達しない光のほとんどについては、フォトダイオード１４５は受光できない。
【００９９】
ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４は、ユーザの指９００により反射した光の光量に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。
【０１００】
以上により、表示装置１０２は、指９００によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。
【０１０１】
なお、指９００以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器１００の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。
【０１０２】
＜データについて＞
次に、センシングコマンドについて説明する。なお、表示装置１０２においては、画像処理エンジン１８０は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ（つまり、応答データ）を本体装置１０１に送り返す。
【０１０３】
図７は、センシングコマンドの概略構成を示した図である。図７を参照して、センシングコマンドは、ヘッダのデータ領域ＤＡ０１と、タイミングを示すデータ領域ＤＡ０２と、データ種別を示すデータ領域ＤＡ０３と、読取方式を示すデータ領域ＤＡ０４と、画像階調を示すデータ領域ＤＡ０５と、解像度を示すデータ領域ＤＡ０６と、予備のデータ領域ＤＡ０７とを含む。
【０１０４】
図８は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【０１０５】
図８を参照して、タイミングを示すデータ領域に「００」が設定されたセンシングコマンドは、画像処理エンジン１８０に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン１８０が受信した後に、光センサ回路１４４を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「０１」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「１０」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
【０１０６】
データ種別を示すデータ領域に「００１」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「０１０」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「１００」が設定されたセンシングコマンドは、全体画像の送信を要求する。
【０１０７】
ここで、「全体画像」とは、ｍ×ｎ個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン１８０により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【０１０８】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル１４０の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【０１０９】
読取方式を示すデータ領域に「００」が設定されたセンシングコマンドは、バックライト１７９を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「０１」が設定されたセンシングコマンドは、バックライト１７９を消灯してスキャンすることを要求する。なお、バックライト１７９を消灯してスキャンする構成については後述する（図１２）。さらに、読取方式を示すデータ領域に「１０」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト１７９を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
【０１１０】
画像階調を示すデータ領域に「００」が設定されたセンシングコマンドは、白黒の２値の画像データを要求する。また、画像階調を示すデータ領域に「０１」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「１０」が設定されたセンシングコマンドは、ＲＧＢのカラーの画像データを要求する。
【０１１１】
解像度を示すデータ領域に「０」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「１」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
【０１１２】
また、センシングコマンドには、図７および図８に示したデータ以外に、スキャンを行う領域（光センサ回路１４４を駆動する画素の領域）の指定、スキャンを行うタイミング、バックライト１７９の点灯のタイミングなどが記述されている。
【０１１３】
図９は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置１０２の画像処理エンジン１８０が本体装置１０１に対して送信するデータである。
【０１１４】
図９を参照して、応答データは、ヘッダのデータ領域ＤＡ１１と、座標を示すデータ領域ＤＡ１２と、時刻を示すデータ領域ＤＡ１３と、画像を示すデータ領域ＤＡ１４とを含む。ここで、座標を示すデータ領域ＤＡ１２には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン１８０のタイマ１８２から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン１８０により処理がされた後の画像データ（つまり、スキャンデータ）が書き込まれる。
【０１１５】
図１０は、指９００をスキャンすることにより得られた画像（つまり、スキャン画像）を示した図である。図１０を参照して、太実線で囲まれた領域Ｗ１の画像が全体画像であり、破線で囲まれた領域Ｐ１の画像が部分画像である。また、太線で示した十字の中心点Ｃ１が、中心座標となる。
【０１１６】
本実施の形態では、矩形の領域であって、かつセンサ信号線ＳＳｊからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素（つまり、予め定められた階調または予め定められた輝度以上の画素）全てを含む領域を、部分画像の領域としている。
【０１１７】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点（つまり図心）との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【０１１８】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【０１１９】
センシングコマンドのデータ種別を示すデータ領域に「００１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に上記中心座標の値を書き込む。この場合、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４には画像データを書き込まない。画像処理エンジン１８０は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「００１」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【０１２０】
また、センシングコマンドのデータ種別を示すデータ領域に「０１０」が設定されている場合には、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１０」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【０１２１】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指９００などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【０１２２】
また、センシングコマンドのデータ種別を示すデータ領域に「０１１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【０１２３】
また、センシングコマンドのデータ種別を示すデータ領域に「１００」が設定されている場合には、画像処理エンジン１８０は、図９に示した応答データの画像を示すデータ領域ＤＡ１４に、全体画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１００」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【０１２４】
また、センシングコマンドのデータ種別を示すデータ領域に「１０１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４に全体画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１０１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【０１２５】
＜変形例について＞
ところで、液晶パネル１４０の構成は、図３に示した構成に限定されるものではない。以下では、図３とは異なる態様の液晶パネルについて説明する。
【０１２６】
図１１は、上記異なる態様である光センサ内蔵液晶パネル１４０Ａの回路図である。図１１を参照して、光センサ内蔵液晶パネル１４０Ａ（以下、液晶パネル１４０Ａと称する）は、１画素内に３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含んでいる。このように液晶パネル１４０Ａが１画素内に３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を備える点において、液晶パネル１４０Ａは、１画素内に１つの光センサ回路を備える液晶パネル１４０と異なる。なお、光センサ回路１４４の構成と、３つの各光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）との構成は同じである。
【０１２７】
また、１画素内における３つのフォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）は、それぞれ、カラーフィルタ１５３ｒ、カラーフィルタ１５３ｇ、カラーフィルタ１５３ｂに対向する位置に配されている。それゆえ、フォトダイオード１４５ｒは赤色の光を受光し、フォトダイオード１４５ｇは緑色の光を受光し、フォトダイオード１４５ｂは青色の光を受光する。
【０１２８】
また、液晶パネル１４０は１画素内において１つの光センサ回路１４４しか含まないため、１画素内に配設されるＴＦＴ１４７用のデータ信号線は、センサ信号線ＳＳｊとセンサ信号線ＳＤｊとの２本であった。しかしながら、液晶パネル１４０Ａは１画素内において３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含むため、１画素内に配設されるＴＦＴ（１４７ｒ，１４７ｇ，１４７ｂ）用のデータ信号線は６本となる。
【０１２９】
具体的には、カラーフィルタ１５３ｒに対向する位置に配されたフォトダイオード１４５ｒのカソードに接続されたＴＦＴ１４７ｒに対応して、センサ信号線ＳＳＲｊとセンサ信号線ＳＤＲｊとが配設される。また、カラーフィルタ１５３ｇに対向する位置に配されたフォトダイオード１４５ｇのカソードに接続されたＴＦＴ１４７ｇに対応して、センサ信号線ＳＳＧｊとセンサ信号線ＳＤＧｊとが配設される。さらに、カラーフィルタ１５３ｂに対向する位置に配されたフォトダイオード１４５ｂのカソードに接続されたＴＦＴ１４７ｂに対応して、センサ信号線ＳＳＢｊとセンサ信号線ＳＤＢｊとが配設される。
【０１３０】
このような液晶パネル１４０Ａにおいては、バックライト１７９から照射された白色光は、３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）を透過し、液晶パネル１４０Ａの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）を透過する。
【０１３１】
この際、カラーフィルタ１５３ｒは赤色の波長の光を透過し、フォトダイオード１４５ｒは、当該赤色の波長の光を受光する。また、カラーフィルタ１５３ｇは緑色の波長の光を透過し、フォトダイオード１４５ｇは、当該緑色の波長の光を受光する。また、カラーフィルタ１５３ｂは青色の波長の光を透過し、フォトダイオード１４５ｂは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）によって３原色（Ｒ，Ｇ，Ｂ）に色分解され、各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）は、それぞれに対応した色の光を受光する。
【０１３２】
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）の受光量が各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）で異なることになる。このため、センサ信号線ＳＳＲｊとセンサ信号線ＳＳＧｊとセンサ信号線ＳＳＢｊとの出力電圧は互いに異なる。
【０１３３】
それゆえ、各出力電圧に応じて、Ｒの階調とＧの階調とＢの階調とを画像処理エンジン１８０が決定することにより、画像処理エンジン１８０はＲＧＢのカラー画像を本体装置１０１へ送ることができる。
【０１３４】
以上述べたように、電子機器１００が液晶パネル１４０Ａを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
【０１３５】
次に、図６を参照して説明したスキャンの方法（つまり、反射像をスキャンする方法）とは異なるスキャンの方法について、図１２を参照して説明する。
【０１３６】
図１２は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図１２を参照して、外光の一部は、指９００によって遮られる。それゆえ、指９００と接触している液晶パネル１４０の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指９００の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【０１３７】
ここで、バックライト１７９を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路１４４は、液晶パネル１４０の表面に対する指９００の位置に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９を点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。
【０１３８】
以上により、表示装置１０２は、指９００によって外光が遮られることにより得られる像（以下、影像とも称する）をスキャンすることができる。
【０１３９】
さらに、表示装置１０２を、バックライト１７９を点灯させてスキャンを行った後に、バックライト１７９を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置１０２を、バックライト１７９を消灯させてスキャンを行った後に、バックライト１７９を点灯させて再度スキャンを行う構成としてもよい。
【０１４０】
この場合には、２つのスキャン方式を併用することになるため、２つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【０１４１】
＜媒体２００の構成について＞
図１３は、媒体２００の第１面２０１を示した図である。図１３を参照して、媒体２００は、第１面２０１から当該第１面２０１の裏面（後述する第２面２０２）へ貫通する穴２１１，２１２，２１３が形成されている。また、第１面２０１には、５つの文字情報（Ｃ１１〜Ｃ１５）が表示されている。なお、以下では、貫通する穴を「貫通穴」と称する。
【０１４２】
文字情報Ｃ１１は、穴２１１の周囲に表示されている。文字情報Ｃ１２，Ｃ１３は、貫通穴２１２の周囲に表示されている。文字情報Ｃ１４，Ｃ１５は、貫通穴２１３の周囲に表示されている。なお、以下では、上記５つの文字情報（Ｃ１１〜Ｃ１５）をまとめて、「第１情報」ともいう。
【０１４３】
図１４は、媒体２００の第２面２０２を示した図である。図１４を参照して、第２面２０２には、バーコード情報Ｃ２１が表示されている。なお、バーコード情報Ｃ２１の表示位置は、特に限定されるものではない。なお、以下では、バーコード情報Ｃ２１を、「第２情報」ともいう。
【０１４４】
また、本実施の形態では、第２面２０２にバーコード情報が表示された例に挙げて説明するが、第２面２０２に表示される情報は、バーコード情報以外の情報であってもよい。第２面２０２に表示される情報は、電子機器１００が認識できる情報であればよい。たとえば、表示システム１は、バーコード情報の代わりに、２次元コードを用いてもよい。
【０１４５】
＜電子機器１００の機能ブロックについて＞
図１５は、電子機器１００の機能ブロックを示した図である。図１５を参照して、電子機器１００は、制御部１０と、記憶装置９０と、液晶パネル１４０とを含む。制御部１０は、スキャン部１１と、特定部１２と、抽出部１３と、取得部１４と、対応付部１５と、表示制御部１６とを含む。なお、記憶装置９０は、ＲＡＭ１７１やハードディスク（図示せず）により構成される。
【０１４６】
スキャン部１１は、媒体２００の第２面２０２と液晶パネル１４０の表示面とが対向した状態で、液晶パネル１４０に第２面２０２をスキャンさせる。スキャン部１１は、当該スキャンにより得られたスキャンデータを、特定部１２と抽出部１３とに送る。
【０１４７】
特定部１２は、スキャンデータに基づいて、液晶パネル１４０の表示面における、貫通穴２１１，２１２，２１３の各々に対応する各対応領域を特定する。具体的には、特定部１２は、３つの対応領域を特定する。特定部１２は、特定した対応領域の位置を示した位置情報を、対応付部１５に送る。対応領域の具体例については、後述する（図２１および図２２）。
【０１４８】
抽出部１３は、スキャンデータから、バーコード情報Ｃ２１に対応するデータを抽出する。つまり、抽出部１３は、第２面２０２をスキャンした際に得られるスキャンデータから、第２面２０２に表示されたバーコード情報Ｃ２１に対応するデータを抽出する。抽出部１３は、当該抽出したデータを取得部１４に送る。なお、抽出されたデータは、互いに異なる識別子を有する要素データを複数個含む。なお、以下では、当該識別子を、「要素データの識別子」または「第１識別子」とも称する。
【０１４９】
取得部１４は、サーバ装置３００に記憶されている情報（以下、「第３情報」とも称する）のうち、上記抽出されたデータに関連する情報を、ネットワークを介してサーバ装置３００から取得する。なお、サーバ装置３００に記憶されている情報については、後述する（図２０）。
【０１５０】
対応付部１５は、各対応領域の位置関係に基づき、互いに異なる識別子を、各対応領域の位置を示す位置情報に対応付ける。対応付部１５は、互いに対応付けられた識別子と位置情報とを表示制御部１６に送る。本実施の形態では、３つの対応領域が存在する。したがって、互いに対応付けられた識別子と位置情報とを含むデータを組データとすると、対応付部１５は、３組の組データを表示制御部１６に送る。なお、以下では、当該識別子を、「対応領域の識別子」または「第２識別子」とも称する。対応領域の識別子および位置情報の具体例については、後述する（図１６）。
【０１５１】
表示制御部１６は、上記抽出されたデータに基づいた情報を、対応領域に表示させる。具体的には、表示制御部１６は、サーバ装置３００から取得した情報を、対応領域に表示させる。より詳しくは、表示制御部１６は、上記要素データに基づく情報を、３つの対応領域のうち当該要素データに対応した対応領域に、要素データ毎に表示させる。なお、要素データについては、後述する（図１７および図１８）。
【０１５２】
なお、電子機器１００は、バックライト１７９を点灯させて、媒体２００の第２面２０２のスキャンを行えばよい（図６参照）。ただし、貫通穴２１１，２１２，２１３の各々に対応する対応領域を正確に特定するためには、電子機器１００は、バックライト１７９を消灯させて再度スキャンを行う構成とすることが好ましい（図１２参照）。なお、電子機器１００は、バックライト１７９を消灯させてスキャンを行い、その後に、バックライト１７９を点灯させてスキャンを行ってもよい。
【０１５３】
＜データ構造について＞
図１６は、対応領域の識別子を対応領域の位置情報に対応付けた後のデータを示した図である。なお、当該対応付けは、上述したとおり対応付部１５により行なわれる。また、図１６に示した対応領域の位置情報は、一例であり、これに限定されるものではない。なお、位置情報は、対応領域を特定するデータであればよい。同図は、貫通穴２１１，２１２，２１３が矩形であり、位置情報が矩形の頂点座標として示された例を示している。
【０１５４】
対応付部１５は、たとえば以下のように、位置情報に対して対応領域の識別子Ｈ０１，Ｈ０２，Ｈ０３を対応付ける。
【０１５５】
まず、対応付部１５は、データ番号１のｘ座標の最小値（たとえば、ｘ１２）と、データ番号２のｘ座標の最小値と、データ番号３のｘ座標の最小値とを比較する。なお、座標系は、図２１および図２２に示すとおりとする。対応付部１５は、上記３つの最小値のうち最も小さいｘ座標値を含むデータ番号を特定する。対応付部１５は、当該特定したデータ番号の位置情報に対して、識別子Ｈ０１を対応付ける。同図は、データ番号２の位置情報に識別子Ｈ０１が対応付けされた例を示している。
【０１５６】
次に、対応付部１５は、上記３つの最小値のうち２番目に小さいｘ座標値を含むデータ番号を特定する。対応付部１５は、当該特定したデータ番号の位置情報に対して、識別子Ｈ０２を対応付ける。同図は、データ番号１の位置情報に識別子Ｈ０２が対応付けされた例を示している。
【０１５７】
最後に、対応付部１５は、上記３つの最小値のうち最も大きいｘ座標値を含むデータ番号を特定する。対応付部１５は、当該特定したデータ番号の位置情報に対して、識別子Ｈ０３を対応付ける。同図は、データ番号１の位置情報に識別子Ｈ０３が対応付けされた例を示している。
【０１５８】
上記の例において、たとえば、データ番号１のｘ座標の最小値とデータ番号３のｘ座標の最小値とが同じ値であった場合を説明する。対応付部１５は、データ番号１のｙ座標の最小値と、データ番号３のｙ座標の最小値とを比較する。次に、対応付部１５は、上記２つの最小値のうち小さい方のｙ座標値を含むデータ番号を特定する。対応付部１５は、当該特定したデータ番号の位置情報に対して、識別子Ｈ０２を対応付ける。また、対応付部１５は、上記２つの最小値のうち大きい方のｙ座標値を含むデータ番号を特定する。対応付部１５は、当該特定したデータ番号の位置情報に対して、識別子Ｈ０３を対応付ける。
【０１５９】
また、媒体２００の第２面２０２に、媒体２００の向きを特定するための記号を表示しておいてもよい。例えば、第２面２０２の４つの隅のうち、３つの隅に図形を表示しておけばよい。また、第２面２０２にバーコード情報を表示する代わりに、ＱＲコード（登録商標）やＤａｔａ  Ｍａｔｒｉｘなどの２次元コードを使用する場合には、それぞれ、切り出しシンボル、アライメントパターンを、上記向きを特定するための記号として用いればよい。
【０１６０】
図１７は、抽出部１３により抽出されたデータの概要を示した図である。図１７を参照して、当該データは、データ領域ＤＡ２１，ＤＡ２２，ＤＡ２３，ＤＡ２４，ＤＡ２５を含む。データ領域ＤＡ２２は、電子機器１００のアクセス先であるサーバ装置３００のアドレスを格納している。データ領域ＤＡ２３は、第１要素データを格納している。データ領域ＤＡ２４は、第２要素データを格納している。データ領域ＤＡ２５は、第３要素データを格納している。
【０１６１】
また、第１要素データは、要素データの識別子として、「Ｊ０１」を含んでいる。第２要素データは、要素データの識別子として、「Ｊ０２」を含んでいる。第３要素データは、要素データの識別子として、「Ｊ０３」を含んでいる。
【０１６２】
なお、電子機器１００は、第１要素データ、第２要素データ、および第３要素データを含んだ要求データを、データ領域ＤＡ２２に示されたサーバ装置３００に送信する。
【０１６３】
図１８は、各要素データが示す内容を例示した図である。図１８を参照して、第１要素データは、店の店名として「奈良店」を示す。第２要素データは、商品名として「商品２」を示す。第３要素データは、商品名として「商品５」を示す。なお、商品２および商品３は、具体的な商品名であってもよい。あるいは、商品２および商品５は、商品名を特定する情報であってもよい。以下では、一例として、商品２を牛乳とし、商品５を卵（Ｌ）一パックとして説明する。
【０１６４】
図１９は、要素データの識別子と対応領域の識別子との対応関係を示した対応情報を示した図である。なお、当該対応情報は、電子機器１００の記憶装置９０に記憶されている。図１９を参照して、要素データの識別子「Ｊ０１」は、対応領域の識別子「Ｈ０１」に対応付けされている。要素データの識別子「Ｊ０２」は、対応領域の識別子「Ｈ０２」に対応付けされている。要素データの識別子「Ｊ０３」は、対応領域の識別子「Ｈ０３」に対応付けされている。
【０１６５】
図２０は、サーバ装置３００に記憶されているデータ（つまり、第３情報）を示した図である。図２０を参照して、サーバ装置３００は、商品名と当該各商品の値段情報とを店名毎に対応付けて記憶している。たとえば、奈良店では、商品２（牛乳）の値段が１３８円に設定されている。また、同店では、商品５（卵（Ｌ）一パック）の値段が４９円に設定されている。なお、サーバ装置３００の操作キーなどを介したサーバ装置３００のユーザ操作に基づき、サーバ装置３００は値段情報を逐次更新する。
【０１６６】
電子機器１００は、要求データに対する応答データとして各要素データが示す内容に関連するデータをサーバ装置３００から取得する。たとえば、電子機器１００は、商品２の値段（つまり１３８円）と商品５の値段（つまり４９円）とをサーバ装置３００から取得する。なお、当該取得された値段情報は、「抽出されたデータに基づいた情報」に該当する。
【０１６７】
＜画面の遷移について＞
図２１は、電子機器１００がサーバ装置３００から値段情報を取得する前の表示システム１の状態を示した図である。なお、以下では、特定部１２が対応領域を既に特定しているとして説明する。
【０１６８】
図２１を参照して、電子機器１００は値段情報をサーバ装置３００から取得していないため、電子機器１００は、液晶パネル１４０の表示面における３つの対応領域Ｍ１１，Ｍ１２，Ｍ１３に情報を表示しない。
【０１６９】
図２２は、電子機器１００がサーバ装置３００から値段情報を取得した後の表示システム１の状態を示した図である。図２２を参照して、電子機器１００は、対応領域Ｍ１１に店名を示す文字情報Ｃ３１を表示する。なお、店名については、第１要素データに示されているため、サーバ装置３００から取得する必要は必ずしもない。
【０１７０】
また、電子機器１００は、対応領域Ｍ１２に、商品２の値段情報である文字情報Ｃ３２を表示する。さらに、電子機器１００は、対応領域Ｍ１３に、商品５の値段情報である文字情報Ｃ３３を表示する。
【０１７１】
ところで、いずれの対応領域Ｍ１１〜Ｍ１３に、店名、商品２の値段、商品５の値段を示すかは、対応領域の識別子と対応領域の位置情報との関係（図１６参照）、および対応情報（図１９参照）に基づき表示制御部１６が決定する。
【０１７２】
たとえば、図１９を再び参照して、要素データの識別子「Ｊ０１」は対応領域の識別子「Ｈ０１」に対応付けされている。図１６を再び参照して、対応領域の識別子「Ｈ０１」は、データ番号２の対応領域の位置情報に対応付けられている。したがって、電子機器１００は、要素データの識別子「Ｊ０１」を含む第１要素データに関する情報（店名）を、データ番号２で示される対応領域に表示する。この場合、データ番号２で示される対応領域は、図２１および図２２に示す対応領域Ｍ１１となる。
【０１７３】
また、図１９を参照して、要素データの識別子「Ｊ０２」は対応領域の識別子「Ｈ０２」に対応付けされている。図１６を参照して、対応領域の識別子「Ｈ０２」は、データ番号１の対応領域の位置情報に対応付けされている。したがって、電子機器１００は、要素データの識別子「Ｊ０２」を含む第２要素データに関する情報（商品２の値段）を、データ番号１で示される対応領域に表示する。この場合、データ番号１で示される対応領域は、図２１および図２２に示す対応領域Ｍ１２となる。
【０１７４】
さらに、図１９を参照して、要素データの識別子「Ｊ０３」は対応領域の識別子「Ｈ０３」に対応付けられている。図１６を参照して、対応領域の識別子「Ｈ０３」は、データ番号３の対応領域の位置情報に対応付けられている。したがって、電子機器１００は、要素データの識別子「Ｊ０３」を含む第３要素データに関する情報（商品５の値段）を、データ番号３で示される対応領域に表示する。この場合、データ番号３で示される対応領域は、図２１および図２２に示す対応領域Ｍ１３となる。
【０１７５】
以上の表示処理により、電子機器１００のユーザは、媒体２００の各貫通穴２１１，２１２，２１３を介して、店名と商品の値段とを確認することができる。
【０１７６】
＜電子機器１００のフローチャート＞
図２３は、電子機器１００の処理のフローを示したフローチャートである。図２３を参照して、ステップＳ１において、電子機器１００は、媒体２００の第２面２０２をスキャンする。ステップＳ２において、電子機器１００は、貫通穴２１１，２１２，２１３に対応する対応領域Ｍ１１，Ｍ１２，Ｍ１３を特定する。ステップＳ３において、電子機器１００は、スキャンにより得られたスキャンデータからバーコード情報Ｃ２１のスキャンにより得られるデータを抽出する。ステップＳ４において、電子機器１００は、サーバ装置３００から取得した情報を対応領域Ｍ１１，Ｍ１２，Ｍ１３に表示する。
【０１７７】
図２４は、図２３に示されるステップＳ５における処理の詳細を示したフローチャートである。図２４を参照して、ステップＳ１１において、電子機器１００は、要素データに含まれる第１識別子Ｊ０１，Ｊ０２，Ｊ０３を取得する。ステップＳ１２において、電子機器１００は、各対応領域Ｍ１１，Ｍ１２，Ｍ１３の位置を示す位置情報に、第２識別子Ｈ０１，Ｈ０２，Ｈ０３を対応付ける。ステップＳ１３において、電子機器１００は、要素データに基づく情報を、当該要素データに対応した対応領域Ｍ１１，Ｍ１２，Ｍ１３に要素データ毎に表示する。
【０１７８】
＜まとめ＞
（１）表示システム１は、媒体２００を備える。媒体２００には、上述したように、第１面２０１から当該第１面２０１の裏面である第２面２０２への貫通穴２１１，２１２，２１３が形成されている。また、媒体２００の第１面２０１には文字情報（第１情報）が表示されている。さらに、媒体２００の第２面２０２には、文字情報に関連するバーコード情報Ｃ２１が表示されている。
【０１７９】
表示システム１は、電子機器１００をさらに備える。電子機器１００は、複数の光センサを表示面に沿って内蔵した液晶パネル１４０を含む。また、電子機器１００は、媒体２００の第２面２０２と液晶パネル１４０の表示面とが対向した状態で、液晶パネル１４０に第２面２０２をスキャンさせるスキャン部１１を含む。また、電子機器１００は、スキャンにより得られたスキャンデータに基づいて、表示面における貫通穴２１１，２１２，２１３に対応する対応領域Ｍ１１，Ｍ１２，Ｍ１３を特定する特定部１２を含む。さらに、電子機器１００は、スキャンデータから、バーコード情報Ｃ２１に対応するデータを抽出する抽出部１３を含む。また、電子機器１００は、抽出されたデータに基づいた情報を、特定された対応領域Ｍ１１，Ｍ１２，Ｍ１３に表示させる表示制御部１６を含む。
【０１８０】
それゆえ、電子機器１００は、液晶パネル１４０の表示面上に載置された媒体２００の貫通穴２１１，２１２，２１３に対応する対応領域Ｍ１１，Ｍ１２，Ｍ１３に、バーコード情報Ｃ２１に関連するデータに基づいた情報を表示する。また、バーコード情報Ｃ２１は、第１面２０１に表示された文字情報に関連している。したがって、電子機器１００は、対応領域Ｍ１１，Ｍ１２，Ｍ１３に、文字情報に関連している情報（店名や金額情報）を表示することができる。
【０１８１】
その結果、電子機器１００のユーザは、液晶パネル１４０の表示面上に載置された媒体２００の貫通穴２１１，２１２，２１３を通して、媒体２００の第１面２０１に表示された文字情報Ｃ１１〜Ｃ１５に関連する情報を視認することができる。
（２）表示システム１は、少なくとも、上記抽出されたデータに関連する情報を記憶しているサーバ装置３００をさらに備える。電子機器１００は、ネットワークを介してサーバ装置３００から、上記抽出されたデータに関連する情報を取得する取得部１４をさらに含む。表示制御部１６は、抽出されたデータに基づいた情報として、取得部１４によって取得された情報を、特定された対応領域Ｍ１１，Ｍ１２，Ｍ１３に表示させる。
【０１８２】
したがって、電子機器１００は、サーバ装置３００から取得した情報であって、媒体２００の第２面２０２に表示されていたバーコード情報Ｃ２１に関連する情報を、電子機器１００における表示面の対応領域Ｍ１１，Ｍ１２，Ｍ１３に表示することができる。
（３）上述したとおり、抽出部１３によって抽出されたデータは、少なくとも貫通穴２１１，２１２，２１３と同数の要素データ（第１要素データ，第２要素データ，第３要素データ）を含んでいる。特定部１２は、スキャンデータに基づいて、複数の貫通穴２１１，２１２，２１３の各々に対応する対応領域Ｍ１１，Ｍ１２，Ｍ１３をそれぞれに特定する。
【０１８３】
表示制御部１６は、上記要素データに基づく情報を、複数の対応領域Ｍ１１，Ｍ１２，Ｍ１３のうち当該要素データに対応した対応領域に、要素データ毎に表示させる。つまり、表示制御部１６は、第１要素データに基づく情報（店名）を対応領域Ｍ１１に表示させる。また、表示制御部１６は、第２要素データに基づく情報（牛乳の値段）を対応領域Ｍ１２に表示させる。さらに、表示制御部１６は、第３要素データに基づく情報（卵（Ｌ）一パックの値段）を対応領域Ｍ１３に表示させる。
【０１８４】
したがって、ユーザは、各要素データを、それぞれに異なる対応領域において視認することができる。
（４）上述したとおり、各要素データには、要素データ毎に異なる第１識別子Ｊ０１，Ｊ０２，Ｊ０３が含まれている。電子機器１００は、各対応領域Ｍ１１，Ｍ１２，Ｍ１３の位置関係に基づき、互いに異なる第２識別子Ｈ０１，Ｈ０２，Ｈ０３を、各対応領域Ｍ１１，Ｍ１２，Ｍ１３の位置を示す位置情報に対応付ける対応付部１５をさらに備える。また、電子機器１００は、第１識別子Ｊ０１，Ｊ０２，Ｊ０３と第２識別子Ｈ０１，Ｈ０２，Ｈ０３との対応関係を示した対応情報を記憶している記憶装置９０をさらに備える。
【０１８５】
表示制御部１６は、各要素データに含まれる第１識別子Ｊ０１，Ｊ０２，Ｊ０３と、上記対応付けされた第２識別子Ｈ０１，Ｈ０２，Ｈ０３と、上記対応情報とに基づき、要素データに基づく情報を、複数の対応領域Ｍ１１，Ｍ１２，Ｍ１３のうち当該要素データに対応した対応領域に、要素データ毎に表示させる。なお、要素データに対応した対応領域は、当該要素データに含まれる第１識別子との間で対応関係にある第２識別子が対応付けされた位置情報で示される領域である。
【０１８６】
したがって、電子機器１００は、液晶パネル１４０上における媒体２００の載置の状態（たとえば、図２１の状態から傾いた状態）に関わらず、各対応領域Ｍ１１，Ｍ１２，Ｍ１３に表示すべき情報を表示することができる。それゆえ、ユーザは、液晶パネル１４０上における媒体２００の載置の状態に関わらず、各貫通穴２１１，２１２，２１３を通して、適切な情報を視認することができる。
【０１８７】
＜表示システムの変形例１＞
次に、表示システム１の変形例である表示システム（以下、「第２の表示システム」と称する）について説明する。第２の表示システムは、当該第２の表示システムを構成する媒体の構成とサーバ装置３００に記憶されているデータ内容とが、表示システム１と異なる。
【０１８８】
図２５は、第２の表示システムが備える媒体２００Ａを示した図である。図２５を参照して、媒体２００Ａは、媒体２００Ａの第１面２０１Ａに、アフリカ象を示した図形Ｃ３１と、文字情報Ｃ３２，Ｃ３３とが表示されている。また、媒体２００Ａは、貫通穴２１１Ａが形成されている。なお、媒体２００Ａは、動物の名前を幼児に学習させるための教材である。
【０１８９】
また、第１面２０１Ａの裏面である第２面には、媒体２００と同様に、バーコード情報が表示されている。当該バーコード情報は、電子機器１００がアクセスするサーバ装置３００のアドレスや、「あふりか」といった情報を含む応答信号をサーバ装置３００から得るための要素データなどを含む。
【０１９０】
図２６は、第２の表示システムが備える媒体２００Ｂを示した図である。図２６を参照して、媒体２００Ｂの第１面２０１Ｂに、麒麟を示した図形Ｃ４１と、文字情報Ｃ４２とが表示されている。また、媒体２００Ｂには、貫通穴２１１Ｂが形成されている。なお、媒体２００Ｂも、媒体２００Ａと同様、動物の名前を幼児に学習させるための教材である。
【０１９１】
また、第１面２０１Ｂの裏面である第２面には、媒体２００と同様に、バーコード情報が表示されている。当該バーコード情報は、電子機器１００がアクセスするサーバ装置３００のアドレスや、「きりん」といった情報を含む応答信号をサーバ装置３００から得るための要素データなどを含む。
【０１９２】
図２７は、第２の表示システムが備える媒体２００Ｃを示した図である。図２７を参照して、媒体２００Ｃの第１面２０１Ｃに、てんとう虫を示した図形Ｃ５１と、文字情報Ｃ５２，５３とが表示されている。また、媒体２００Ｃには、貫通穴２１１Ｃが形成されている。なお、媒体２００Ｃも、媒体２００Ａおよび媒体２００Ｂと同様、動物の名前を幼児に学習させるための教材である。
【０１９３】
また、第１面２０１Ｃの裏面である第２面には、媒体２００と同様に、バーコード情報が表示されている。当該バーコード情報は、電子機器１００がアクセスするサーバ装置３００のアドレスや、「てんとう」といった情報を含む応答信号をサーバ装置３００から得るための要素データなどを含む。
【０１９４】
図２８は、各媒体２００Ａ，２００Ｂ，２００Ｃを、液晶パネル１４０の上に載置した状態を示した図である。図２８を参照して、電子機器１００は、貫通穴２１１Ａに対応する対応領域Ｍ２１に、「あふりか」といった文字を表示する。また、電子機器１００は、貫通穴２１１Ｂに対応する対応領域Ｍ２２に、「きりん」といった文字を表示する。さらに、電子機器１００は、貫通穴２１１Ｃに対応する対応領域Ｍ２３に、「てんとう」といった文字を表示する。
【０１９５】
＜表示システムの変形例２＞
次に、第２の表示システムの変形例である表示システム（以下、「第３の表示システム」と称する）について説明する。第３の表示システムは、媒体２００Ａ，２００Ｂ，２００Ｃと、電子機器１００Ａ（図２９参照）とを含む。つまり、第３の表示システムは、サーバ装置３００を含まない点で、上記第２の表示システムと異なる。
【０１９６】
図２９は、電子機器１００Ａの機能ブロックを示した図である。図２９を参照して、電子機器１００Ａは、制御部１０Ａと、記憶装置９０Ａと、液晶パネル１４０とを含む。制御部１０Ａは、スキャン部１１と、特定部１２と、抽出部１３と、取得部１４Ａと、対応付部１５と、表示制御部１６とを含む。また、記憶装置９０Ａは、第１記憶部９１と第２記憶部９２とを含む。なお、記憶装置９０Ａは、ＲＡＭ１７１やハードディスク（図示せず）により構成される。また、電子機器１００Ａに含まれる部材のうち、電子機器１００に含まれる部材と同一の部材については同一の番号を付し、当該部材の説明については繰り返さない。
【０１９７】
第１記憶部９１は、上記第２の表示システムのサーバ装置３００が記憶している情報と同様の情報を記憶している。言い換えると、第３の表示システムにおいては、表示システム１のサーバ装置３００が記憶している情報を電子機器１００が記憶している。一方、第２記憶部９２は、要素データの識別子と対応領域の識別子との対応関係を示した対応情報を記憶している。
【０１９８】
取得部１４Ａは、第１記憶部９１が記憶している情報のうち、抽出部１３によって抽出されたデータに関連する情報を、第１記憶部９１から取得する。取得部１４Ａは、取得した情報を表示制御部１６に送る。表示制御部１６は、上記取得された情報を対応領域に表示させる。
【０１９９】
第３の表示システムでは、サーバ装置３００が必要でない。このため、第３の表示システムは、表示システム１や第２の表示システムに比べて、簡易なシステム構成となる。
【０２００】
＜表示システムの変形例３＞
次に、第３の表示システムの変形例である表示システム（以下、「第４の表示システム」と称する）について説明する。第４の表示システムは、媒体２００Ｄ（図３０参照）と、電子機器１００Ｂ（図３１参照）とを含む。
【０２０１】
図３０は、媒体２００Ｄの第２面２０２Ｄを示した図である。なお、媒体２００Ｄの第１面には、図２５に示した媒体２００Ａにおける第１面２０１Ａの図形Ｃ３１や文字情報Ｃ３２，Ｃ３３と同じ図形や文字が表示されている。図３０を参照して、第２面２０２Ｄには、「あふりか」といった文字情報Ｃ３４が表示されている。
【０２０２】
図３１は、電子機器１００Ｂの機能ブロックを示した図である。図３１を参照して、電子機器１００Ｂは、制御部１０Ｂと、記憶装置９０と、液晶パネル１４０とを含む。制御部１０Ｂは、スキャン部１１と、特定部１２と、抽出部１３Ａと、対応付部１５と、表示制御部１６Ａとを含む。電子機器１００Ｂは、取得部１４を含まない点において、電子機器１００，１００Ａと異なる。なお、電子機器１００Ｂに含まれる部材のうち、電子機器１００，１００Ａに含まれる部材と同一の部材については同一の番号を付し、当該部材の説明については繰り返さない。
【０２０３】
抽出部１３Ａは、スキャンされたデータから「あふりか」といった文字情報を抽出する。抽出部１３Ａは、当該文字情報を表示制御部１６Ａに送る。表示制御部１６Ａは、抽出部１３Ａから受け取った文字情報を液晶パネル１４０に表示させる。
【０２０４】
以上のように、第４の表示システムでは、表示制御部１６Ａは、抽出部１３Ａが抽出した情報そのものを液晶パネル１４０に表示させる。それゆえ、第４の表示システムでは、第３の表示システムが備える第１記憶部９１が必要でない。このため、第４の表示システムは、第３の表示システムに比べて、簡易なシステム構成となる。
【０２０５】
＜媒体の変形例＞
上述した各表示システムに用いる媒体としては、必ずしも貫通穴が設けられている必要はない。各表示システムに用いる媒体は、液晶パネル１４０の表示面に当該媒体が載置された場合に、媒体の一部領域を介して当該表示面をユーザが視認可能な構成を有していればよい。
【０２０６】
たとえば、媒体は、媒体の一部が透明部材により形成され、透明部材の第１面と当該第１面の裏面である第２面とが外部に露出した構成であってもよい。なお、媒体の一部が透明部材により形成される場合には、媒体の第１面側の面には、透明部材の領域と異なる第１領域に第１情報が表示される。また、媒体の第２面側の面には、透明部材の領域と異なる第２領域に、第１情報に関連する第２情報が表示される。
【０２０７】
このような媒体の例としては、媒体２００の第１面２０１または第２面２０２に、貫通穴２１１，２１２，２１３を覆うように透明のフィルムが貼られた媒体が挙げられる。あるいは、媒体の他の例としては、互いに対応する位置に貫通穴を有する部材により、透明のフィルムを挟み込んで形成された３層の媒体が挙げられる。あるいは、媒体２００の貫通穴２１１，２１２，２１３の領域の全部または一部に透明樹脂を注入することにより構成された媒体が挙げられる。
【０２０８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２０９】
【図１】表示システムの構成を示した図である。
【図２】表示システムに含まれる電子機器のハードウェア構成を表わすブロック図である。
【図３】電子機器の液晶パネルの構成と、当該液晶パネルの周辺回路とを示した図である。
【図４】液晶パネルとバックライトとの断面図である。
【図５】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図６】液晶パネルとバックライトとの断面図であって、スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した図である。
【図７】センシングコマンドの概略構成を示した図である。
【図８】センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【図９】応答データの概略構成を示した図である。
【図１０】指をスキャンすることにより得られた画像を示した図である。
【図１１】他の光センサ内蔵液晶パネルの回路図である。
【図１２】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図１３】媒体の第１面を示した図である。
【図１４】媒体の第２面を示した図である。
【図１５】電子機器の機能ブロックを示した図である。
【図１６】対応領域の識別子を対応領域の位置情報に対応付けた後のデータを示した図である。
【図１７】抽出部により抽出されたデータの概要を示した図である。
【図１８】各要素データが示す内容を例示した図である。
【図１９】要素データの識別子と対応領域の識別子との対応関係を示した対応情報を示した図である。
【図２０】サーバ装置に記憶されているデータを示した図である。
【図２１】電子機器がサーバ装置から値段情報を取得する前の表示システムの状態を示した図である。
【図２２】電子機器がサーバ装置から値段情報を取得した後の表示システムの状態を示した図である。
【図２３】電子機器の処理のフローを示したフローチャートである。
【図２４】図２３におけるステップＳ５における処理の詳細を示したフローチャートである。
【図２５】第２の表示システムが備える他の媒体を示した図である。
【図２６】第２の表示システムが備えるさらに他の媒体を示した図である。
【図２７】第２の表示システムが備えるさらに他の媒体を示した図である。
【図２８】各媒体を液晶パネルの上に載置した状態を示した図である。
【図２９】他の電子機器の機能ブロックを示した図である。
【図３０】さらに他の媒体の第２面を示した図である。
【図３１】さらに他の電子機器の機能ブロックを示した図である。
【符号の説明】
【０２１０】
１  表示システム、１０  制御部、１０Ａ  制御部、１０Ｂ  制御部、１１  スキャン部、１２  特定部、１３  抽出部、１３Ａ  抽出部、１４  取得部、１４Ａ  取得部、１５  対応付部、１６  表示制御部、１６Ａ  表示制御部、９０  記憶装置、９０Ａ  記憶装置、９１  第１記憶部、９２  第２記憶部、１００  電子機器、１１０  ＣＰＵ、１７１  ＲＡＭ、１７２  ＲＯＭ、１４０  光センサ内蔵液晶パネル、２００  媒体、２００Ａ  媒体、２００Ｂ  媒体、２００Ｃ  媒体、２００Ｄ  媒体、２０１  第１面、２０１Ａ  第１面、２０１Ｂ  第１面、２０１Ｃ  第１面、２０２  第２面、２０２Ｄ  第２面、２１１  貫通穴、２１１Ａ  貫通穴、２１１Ｂ  貫通穴、２１１Ｃ  貫通穴、２１２  貫通穴、２１３  貫通穴、Ｃ１１〜Ｃ１５  文字情報、Ｃ２１  バーコード情報、Ｃ３１  図形、Ｃ３２〜Ｃ３４  文字情報、Ｃ４１  図形、Ｃ４２  文字情報、Ｃ５１  図形、Ｃ５２  文字情報、Ｃ５３  文字情報、Ｍ１１〜Ｍ１３  対応領域、Ｍ２１〜Ｍ２３  対応領域。
【図１】
2010117430.tif 000003
【図２】
2010117430.tif 000004
【図３】
2010117430.tif 000005
【図４】
2010117430.tif 000006
【図５】
2010117430.tif 000007
【図６】
2010117430.tif 000008
【図７】
2010117430.tif 000009
【図８】
2010117430.tif 000010
【図９】
2010117430.tif 000011
【図１０】
2010117430.tif 000012
【図１１】
2010117430.tif 000013
【図１２】
2010117430.tif 000014
【図１３】
2010117430.tif 000015
【図１４】
2010117430.tif 000016
【図１５】
2010117430.tif 000017
【図１６】
2010117430.tif 000018
【図１７】
2010117430.tif 000019
【図１８】
2010117430.tif 000020
【図１９】
2010117430.tif 000021
【図２０】
2010117430.tif 000022
【図２１】
2010117430.tif 000023
【図２２】
2010117430.tif 000024
【図２３】
2010117430.tif 000025
【図２４】
2010117430.tif 000026
【図２５】
2010117430.tif 000027
【図２６】
2010117430.tif 000028
【図２７】
2010117430.tif 000029
【図２８】
2010117430.tif 000030
【図２９】
2010117430.tif 000031
【図３０】
2010117430.tif 000032
【図３１】
2010117430.tif 000033