(57)【要約】【課題】ユーザが意識して表示態様を変更するための命令を入力しなくても、出力される画像がユーザの見易い表示態様にて表示される表示装置を提供する。【解決手段】表示装置１００は、第１の表示パネル１４０と第２の表示パネル２４０とを備える。表示装置は、第１のモードにおいて第１の表示パネルに出力画像を出力させ、第２のモードにおいて第２の表示パネルに出力画像を出力させる表示制御手段１１６と、第１および第２の入力画像の少なくとも一方が第１の条件を満たすか否かを判断する第１の判断手段１１３と、第１および第２の入力画像の少なくとも他方が第２の条件を満たすか否かを判断する第２の判断手段１１４と、第１の条件が満たされるときに第２のモードに切替え、第２の条件が満たされるときに第１のモードに切替える切替手段１１５とをさらに備える。【選択図】図１２
2010140329.tif 000002
【特許請求の範囲】
【請求項１】
第１の表示パネルを備え、
前記第１の表示パネルは、
第１の入射光を受け付ける第１の光センサ回路と、
出力画像を出力する第１の画素回路とを含み、
前記第１の表示パネルの裏側に配置される第２の表示パネルをさらに備え、
前記第２の表示パネルは、
第２の入射光を受け付ける第２の光センサ回路と、
前記出力画像を出力する第２の画素回路とを含み、
第１のモードにおいて前記第１の表示パネルに前記出力画像を出力させ、第２のモードにおいて前記第２の表示パネルに前記出力画像を出力させる表示制御手段と、
前記第１の入射光に基づいて第１の入力画像を生成する第１の生成手段と、
前記第２の入射光に基づいて第２の入力画像を生成する第２の生成手段と、
前記第１および第２の入力画像の少なくとも一方が予め設定された第１の条件を満たすか否かを判断する第１の判断手段と、
前記第１および第２の入力画像の少なくとも他方が予め設定された第２の条件を満たすか否かを判断する第２の判断手段と、
前記第１および第２の入力画像の少なくとも一方が前記第１の条件を満たすときに前記第２のモードに切替え、前記第１および第２の入力画像の少なくとも他方が前記第２の条件を満たすときに前記第１のモードに切替える切替手段とをさらに備える、表示装置。
【請求項２】
前記第１の画素回路は、第１および第２の出力画像の一方を出力し、
前記第２の画素回路は、前記第１および第２の出力画像の他方を出力し、
前記表示制御手段は、第１のモードにおいては、前記第１の表示パネルに前記第１の出力画像を出力させるとともに前記第２の表示パネルに前記第２の出力画像を出力させ、前記第２のモードにおいては、前記第１の表示パネルに前記第２の出力画像を出力させるとともに前記第２の表示パネルに前記第１の出力画像を出力させる、請求項１に記載の表示装置。
【請求項３】
前記第１の判断手段は、前記第２の入力画像に基づいて前記第２の表示パネルに接触する指の本数を取得することによって、当該指の本数に基づいて前記第１の条件が満たされるか否かを判断し、
前記第２の判断手段は、前記第１の入力画像に基づいて前記第１の表示パネルに接触する指の本数を取得することによって、当該指の本数に基づいて前記第２の条件が満たされるか否かを判断する、請求項１または２に記載の表示装置。
【請求項４】
親指を示す第１のパターン画像を記憶する記憶部をさらに備え、
前記第２の判断手段は、前記第２のモードにおいて、前記第１の入力画像と前記第１のパターン画像とに基づいて、前記第１の表示パネルに親指が接触しているか否かを判断することによって、前記第２の条件が満たされるか否かを判断し、
前記第１の判断手段は、前記第１のモードにおいて、前記第２の入力画像と前記第１のパターン画像とに基づいて、前記第２の表示パネルに親指が接触しているか否かを判断することによって、前記第１の条件が満たされるか否かを判断する、請求項１または２に記載の表示装置。
【請求項５】
表示パネルを備え、
前記表示パネルは、入射光を受け付ける光センサ回路と、出力画像を出力する画素回路とを含み、
縦モードにおいては前記表示パネルに縦用の表示態様にて前記出力画像を出力させ、横モードにおいては前記表示パネルに横用の表示態様にて前記出力画像を出力させる表示制御手段と、
前記入射光に基づいて入力画像を生成する生成手段と、
前記入力画像が予め設定された縦条件を満たすか否かを判断する縦判断手段と、
前記入力画像が予め設定された横条件を満たすか否かを判断する横判断手段と、
前記縦判断手段が前記入力画像が前記縦条件を満たすと判断したときに前記縦モードに切替え、前記横判断手段が前記入力画像が前記横条件を満たすと判断したときに前記縦モードへ切替える切替手段とをさらに備える、表示装置。
【請求項６】
４辺を有する表示パネルを備え、
前記表示パネルは、入射光を受け付ける光センサ回路と、出力画像を出力する画素回路とを含み、
第１の縦モードにおいては前記表示パネルに前記表示パネルの上辺を上とした表示態様にて前記出力画像を表示させ、第２の縦モードにおいては前記表示パネルに前記表示パネルの下辺を上とした表示態様にて前記出力画像を表示させ、第１の横モードにおいては前記表示パネルに前記表示パネルの右辺を上とした表示態様にて前記出力画像を表示させ、第２の横モードにおいては前記表示パネルに前記表示パネルの左辺を上とした表示態様にて前記出力画像を表示させる表示制御手段と、
前記入射光に基づいて入力画像を生成する生成手段と、
前記入力画像に基づいて、前記第１および第２の縦モードと前記第１および第２の横モードからいずれかのモードを選択する選択手段とをさらに備える、表示装置。
【請求項７】
第１の表示パネルと前記第１の表示パネルの裏側に配置される第２の表示パネルと演算処理部とを有する表示装置における出力画像を表示するための表示方法であって、
前記第１の表示パネルは、第１の入射光を受け付ける第１の光センサ回路と、出力画像を出力する第１の画素回路とを含み、
前記第２の表示パネルは、第２の入射光を受け付ける第２の光センサ回路と、前記出力画像を出力する第２の画素回路とを含み、
前記表示方法は、
前記演算処理部が、第１のモードにおいて前記第１の表示パネルに前記出力画像を出力させるステップと、
前記演算処理部が、第２のモードにおいて前記第２の表示パネルに前記出力画像を出力させるステップと、
前記演算処理部が、前記第１の入射光に基づいて第１の入力画像を生成するステップと、
前記演算処理部が、前記第２の入射光に基づいて第２の入力画像を生成するステップと、
前記演算処理部が、前記第１および第２の入力画像の少なくとも一方が予め設定された第１の条件を満たすか否かを判断するステップと、
前記演算処理部が、前記第１および第２の入力画像の少なくとも一方が前記第１の条件を満たすときに前記第２のモードに切替えるステップと、
前記演算処理部が、前記第１および第２の入力画像の少なくとも他方が予め設定された第２の条件を満たすか否かを判断するステップと、
前記演算処理部が、前記第１および第２の入力画像の少なくとも他方が前記第２の条件を満たすときに前記第１のモードに切替えるステップとを備える、表示方法。
【請求項８】
第１の表示パネルと前記第１の表示パネルの裏側に配置される第２の表示パネルと演算処理部とを有する表示装置に出力画像を表示させるための表示プログラムであって、
前記第１の表示パネルは、第１の入射光を受け付ける第１の光センサ回路と、出力画像を出力する第１の画素回路とを含み、
前記第２の表示パネルは、第２の入射光を受け付ける第２の光センサ回路と、前記出力画像を出力する第２の画素回路とを含み、
前記表示プログラムは、前記演算処理部に、
第１のモードにおいて前記第１の表示パネルに前記出力画像を出力させるステップと、
第２のモードにおいて前記第２の表示パネルに前記出力画像を出力させるステップと、
前記第１の入射光に基づいて第１の入力画像を生成するステップと、
前記第２の入射光に基づいて第２の入力画像を生成するステップと、
前記第１および第２の入力画像の少なくとも一方が予め設定された第１の条件を満たすか否かを判断するステップと、
前記第１および第２の入力画像の少なくとも一方が前記第１の条件を満たすときに前記第２のモードに切替えるステップと、
前記第１および第２の入力画像の少なくとも他方が予め設定された第２の条件を満たすか否かを判断するステップと、
前記第１および第２の入力画像の少なくとも他方が前記第２の条件を満たすときに前記第１のモードに切替えるステップとを実行させる、表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、出力すべき画像をユーザが見やすい表示態様にて表示することができる表示装置、表示方法、および表示プログラムに関し、特に、ユーザによる表示装置の持ち方に応じて、出力すべき画像をユーザが見やすい表示態様にて表示することができる表示装置、表示方法、および表示プログラムに関する。
【背景技術】
【０００２】
表示パネルを介して情報を表示するとともに、当該表示パネルを介して情報を受け付ける情報処理装置が知られている。そのような表示パネルとしては、たとえば、光センサ内蔵型の液晶パネルなどが挙げられる。なお、光センサ内蔵型の液晶パネルは、入射光に基づいて入力信号を生成する光センサ回路と、出力信号に基づいて画像を形成するための可視光を発する画素回路とを含むものである。
【０００３】
たとえば、特開平８−７６９２６号公報（特許文献１）には、画像表示装置が開示されている。特開平８−７６９２６号公報（特許文献１）によると、画像表示装置は、画像情報を一画面ずつ表示する液晶ディスプレイと、その液晶ディスプレイの画面上に配置され指などのタッチ操作に応じた信号を出力するタッチパネルとを備える。タッチパネルの表面上を、指で所定の移動量だけ接触移動させることにより、タッチパネルが指の移動方向を検知し、その移動方向に基いて液晶ディスプレイにて表示されている画面のデータを前ページや次ページに変えることができる。さらに、タッチパネルにタッチする指の本数に応じて、液晶ディスプレイにて表示されている画面のめくるページ数をかえることができる。
【特許文献１】特開平８−７６９２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の表示装置においては、出力されるべき画像の表示態様を変化させるためには、ユーザが表示装置に表示態様を変化させるための命令を入力する必要があった。そして、ユーザは、意識してこのような命令を入力する必要があった。そこで、ユーザが意識して命令を入力しなくとも、出力される画像がユーザの見やすい表示態様にて表示される表示装置、表示方法、および表示プログラムが求められている。
【０００５】
本発明は、かかる問題を解決するためになされたものであり、その目的は、ユーザが意識して表示態様を変更するための命令を入力しなくても、出力される画像がユーザの見易い表示態様にて表示される表示装置、表示方法、および表示プログラムを提供することである。
【課題を解決するための手段】
【０００６】
この発明のある局面に従うと、表示装置が提供される。表示装置は、第１の表示パネルを備える。第１の表示パネルは、第１の入射光を受け付ける第１の光センサ回路と、出力画像を出力する第１の画素回路とを含む。表示装置は、第１の表示パネルの裏側に配置される第２の表示パネルをさらに備える。第２の表示パネルは、第２の入射光を受け付ける第２の光センサ回路と、出力画像を出力する第２の画素回路とを含む。表示装置は、第１のモードにおいて第１の表示パネルに出力画像を出力させ、第２のモードにおいて第２の表示パネルに出力画像を出力させる表示制御手段と、第１の入射光に基づいて第１の入力画像を生成する第１の生成手段と、第２の入射光に基づいて第２の入力画像を生成する第２の生成手段と、第１および第２の入力画像の少なくとも一方が予め設定された第１の条件を満たすか否かを判断する第１の判断手段と、第１および第２の入力画像の少なくとも他方が予め設定された第２の条件を満たすか否かを判断する第２の判断手段と、第１および第２の入力画像の少なくとも一方が第１の条件を満たすときに第２のモードに切替え、第１および第２の入力画像の少なくとも他方が第２の条件を満たすときに第１のモードに切替える切替手段とをさらに備える。
【０００７】
好ましくは、第１の画素回路は、第１および第２の出力画像の一方を出力する。第２の画素回路は、第１および第２の出力画像の他方を出力する。表示制御手段は、第１のモードにおいては、第１の表示パネルに第１の出力画像を出力させるとともに第２の表示パネルに第２の出力画像を出力させ、第２のモードにおいては、第１の表示パネルに第２の出力画像を出力させるとともに第２の表示パネルに第１の出力画像を出力させる。
【０００８】
好ましくは、第１の判断手段は、第２の入力画像に基づいて第２の表示パネルに接触する指の本数を取得することによって、当該指の本数に基づいて第１の条件が満たされるか否かを判断する。第２の判断手段は、第１の入力画像に基づいて第１の表示パネルに接触する指の本数を取得することによって、当該指の本数に基づいて第２の条件が満たされるか否かを判断する。
【０００９】
好ましくは、表示装置は、親指を示す第１のパターン画像を記憶する記憶部をさらに備える。第２の判断手段は、第２のモードにおいて、第１の入力画像と第１のパターン画像とに基づいて、第１の表示パネルに親指が接触しているか否かを判断することによって、第２の条件が満たされるか否かを判断する。第１の判断手段は、第１のモードにおいて、第２の入力画像と第１のパターン画像とに基づいて、第２の表示パネルに親指が接触しているか否かを判断することによって、第１の条件が満たされるか否かを判断する。
【００１０】
この発明の別の局面に従うと、表示装置は、表示パネルを備える。表示パネルは、入射光を受け付ける光センサ回路と、出力画像を出力する画素回路とを含む。表示装置は、縦モードにおいては表示パネルに縦用の表示態様にて出力画像を出力させ、横モードにおいては表示パネルに横用の表示態様にて出力画像を出力させる表示制御手段と、入射光に基づいて入力画像を生成する生成手段と、入力画像が予め設定された縦条件を満たすか否かを判断する縦判断手段と、入力画像が予め設定された横条件を満たすか否かを判断する横判断手段と、縦判断手段が入力画像が縦条件を満たすと判断したときに縦モードに切替え、横判断手段が入力画像が横条件を満たすと判断したときに縦モードへ切替える切替手段とをさらに備える。
【００１１】
この発明の別の局面に従うと、表示装置は、４辺を有する表示パネルを備える。表示パネルは、入射光を受け付ける光センサ回路と、出力画像を出力する画素回路とを含む。表示装置は、第１の縦モードにおいては表示パネルに表示パネルの上辺を上とした表示態様にて出力画像を表示させ、第２の縦モードにおいては表示パネルに表示パネルの下辺を上とした表示態様にて出力画像を表示させ、第１の横モードにおいては表示パネルに表示パネルの右辺を上とした表示態様にて出力画像を表示させ、第２の横モードにおいては表示パネルに表示パネルの左辺を上とした表示態様にて出力画像を表示させる表示制御手段と、入射光に基づいて入力画像を生成する生成手段と、入力画像に基づいて、第１および第２の縦モードと第１および第２の横モードからいずれかのモードを選択する選択手段とをさらに備える。
【００１２】
この発明の別の局面に従うと、第１の表示パネルと第１の表示パネルの裏側に配置される第２の表示パネルと演算処理部とを有する表示装置における出力画像を表示するための表示方法が提供される。第１の表示パネルは、第１の入射光を受け付ける第１の光センサ回路と、出力画像を出力する第１の画素回路とを含む。第２の表示パネルは、第２の入射光を受け付ける第２の光センサ回路と、出力画像を出力する第２の画素回路とを含む。表示方法は、演算処理部が、第１のモードにおいて第１の表示パネルに出力画像を出力させるステップと、演算処理部が、第２のモードにおいて第２の表示パネルに出力画像を出力させるステップと、演算処理部が、第１の入射光に基づいて第１の入力画像を生成するステップと、演算処理部が、第２の入射光に基づいて第２の入力画像を生成するステップと、演算処理部が、第１および第２の入力画像の少なくとも一方が予め設定された第１の条件を満たすか否かを判断するステップと、演算処理部が、第１および第２の入力画像の少なくとも一方が第１の条件を満たすときに第２のモードに切替えるステップと、演算処理部が、第１および第２の入力画像の少なくとも他方が予め設定された第２の条件を満たすか否かを判断するステップと、演算処理部が、第１および第２の入力画像の少なくとも他方が第２の条件を満たすときに第１のモードに切替えるステップとを備える。
【００１３】
この発明の別の局面に従うと、第１の表示パネルと第１の表示パネルの裏側に配置される第２の表示パネルと演算処理部とを有する表示装置に出力画像を表示させるための表示プログラムが提供される。第１の表示パネルは、第１の入射光を受け付ける第１の光センサ回路と、出力画像を出力する第１の画素回路とを含む。第２の表示パネルは、第２の入射光を受け付ける第２の光センサ回路と、出力画像を出力する第２の画素回路とを含む。表示プログラムは、演算処理部に、第１のモードにおいて第１の表示パネルに出力画像を出力させるステップと、第２のモードにおいて第２の表示パネルに出力画像を出力させるステップと、第１の入射光に基づいて第１の入力画像を生成するステップと、第２の入射光に基づいて第２の入力画像を生成するステップと、第１および第２の入力画像の少なくとも一方が予め設定された第１の条件を満たすか否かを判断するステップと、第１および第２の入力画像の少なくとも一方が第１の条件を満たすときに第２のモードに切替えるステップと、第１および第２の入力画像の少なくとも他方が予め設定された第２の条件を満たすか否かを判断するステップと、第１および第２の入力画像の少なくとも他方が第２の条件を満たすときに第１のモードに切替えるステップとを実行させる。
【発明の効果】
【００１４】
以上のように、本発明によって、ユーザが意識して表示態様を変更するための命令を入力しなくても、出力される画像がユーザの見易い表示態様にて表示される表示装置が提供される。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１６】
［実施の形態１］
＜電子機器１００の全体構成＞
まず、本実施の形態に係る表示装置の一例である電子機器１００の全体構成について説明する。図１は、本実施の形態に係る電子機器１００を示す概略図である。より詳細には、図１（Ａ）は、ユーザが第１の液晶パネル１４０を表面として保持した状態における電子機器１００の表面（第１の液晶パネル１４０側）を示すイメージ図である。図１（Ｂ）は、ユーザが第１の液晶パネル１４０を表面として保持した状態における電子機器１００の裏面（第２の液晶パネル２４０側）を示すイメージ図である。図１（Ｃ）は、ユーザが第２の液晶パネル２４０を表面として保持した状態における電子機器１００の表面（第２の液晶パネル２４０側）を示すイメージ図である。図１（Ｄ）は、ユーザが第２の液晶パネル２４０を表面として保持した状態における電子機器１００の裏面（第１の液晶パネル１４０側）を示すイメージ図である。
【００１７】
図１（Ａ）から図１（Ｄ）を参照して、電子機器１００は、第１の光センサ内蔵液晶パネル１４０（第１の液晶パネル１４０ともいう。）を含む。電子機器１００は、液晶パネル１４０と反対側に、第２の光センサ内蔵液晶パネル２４０（第２の液晶パネル２４０ともいう）を備える。このように、本実施の形態に係る電子機器１００は、光センサ内蔵液晶パネルを２つ備える。ただし、電子機器１００は、本実施の形態のように第１および第２の液晶パネル１４０，２４０が筐体の表と裏に予め固定されているものであってもよいし、両者が外を向いた状態や両者が内を向いた状態へとユーザによって変形されるものであってもよい。なお、電子機器１００は、ＰＤＡ（Personal Digital Assistant）、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。
【００１８】
＜電子機器１００の動作概要＞
次に、図１（Ａ）から図１（Ｄ）を参照して、本実施の形態に係る電子機器１００の動作概要について説明する。
【００１９】
図１（Ａ）および図１（Ｂ）を参照して、ユーザは、右手９９Ｒの親指を第１の液晶パネル１４０に接触させるとともに、右手９９Ｒのその他の指を第２の液晶パネル２４０に接触させることによって、電子機器１００を保持する。このとき、ユーザは、親指が接触している第１の液晶パネル１４０を見ている可能性が高い。よって、本実施の形態に係る電子機器１００は、一本の指が接触している第１の液晶パネル１４０を表面と判断し、第１の液晶パネル１４０に第１の出力画像を表示させる。そして、電子機器１００は、複数本の指が接触している第２の液晶パネル２４０を裏面と判断し、第２の液晶パネル２４０に第２の出力画像を表示させる。
【００２０】
あるいは、電子機器１００は、親指やその他の指を示すパターン画像を記憶しておき、親指が接触している第１の液晶パネル１４０を表面と判断し、第１の液晶パネル１４０に第１の出力画像を表示させてもよい。そして、電子機器１００は、親指が接触していない第２の液晶パネル２４０を裏面と判断し、第２の液晶パネル２４０に第２の出力画像を表示させてもよい。
【００２１】
図１（Ｃ）および図１（Ｄ）を参照して、ユーザは、電子機器１００を持ち替える。たとえば、左手９９Ｌの親指を第２の液晶パネル２４０に接触させるとともに、左手９９Ｌのその他の指を第２の液晶パネル２４０に接触させることによって、電子機器１００を保持する。このとき、ユーザは、親指が接触している第２の液晶パネル２４０を見ている可能性が高い。本実施の形態に係る電子機器１００は、一本の指が接触している第２の液晶パネル２４０を表面と判断し、第２の液晶パネル２４０に第１の出力画像を表示させる。そして、電子機器１００は、複数本の指が接触している第１の液晶パネル１４０を裏面と判断し、第１の液晶パネル１４０に第２の出力画像を表示させる。
【００２２】
なお、図１においては、ユーザが右手９９Ｒから左手９９Ｌに電子機器１００を持ち替えているが、右手９９Ｒで電子機器１００を保持したまま電子機器１００を持ち替えても同じように出力画像が切替わる。
【００２３】
また、図１においては、電子機器１００が、３次元画像を表示する場合として、第１の出力画像としてオブジェクトの正面図を表示し、第２の出力画像としてオブジェクトの背面図を表示するものとしているが、たとえば、第１の出力画像を２次元写真画像とし、第２の出力画像をユーザによって予め指定された壁紙画像としてもよい。
【００２４】
さらに、電子機器１００は、ユーザの電子機器１００の持ち方によって、第１および第２の液晶パネル１４０，２４０のうちの出力画像を表示する液晶パネルが切替わるものであってもよい。すなわち、電子機器１００は、一本の指が接触している第１の液晶パネル１４０を表面と判断することによって第１の液晶パネル１４０に出力画像を表示させ、複数本の指が接触している第２の液晶パネル２４０は画像の表示を中止してもよい。あるいは、電子機器１００は、親指が接触している第１の液晶パネル１４０を表面と判断することによって第１の液晶パネル１４０に出力画像を表示させ、他の指が接触している第２の液晶パネル２４０には画像を表示させないものであってもよい。
【００２５】
このように、本実施の形態に係る電子機器１００は、第１および第２の液晶パネル１４０，２４０の少なくともいずれかを介して取得した入力画像に基づいて、ユーザによる電子機器１００の持ち方（指による電子機器１００の保持状態）を判断し、当該持ち方に応じて、ユーザが出力画像を見易いように、第１および第２の液晶パネル１４０，２４０の少なくともいずれかを制御するものである。その結果、ユーザが意識して表示態様を変更する命令を入力しなくても、出力画像がユーザの見易い表示態様にて表示される。以下、このような機能を実現するための構成について詳述する。
【００２６】
＜電子機器１００のハードウェア構成＞
次に、電子機器１００の具体的構成の一態様について説明する。図２は、電子機器１００のハードウェア構成を表わすブロック図である。図２を参照して、電子機器１００は、主たる構成要素として、本体装置１０１と、第１の表示装置１０２と、第２の表示装置１０３とを含む。
【００２７】
本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、通信部１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７とを含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。
【００２８】
ＣＰＵ１１０は、プログラムを実行する。操作キー１７７は、電子機器１００の使用者による指示の入力を受ける。ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどのデータの書き込みおよび消去が可能なＲＯＭである。通信部１７４は、図示しない他の電子機器との間で無線通信を行う。なお、図２には図示していないが、電子機器１００が、他の電子機器に有線により接続するためのインターフェイス（ＩＦ）を備える構成としてもよい。
【００２９】
表示装置１０２は、ドライバ１３０と、第１の光センサ内蔵液晶パネル１４０と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。
【００３０】
ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。
【００３１】
液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル１４０の詳細については、後述する。
【００３２】
内部ＩＦ（Interface）１７８は、本体装置１０１と表示装置１０２との間で、データの遣り取りを仲介する。
【００３３】
バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。
【００３４】
画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御する。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。
【００３５】
ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。
【００３６】
タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。
【００３７】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する（図７〜図９）。
【００３８】
なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示装置１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、電子機器１００が常に備える構成ではなく、電子機器１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。
【００３９】
ここで、表示装置１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示装置１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。
【００４０】
表示装置１０３は、ドライバ２３０と、第２の光センサ内蔵液晶パネル２４０と、内部ＩＦ２７８と、バックライト２７９と、画像処理エンジン２８０とを含む。画像処理エンジン２８０は、ドライバ制御部２８１と、タイマ２８２と、信号処理部２８３とを含む。
【００４１】
表示装置１０３は、表示装置１０２と同様な構成を有する。つまり、ドライバ２３０、液晶パネル２４０、内部ＩＦ２７８、バックライト２７９、および画像処理エンジン２８０は、表示装置１０２における、ドライバ１３０、液晶パネル１４０、内部ＩＦ１７８、バックライト１７９、画像処理エンジン１８０と同じ構成をそれぞれ有する。ドライバ制御部２８１、タイマ２８２、および信号処理部２８３は、表示装置１０２における、ドライバ制御部１８１、タイマ１８２、信号処理部１８３と同じ構成をそれぞれ有する。したがって、表示装置１０３に含まれる各機能ブロックについての説明は、繰り返さない。
【００４２】
ところで、電子機器１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。
【００４３】
図２に示される電子機器１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１７１、ＲＯＭ１７２、メモリカード１７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器１００の本体装置１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【００４４】
なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【００４５】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４６】
＜光センサ内蔵液晶パネル１４０の構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。
【００４７】
図３を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。
【００４８】
また、図２に示した表示装置１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。
【００４９】
走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【００５０】
データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。
【００５１】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【００５２】
画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図３の縦方向にｍ個、横方向にｎ個配されている。
【００５３】
画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。
【００５４】
なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示装置１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。
【００５５】
Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、画素回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。
【００５６】
ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。
【００５７】
光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。
【００５８】
そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。
【００５９】
また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。
【００６０】
なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。
【００６１】
光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。
【００６２】
フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。
【００６３】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。
【００６４】
スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ１３４の切り換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。
【００６５】
アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図２に示した信号処理部１８３に送られる。
【００６６】
なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。
【００６７】
図４は、液晶パネル１４０とバックライト１７９との断面図である。図４を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して配されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。
【００６８】
アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５と、データ信号線１５７と、配向膜１６４とを含む。さらに、図４には示していないが、アクティブマトリクス基板１５１Ａは、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。
【００６９】
また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５とデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。
【００７０】
対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。
【００７１】
また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と同一の層に形成されている。
【００７２】
カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。
【００７３】
液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。
【００７４】
なお、フォトダイオード１４５の位置は、上記の位置に限定されるものではなく、カラーフィルタ１５３ｒに対向する位置やカラーフィルタ１５３ｇに対向する位置に設けることも可能である。
【００７５】
ここで、光センサ回路１４４の動作について説明する。図５は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図３に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。
【００７６】
以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【００７７】
まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切り換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（１）で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。
【００７８】
ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ  …  （１）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。
【００７９】
ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。
【００８０】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。
【００８１】
このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。
【００８２】
なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。
【００８３】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。
【００８４】
このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。
【００８５】
この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊからは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。
【００８６】
ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。
【００８７】
ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、液晶パネル１４０における各光センサ回路の動作について説明する。
【００８８】
まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。
【００８９】
なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【００９０】
１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【００９１】
以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。
【００９２】
なお、表示装置１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル１４０から出力される。このため、以下では、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【００９３】
また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
【００９４】
以下では、電子機器１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。
【００９５】
このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。
【００９６】
図６は、液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５がバックライト１７９からの光を受光する構成を示した図である。
【００９７】
図６を参照して、ユーザの指９００が液晶パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９００（略平面）にて反射される。そして、フォトダイオード１４５は、当該反射された光を受光する。
【００９８】
また、指９００が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９００にて反射される。この場合においても、フォトダイオード１４５は、当該反射された光を受光する。ただし、当該領域においては液晶パネル１４０の表面に指９００が接触していないため、指９００が接触している領域よりも、フォトダイオード１４５の受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９００に到達しない光のほとんどについては、フォトダイオード１４５は受光できない。
【００９９】
ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４は、ユーザの指９００により反射した光の光量に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。
【０１００】
以上により、表示装置１０２は、指９００によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。
【０１０１】
なお、指９００以外のスキャン対象物としては、スタイラスペンなどが挙げられる。
ところで、本実施の形態においては、電子機器１００の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。
【０１０２】
＜データについて＞
次に、センシングコマンドについて説明する。なお、表示装置１０２においては、画像処理エンジン１８０は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ（つまり、応答データ）を本体装置１０１に送り返す。
【０１０３】
図７は、センシングコマンドの概略構成を示した図である。図７を参照して、センシングコマンドは、ヘッダのデータ領域ＤＡ０１と、タイミングを示すデータ領域ＤＡ０２と、データ種別を示すデータ領域ＤＡ０３と、読取方式を示すデータ領域ＤＡ０４と、画像階調を示すデータ領域ＤＡ０５と、解像度を示すデータ領域ＤＡ０６と、予備のデータ領域ＤＡ０７とを含む。
【０１０４】
図８は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【０１０５】
図８を参照して、タイミングを示すデータ領域に「００」が設定されたセンシングコマンドは、画像処理エンジン１８０に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン１８０が受信した後に、光センサ回路１４４を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「０１」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「１０」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
【０１０６】
データ種別を示すデータ領域に「００１」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「０１０」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「１００」が設定されたセンシングコマンドは、全体画像の送信を要求する。
【０１０７】
ここで、「全体画像」とは、ｍ×ｎ個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン１８０により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【０１０８】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル１４０の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【０１０９】
読取方式を示すデータ領域に「００」が設定されたセンシングコマンドは、バックライト１７９を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「０１」が設定されたセンシングコマンドは、バックライト１７９を消灯してスキャンすることを要求する。なお、バックライト１７９を消灯してスキャンする構成については後述する（図１１）。さらに、読取方式を示すデータ領域に「１０」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト１７９を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
【０１１０】
画像階調を示すデータ領域に「００」が設定されたセンシングコマンドは、白黒の２値の画像データを要求する。また、画像階調を示すデータ領域に「０１」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「１０」が設定されたセンシングコマンドは、ＲＧＢのカラーの画像データを要求する。
【０１１１】
解像度を示すデータ領域に「０」が設定されたセンシングコマンドは、解像度の高い画像データを要求する。また、解像度を示すデータ領域に「１」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
【０１１２】
また、センシングコマンドには、図７および図８に示したデータ以外に、スキャンを行う領域（光センサ回路１４４を駆動する画素の領域）の指定、スキャンを行うタイミング、バックライト１７９の点灯のタイミングなどが記述されている。
【０１１３】
図９は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置１０２の画像処理エンジン１８０が本体装置１０１に対して送信するデータである。
【０１１４】
図９を参照して、応答データは、ヘッダのデータ領域ＤＡ１１と、座標を示すデータ領域ＤＡ１２と、時刻を示すデータ領域ＤＡ１３と、画像を示すデータ領域ＤＡ１４とを含む。ここで、座標を示すデータ領域ＤＡ１２には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン１８０のタイマ１８２から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン１８０により処理がされた後の画像データ（つまり、スキャンデータ）が書き込まれる。
【０１１５】
図１０は、指９００をスキャンすることにより得られた画像（つまり、スキャン画像）を示した図である。図１０を参照して、太実線で囲まれた領域Ｗ１の画像が全体画像であり、破線で囲まれた領域Ｐ１の画像が部分画像である。また、太線で示した十字の中心点Ｃ１が、中心座標となる。
【０１１６】
本実施の形態では、矩形の領域であって、かつセンサ信号線ＳＳｊからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素（つまり、予め定められた階調または予め定められた輝度以上の画素）全てを含む領域を、部分画像の領域としている。
【０１１７】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点（つまり図心）との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【０１１８】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【０１１９】
センシングコマンドのデータ種別を示すデータ領域に「００１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に上記中心座標の値を書き込む。この場合、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４には画像データを書き込まない。画像処理エンジン１８０は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「００１」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【０１２０】
また、センシングコマンドのデータ種別を示すデータ領域に「０１０」が設定されている場合には、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１０」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【０１２１】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指９００などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【０１２２】
また、センシングコマンドのデータ種別を示すデータ領域に「０１１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【０１２３】
また、センシングコマンドのデータ種別を示すデータ領域に「１００」が設定されている場合には、画像処理エンジン１８０は、図９に示した応答データの画像を示すデータ領域ＤＡ１４に、全体画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１００」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【０１２４】
また、センシングコマンドのデータ種別を示すデータ領域に「１０１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４に全体画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１０１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【０１２５】
＜スキャンの方法の変形例＞
次に、図６を参照して説明したスキャンの方法（つまり、反射像をスキャンする方法）とは異なるスキャンの方法について、図１１を参照して説明する。
【０１２６】
図１１は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。図１１を参照して、外光の一部は、指９００によって遮られる。それゆえ、指９００と接触している液晶パネル１４０の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指９００の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【０１２７】
ここで、バックライト１７９を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路１４４は、液晶パネル１４０の表面に対する指９００の位置に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９を点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。
【０１２８】
以上により、表示装置１０２は、指９００によって外光が遮られることにより得られる像（以下、影像とも称する）をスキャンすることができる。
【０１２９】
さらに、表示装置１０２を、バックライト１７９を点灯させてスキャンを行った後に、バックライト１７９を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置１０２を、バックライト１７９を消灯させてスキャンを行った後に、バックライト１７９を点灯させて再度スキャンを行う構成としてもよい。
【０１３０】
この場合には、２つのスキャン方式を併用することになるため、２つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【０１３１】
＜表示装置について＞
表示装置１０３の動作は、表示装置１０２の動作と同様、本体装置１０１からのコマンド（たとえば、センシングコマンド）に応じて制御される。表示装置１０３は表示装置１０２と同様な構成を有する。それゆえ、表示装置１０３が表示装置１０２と同じコマンドを本体装置１０１から受け付けた場合、表示装置１０３は表示装置１０２と同様の動作を行う。このため、表示装置１０３の構成や動作についての説明は繰り返さない。
【０１３２】
なお、本体装置１０１は、表示装置１０２と表示装置１０３とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置１０２と表示装置１０３とは別々の動作を行う。また、本体装置１０１は、表示装置１０２および表示装置１０３のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行う。また、本体装置１０１が、表示装置１０２と表示装置１０３とに命令が同じコマンドを送ってもよい。この場合、表示装置１０２と表示装置１０３とは、同じ動作を行う。
【０１３３】
なお、表示装置１０２の液晶パネル１４０のサイズと表示装置１０３の液晶パネル２４０のサイズとは、同じであってもよいし又は異なっていてもよい。また、液晶パネル１４０の解像度と液晶パネル２４０の解像度とは、同じであってもよいし又は異なっていてもよい。
【０１３４】
＜本実施の形態に係る電子機器１００の機能構成＞
以下では、図１、図２、図１２を参照して、本実施の形態に係る電子機器１００の機能構成について説明する。なお、図１２は、本実施の形態に係る電子機器１００の機能構成を示すブロック図である。
【０１３５】
本実施の形態に係る電子機器１００は、第１の生成部１１１と、第２の生成部１１２と、第１の判断部１１３と、第２の判断部１１４と、切替部１１５と、表示制御部１１６とを含む。また、電子機器１００は、図２にも示したように、ＲＡＭ１７１と、複数の光センサ回路１４４および複数の画素回路１４１とを含む第１の液晶パネル１４０と、複数の光センサ回路２４４および複数の画素回路２４１とを含む第２の液晶パネル２４０とを含む。
【０１３６】
そして、本実施の形態に係る電子機器１００は、少なくとも第１のモードと第２のモードとを有し、第１のモードにおける第１の液晶パネル１４０の表示状態と、第２のモードにおける第１の液晶パネル１４０の表示状態とが異なるものである。また、第１のモードにおける第２の液晶パネル２４０の表示状態と、第２のモードにおける第２の液晶パネル２４０の表示状態とが異なるものである。
【０１３７】
まず、複数の光センサ回路１４４のそれぞれは、入射光を受光して、入射光に応じた電気信号を生成する。複数の光センサ回路１４４は全体として、画像処理エンジン１８０（図２）などを介して、入射光に対応する電気信号を第１の判断部１１３に入力する。なお、複数の光センサ回路１４４は、図１１に示すようにバックライト１７９を消灯させた状態で、指やスタイラスペンの位置を読み取ってもよい。
【０１３８】
複数の画素回路１４１のそれぞれは、表示制御部１１６からの画像データやテキストデータに基づいて、外部に可視光を発する。より詳細には、複数の画素回路１４１は全体として、画像処理エンジン１８０（図２）などを介して、表示制御部１１６からの画像データやテキストデータ（電気信号）に基づいて、バックライト１７９からの光を利用しながら画像やテキストを表示する。
【０１３９】
このように、本実施の形態に係る複数の光センサ回路１４４および画像処理エンジン１８０は全体として入力部を実現する。また、本実施の形態に係る複数の画素回路１４１および画像処理エンジン１８０は全体として表示部を実現する。
【０１４０】
なお、第２の液晶パネル２４０の機能については、第１の液晶パネル１４０のそれと同様であるため、ここでは説明を繰り返さない。
【０１４１】
ＲＡＭ１７１は、右手および左手の各指の形状や特徴などを示すパターン画像データ１７１Ａを記憶する。また、ＲＡＭ１７１は、ワープロソフトや電子メール送受信プログラムや静止画像データや動画像データなどを記憶する。表示制御部１１６は、ＲＡＭ１７１から静止画像データや動画像データを読み出して、第１の液晶パネル１４０や第２の液晶パネル２４０に静止画像や動画像を表示させる。
【０１４２】
第１の生成部１１１と第２の生成部１１２と第１の判断部１１３と第２の判断部１１４と切替部１１５と表示制御部１１６とは、ＣＰＵ１１０などによって実現される機能である。より詳細には、ＣＰＵ１１０が有する各機能は、ＣＰＵ１１０がＲＡＭ１７１などに記憶される制御プログラムを実行して、図２に示される各ハードウェアを制御することによって実現される機能である。
【０１４３】
まず、第１の生成部１１１は、複数の光センサ回路１４４から画像処理エンジン１８０を介して入力される第１の電気信号に基づいて、第１の液晶パネル１４０に入力された第１の入力画像データを受け付ける。第１の生成部１１１は、画像処理エンジン１８０から出力された第１の入力画像データや自身が生成した第１の入力画像データをＲＡＭ１７１に記憶する。すなわち、第１の生成部１１１は、ＲＡＭ１７１の第１の入力画像データを常時最新の第１の入力画像データに更新する。
【０１４４】
なお、第１の生成部１１１は、ＣＰＵ１１０と液晶パネル１４０の複数の光センサ回路１４４とによって実現される機能であってもよい。すなわち、第１の生成部１１１は、ＣＰＵ１１０の一部の機能と第１の液晶パネル１４０の受光機能とを含む機能ブロックを示す概念であってもよい。
【０１４５】
第２の生成部１１２は、複数の光センサ回路２４４から画像処理エンジン２８０を介して入力される第２の電気信号に基づいて、第２の液晶パネル２４０に入力された第２の入力画像データを受け付ける。第２の生成部１１２は、画像処理エンジン２８０から出力された第２の入力画像データや自身が生成した第２の入力画像データをＲＡＭ１７１に記憶する。すなわち、第２の生成部１１２は、ＲＡＭ１７１の第２の入力画像データを常時最新の第２の入力画像データに更新する。
【０１４６】
なお、第２の生成部１１２は、ＣＰＵ１１０と液晶パネル２４０の複数の光センサ回路２４４とによって実現される機能であってもよい。すなわち、第２の生成部１１２は、ＣＰＵ１１０の一部の機能と第２の液晶パネル２４０の受光機能とを含む機能ブロックを示す概念であってもよい。
【０１４７】
第１の判断部１１３は、ＲＡＭ１７１から第１および第２の入力画像データを読み出して、第１および第２の入力画像の少なくとも一方が予め設定された第１の条件を満たすか否かを判断する。
【０１４８】
より詳細には、第１のモードにおいては、第１の判断部１１３が、第２の入力画像データに基づいて、第２の液晶パネル２４０に接触する指の本数を取得（計算）することによって、当該指の本数に基づいて第１の条件が満たされるか否かを判断する。あるいは、第１のモードにおいては、第１の判断部１１３が、第１の入力画像データに基づいて、第１の液晶パネル１４０に接触する指の本数を取得（計算）することによって、当該指の本数に基づいて第１の条件が満たされるか否かを判断する。あるいは、第１のモードにおいては、第１の判断部１１３が、第１および第１の入力画像データの両者に基づいて、第１および第２の液晶パネル１４０，２４０に接触する指の本数を取得（計算）することによって、当該指の本数に基づいて第１の条件が満たされるか否かを判断する。
【０１４９】
また、本実施の形態に係る第１の判断部１１３は、第１の入力画像データに基づいて、第１の液晶パネル１４０に接触しているユーザの指（親指など）の第１の座標を計算する。第１の判断部１１３は、第２の入力画像データに基づいて、第２の液晶パネル２４０に接触しているユーザの指（人差し指など）の第１の座標を計算する。そして、第１の判断部１１３は、第１の座標と第２の座標とから、アイコンやテキストなどが選択された旨の命令（オブジェクトをつまんだ旨の命令）を生成する。
【０１５０】
より詳細には、第１の判断部１１３は、第１の座標と第２の座標とに基づいて、第１および第２の液晶パネル１４０，２４０の互いに対応する位置にユーザの指が接触したか否かを判断することによって、当該命令を生成する。第１の判断部１１３は、当該命令を、たとえばワープロやＯＳ（Operating System）などの他のアプリケーションなどに受け渡す。
【０１５１】
第２の判断部１１４は、ＲＡＭ１７１から第１および第２の入力画像データを読み出して、第１および第２の入力画像の少なくとも他方が予め設定された第２の条件を満たすか否かを判断する。
【０１５２】
より詳細には、第２のモードにおいては、第２の判断部１１４が、第１の入力画像データに基づいて、第１の液晶パネル１４０に接触する指の本数を取得（計算）することによって、当該指の本数に基づいて第１の条件が満たされるか否かを判断する。あるいは、第２のモードにおいては、第２の判断部１１４が、第２の入力画像データに基づいて、第２の液晶パネル２４０に接触する指の本数を取得（計算）することによって、当該指の本数に基づいて第２の条件が満たされるか否かを判断する。あるいは、第２のモードにおいては、第２の判断部１１４が、第１および第２の入力画像データの両者に基づいて、第１および第２の液晶パネル１４０，２４０に接触する指の本数を取得（計算）することによって、当該指の本数に基づいて第２の条件が満たされるか否かを判断する。
【０１５３】
切替部１１５は、第１のモードにおいて、第１および第２の入力画像データの少なくとも一方が第１の条件を満たす場合には、第２のモードへと切り替える。一方、切替部１１５は、第２のモードにおいて、第１および第２の入力画像データの少なくとも他方が第２の条件を満たすときに第１のモードへと切り替える。
【０１５４】
表示制御部１１６は、第１のモードにおいては第１の液晶パネル１４０に出力画像を出力させ、第２のモードにおいては第２の液晶パネル２４０に出力画像を出力させる。より詳細には、図１（Ａ）に示すように、表示制御部１１６は、第１のモードにおいては第１の液晶パネル１４０に第１の出力画像を出力させる。図１（Ｂ）に示すように、表示制御部１１６は、第１のモードにおいては第２の液晶パネル２４０に第２の出力画像を出力させる。図１（Ｃ）に示すように、表示制御部１１６は、第２のモードにおいては第１の液晶パネル１４０に第２の出力画像を出力させる。図１（Ｄ）に示すように、表示制御部１１６は、第２のモードにおいては第２の液晶パネル２４０に第１の出力画像を出力させる。
【０１５５】
＜本実施の形態に係る表示処理＞
次に、図１、図２、図１２、図１３を参照して、本実施の形態に係る電子機器１００における表示処理について説明する。なお、図１３は、本実施の形態に係る電子機器１００における表示処理の処理手順を示すフローチャート図である。
【０１５６】
まず、第１の液晶パネル１４０および第１の生成部１１１として機能するＣＰＵ１１０が、第１の入力画像を取得する（ステップＳ１０２）。同様に、第２の液晶パネル２４０および第２の生成部１１２として機能するＣＰＵ１１０が、第２の入力画像を取得する（ステップＳ１０４）。
【０１５７】
切替部１１５として機能するＣＰＵ１１０は、現在のモードが第１のモードであるか否かを判断する（ステップＳ１０６）。現在のモードが第１のモードである場合（ステップＳ１０６にてＹＥＳである場合）、第１の判断部１１３として機能するＣＰＵ１１０は、第２の入力画像に基づいて、第２の液晶パネル２４０に１本の指が接触しているか否かを判断する（ステップＳ１０８）。第２の液晶パネル２４０に１本の指が接触していない場合（ステップＳ１０８にてＮＯである場合）、ＣＰＵ１１０は表示処理を終了する（ステップＳ１０２からの処理を繰り返す）。
【０１５８】
第２の液晶パネル２４０に１本の指が接触している場合（ステップＳ１０８にてＹＥＳである場合）、第１の判断部１１３として機能するＣＰＵ１１０は、第１の入力画像に基づいて、第１の液晶パネル１４０に複数本の指が接触しているか否かを判断する（ステップＳ１１０）。第１の液晶パネル１４０に複数本の指が接触していない場合（ステップＳ１１０にてＮＯである場合）、ＣＰＵ１１０は表示処理を終了する。
【０１５９】
第１の液晶パネル１４０に複数本の指が接触している場合（ステップＳ１１０にてＹＥＳである場合）、切替部１１５として機能するＣＰＵ１１０は第１のモードから第２のモードへと切り替える（ステップＳ１１２）。これによって、電子機器１００は、図１（Ａ）および図１（Ｂ）に示す状態から図１（Ｃ）および図１（Ｄ）に示す状態へと移行する。
【０１６０】
一方、現在のモードが第１のモードでない場合（ステップＳ１０６にてＮＯである場合）、第２の判断部１１４として機能するＣＰＵ１１０は、第１の入力画像に基づいて、第１の液晶パネル１４０に１本の指が接触しているか否かを判断する（ステップＳ１１４）。第１の液晶パネル１４０に１本の指が接触していない場合（ステップＳ１１４にてＮＯである場合）、ＣＰＵ１１０は表示処理を終了する。
【０１６１】
第１の液晶パネル１４０に１本の指が接触している場合（ステップＳ１１４にてＹＥＳである場合）、第２の判断部１１４として機能するＣＰＵ１１０は、第２の入力画像に基づいて、第２の液晶パネル２４０に複数本の指が接触しているか否かを判断する（ステップＳ１１６）。第２の液晶パネル２４０に複数本の指が接触していない場合（ステップＳ１１６にてＮＯである場合）、ＣＰＵ１１０は表示処理を終了する。
【０１６２】
第２の液晶パネル２４０に複数本の指が接触している場合（ステップＳ１１６にてＹＥＳである場合）、切替部１１５として機能するＣＰＵ１１０は第２のモードから第１のモードへと切り替える（ステップＳ１１８）。これによって、電子機器１００は、図１（Ｃ）および図１（Ｄ）に示す状態から図１（Ａ）および図１（Ｂ）に示す状態へと移行する。
【０１６３】
＜判断構成の変形例＞
以下では、図１、図２、図１４を参照して、本実施の形態に係る第１の判断部１１３Ｂと第２の判断部１１４Ｂと切替部１１５Ｂの変形例について説明する。上記の実施の形態１に係る電子機器１００は、指の本数に基づいてモードを切り替えるものであったが、本変形例に係る電子機器１００は、指の形状（画像）に基づいてモードを切り替えるものである。なお、図１４は、本変形例に係る電子機器１００の機能構成を示すブロック図である。そして、第１の判断部１１３Ｂと第２の判断部１１４Ｂと切替部１１５Ｂ以外の機能構成についての説明は、ここでは繰り返さない。
【０１６４】
第１の判断部１１３Ｂは、ＲＡＭ１７１から第２の入力画像データと親指画像を示すパターン画像データ１７１Ａとを読み出して、第２の入力画像が予め設定された第１の条件を満たすか否かを判断する。
【０１６５】
第１のモードにおいて、第１の判断部１１３Ｂは、第２の入力画像データとパターン画像データ１７１Ａとに基づいて、第２の液晶パネル２４０に親指が接触しているか否かを判断する。第１の判断部１１３Ｂは、第２の入力画像データにパターン画像データ１７１Ａが含まれるか否かを判断する。
【０１６６】
より詳細には、第１の判断部１１３Ｂは、第２の入力画像に親指のパターン画像が含まれると判断した場合に、第２の液晶パネル２４０に親指が接触していると判断する。第１の判断部１１３Ｂは、第２の液晶パネル２４０に親指が接触していると判断した場合に、第１の条件が満たされると判断する。
【０１６７】
第２の判断部１１４Ｂは、ＲＡＭ１７１から第１の入力画像データと親指画像を示すパターン画像データ１７１Ａとを読み出して、第１の入力画像が予め設定された第２の条件を満たすか否かを判断する。
【０１６８】
第２のモードにおいて、第２の判断部１１４Ｂは、第１の入力画像データとパターン画像データ１７１Ａとに基づいて、第１の液晶パネル１４０に親指が接触しているか否かを判断する。第２の判断部１１４Ｂは、第１の入力画像データにパターン画像データ１７１Ａが含まれるか否かを判断する。
【０１６９】
より詳細には、第２の判断部１１４Ｂは、第２の入力画像に親指のパターン画像が含まれると判断した場合に、第１の液晶パネル１４０に親指が接触していると判断する。第２の判断部１１４Ｂは、第１の液晶パネル１４０に親指が接触していると判断した場合に、第２の条件が満たされると判断する。
【０１７０】
切替部１１５は、第１のモードにおいて、第２の入力画像データが第１の条件を満たす場合には、第２のモードへと切り替える。一方、切替部１１５は、第２のモードにおいては、第１の入力画像データが第２の条件を満たすときに第１のモードへと切り替える。
【０１７１】
＜本変形例に係る表示処理＞
次に、図１、図２、図１４、図１５を参照して、本変形例に係る電子機器１００における表示処理について説明する。なお、図１５は、本変形例に係る電子機器１００における表示処理の処理手順を示すフローチャート図である。
【０１７２】
まず、切替部１１５として機能するＣＰＵ１１０は、現在のモードが第１のモードであるか否かを判断する（ステップＳ２０２）。現在のモードが第１のモードである場合（ステップＳ２０２にてＹＥＳである場合）、第２の液晶パネル２４０および第２の生成部１１２として機能するＣＰＵ１１０が、第２の入力画像を取得する（ステップＳ２０４）。
【０１７３】
第２の判断部１１４Ｂとして機能するＣＰＵ１１０は、ＲＡＭ１７１からパターン画像データ１７１Ａを読み出して、第２の入力画像に親指のパターン画像が含まれるか否かを判断する（ステップＳ２０６）。第２の入力画像に親指のパターン画像が含まれる場合（ステップＳ２０６にてＹＥＳである場合）、切替部１１５として機能するＣＰＵ１１０は、第１のモードから第２のモードへと切り替える（ステップＳ２０８）。これによって、電子機器１００は、図１（Ａ）および図１（Ｂ）に示す状態から図１（Ｃ）および図１（Ｄ）に示す状態へと移行する。
【０１７４】
入力画像に親指のパターン画像が含まれない場合（ステップＳ２０６にてＮＯである場合）、ＣＰＵ１１０は表示処理を終了する（ステップＳ２０２からの処理を繰り返す）。
【０１７５】
現在のモードが第１のモードでない場合（ステップＳ２０２にてＮＯである場合）、第１の液晶パネル１４０および第１の生成部１１１として機能するＣＰＵ１１０が、第１の入力画像を取得する（ステップＳ２１０）。
【０１７６】
第１の判断部１１３Ｂとして機能するＣＰＵ１１０は、ＲＡＭ１７１からパターン画像データ１７１Ａを読み出して、第１の入力画像に親指のパターン画像が含まれるか否かを判断する（ステップＳ２１２）。第１の入力画像に親指のパターン画像が含まれる場合（ステップＳ２１２にてＹＥＳである場合）、切替部１１５として機能するＣＰＵ１１０は、第２のモードから第１のモードへと切り替える（ステップＳ２１４）。これによって、電子機器１００は、図１（Ｃ）および図１（Ｄ）に示す状態から図１（Ａ）および図１（Ｂ）に示す状態へと移行する。
【０１７７】
第１の入力画像に親指のパターン画像が含まれない場合（ステップＳ２１２にてＮＯである場合）、ＣＰＵ１１０は表示処理を終了する。
【０１７８】
［実施の形態２］
次に、本発明の実施の形態２について説明する。上述の実施の形態１に係る電子機器１００は、ユーザの持ち方（モード）に応じて、第１の液晶パネル１４０の表示内容や第２の液晶パネル２４０の表示内容が変化するものであった。たとえば、ユーザの持ち方によって、第１の液晶パネル１４０が写真画像と壁紙画像とを切り替えたり、第２の液晶パネル２４０が壁紙画像と写真画像とを切り替えたりするものであった。換言すれば、電子機器１００は、電子機器１００の表裏に対するユーザの持ち方に着目して表示内容を切り替えるものである。
【０１７９】
一方、本実施の形態に係る電子機器１００−２は、ユーザの持ち方に応じて、第１の液晶パネル１４０（あるいは第２の液晶パネル２４０）の表示態様が変化するものである。たとえば、ユーザの持ち方によって、第１の液晶パネル１４０が写真画像を縦向きで表示したり、横向きで表示したりする。換言すれば、電子機器１００は、電子機器１００の縦横に対するユーザの持ち方に着目して表示形態を切り替えるものである。
【０１８０】
本実施の形態に係る表示装置の一例である電子機器１００−２の全体構成は、実施の形態１に係る電子機器１００のそれと同様であるため、ここでは説明を繰り返さない。以下では、本実施の形態に係る電子機器１００−２の動作概要について説明する。
【０１８１】
＜本実施の形態に係る電子機器１００−２の動作概要＞
図１６は、本実施の形態に係る電子機器１００−２を示す概略図である。より詳細には、図１６（Ａ）は、ユーザが第１の縦状態にて電子機器１００−２を保持した状態における電子機器１００−２を示すイメージ図である。図１６（Ｂ）は、ユーザが第１の横状態にて電子機器１００−２を保持した状態における電子機器１００−２を示すイメージ図である。図１６（Ｃ）は、ユーザが第２の縦状態にて電子機器１００−２を保持した状態における電子機器１００−２を示すイメージ図である。図１６（Ｄ）は、ユーザが第２の横状態にて電子機器１００−２を保持した状態における電子機器１００−２を示すイメージ図である。
【０１８２】
＜電子機器１００−２の動作概要＞
次に、図１６（Ａ）から図１６（Ｄ）を参照して、本実施の形態に係る電子機器１００−２の動作概要について説明する。
【０１８３】
図１６（Ａ）を参照して、ユーザは、右手９９Ｒを用いて電子機器１００−２を第１の縦状態で保持する。このとき、右手９９Ｒの親指は、第１の液晶パネル１４０の右辺１４０Ｒから第１の液晶パネル１４０内側へと達している。換言すれば、右手９９Ｒの親指が右辺１４０Ｒから第１の液晶パネル１４０の内側へと達している場合、ユーザは、右辺１４０Ｒを右側にして、かつ上辺１４０Ｔを上側にした状態で、電子機器１００−２を保持している可能性が高い。この場合、本実施の形態に係る電子機器１００−２は、上辺１４０Ｔを上方向として、第１の液晶パネル１４０に画像を表示させる。
【０１８４】
図１６（Ｂ）を参照して、ユーザは、右手９９Ｒを用いて電子機器１００−２を第１の横状態に持ち替える。このとき、右手９９Ｒの親指は、第１の液晶パネル１４０の上辺１４０Ｔから第１の液晶パネル１４０の内側へと達している。換言すれば、右手９９Ｒの親指が上辺１４０Ｔから第１の液晶パネル１４０の内側へと達している場合、ユーザは、上辺１４０Ｔを右側にして、かつ左辺１４０Ｌを上側にした状態で、電子機器１００−２を保持している可能性が高い。この場合、本実施の形態に係る電子機器１００−２は、左辺１４０Ｌを上方向として、第１の液晶パネル１４０に画像を表示させる。
【０１８５】
図１６（Ｃ）を参照して、ユーザは、右手９９Ｒを用いて電子機器１００−２を第２の縦状態に持ち替える。このとき、右手９９Ｒの親指は、第１の液晶パネル１４０の左辺１４０Ｌから第１の液晶パネル１４０の内側へと達している。換言すれば、右手９９Ｒの親指が左辺１４０Ｌから第１の液晶パネル１４０の内側へと達している場合、ユーザは、左辺１４０Ｌを右側にして、かつ下辺１４０Ｂを上側にした状態で、電子機器１００−２を保持している可能性が高い。この場合、本実施の形態に係る電子機器１００−２は、下辺１４０Ｂを上方向として、第１の液晶パネル１４０に画像を表示させる。
【０１８６】
図１６（Ｄ）を参照して、ユーザは、右手９９Ｒを用いて電子機器１００−２を第２の横状態に持ち替える。このとき、右手９９Ｒの親指は、第１の液晶パネル１４０の上辺１４０Ｔから第１の液晶パネル１４０の内側へと達している。換言すれば、右手９９Ｒの親指が上辺１４０Ｔから第１の液晶パネル１４０の内側へと達している場合、ユーザは、上辺１４０Ｔを右側にして、かつ左辺１４０Ｌを上側にした状態で、電子機器１００−２を保持している可能性が高い。この場合、本実施の形態に係る電子機器１００−２は、右辺１４０Ｒを上方向として、第１の液晶パネル１４０に画像を表示させる。
【０１８７】
あるいは、電子機器１００−２は、ユーザの持ち方に応じて、２種類の表示形態に切り替えてもよい。すなわち、親指が右辺１４０Ｒあるいは左辺１４０Ｌから第１の液晶パネル１４０の内側へと達している場合、電子機器１００−２は上辺１４０Ｔを上方向としてかつ右辺１４０Ｒを右方向として、第１の液晶パネル１４０に画像を表示させてもよい。そして、親指が上辺１４０Ｔあるいは下辺１４０Ｂから第１の液晶パネル１４０の内側へと達している場合、電子機器１００−２は左辺１４０Ｌを上方向としてかつ上辺１４０Ｔを右方向として、第１の液晶パネル１４０に画像を表示させてもよい。
【０１８８】
このように、本実施の形態に係る電子機器１００−２は、第１の液晶パネル１４０を介して取得した入力画像に基づいて、ユーザによる電子機器１００−２の持ち方（指による電子機器１００−２の保持状態）を判断し、持ち方に応じて、出力すべき画像をユーザが見易い態様（方向）にて、第１の液晶パネル１４０を制御するものである。その結果、ユーザが意識して表示態様を変更する命令を入力しなくても、出力される画像がユーザの見易い表示態様にて表示される。
【０１８９】
以下、このような機能を実現するための構成について詳述する。なお、本実施の形態に係る電子機器１００−２のハードウェア構成などについては、図２〜図１１に示すような実施の形態１に係る電子機器１００のそれらと同様であるため、ここでは説明を繰り返さない。
【０１９０】
＜本実施の形態に係る電子機器１００−２の機能構成＞
以下では、図１、図２、図１７を参照して、本実施の形態に係る電子機器１００−２の機能構成について説明する。なお、図１７は、本実施の形態に係る電子機器１００−２の機能構成を示すブロック図である。本実施の形態に係る電子機器１００−２は、ユーザの持ち方に応じて、２種類の表示態様に切り替えるものである。
【０１９１】
本実施の形態に係る電子機器１００−２は、生成部１１１−２と、横判断部１１３−２と、縦判断部１１４−２と、切替部１１５−２と、表示制御部１１６−２とを含む。また、電子機器１００−２は、図２にも示したように、ＲＡＭ１７１と、複数の光センサ回路１４４および複数の画素回路１４１とを含む第１の液晶パネル１４０とを含む。なお、本実施の形態に係る電子機器１００−２の複数の光センサ回路１４４、複数の画素回路１４１などの構成は、実施の形態１に係るそれらと同様であるため、ここでは説明を繰り返さない。
【０１９２】
本実施の形態に係るＲＡＭ１７１は、右手の親指のパターン画像や左手の親指のパターン画像などを記憶する。そして、ＣＰＵ１１０が、それぞれのパターン画像を回転させたうえで、当該回転後のパターン画像と後述する入力画像とのマッチング処理を行う。
【０１９３】
あるいは、ＲＡＭ１７１は、第１の縦モードにおける右手の親指のパターン画像および左手の親指のパターン画像と、第１の横モードにおける右手の親指のパターン画像および左手の親指のパターン画像と、第２の縦モードにおける右手の親指のパターン画像および左手の親指のパターン画像と、第２の横モードにおける右手の親指のパターン画像および左手の親指のパターン画像とを記憶してもよい。そして、ＣＰＵ１１０が、それぞれのパターン画像と後述する入力画像とのマッチング処理を行ってもよい。
【０１９４】
生成部１１１−２と、横判断部１１３−２と、縦判断部１１４−２と、切替部１１５−２と、表示制御部１１６−２とは、ＣＰＵ１１０などによって実現される機能である。より詳細には、ＣＰＵ１１０が有する各機能は、ＣＰＵ１１０がＲＡＭ１７１などに記憶される制御プログラムを実行して、図２に示される各ハードウェアを制御することによって実現される機能である。
【０１９５】
本実施の形態に係る生成部１１１−２は、複数の光センサ回路１４４から画像処理エンジン１８０を介して入力される第１の電気信号に基づいて、第１の液晶パネル１４０に入力された入力画像データを受け付ける。そして、生成部１１１−２は、画像処理エンジン１８０から出力された入力画像データあるいは自身が生成した入力画像データをＲＡＭ１７１に記憶する。すなわち、生成部１１１−２は、ＲＡＭ１７１の入力画像データを常時最新の入力画像データに更新する。
【０１９６】
なお、生成部１１１−２は、ＣＰＵ１１０と液晶パネル１４０の複数の光センサ回路１４４とによって実現される機能であってもよい。すなわち、生成部１１１−２は、ＣＰＵ１１０の一部の機能と第１の液晶パネル１４０の受光機能とを含む機能ブロックを示す概念であってもよい。
【０１９７】
縦判断部１１４−２は、ＲＡＭ１７１から入力画像データ（とパターン画像データ１７１Ａと）を読み出して、入力画像が予め設定された縦条件を満たすか否かを判断する。より詳細には、横モードにおいては、縦判断部１１４−２が、入力画像データ（とパターン画像データ１７１Ａと）に基づいて、縦条件が満たされるか否かを判断する。
【０１９８】
たとえば、縦判断部１１４−２は、第１の液晶パネル１４０に接触している物体が、右辺１４０Ｒあるいは左辺１４０Ｌまで達しているか否かを判断することによって、縦条件が満たされているか否かを判断する。あるいは、縦判断部１１４−２は、ＲＡＭ１７１から右手および左手の親指のパターン画像を読み出して、当該パターン画像を回転させて、入力画像に縦向きの親指のパターン画像が含まれるか否かを判断する。あるいは、縦判断部１１４−２は、ＲＡＭ１７１から縦モードにおける右手および左手の親指のパターン画像を読み出して、入力画像に縦用の親指のパターン画像が含まれるか否かを判断する。
【０１９９】
横判断部１１３−２は、ＲＡＭ１７１から入力画像データ（とパターン画像データ１７１Ａと）を読み出して、入力画像が予め設定された横条件を満たすか否かを判断する。より詳細には、縦モードにおいては、横判断部１１３−２が、入力画像データ（とパターン画像データ１７１Ａと）に基づいて、横条件が満たされるか否かを判断する。
【０２００】
たとえば、横判断部１１３−２は、第１の液晶パネル１４０に接触している物体が、上辺１４０Ｔあるいは下辺１４０Ｂまで達しているか否かを判断することによって、横条件が満たされているか否かを判断する。あるいは、横判断部１１３−２は、ＲＡＭ１７１から右手および左手の親指のパターン画像を読み出して、当該パターン画像を回転させて、入力画像に横向きの親指のパターン画像が含まれるか否かを判断する。あるいは、横判断部１１３−２は、ＲＡＭ１７１から横モードにおける右手および左手の親指のパターン画像を読み出して、入力画像に横用の親指のパターン画像が含まれるか否かを判断する。
【０２０１】
切替部１１５−２は、縦モードにおいて、入力画像データが横条件を満たす場合には、横モードへと切り替える。一方、切替部１１５−２は、横モードにおいては、入力画像データが縦条件を満たすときに縦モードへと切り替える。
【０２０２】
表示制御部１１６−２は、縦モードにおいては第１の液晶パネル１４０に出力画像を縦向きで出力させ、横モードにおいては第１の液晶パネル１４０に出力画像を横向きで出力させる。より詳細には、図１６（Ａ）に示すように、表示制御部１１６−２は、縦モードにおいては第１の液晶パネル１４０に出力画像を縦向きで出力させる。図１６（Ｂ）に示すように、表示制御部１１６−２は、横モードにおいては第１の液晶パネル１４０に出力画像を横向きで出力させる。
【０２０３】
＜本実施の形態に係る表示処理＞
次に、図１、図２、図１２、図１８を参照して、本実施の形態に係る電子機器１００−２における表示処理について説明する。なお、図１８は、本実施の形態に係る電子機器１００−２における表示処理の処理手順を示すフローチャート図である。
【０２０４】
まず、第１の液晶パネル１４０および生成部１１１−２として機能するＣＰＵ１１０が、入力画像を取得する（ステップＳ３０２）。次に、切替部１１５−２として機能するＣＰＵ１１０は、現在のモードが縦モードであるか否かを判断する（ステップＳ３０４）。現在のモードが縦モードである場合（ステップＳ３０４にてＹＥＳである場合）、横判断部１１３−２として機能するＣＰＵ１１０は、ＲＡＭ１７１から横用の親指のパターン画像を読み出す（ステップＳ３０６）。
【０２０５】
そして、ＣＰＵ１１０は、入力画像に横用の親指のパターン画像が含まれるか否かを判断する（ステップＳ３０８）。入力画像に横用の親指のパターン画像が含まれない場合（ステップＳ３０８にてＮＯである場合）、ＣＰＵ１１０は表示処理を終了する（ステップＳ３０２からの処理を繰り返す）。
【０２０６】
入力画像に横用の親指のパターン画像が含まれる場合（ステップＳ３０８にてＹＥＳである場合）、切替部１１５−２として機能するＣＰＵ１１０は縦モードから横モードへと切り替える（ステップＳ３１０）。これによって、電子機器１００−２（表示制御部１１６−２として機能するＣＰＵ１１０）は、図１６（Ａ）に示す状態から図１６（Ｂ）に示す状態へと移行する。
【０２０７】
一方、現在のモードが縦モードでない場合（ステップＳ３０４にてＮＯである場合）、縦判断部１１４−２として機能するＣＰＵ１１０は、ＲＡＭ１７１から縦用の親指のパターン画像を読み出す（ステップＳ３１２）。ＣＰＵ１１０は、入力画像に縦用の親指のパターン画像が含まれるか否かを判断する（ステップＳ３１４）。入力画像に縦用の親指のパターン画像が含まれない場合（ステップＳ３１４にてＮＯである場合）、ＣＰＵ１１０は表示処理を終了する。
【０２０８】
入力画像に縦用の親指のパターン画像が含まれる場合（ステップＳ３１４にてＹＥＳである場合）、切替部１１５−２として機能するＣＰＵ１１０は横モードから縦モードへと切り替える（ステップＳ３１６）。これによって、電子機器１００−２は、図１６（Ｂ）に示す状態から図１６（Ａ）に示す状態へと移行する。
【０２０９】
＜判断構成の変形例＞
以下では、図１、図２、図１７を参照して、本実施の形態に係る縦判断部１１４−２と横判断部１１３−２と切替部１１５−２と表示制御部１１６−２の変形例について説明する。本変形例に係る電子機器１００−２は、ユーザの持ち方に応じて、４種類の表示態様に切り替えるものである。
【０２１０】
本変形例に係る電子機器１００−２は、生成部１１１−２と、縦判断部１１４−２と横判断部１１３−２と切替部１１５−２の変形例としての選択部１１７と、表示制御部１１６−２とを含む。
【０２１１】
選択部１１７は、ＲＡＭ１７１から入力画像データを読み出して、入力画像が予め設定された第１の縦条件を満たすか否かを判断する。たとえば、選択部１１７は、第１の液晶パネル１４０に接触している物体が、右辺１４０Ｒに達しているか否かを判断することによって、第１の縦条件が満たされているか否かを判断する。あるいは、選択部１１７は、右辺１４０Ｒから左上方向に向かって物体が接触しているか否か、あるいは左辺１４０Ｌから右上方向に向かって物体が接触しているか否かを判断することによって、いずれかの条件が満たされている場合に第１の縦条件が満たされているものと判断する。
【０２１２】
あるいは、選択部１１７は、ＲＡＭ１７１から右手および左手の親指のパターン画像を読み出して、当該パターン画像を回転させて、入力画像に第１の縦向きの親指のパターン画像が含まれるか否かを判断する。あるいは、選択部１１７は、ＲＡＭ１７１から第１の縦モードにおける右手および左手の親指のパターン画像を読み出して、入力画像に当該パターン画像が含まれるか否かを判断する。
【０２１３】
選択部１１７は、ＲＡＭ１７１から入力画像データを読み出して、入力画像が予め設定された第１の横条件を満たすか否かを判断する。たとえば、選択部１１７は、第１の液晶パネル１４０に接触している物体が、上辺１４０Ｔに達しているか否かを判断することによって、第１の横条件が満たされているか否かを判断する。あるいは、選択部１１７は、上辺１４０Ｔから左下方向に向かって物体が接触しているか、あるいは下辺１４０Ｂから左上方向に向かって物体が接触しているか否かを判断することによって、いずれかの条件が満たされている場合に第１の横条件が満たされているものと判断する。
【０２１４】
あるいは、選択部１１７は、ＲＡＭ１７１から右手および左手の親指のパターン画像を読み出して、当該パターン画像を回転させて、入力画像に第１の横向きの親指のパターン画像が含まれるか否かを判断する。あるいは、選択部１１７は、ＲＡＭ１７１から第１の横モードにおける右手および左手の親指のパターン画像を読み出して、入力画像に当該パターン画像が含まれるか否かを判断する。
【０２１５】
選択部１１７は、ＲＡＭ１７１から入力画像データを読み出して、入力画像が予め設定された第２の縦条件を満たすか否かを判断する。たとえば、選択部１１７は、第１の液晶パネル１４０に接触している物体が、左辺１４０Ｌに達しているか否かを判断することによって、第２の縦条件が満たされているか否かを判断する。あるいは、選択部１１７は、左辺１４０Ｌから右下方向に向かって物体が接触しているか否か、あるいは右辺１４０Ｒから左下方向に向かって物体が接触しているか否かを判断することによって、いずれかの条件が満たされている場合に第２の縦条件が満たされているものと判断する。
【０２１６】
あるいは、選択部１１７は、ＲＡＭ１７１から右手および左手の親指のパターン画像を読み出して、当該パターン画像を回転させて、入力画像に第２の縦向きの親指のパターン画像が含まれるか否かを判断する。あるいは、選択部１１７は、ＲＡＭ１７１から第２の縦モードにおける右手および左手の親指のパターン画像を読み出して、入力画像に当該パターン画像が含まれるか否かを判断する。
【０２１７】
選択部１１７は、ＲＡＭ１７１から入力画像データを読み出して、入力画像が予め設定された第２の横条件を満たすか否かを判断する。たとえば、選択部１１７は、第１の液晶パネル１４０に接触している物体が、下辺１４０Ｂに達しているか否かを判断することによって、第２の横条件が満たされているか否かを判断する。あるいは、選択部１１７は、下辺１４０Ｂから右上方向に向かって物体が接触しているか否か、あるいは上辺１４０Ｔから右下方向に向かって物体が接触しているか否かを判断することによって、いずれかの条件が満たされている場合に第２の横条件が満たされているものと判断する。
【０２１８】
あるいは、選択部１１７は、ＲＡＭ１７１から右手および左手の親指のパターン画像を読み出して、当該パターン画像を回転させて、入力画像に第２の横向きの親指のパターン画像が含まれるか否かを判断する。あるいは、選択部１１７は、ＲＡＭ１７１から第２の横モードにおける右手および左手の親指のパターン画像を読み出して、入力画像に当該パターン画像が含まれるか否かを判断する。
【０２１９】
切替部１１５−２は、入力画像データが第１の縦条件を満たす場合には、第１の縦モードへと切り替える、すなわち第１の縦モードを選択する。切替部１１５−２は、入力画像データが第１の横条件を満たす場合には、第１の横モードへと切り替える、すなわち第１の横モードを選択する。切替部１１５−２は、入力画像データが第２の縦条件を満たす場合には、第２の縦モードへと切り替える、すなわち第２の縦モードを選択する。切替部１１５−２は、入力画像データが第２の横条件を満たす場合には、第２の横モードへと切り替える、すなわち第２の横モードを選択する。
【０２２０】
表示制御部１１６−２は、第１の縦モードにおいては、図１６（Ａ）に示すように、第１の液晶パネル１４０に第１の縦向きで（上辺１４０Ｔを上側にして）出力画像を出力させる。表示制御部１１６−２は、第１の横モードにおいては、図１６（Ｂ）に示すように、第１の液晶パネル１４０に第１の横向きで（左辺１４０Ｌを上側にして）出力画像を出力させる。表示制御部１１６−２は、第２の縦モードにおいては、図１６（Ｃ）に示すように、第１の液晶パネル１４０に第２の縦向きで（下辺１４０Ｂを下側にして）出力画像を出力させる。表示制御部１１６−２は、第２の横モードにおいては、図１６（Ｄ）に示すように、第１の液晶パネル１４０に第２の横向きで（右辺１４０Ｒを上側にして）出力画像を出力させる。
【０２２１】
＜本変形例に係る表示処理＞
次に、図１、図２、図１４、図１９を参照して、本変形例に係る電子機器１００−２における表示処理について説明する。なお、図１９は、本変形例に係る電子機器１００−２における表示処理の処理手順を示すフローチャート図である。
【０２２２】
まず、第１の液晶パネル１４０および生成部１１１−２として機能するＣＰＵ１１０が、入力画像を取得する（ステップＳ４０２）。
【０２２３】
選択部１１７として機能するＣＰＵ１１０は、ＲＡＭ１７１から上辺１４０Ｔ用（第１の縦条件用）の親指のパターン画像を読み出す（ステップＳ４０４）。ＣＰＵ１１０は、入力画像に上辺１４０Ｔ用の親指のパターン画像が含まれるか否かを判断する（ステップＳ４０６）。入力画像に上辺１４０Ｔ用の親指のパターン画像が含まれる場合（ステップＳ４０６にてＹＥＳである場合）、切替部１１５−２として機能するＣＰＵ１１０は上辺モード（第１の縦モード）へと切り替える（ステップＳ４０８）。これによって、電子機器１００−２（表示制御部１１６−２として機能するＣＰＵ１１０）は、図１６（Ａ）に示す状態へと移行する。
【０２２４】
ただし、ＣＰＵ１１０は、ステップＳ４０４からステップＳ４０６において、入力画像に基づいて、第１の液晶パネル１４０に右辺１４０Ｒから左上方向に物体が接触しているか否か、あるいは、第１の液晶パネル１４０に左辺１４０Ｌから右上方向に物体が接触しているか否かを判断してもよい。そして、第１の液晶パネル１４０に右辺１４０Ｒから左上方向に物体が接触している、あるいは、第１の液晶パネル１４０に左辺１４０Ｌから右上方向に物体が接触している場合に、ステップＳ４０８において、上辺モードへ移行してもよい。
【０２２５】
入力画像に上辺１４０Ｔ用の親指のパターン画像が含まれない場合（ステップＳ４０６にてＮＯである場合）、ＣＰＵ１１０は、ＲＡＭ１７１から左辺１４０Ｌ用（第１の横条件用）の親指のパターン画像を読み出す（ステップＳ４１０）。ＣＰＵ１１０は、入力画像に左辺１４０Ｌ用の親指のパターン画像が含まれるか否かを判断する（ステップＳ４１２）。入力画像に左辺１４０Ｌ用の親指のパターン画像が含まれる場合（ステップＳ４１２にてＹＥＳである場合）、ＣＰＵ１１０は左辺モード（第１の横モード）へと切り替える（ステップＳ４１４）。これによって、電子機器１００−２は、図１６（Ｂ）に示す状態へと移行する。
【０２２６】
ただし、ＣＰＵ１１０は、ステップＳ４１０からステップＳ４１２において、入力画像に基づいて、第１の液晶パネル１４０に上辺１４０Ｔから左下方向に物体が接触しているか否か、あるいは、第１の液晶パネル１４０に下辺１４０Ｂから左上方向に物体が接触しているか否かを判断してもよい。そして、第１の液晶パネル１４０に上辺１４０Ｔから左下方向に物体が接触している、あるいは、第１の液晶パネル１４０に下辺１４０Ｂから左上方向に物体が接触している場合に、ステップＳ４１４において、左辺モードへ移行してもよい。
【０２２７】
入力画像に左辺１４０Ｌ用の親指のパターン画像が含まれない場合（ステップＳ４１２にてＮＯである場合）、ＣＰＵ１１０は、ＲＡＭ１７１から下辺１４０Ｂ用（第２の縦条件用）の親指のパターン画像を読み出す（ステップＳ４１６）。ＣＰＵ１１０は、入力画像に下辺１４０Ｂ用の親指のパターン画像が含まれるか否かを判断する（ステップＳ４１８）。入力画像に下辺１４０Ｂ用の親指のパターン画像が含まれる場合（ステップＳ４１８にてＹＥＳである場合）、ＣＰＵ１１０は下辺モード（第２の縦モード）へと切り替える（ステップＳ４２０）。これによって、電子機器１００−２は、図１６（Ｃ）に示す状態へと移行する。
【０２２８】
ただし、ＣＰＵ１１０は、ステップＳ４１６からステップＳ４１８において、入力画像に基づいて、第１の液晶パネル１４０に左辺１４０Ｌから右下方向に物体が接触しているか否か、あるいは、第１の液晶パネル１４０に右辺１４０Ｒから左下方向に物体が接触しているか否かを判断してもよい。そして、第１の液晶パネル１４０に左辺１４０Ｌから右下方向に物体が接触している、あるいは、第１の液晶パネル１４０に右辺１４０Ｒから左下方向に物体が接触している場合に、ステップＳ４２０において、下辺モードへ移行してもよい。
【０２２９】
入力画像に下辺１４０Ｂ用の親指のパターン画像が含まれない場合（ステップＳ４１８にてＮＯである場合）、ＣＰＵ１１０は、ＲＡＭ１７１から右辺１４０Ｒ用（第２の横条件用）の親指のパターン画像を読み出す（ステップＳ４２２）。ＣＰＵ１１０は、入力画像に右辺１４０Ｒ用の親指のパターン画像が含まれるか否かを判断する（ステップＳ４２４）。入力画像に右辺１４０Ｒ用の親指のパターン画像が含まれる場合（ステップＳ４２４にてＹＥＳである場合）、ＣＰＵ１１０は右辺モード（第２の横モード）へと切替える（ステップＳ４２６）。これによって、電子機器１００−２は、図１６（Ｄ）に示す状態へと移行する。
【０２３０】
ただし、ＣＰＵ１１０は、ステップＳ４２２からステップＳ４２４において、入力画像に基づいて、第１の液晶パネル１４０に下辺１４０Ｂから右上方向に物体が接触しているか否か、あるいは、第１の液晶パネル１４０に上辺１４０Ｔから右下方向に物体が接触しているか否かを判断してもよい。そして、第１の液晶パネル１４０に下辺１４０Ｂから右上方向に物体が接触している、あるいは、第１の液晶パネル１４０に上辺１４０Ｔから右下方向に物体が接触している場合に、ステップＳ４２６において、右辺モードへ移行してもよい。
【０２３１】
一方、入力画像に右辺１４０Ｒ用の親指のパターン画像が含まれない場合（ステップＳ４２４にてＮＯである場合）、ＣＰＵ１１０は表示処理を終了する（ステップＳ４０２からの処理を繰り返す）。
【０２３２】
＜その他の実施の形態＞
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
【０２３３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２３４】
プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード（ＩＣメモリカード）、ＲＯＭ（マスクＲＯＭ、フラッシュＥＥＰＲＯＭなど）などを用いることができる。
【０２３５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２３６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０２３７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２３８】
【図１】実施の形態１に係る電子機器を示す概略図である。
【図２】電子機器のハードウェア構成を表わすブロック図である。
【図３】液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。
【図４】液晶パネルとバックライトとの断面図である。
【図５】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図６】スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。
【図７】センシングコマンドの概略構成を示した図である。
【図８】センシングコマンドの各領域におけるデータの値と当該値が示す意味内容とを示した図である。
【図９】応答データの概略構成を示した図である。
【図１０】指をスキャンすることにより得られた画像を示した図である。
【図１１】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図１２】実施の形態１に係る電子機器の機能構成を示すブロック図である。
【図１３】実施の形態１に係る電子機器における表示処理の処理手順を示すフローチャート図である。
【図１４】実施の形態１の変形例に係る電子機器の機能構成を示すブロック図である。
【図１５】実施の形態１の変形例に係る電子機器における表示処理の処理手順を示すフローチャート図である。
【図１６】実施の形態２に係る電子機器を示す概略図である。
【図１７】実施の形態２に係る電子機器の機能構成を示すブロック図である。
【図１８】実施の形態２に係る電子機器における表示処理の処理手順を示すフローチャート図である。
【図１９】実施の形態２の変形例に係る電子機器における表示処理の処理手順を示すフローチャート図である。
【符号の説明】
【０２３９】
１００，１００−２  電子機器、１０１  本体装置、１０２  表示装置、１１０  ＣＰＵ、１１１  第１の生成部、１１１−１  生成部、１１２  第２の生成部、１１３，１１３Ｂ  第１の判断部、１１３−１  縦判断部、１１４，１１４Ｂ  第２の判断部、１１４−２  横判断部、１１５，１１５Ｂ，１１５−２  切替部、１１６，１１６−２  表示制御部、１１７  選択部、１３０  ドライバ、１３１  走査信号線駆動回路、１３２  データ信号線駆動回路、１３３  光センサ駆動回路、１３４  スイッチ、１３５  アンプ、１４０，２４０  光センサ内蔵液晶パネル（液晶パネル）、１４１，２４１  画素回路、１４１ｂ，１４１ｇ，１４１ｒ  サブピクセル回路、１４３  電極対、１４３ａ  画素電極、１４３ｂ  対向電極、１４４，２４４  光センサ回路、１４５，１４５ｂ，１４５ｇ，１４５ｒ  フォトダイオード、１４６  コンデンサ、１５１Ａ  アクティブマトリクス基板、１５１Ｂ  対向基板、１５２  液晶層、１５３ｂ，１５３ｇ，１５３ｒ  カラーフィルタ、１５７  データ信号線、１６１  偏光フィルタ、１６２  ガラス基板、１６３  遮光膜、１６４  配向膜、１７１  ＲＡＭ、１７１Ａ  パターン画像データ、１７３  メモリカードリーダライタ、１７４  通信装置、１７５  マイク、１７６  スピーカ、１７７  操作キー、１７９  バックライト、１８０  画像処理エンジン、１８１  ドライバ制御部、１８２  タイマ、１８３  信号処理部、１７３１  メモリカード、ＤＢ１，ＤＢ２  データバス。
【図１】
2010140329.tif 000003
【図２】
2010140329.tif 000004
【図３】
2010140329.tif 000005
【図４】
2010140329.tif 000006
【図５】
2010140329.tif 000007
【図６】
2010140329.tif 000008
【図７】
2010140329.tif 000009
【図８】
2010140329.tif 000010
【図９】
2010140329.tif 000011
【図１０】
2010140329.tif 000012
【図１１】
2010140329.tif 000013
【図１２】
2010140329.tif 000014
【図１３】
2010140329.tif 000015
【図１４】
2010140329.tif 000016
【図１５】
2010140329.tif 000017
【図１６】
2010140329.tif 000018
【図１７】
2010140329.tif 000019
【図１８】
2010140329.tif 000020
【図１９】
2010140329.tif 000021