(57)【要約】【課題】電子機器の動作の切換え操作を簡単かつ確実に行なうことが可能な電子機器を提供する。【解決手段】電子機器１００は、液晶パネル１４０と、第１形状を示した第１形状データを格納する記憶装置９０と、液晶パネル１４０の表示面に少なくとも１つの物体が接触したことを検知する検知部１３と、接触が検知された場合、接触領域の形状を接触領域毎に特定する特定部１４と、第１形状データに基づいて、特定した各形状の中に第１形状と一致する形状が存在するか否かを判断するとともに、第２形状データに基づいて、特定された各形状の中に第２形状と一致する形状が存在するか否かを判断する第１判断部１５と、第２形状と一致する形状が存在すると判断されたことに基づき、第１形状と一致する形状が存在する場合と存在しない場合とで異なる動作を電子機器１００に実行させる実行部１８とを備える。【選択図】図１４
2010218241.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルを備えた電子機器であって、
第１形状を示した第１形状データと、第２形状を示した第２形状データとを格納する記憶装置と、
前記タッチパネルの表示面に少なくとも１つの物体が接触したことを検知する検知手段と、
前記検知に基づき、接触領域の形状を接触領域毎に特定する特定手段と、
前記第１形状データに基づいて、前記特定された各形状の中に前記第１形状と一致する形状が存在するか否かを判断するとともに、前記第２形状データに基づいて、前記特定された各形状の中に前記第２形状と一致する形状が存在するか否かを判断する第１判断手段と、
前記第２形状と一致する形状が存在すると判断されたことに基づき、前記第１形状と一致する形状が存在する場合と存在しない場合とで異なる動作を前記電子機器に実行させる実行手段とを備える、電子機器。
【請求項２】
前記電子機器は、前記第１形状と一致する形状と前記第２形状と一致する形状とが存在すると判断されたことに基づき、前記第２形状と一致する形状を有する接触領域の位置に応じて、前記表示面に表示されたオブジェクトを指定する入力を受付けたか否かを判断する第２判断手段をさらに備え、
前記実行手段は、前記オブジェクトを指定する入力を受付けたと判断されたときと当該入力を受付けていないと判断されたときとで異なる動作を前記電子機器に実行させる、請求項１に記載の電子機器。
【請求項３】
前記第２形状と一致する形状を有する接触領域は、第１の物体が前記表示面に接触することによって形成され、
前記電子機器は、前記第１形状と一致する形状が存在しないことに基づき、前記第１の物体の接触位置に応じて、前記表示面に表示されたオブジェクトを指定する入力を受付けたか否かを判断する第３判断手段をさらに備え、
前記オブジェクトを指定する入力を受付けたと判断された場合、前記実行手段は、前記オブジェクトの指定に基づく動作を前記電子機器に実行させる、請求項２に記載の電子機器。
【請求項４】
前記オブジェクトはファイルを示すアイコンであり、
前記オブジェクトの指定に基づく動作は、前記ファイルを選択された状態とする動作である、請求項３に記載の電子機器。
【請求項５】
前記第２形状と一致する形状を有する接触領域は、第１の物体が前記表示面に接触することによって形成され、
前記オブジェクトを指定する入力を受付けていないと判断されたとき、前記実行手段は、前記表示面上における前記第１の物体の移動に基づく手書き入力の受付けと、当該受付けた手書き入力に基づく画像の表示とを、前記電子機器に実行させる、請求項２に記載の電子機器。
【請求項６】
前記第２形状と一致する形状を有する接触領域は、第１の物体が前記表示面に接触することによって形成され、
前記オブジェクトを指定する入力を受付けたと判断された場合、前記実行手段は、
前記表示面上における前記第１の物体の移動に基づく手書き入力の受付けと、
前記受付けた手書き入力に基づく画像の表示と、
前記表示された画像に基づく情報についての前記指定されたオブジェクトへの関連付け
とを、前記電子機器に実行させる、請求項２に記載の電子機器。
【請求項７】
前記電子機器は、前記受付けた手書入力を文字認識する認識手段をさらに備え、
前記オブジェクトがファイルを示すアイコンである場合に、当該ファイルを開く指示を前記電子機器が受付けると、前記実行手段は、
前記ファイルを開く処理と、
前記開いたファイルの入力領域に対する前記認識された文字の入力処理とを、前記電子機器に実行させる、請求項６に記載の電子機器。
【請求項８】
前記電子機器は、前記受付けた手書入力を文字認識する認識手段をさらに備え、
前記オブジェクトがファイルを示すアイコンまたはフォルダを示すアイコンである場合に、当該オブジェクトの名称を変更する指示を前記電子機器が受付けると、前記実行手段は、前記オブジェクトの名称を前記認識された文字を用いて変更する処理を前記電子機器に実行させる、請求項６に記載の電子機器。
【請求項９】
前記第１の物体の接触位置が前記オブジェクトが表示された位置であるとき、前記第２判断手段は、当該オブジェクトを指定する入力を受付けたと判断する、請求項６から８のいずれか１項に記載の電子機器。
【請求項１０】
前記第１形状と一致する形状を有する接触領域は、第２の物体が前記表示面に接触することによって形成され、
前記第１の物体はスタイラスペンまたは指であり、前記第２の物体は手の掌である、請求項３から９のいずれか１項に記載の電子機器。
【請求項１１】
前記タッチパネルは、前記表示面に沿って内蔵された複数の光センサを含む、請求項１から１０のいずれか１項に記載の電子機器。
【請求項１２】
タッチパネルを備えた電子機器における表示制御方法であって、
前記タッチパネルの表示面に少なくとも１つの物体が接触したことを検知するステップと、
前記接触が検知された場合、接触領域の形状を接触領域毎に特定するステップと、
第１形状を示す第１形状データに基づいて、前記特定した各形状の中に前記第１形状と一致する形状が存在するか否かを判断するステップと、
第２形状を示す第２形状データに基づいて、前記特定した各形状の中に前記第２形状と一致する形状が存在するか否かを判断するステップと、
前記第２形状と一致する形状が存在すると判断されたことに基づき、前記第１形状と一致する形状が存在する場合と存在しない場合とで異なる動作を前記電子機器に実行させるステップとを備える、表示制御方法。
【請求項１３】
タッチパネルを含んだ電子機器を制御するプログラムであって、
前記プログラムは、前記電子機器に、
前記タッチパネルの表示面に少なくとも１つの物体が接触したことを検知するステップと、
前記接触が検知された場合、接触領域の形状を接触領域毎に特定するステップと、
第１形状を示す第１形状データに基づいて、前記特定した各形状の中に前記第１形状と一致する形状が存在するか否かを判断するステップと、
第２形状を示す第２形状データに基づいて、前記特定した各形状の中に前記第２形状と一致する形状が存在するか否かを判断するステップと、
前記第２形状と一致する形状が存在すると判断されたことに基づき、前記第１形状と一致する形状が存在する場合と存在しない場合とで異なる動作を実行させるステップとを実
行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルを備えた電子機器、電子機器における表示制御方法、および表示制御方法を電子機器に実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来、タッチパネルを備えた電子機器が知られている。また、タッチパッドを備えた電子機器も知られている。
【０００３】
タッチパネルを備えた電子機器として、たとえば特許文献１には、タッチパネルに接触した物体の幅の大小を検出し、検出した幅の大小に応じてタッチパネルから入力された操作に対する処理を切換える機器が開示されている。
【０００４】
タッチパッドを備えた電子機器として、たとえば特許文献２には、タッチパッドの所定のエリアがタッチされたと判断された場合、それ以降は、タッチパッド上での入力を認識のための座標入力にする装置が開示されている。具体的には、特許文献２には、タッチパッドにおける指先ではタッチ操作ができない右上角の所定のエリアがペンによりタッチ操作された場合、タッチ位置の座標データに相対的に対応させてカーソル移動を行う通常入力モードから、手書認識モードに切換える装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２１３３１２号公報
【特許文献２】特開２０００−１３７５７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の装置では、検出した物体の幅の大小により処理を切換えるため、どのような種別の物体がタッチパネルに接触しても、必ず処理の切換えが行なわれてしまう。それゆえ、ユーザにとって意図しない処理の切換えが行なわれる可能性がある。一方、特許文献２の装置では、当該装置の動作モードを手書認識モードに切換えるために、ユーザは、手書を開始する位置とは異なる位置にペン先を一旦接触させる必要がある。
【０００７】
本願発明は上記の問題点に鑑みなされたものであって、その目的は、ユーザによる電子機器の動作の切換え操作を簡単かつ確実に行なうことが可能な電子機器、当該電子機器における表示制御方法、当該表示制御方法を実行するためのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明のある局面に従うと、電子機器は、タッチパネルを備えた電子機器であって、第１形状を示した第１形状データと、第２形状を示した第２形状データとを格納する記憶装置と、タッチパネルの表示面に少なくとも１つの物体が接触したことを検知する検知手段と、検知に基づき、接触領域の形状を接触領域毎に特定する特定手段と、第１形状データに基づいて、特定された各形状の中に第１形状と一致する形状が存在するか否かを判断するとともに、第２形状データに基づいて、特定された各形状の中に第２形状と一致する形状が存在するか否かを判断する第１判断手段と、第２形状と一致する形状が存在すると判断されたことに基づき、第１形状と一致する形状が存在する場合と存在しない場合とで異
なる動作を電子機器に実行させる実行手段とを備える。
【０００９】
好ましくは、電子機器は、第１形状と一致する形状と前記第２形状と一致する形状とが存在すると判断されたことに基づき、第２形状と一致する形状を有する接触領域の位置に応じて、表示面に表示されたオブジェクトを指定する入力を受付けたか否かを判断する第２判断手段をさらに備える。実行手段は、オブジェクトを指定する入力を受付けたと判断されたときと当該入力を受付けていないと判断されたときとで異なる動作を電子機器に実行させる。
【００１０】
好ましくは、第２形状と一致する形状を有する接触領域は、第１の物体が前記表示面に接触することによって形成される。電子機器は、第１形状と一致する形状が存在しないことに基づき、第１の物体の接触位置に応じて、表示面に表示されたオブジェクトを指定する入力を受付けたか否かを判断する第３判断手段をさらに備える。オブジェクトを指定する入力を受付けたと判断された場合、実行手段は、オブジェクトの指定に基づく動作を前記電子機器に実行させる。
【００１１】
好ましくは、オブジェクトはファイルを示すアイコンである。また、オブジェクトの指定に基づく動作は、ファイルを選択された状態とする動作である。
【００１２】
好ましくは、第２形状と一致する形状を有する接触領域は、第１の物体が前記表示面に接触することによって形成される。オブジェクトを指定する入力を受付けていないと判断されたとき、実行手段は、表示面上における第１の物体の移動に基づく手書き入力の受付けと、当該受付けた手書き入力に基づく画像の表示とを、電子機器に実行させる。
【００１３】
好ましくは、第２形状と一致する形状を有する接触領域は、第１の物体が前記表示面に接触することによって形成される。オブジェクトを指定する入力を受付けたと判断された場合、実行手段は、表示面上における第１の物体の移動に基づく手書き入力の受付けと、受付けた手書き入力に基づく画像の表示と、表示された画像に基づく情報についての前記指定されたオブジェクトへの関連付けとを、電子機器に実行させる。
【００１４】
好ましくは、電子機器は、受付けた手書入力を文字認識する認識手段をさらに備える。オブジェクトがファイルを示すアイコンである場合に、当該ファイルを開く指示を電子機器が受付けると、実行手段は、ファイルを開く処理と、開いたファイルの入力領域に対する認識された文字の入力処理とを、電子機器に実行させる。
【００１５】
好ましくは、電子機器は、受付けた手書入力を文字認識する認識手段をさらに備える。オブジェクトがファイルを示すアイコンまたはフォルダを示すアイコンである場合に、当該オブジェクトの名称を変更する指示を電子機器が受付けると、実行手段は、オブジェクトの名称を前記認識された文字を用いて変更する処理を電子機器に実行させる。
【００１６】
好ましくは、第１の物体の接触位置が前記オブジェクトが表示された位置であるとき、第２判断手段は、当該オブジェクトを指定する入力を受付けたと判断する。
【００１７】
好ましくは、第１形状と一致する形状を有する接触領域は、第２の物体が表示面に接触することによって形成される。第１の物体はスタイラスペンまたは指であり、第２の物体は手の掌である。
【００１８】
好ましくは、タッチパネルは、表示面に沿って内蔵された複数の光センサを含む。
本発明の他の局面に従うと、表示制御方法は、タッチパネルを備えた電子機器における表示制御方法であって、タッチパネルの表示面に少なくとも１つの物体が接触したことを
検知するステップと、接触が検知された場合、接触領域の形状を接触領域毎に特定するステップと、第１形状を示す第１形状データに基づいて、特定した各形状の中に前記第１形状と一致する形状が存在するか否かを判断するステップと、第２形状を示す第２形状データに基づいて、特定した各形状の中に第２形状と一致する形状が存在するか否かを判断するステップと、第２形状と一致する形状が存在すると判断されたことに基づき、第１形状と一致する形状が存在する場合と存在しない場合とで異なる動作を電子機器に実行させるステップとを備える。
【００１９】
本発明のさらに他の局面に従うと、プログラムは、タッチパネルを含んだ電子機器を制御するプログラムであって、プログラムは、電子機器に、タッチパネルの表示面に少なくとも１つの物体が接触したことを検知するステップと、接触が検知された場合、接触領域の形状を接触領域毎に特定するステップと、第１形状を示す第１形状データに基づいて、特定した各形状の中に前記第１形状と一致する形状が存在するか否かを判断するステップと、第２形状を示す第２形状データに基づいて、特定した各形状の中に第２形状と一致する形状が存在するか否かを判断するステップと、第２形状と一致する形状が存在すると判断されたことに基づき、第１形状と一致する形状が存在する場合と存在しない場合とで異なる動作を実行させるステップとを実行させる。
【発明の効果】
【００２０】
ユーザによる電子機器の動作の切換え操作を簡単かつ確実に行なうことが可能となるといった効果を奏する。
【図面の簡単な説明】
【００２１】
【図１】電子機器の外観を示した図である。
【図２】電子機器のハードウェア構成を表わすブロック図である。
【図３】電子機器の液晶パネルの構成と、当該液晶パネルの周辺回路とを示した図である。
【図４】液晶パネルとバックライトとの断面図である。
【図５】光センサ回路を動作させる際のタイミングチャートを示した図である。
【図６】液晶パネルとバックライトとの断面図であって、スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した図である。
【図７】センシングコマンドの概略構成を示した図である。
【図８】センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【図９】応答データの概略構成を示した図である。
【図１０】指をスキャンすることにより得られた画像を示した図である。
【図１１】他の光センサ内蔵液晶パネルの回路図である。
【図１２】スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。
【図１３】他の電子機器のハードウェア構成を表すブロック図である。
【図１４】電子機器の機能ブロックを示した図である。
【図１５】スタイラスペンのペン先をスキャンした場合におけるスキャン画像を示した図である。
【図１６】スタイラスペンのペン先と手の掌とをスキャンした場合におけるスキャン画像を示した図である。
【図１７】電子機器における処理フローを示したフローチャートである。
【図１８】液晶パネルの表示面における表示内容の一例を示した図である。
【図１９】ユーザがスタイラスペンのペン先を液晶パネルの表示面に接触させた状態を示した図である。
【図２０】ユーザがスタイラスペンのペン先と手の掌とを液晶パネルの表示面に接触させる直前の状態を示した図である。
【図２１】電子機器が動作モードを第２動作モードに設定した場合における表示面の表示内容を示した図である。
【図２２】図２１の状態において、ユーザがスタイラスペンを用いて手書入力を行なった後の状態を示した図である。
【図２３】図２２の状態において文字認識の処理を行った後の表示面の表示内容を示した図である。
【図２４】ユーザがスタイラスペンのペン先と手の掌とを液晶パネルの表示面に接触させる直前の状態を示した図である。
【図２５】電子機器が動作モードを第３動作モードに設定した場合における表示面の表示内容を示した図である。
【図２６】図２５に示される場合において、スタイラスペンにより１つの項目が選択される直前の状態を示した図である。
【図２７】タイラスペンにより１つの項目が選択された後の状態を示した図である。
【図２８】図２７に示される場合において、ユーザがスタイラスペンを用いて手書入力を行なった後の状態を示した図である。
【図２９】図２８に示される場合において文字認識の処理を行った後の表示面の表示内容を示した図である。
【図３０】図２９に示される場合において、認識された文字を画像のカーソル表示位置に入力する指示を電子機器がユーザから受付けた後の状態を示した図である。
【図３１】ユーザがスタイラスペンのペン先と手の掌とを液晶パネルの表示面に接触させる直前の状態を示した図である。
【図３２】電子機器が動作モードを第３動作モードに設定した場合における表示面の表示内容を示した図である。
【図３３】図３２に示される場合において、スタイラスペンにより他の項目が選択される直前の状態を示した図である。
【図３４】スタイラスペンにより他の項目が選択された後の状態を示した図である。
【図３５】図３４に示される場合において、ユーザがスタイラスペンを用いて手書入力を行なった後の状態を示した図である。
【図３６】図３５に示される場合において文字認識の処理を行った後の表示面の表示内容を示した図である。
【図３７】図３６に示される場合において、フォルダの名称を認識された文字に変更する入力する指示を電子機器がユーザから受付けた後の状態を示した図である。
【図３８】スタイラスペンのペン先と右手の掌とを表示面に接触させた後、左手の指先でアイコンを指定する直前の状態を示した図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００２３】
本発明に係る電子機器の一実施態様について、図１から図３８を参照して説明すると以下のとおりである。
【００２４】
＜電子機器の外観＞
図１は、本実施の形態に係る電子機器１００の外観を示した図である。図１を参照して、電子機器１００は、第１の筐体１００Ａと第２の筐体１００Ｂとを含む。
【００２５】
第１の筐体１００Ａと第２の筐体１００Ｂとは、ヒンジ１００Ｃにより折畳み可能に接続されている。第１の筐体１００Ａは、光センサ内蔵液晶パネル１４０を備える。第２の
筐体１００Ｂは、光センサ内蔵液晶パネル２４０を備える。このように、電子機器１００は、光センサ内蔵液晶パネルを２つ備える。
【００２６】
なお、電子機器１００は、ＰＤＡ（Personal Digital Assistant）、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。
【００２７】
＜ハードウェア構成について＞
次に、図２を参照して、電子機器１００の具体的構成の一態様について説明する。図２は、電子機器１００のハードウェア構成を表わすブロック図である。電子機器１００は、主たる構成要素として、本体装置１０１と、表示装置１０２と、表示装置１０３とを含む。
【００２８】
第１の筐体１００Ａは、表示装置１０２を含む。第２の筐体１００Ｂは、本体装置１０１と表示装置１０３とを含む。なお、電子機器１００は、第２の筐体１００Ｂの代わりに第１の筐体１００Ａに本体装置１０１を含んでもよい。
【００２９】
本体装置１０１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１７１と、ＲＯＭ（Read-Only Memory）１７２と、メモリカードリーダライタ１７３と、通信部１７４と、マイク１７５と、スピーカ１７６と、操作キー１７７とを含む。各構成要素は、相互にデータバスＤＢ１によって接続されている。メモリカードリーダライタ１７３には、メモリカード１７３１が装着される。
【００３０】
ＣＰＵ１１０は、プログラムを実行する。操作キー１７７は、電子機器１００の使用者による指示の入力を受ける。ＲＡＭ１７１は、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、または操作キー１７７を介して入力されたデータを揮発的に格納する。ＲＯＭ１７２は、データを不揮発的に格納する。また、ＲＯＭ１７２は、ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）やフラッシュメモリなどのデータの書込みおよび消去が可能なＲＯＭである。通信部１７４は、図示しない他の電子機器との間で無線通信を行う。なお、図２には図示していないが、電子機器１００が、他の電子機器に有線により接続するためのインターフェイス（ＩＦ）を備える構成としてもよい。
【００３１】
表示装置１０２は、ドライバ１３０と、光センサ内蔵液晶パネル１４０（以下、液晶パネル１４０と称する）と、内部ＩＦ１７８と、バックライト１７９と、画像処理エンジン１８０とを含む。
【００３２】
ドライバ１３０は、液晶パネル１４０およびバックライト１７９を駆動するための駆動回路である。ドライバ１３０に含まれる各種の駆動回路については、後述する。
【００３３】
液晶パネル１４０は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル１４０は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル１４０の詳細については、後述する。
【００３４】
内部ＩＦ（Interface）１７８は、本体装置１０１と表示装置１０２との間で、データの遣り取りを仲介する。
【００３５】
バックライト１７９は、液晶パネル１４０の裏面に配置された光源である。バックライト１７９は、当該裏面に対して均一な光を照射する。
【００３６】
画像処理エンジン１８０は、ドライバ１３０を介して液晶パネル１４０の動作を制御す
る。ここで、当該制御は、内部ＩＦ１７８を介して本体装置１０１から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン１８０は、液晶パネル１４０から出力されるデータを処理し、処理したデータを内部ＩＦ１７８を介して本体装置１０１に送る。さらに、画像処理エンジン１８０は、ドライバ制御部１８１と、タイマ１８２と、信号処理部１８３とを含む。
【００３７】
ドライバ制御部１８１は、ドライバ１３０に対して制御信号を送ることによりドライバ１３０の動作を制御する。また、ドライバ制御部１８１は、本体装置１０１から送られてくるコマンドを解析する。そして、ドライバ制御部１８１は、当該解析の結果に基づいた制御信号をドライバ１３０に送る。ドライバ１３０の動作の詳細については、後述する。
【００３８】
タイマ１８２は、時刻情報を生成し、信号処理部１８３に対して時刻情報を送る。
信号処理部１８３は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部１８３は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部１８３は、当該デジタルデータに対して、本体装置１０１から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部１８３は、上記データ処理を行った後のデータと、タイマ１８２から取得した時刻情報とを含んだデータ（以下、応答データと称する）を本体装置１０１に送る。また、信号処理部１８３は、後述するスキャンデータを連続して複数格納できるＲＡＭ（図示せず）を備えている。
【００３９】
上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する（図７〜図９）。
【００４０】
なお、タイマ１８２は、必ずしも画像処理エンジン１８０に備えられている必要はない。たとえば、タイマ１８２は、表示装置１０２内における、画像処理エンジン１８０の外部に備えられていてもよい。あるいは、タイマ１８２は、本体装置１０１に備えられていてもよい。また、マイク１７５およびスピーカ１７６は、電子機器１００が常に備える構成ではなく、電子機器１００の実施例によっては、マイク１７５およびスピーカ１７６のいずれかあるいは両方を有さない構成であってもよい。
【００４１】
ここで、表示装置１０２は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル１４０の周辺機器を当該液晶パネル１４０のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、液晶パネル１４０のガラス基板上に一体形成されている。なお、表示装置１０２が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ１３０（バックライト１７９を駆動する回路を除く）と、内部ＩＦ１７８と、画像処理エンジン１８０とが、上記ガラス基板以外の基板に構成されていてもよい。
【００４２】
表示装置１０３は、ドライバ２３０と、光センサ内蔵液晶パネル２４０（以下、「液晶パネル２４０」と称する）と、内部ＩＦ２７８と、バックライト２７９と、画像処理エンジン２８０とを含む。画像処理エンジン２８０は、ドライバ制御部２８１と、タイマ２８２と、信号処理部２８３とを含む。
【００４３】
表示装置１０３は、表示装置１０２と同様な構成を有する。つまり、ドライバ２３０、液晶パネル２４０、内部ＩＦ２７８、バックライト２７９、および画像処理エンジン２８０は、表示装置１０２における、ドライバ１３０、液晶パネル１４０、内部ＩＦ１７８、バックライト１７９、画像処理エンジン１８０と同じ構成をそれぞれ有する。ドライバ制
御部２８１、タイマ２８２、および信号処理部２８３は、表示装置１０２における、ドライバ制御部１８１、タイマ１８２、信号処理部１８３と同じ構成をそれぞれ有する。したがって、表示装置１０３に含まれる各機能ブロックについての説明は、繰り返さない。
【００４４】
ところで、電子機器１００における処理は、各ハードウェアおよびＣＰＵ１１０により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＲＯＭ１７２に予め記憶されている場合がある。また、ソフトウェアは、メモリカード１７３１その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ１７３その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部１７４または通信ＩＦ（図示せず）を介してダウンロードされた後、ＲＯＭ１７２に一旦格納される。そのソフトウェアは、ＣＰＵ１１０によってＲＯＭ１７２から読み出され、ＲＡＭ１７１に実行可能なプログラムの形式で格納される。ＣＰＵ１１０は、そのプログラムを実行する。
【００４５】
図２に示される電子機器１００の本体装置１０１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１７１、ＲＯＭ１７２、メモリカード１７３１その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器１００の本体装置１０１のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【００４６】
なお、記憶媒体としては、メモリカードに限られず、ＣＤ−ＲＯＭ、ＦＤ（Flexible  Disk）、ハードディスク、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを除く）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
【００４７】
ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００４８】
＜光センサ内蔵液晶パネルの構成および駆動について＞
次に、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路の構成とについて説明する。図３は、液晶パネル１４０の構成と、当該液晶パネル１４０の周辺回路とを示した図である。
【００４９】
図３を参照して、液晶パネル１４０は、画素回路１４１と、光センサ回路１４４と、走査信号線Ｇｉと、データ信号線ＳＲｊと、データ信号線ＳＧｊと、データ信号線ＳＢｊと、センサ信号線ＳＳｊと、センサ信号線ＳＤｊと、読出信号線ＲＷｉと、リセット信号線ＲＳｉとを含む。なお、ｉは、１≦ｉ≦ｍを満たす自然数であり、ｊは１≦ｊ≦ｎを満たす自然数である。
【００５０】
また、図２に示した表示装置１０２のドライバ１３０は、液晶パネル１４０の周辺回路として、走査信号線駆動回路１３１と、データ信号線駆動回路１３２と、光センサ駆動回路１３３と、スイッチ１３４と、アンプ１３５とを含む。
【００５１】
走査信号線駆動回路１３１は、図２に示すドライバ制御部１８１から制御信号ＴＣ１を受ける。そして、走査信号線駆動回路１３１は、制御信号ＴＣ１に基づき、各走査信号線
（Ｇ１〜Ｇｍ）に対して、走査信号線Ｇ１から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路１３１は、単位時間毎に走査信号線（Ｇ１〜Ｇｍ）の中から１つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するＴＦＴ（Thin Film Transistor）１４２のゲートをターンオンできるだけの電圧（以下、ハイレベル電圧）を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
【００５２】
データ信号線駆動回路１３２は、図２に示すドライバ制御部１８１から画像データ（ＤＲ，ＤＧ，ＤＢ）を受ける。そして、データ信号線駆動回路１３２は、３ｎ個のデータ信号線（ＳＲ１〜ＳＲｎ，ＳＧ１〜ＳＧｎ，ＳＢ１〜ＳＢｎ）に対して、上記単位時間毎に、１行分の画像データに対応する電圧を順次印加する。
【００５３】
なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
【００５４】
画素回路１４１は、１つの画素の輝度（透過率）を設定するための回路である。また、画素回路１４１は、マトリクス状にｍ×ｎ個配されている。より詳しくは、画素回路１４１は、図３の縦方向にｍ個、横方向にｎ個配されている。
【００５５】
画素回路１４１は、Ｒサブピクセル回路１４１ｒと、Ｇサブピクセル回路１４１ｇと、Ｂサブピクセル回路１４１ｂとからなる。これら３つの回路（１４１ｒ，１４１ｇ，１４１ｂ）は、それぞれ、ＴＦＴ１４２と、画素電極と対向電極とからなる１組の電極対１４３と、図示しないコンデンサとを含む。
【００５６】
なお、ｎ型のトランジスタとｐ型のトランジスタとを作れるＣＭＯＳ（Complementary Metal Oxide Semiconductor）を実現できること、キャリア（電子または正孔）の移動速度がアモルファスシリコン薄膜トランジスタ（a-Si TFT）に比べて数百倍早いことなどから、表示装置１０２では、ＴＦＴ１４２として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、ＴＦＴ１４２は、ｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４２がｐ型チャネルの電界効果トランジスタであってもよい。
【００５７】
Ｒサブピクセル回路１４１ｒ内のＴＦＴ１４２のソースはデータ信号線ＳＲｊに接続されている。また、当該ＴＦＴ１４２のゲートは走査信号線Ｇｉに接続されている。さらに、当該ＴＦＴ１４２のドレインは、電極対１４３の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Ｇサブピクセル回路１４１ｇおよびＢサブピクセル回路１４１ｂについても、各ＴＦＴ１４２のソースが接続されるデータ信号線が異なる以外は、Ｒサブピクセル回路１４１ｒと同じ構成である。このため、これら２つの回路（１４１ｇ，１４１ｂ）についての説明は、繰り返さない。
【００５８】
ここで、画素回路１４１における輝度の設定について説明する。まず、走査信号線Ｇｉに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、ＴＦＴ１４２のゲートがターンオンする。このようにＴＦＴ１４２のゲートがターンオンした状態で、各データ信号線（ＳＲｊ，ＳＧｊ，ＳＢｊ）に対して、それぞれ指定された電圧（１画素分の画像データに対応する電圧）を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ（補助容量）によって、次のフレーム期間において走査信号線Ｇｉが選択されるまで保持される。
【００５９】
光センサ駆動回路１３３は、図２に示すドライバ制御部１８１から制御信号ＴＣ２を受ける。
【００６０】
そして、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎にリセット信号線（ＲＳ１〜ＲＳｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧ＶＳＳＲを印加したままとする。たとえば、電圧ＶＤＤＲを０Ｖに、電圧ＶＳＳＲを−５Ｖに設定すればよい。
【００６１】
また、光センサ駆動回路１３３は、制御信号ＴＣ２に基づき、単位時間毎に読出信号線（ＲＷ１〜ＲＷｍ）の中から１つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧ＶＤＤを印加する。なお、選択されていない読出信号線に対しては、上記電圧ＶＳＳＲを印加したままとする。たとえば、ＶＤＤの値を８Ｖに設定すればよい。
【００６２】
なお、電圧ＶＤＤＲを印加するタイミング、および電圧ＶＤＤを印加するタイミングについては、後述する。
【００６３】
光センサ回路１４４は、フォトダイオード１４５と、コンデンサ１４６と、ＴＦＴ１４７とを含む。なお、以下では、ＴＦＴ１４７がｎ型チャネルの電界効果トランジスタであるとして説明する。ただし、ＴＦＴ１４７がｐ型チャネルの電界効果トランジスタであってもよい。
【００６４】
フォトダイオード１４５のアノードは、リセット信号線ＲＳｉに接続されている。一方、フォトダイオード１４５のカソードは、コンデンサ１４６の一方の電極に接続されている。また、コンデンサ１４６の他方の電極は、読出信号線ＲＷｉに接続されている。なお、以下では、フォトダイオード１４５とコンデンサ１４６との接続点をノードＮと称する。
【００６５】
ＴＦＴ１４７のゲートは、ノードＮに接続されている。また、ＴＦＴ１４７のドレインは、センサ信号線ＳＤｊに接続されている。さらに、ＴＦＴ１４７のソースは、センサ信号線ＳＳｊに接続されている。光センサ回路１４４を用いたセンシングの詳細については、後述する。
【００６６】
スイッチ１３４は、センサ信号線（ＳＤ１〜ＳＤｎ）に対して、予め定められた電圧を印加するか否かを切換えるために設けられたスイッチである。スイッチ１３４の切換え動作は、光センサ駆動回路１３３により行われる。なお、スイッチ１３４が導通状態となった場合にセンサ信号線（ＳＤ１〜ＳＤｎ）に印加される電圧については、後述する。
【００６７】
アンプ１３５は、各センサ信号線（ＳＳ１〜ＳＳｎ）から出力された電圧を増幅する。なお、増幅された電圧は、図２に示した信号処理部１８３に送られる。
【００６８】
なお、画素回路１４１を用いて画像を液晶パネル１４０に表示させるタイミングと、光センサ回路１４４を用いてセンシングするタイミングとについては、画像処理エンジン１８０が制御する。
【００６９】
図４は、液晶パネル１４０とバックライト１７９との断面図である。図４を参照して、液晶パネル１４０は、アクティブマトリクス基板１５１Ａと、対向基板１５１Ｂと、液晶層１５２とを含む。対向基板１５１Ｂは、アクティブマトリクス基板１５１Ａに対向して
配されている。液晶層１５２は、アクティブマトリクス基板１５１Ａと対向基板１５１Ｂとに挟まれている。バックライト１７９は、アクティブマトリクス基板１５１Ａに関し液晶層１５２と反対側に配されている。
【００７０】
アクティブマトリクス基板１５１Ａは、偏光フィルタ１６１と、ガラス基板１６２と、電極対１４３を構成する画素電極１４３ａと、フォトダイオード１４５と、データ信号線１５７と、配向膜１６４とを含む。さらに、図４には示していないが、アクティブマトリクス基板１５１Ａは、図３に示した、コンデンサ１４６と、ＴＦＴ１４７と、ＴＦＴ１４２と、走査信号線Ｇｉとを含む。
【００７１】
また、アクティブマトリクス基板１５１Ａにおいては、バックライト１７９側から、偏光フィルタ１６１、ガラス基板１６２、画素電極１４３ａ、および配向膜１６４が、この順に配されている。フォトダイオード１４５とデータ信号線１５７とは、ガラス基板１６２の液晶層１５２側に形成されている。
【００７２】
対向基板１５１Ｂは、偏光フィルタ１６１と、ガラス基板１６２と、遮光膜１６３と、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と、電極対１４３を構成する対向電極１４３ｂと、配向膜１６４とを含む。
【００７３】
また、対向基板１５１Ｂにおいては、液晶層１５２側から、配向膜１６４、対向電極１４３ｂ、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）、ガラス基板１６２、および偏光フィルタ１６１が、この順に配されている。遮光膜１６３は、カラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）と同一の層に形成されている。
【００７４】
カラーフィルタ１５３ｒは、赤色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｇは、緑色の波長の光を透過させるフィルタである。カラーフィルタ１５３ｂは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード１４５は、カラーフィルタ１５３ｂに対向する位置に配されている。
【００７５】
液晶パネル１４０は、外光やバックライト１７９などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル１４０は、画素電極１４３ａと対向電極１４３ｂとの間に電圧を印加することにより液晶層１５２の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ１６１を配置している。
【００７６】
なお、フォトダイオード１４５の位置は、上記の位置に限定されるものではなく、カラーフィルタ１５３ｒに対向する位置やカラーフィルタ１５３ｇに対向する位置に設けることも可能である。
【００７７】
ここで、光センサ回路１４４の動作について説明する。図５は、光センサ回路１４４を動作させる際のタイミングチャートを示した図である。図５において、電圧ＶＩＮＴは、光センサ回路１４４内のノードＮにおける電位を示している。また、電圧ＶＰＩＸは、図３に示したセンサ信号線ＳＳｊからの出力電圧であって、アンプ１３５によって増幅される前の電圧を示している。
【００７８】
以下では、光センサ回路１４４をリセットするためのリセット期間と、光センサ回路１４４を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
【００７９】
まず、リセット期間について説明する。リセット期間においては、リセット信号線ＲＳｉに印加する電圧を、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤＲ）へと瞬間的に切換える。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。このように、リセット信号線ＲＳｉに上記ハイレベルの電圧を印加することにより、フォトダイオード１４５の順方向（アノード側からカソード側）に電流が流れ始める。その結果、ノードＮの電位である電圧ＶＩＮＴは、以下の式（１）で示す値となる。なお、式（１）では、フォトダイオード１４５における順方向の電圧降下量をＶｆとしている。
【００８０】
ＶＩＮＴ＝ＶＳＳＲ＋｜ＶＤＤＲ−ＶＳＳＲ｜−Ｖｆ  …  （１）
それゆえ、ノードＮの電位は、図５に示すとおり、電圧ＶＤＤＲよりもＶｆだけ小さな値となる。
【００８１】
ここで、電圧ＶＩＮＴは、ＴＦＴ１４７のゲートをターンオンさせる閾値以下であるため、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。また、コンデンサ１４６の電極間には、上記電圧ＶＩＮＴ分の差が生じる。このため、コンデンサ１４６には、当該差に応じた電荷が蓄積される。
【００８２】
次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線ＲＳｉに印加する電圧は、ハイレベル（電圧ＶＤＤＲ）からローレベル（電圧ＶＳＳＲ）へと瞬間的に切り換わる。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）のままとする。
【００８３】
このように、リセット信号線ＲＳｉに印加する電圧をローレベルに変化させることにより、ノードＮの電位は、リセット信号線ＲＳｉの電圧および読出信号線ＲＷｉの電圧よりも高くなる。このため、フォトダイオード１４５においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード１４５は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード１４５が受光すると、フォトダイオード１４５のカソード側からアノード側へと電流が流れ始める。その結果、図５に示すとおり、ノードＮの電位（つまり、電圧ＶＩＮＴ）は時間の経過とともに低くなる。
【００８４】
なお、このように電圧ＶＩＮＴが低下し続けるため、ＴＦＴ１４７のゲートはターンオンした状態にはならない。それゆえ、センサ信号線ＳＳｊからの出力はない。このため、電圧ＶＰＩＸは変化しない。
【００８５】
次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線ＲＳｉに印加する電圧をローレベル（電圧ＶＳＳＲ）のままとする。一方、読出信号線ＲＷｉに印加する電圧は、ローレベル（電圧ＶＳＳＲ）からハイレベル（電圧ＶＤＤ）へと瞬間的に切り換わる。ここで、電圧ＶＤＤは、電圧ＶＤＤＲよりも高い値である。
【００８６】
このように、読出信号線ＲＷｉにハイレベルの電圧を瞬間的に印加することにより、図５に示すとおり、コンデンサ１４６を介してノードＮの電位が引き上げられる。なお、ノードＮの電位の上昇幅は、読出信号線ＲＷｉに印加する電圧に応じた値となる。ここで、ノードＮの電位（つまり、電圧ＶＩＮＴ）が、ＴＦＴ１４７のゲートをターンオンさせる閾値以上まで引き上げられるため、ＴＦＴ１４７のゲートがターンオンする。
【００８７】
この際、ＴＦＴ１４７のドレイン側に接続されたセンサ信号線ＳＤｊ（図３参照）に予め一定電圧を印加しておけば、ＴＦＴ１４７のソース側に接続されたセンサ信号線ＳＳｊ
からは、図５のＶＰＩＸのグラフに示すとおり、ノードＮの電位に応じた電圧が出力される。
【００８８】
ここで、フォトダイオード１４５が受光する光の量（以下、受光量と称する）が少ないと、図５のＶＩＮＴのグラフに示す直線の傾きが緩やかになる。その結果、電圧ＶＰＩＸは、受光量が多い場合に比べて高くなる。このように、光センサ回路１４４は、フォトダイオード１４５の受光量に応じて、センサ信号線ＳＳｊに出力する電圧の値を変化させる。
【００８９】
ところで、上記においては、ｍ×ｎ個存在する光センサ回路のうち、１つの光センサ回路１４４に着目して、その動作を説明した。以下では、液晶パネル１４０における各光センサ回路の動作について説明する。
【００９０】
まず、光センサ駆動回路１３３は、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路１３３は、リセット信号線ＲＳ１に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。なお、他のリセット信号線（ＲＳ２〜ＲＳｍ）および読出信号線（ＲＷ１〜ＲＷｍ）については、ローレベルの電圧を印加したままの状態とする。これにより、図３における１行目のｎ個の光センサ回路が、上述したリセット期間に入る。その後、１行目のｎ個の光センサ回路は、センシング期間に入る。さらに、その後、１行目のｎ個の光センサ回路は、読出期間に入る。
【００９１】
なお、ｎ個のセンサ信号線（ＳＤ１〜ＳＤｎ）の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
【００９２】
１行目のｎ個の光センサ回路の読出期間が終了すると、光センサ駆動回路１３３は、リセット信号線ＲＳ２に対して、通常よりもハイレベルな電圧ＶＤＤＲを印加する。つまり、２行目のｎ個の光センサ回路のリセット期間に入る。リセット期間が終了すると、２行目のｎ個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
【００９３】
以降は、上述した処理が、順に、３行目のｎ個の光センサ回路、４行目のｎ個の光センサ回路、…ｍ行目のｎ個の光センサ回路に対して行われる。その結果、センサ信号線（ＳＳ１〜ＳＳｎ）からは、１行目のセンシング結果、２行目のセンシング結果、…、ｍ行目のセンシング結果が、この順に出力される。
【００９４】
なお、表示装置１０２においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル１４０から出力される。このため、以下では、液晶パネル１４０から出力される１行目からｍ行目までのｍ行分の電圧に関するデータに対して、信号処理部１８３が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物（たとえば、ユーザの指）をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
【００９５】
また、上記においては、ｍ×ｎ個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル１４０の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
【００９６】
以下では、電子機器１００が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切換えは、操作キー１７７を介した入力などに基づく本体装置１０１から送
られてくるコマンドにより行われるものとする。なお、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン１８０が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー１７７を介してユーザが指定できる構成としてもよい。
【００９７】
このように、液晶パネル１４０の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。１つ目は、上記一部の領域（以下、スキャン領域と称する）以外の表面の領域において、画像を表示させる態様である。２つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置１０１から画像処理エンジン１８０に送られてくるコマンドに基づく。
【００９８】
図６は、液晶パネル１４０とバックライト１７９との断面図であって、スキャンの際にフォトダイオード１４５がバックライト１７９からの光を受光する構成を示した図である。
【００９９】
図６を参照して、ユーザの指９００が液晶パネル１４０の表面に接触している場合、バックライト１７９から発せられた光の一部は、当該接触している領域ではユーザの指９００（略平面）にて反射される。そして、フォトダイオード１４５は、当該反射された光を受光する。
【０１００】
また、指９００が接触していない領域においても、バックライト１７９から発せられた光の一部は、ユーザの指９００にて反射される。この場合においても、フォトダイオード１４５は、当該反射された光を受光する。ただし、当該領域においては液晶パネル１４０の表面に指９００が接触していないため、指９００が接触している領域よりも、フォトダイオード１４５の受光量は少なくなる。なお、バックライト１７９から発せられた光のうち、ユーザの指９００に到達しない光のほとんどについては、フォトダイオード１４５は受光できない。
【０１０１】
ここで、バックライト１７９を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路１４４は、ユーザの指９００により反射した光の光量に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９の点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。
【０１０２】
以上により、表示装置１０２は、指９００によって光が反射されることにより得られる像（以下、反射像とも称する）をスキャンすることができる。
【０１０３】
なお、指９００以外のスキャン対象物としては、スタイラスなどが挙げられる。
ところで、本実施の形態においては、電子機器１００の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機ＥＬ（Electro-Luminescence）パネルなどの他のパネルを用いてもよい。
【０１０４】
＜データについて＞
次に、センシングコマンドについて説明する。なお、表示装置１０２においては、画像処理エンジン１８０は、センシングコマンドの内容を解析し、当該解析の結果に従ったデータ（つまり、応答データ）を本体装置１０１に送り返す。
【０１０５】
図７は、センシングコマンドの概略構成を示した図である。図７を参照して、センシングコマンドは、ヘッダのデータ領域ＤＡ０１と、タイミングを示すデータ領域ＤＡ０２と、データ種別を示すデータ領域ＤＡ０３と、読取方式を示すデータ領域ＤＡ０４と、画像階調を示すデータ領域ＤＡ０５と、解像度を示すデータ領域ＤＡ０６と、予備のデータ領域ＤＡ０７とを含む。
【０１０６】
図８は、センシングコマンドの各領域におけるデータの値と、当該値が示す意味内容とを示した図である。
【０１０７】
図８を参照して、タイミングを示すデータ領域に「００」が設定されたセンシングコマンドは、画像処理エンジン１８０に対して、そのときのスキャンデータの送信を要求する。つまり、センシングコマンドは、当該センシングコマンドを画像処理エンジン１８０が受信した後に、光センサ回路１４４を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、タイミングを示すデータ領域に「０１」が設定されたセンシングコマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、タイミングを示すデータ領域に「１０」が設定されたセンシングコマンドは、一定周期毎にスキャンデータの送信を要求する。
【０１０８】
データ種別を示すデータ領域に「００１」が設定されたセンシングコマンドは、部分画像における中心座標の座標値の送信を要求する。また、データ種別を示すデータ領域に「０１０」が設定されたセンシングコマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、データ種別を示すデータ領域に「１００」が設定されたセンシングコマンドは、全体画像の送信を要求する。
【０１０９】
ここで、「全体画像」とは、ｍ×ｎ個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン１８０により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
【０１１０】
なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル１４０の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
【０１１１】
読取方式を示すデータ領域に「００」が設定されたセンシングコマンドは、バックライト１７９を点灯してスキャンすることを要求する。また、読取方式を示すデータ領域に「０１」が設定されたセンシングコマンドは、バックライト１７９を消灯してスキャンすることを要求する。なお、バックライト１７９を消灯してスキャンする構成については後述する（図１２）。さらに、読取方式を示すデータ領域に「１０」が設定されたセンシングコマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト１７９を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切換えて、スキャン対象物のスキャンを行うことを指す。
【０１１２】
画像階調を示すデータ領域に「００」が設定されたセンシングコマンドは、白黒の２値の画像データを要求する。また、画像階調を示すデータ領域に「０１」が設定されたセンシングコマンドは、多階調の画像データを要求する。さらに、画像階調を示すデータ領域に「１０」が設定されたセンシングコマンドは、ＲＧＢのカラーの画像データを要求する。
【０１１３】
解像度を示すデータ領域に「０」が設定されたセンシングコマンドは、解像度の高い画
像データを要求する。また、解像度を示すデータ領域に「１」が設定されたセンシングコマンドは、解像度の低い画像データを要求する。
【０１１４】
また、センシングコマンドには、図７および図８に示したデータ以外に、スキャンを行う領域（光センサ回路１４４を駆動する画素の領域）の指定、スキャンを行うタイミング、バックライト１７９の点灯のタイミングなどが記述されている。
【０１１５】
図９は、応答データの概略構成を示した図である。応答データは、センシングコマンドの内容に応じたデータであって、表示装置１０２の画像処理エンジン１８０が本体装置１０１に対して送信するデータである。
【０１１６】
図９を参照して、応答データは、ヘッダのデータ領域ＤＡ１１と、座標を示すデータ領域ＤＡ１２と、時刻を示すデータ領域ＤＡ１３と、画像を示すデータ領域ＤＡ１４とを含む。ここで、座標を示すデータ領域ＤＡ１２には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン１８０のタイマ１８２から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン１８０により処理がされた後の画像データ（つまり、スキャンデータ）が書き込まれる。
【０１１７】
図１０は、指９００をスキャンすることにより得られた画像（つまり、スキャン画像）を示した図である。図１０を参照して、太実線で囲まれた領域Ｗ１の画像が全体画像であり、破線で囲まれた領域Ｐ１の画像が部分画像である。また、太線で示した十字の中心点Ｃ１が、中心座標となる。
【０１１８】
本実施の形態では、矩形の領域であって、かつセンサ信号線ＳＳｊからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素（つまり、予め定められた階調または予め定められた輝度以上の画素）全てを含む領域を、部分画像の領域としている。
【０１１９】
また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点（つまり図心）との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
【０１２０】
ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
【０１２１】
センシングコマンドのデータ種別を示すデータ領域に「００１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に上記中心座標の値を書き込む。この場合、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４には画像データを書き込まない。画像処理エンジン１８０は、上記中心座標の値の書込みを行った後、当該中心座標の値を含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「００１」が設定されている場合には、センシングコマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
【０１２２】
また、センシングコマンドのデータ種別を示すデータ領域に「０１０」が設定されている場合には、画像処理エンジン１８０は、画像を示すデータ領域ＤＡ１４に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記スキャン結果が変化した部分画像の画像データの書込みを行った後、当該部分画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示
すデータ領域に「０１０」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
【０１２３】
なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指９００などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
【０１２４】
また、センシングコマンドのデータ種別を示すデータ領域に「０１１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「０１１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
【０１２５】
また、センシングコマンドのデータ種別を示すデータ領域に「１００」が設定されている場合には、画像処理エンジン１８０は、図９に示した応答データの画像を示すデータ領域ＤＡ１４に、全体画像の画像データを書き込む。この場合、画像処理エンジン１８０は、中心座標の値を座標を示すデータ領域ＤＡ１２に書き込まない。画像処理エンジン１８０は、上記全体画像の画像データの書込みを行った後、当該全体画像の画像データを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１００」が設定されている場合には、センシングコマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
【０１２６】
また、センシングコマンドのデータ種別を示すデータ領域に「１０１」が設定されている場合には、画像処理エンジン１８０は、座標を示すデータ領域ＤＡ１２に中心座標の値を書き込むとともに、画像を示すデータ領域ＤＡ１４に全体画像の画像データを書き込む。その後、画像処理エンジン１８０は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置１０１に送る。このように、データ種別を示すデータ領域に「１０１」が設定されている場合には、センシングコマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
【０１２７】
＜構成の第１の変形例について＞
ところで、液晶パネル１４０の構成は、図３に示した構成に限定されるものではない。以下では、図３とは異なる態様の液晶パネルについて説明する。
【０１２８】
図１１は、上記異なる態様である光センサ内蔵液晶パネル１４０Ａの回路図である。図１１を参照して、光センサ内蔵液晶パネル１４０Ａ（以下、液晶パネル１４０Ａと称する）は、１画素内に３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含んでいる。このように液晶パネル１４０Ａが１画素内に３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を備える点において、液晶パネル１４０Ａは、１画素内に１つの光センサ回路を備える液晶パネル１４０と異なる。なお、光センサ回路１４４の構成と、３つの各光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）との構成は同じである。
【０１２９】
また、１画素内における３つのフォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）は、それぞれ、カラーフィルタ１５３ｒ、カラーフィルタ１５３ｇ、カラーフィルタ１５３
ｂに対向する位置に配されている。それゆえ、フォトダイオード１４５ｒは赤色の光を受光し、フォトダイオード１４５ｇは緑色の光を受光し、フォトダイオード１４５ｂは青色の光を受光する。
【０１３０】
また、液晶パネル１４０は１画素内において１つの光センサ回路１４４しか含まないため、１画素内に配設されるＴＦＴ１４７用のデータ信号線は、センサ信号線ＳＳｊとセンサ信号線ＳＤｊとの２本であった。しかしながら、液晶パネル１４０Ａは１画素内において３つの光センサ回路（１４４ｒ，１４４ｇ，１４４ｂ）を含むため、１画素内に配設されるＴＦＴ（１４７ｒ，１４７ｇ，１４７ｂ）用のデータ信号線は６本となる。
【０１３１】
具体的には、カラーフィルタ１５３ｒに対向する位置に配されたフォトダイオード１４５ｒのカソードに接続されたＴＦＴ１４７ｒに対応して、センサ信号線ＳＳＲｊとセンサ信号線ＳＤＲｊとが配設される。また、カラーフィルタ１５３ｇに対向する位置に配されたフォトダイオード１４５ｇのカソードに接続されたＴＦＴ１４７ｇに対応して、センサ信号線ＳＳＧｊとセンサ信号線ＳＤＧｊとが配設される。さらに、カラーフィルタ１５３ｂに対向する位置に配されたフォトダイオード１４５ｂのカソードに接続されたＴＦＴ１４７ｂに対応して、センサ信号線ＳＳＢｊとセンサ信号線ＳＤＢｊとが配設される。
【０１３２】
このような液晶パネル１４０Ａにおいては、バックライト１７９から照射された白色光は、３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）を透過し、液晶パネル１４０Ａの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）を透過する。
【０１３３】
この際、カラーフィルタ１５３ｒは赤色の波長の光を透過し、フォトダイオード１４５ｒは、当該赤色の波長の光を受光する。また、カラーフィルタ１５３ｇは緑色の波長の光を透過し、フォトダイオード１４５ｇは、当該緑色の波長の光を受光する。また、カラーフィルタ１５３ｂは青色の波長の光を透過し、フォトダイオード１４５ｂは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は３つのカラーフィルタ（１５３ｒ，１５３ｇ，１５３ｂ）によって３原色（Ｒ，Ｇ，Ｂ）に色分解され、各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）は、それぞれに対応した色の光を受光する。
【０１３４】
スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）の受光量が各フォトダイオード（１４５ｒ，１４５ｇ，１４５ｂ）で異なることになる。このため、センサ信号線ＳＳＲｊとセンサ信号線ＳＳＧｊとセンサ信号線ＳＳＢｊとの出力電圧は互いに異なる。
【０１３５】
それゆえ、各出力電圧に応じて、Ｒの階調とＧの階調とＢの階調とを画像処理エンジン１８０が決定することにより、画像処理エンジン１８０はＲＧＢのカラー画像を本体装置１０１へ送ることができる。
【０１３６】
以上述べたように、電子機器１００が液晶パネル１４０Ａを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
【０１３７】
次に、図１２を参照して、前述のスキャンの方法（つまり、図６における反射像をスキャンする方法）とは異なるスキャンの方法について説明する。
【０１３８】
図１２は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図であ
る。図１２に示されるように、外光の一部は、指９００によって遮られる。それゆえ、指９００と接触している液晶パネル１４０の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指９００の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
【０１３９】
ここで、バックライト１７９を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路１４４は、液晶パネル１４０の表面に対する指９００の位置に応じた電圧をセンサ信号線ＳＳｊから出力することができる。このように、バックライト１７９を点灯と消灯とを制御することにより、液晶パネル１４０では、指９００の接触位置、指９００の接触している範囲（指９００の押圧力によって定まる）、液晶パネル１４０の表面に対する指９００の方向などに応じて、センサ信号線（ＳＳ１からＳＳｎ）から出力される電圧が変化することになる。
【０１４０】
以上により、表示装置１０２は、指９００によって外光が遮られることにより得られる像（以下、影像とも称する）をスキャンすることができる。
【０１４１】
さらに、表示装置１０２を、バックライト１７９を点灯させてスキャンを行った後に、バックライト１７９を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置１０２を、バックライト１７９を消灯させてスキャンを行った後に、バックライト１７９を点灯させて再度スキャンを行う構成としてもよい。
【０１４２】
この場合には、２つのスキャン方式を併用することになるため、２つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
【０１４３】
＜表示装置について＞
表示装置１０３の動作は、表示装置１０２の動作と同様、本体装置１０１からのコマンド（たとえば、センシングコマンド）に応じて制御される。表示装置１０３は表示装置１０２と同様な構成を有する。それゆえ、表示装置１０３が表示装置１０２と同じコマンドを本体装置１０１から受付けた場合、表示装置１０３は表示装置１０２と同様の動作を行う。このため、表示装置１０３の構成や動作についての説明は繰り返さない。
【０１４４】
なお、本体装置１０１は、表示装置１０２と表示装置１０３とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置１０２と表示装置１０３とは別々の動作を行う。また、本体装置１０１は、表示装置１０２および表示装置１０３のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行う。また、本体装置１０１が、表示装置１０２と表示装置１０３とに命令が同じコマンドを送ってもよい。この場合、表示装置１０２と表示装置１０３とは、同じ動作を行う。
【０１４５】
なお、表示装置１０２の液晶パネル１４０のサイズと表示装置１０３の液晶パネル２４０のサイズとは、同じであってもよいし又は異なっていてもよい。また、液晶パネル１４０の解像度と液晶パネル２４０の解像度とは、同じであってもよいし又は異なっていてもよい。
【０１４６】
＜構成の第２の変形例について＞
本実施の形態では、電子機器１００が、液晶パネル１４０と液晶パネル２４０といったそれぞれに光センサを内蔵した液晶パネルを備える構成について説明するが、一方の液晶パネルのみが光センサを内蔵している構成であってもよい。
【０１４７】
図１３は、電子機器１３００のハードウェア構成を表すブロック図である。電子機器１３００は、電子機器１００と同様、第１の筐体１００Ａと、第２の筐体１００Ｂとを含む。第１の筐体１００Ａは、表示装置１０２を含む。第２の筐体１００Ｂは、光センサを内蔵しない液晶パネル（つまり、表示機能のみを有する液晶パネル）を含む。電子機器１３００は、第２の筐体１００Ｂが光センサを内蔵しない液晶パネルを含む点で、第２の筐体１００Ｂが光センサを内蔵した液晶パネル２４０を含む電子機器１００と異なる。このような電子機器１３００は、第１の筐体１００Ａの表示装置１０２を用いて上述したセンシングを行う。
【０１４８】
また、第２の筐体１００Ｂは、光センサを内蔵した液晶パネル２４０の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。
【０１４９】
また、本実施の形態では、表示装置１０２がタイマ１８２を備え、表示装置１０３がタイマ２８２を備える構成として説明するが、表示装置１０２と表示装置１０３とが１つのタイマを共有する構成としてもよい。
【０１５０】
また、本実施の形態では、電子機器１００を折畳型の機器として説明するが、電子機器１００は必ずしも折畳型に限定されるものではない。たとえば、電子機器１００は、第１の筐体１００Ａが第２の筐体１００Ｂに対してスライドする構成のスライド式の機器であってもよい。
【０１５１】
＜＜具体的な実現例＞＞
＜機能ブロック＞
図１４は、電子機器１００の機能ブロックを示した図である。図１４を参照して、電子機器１００は、制御部１０と、液晶パネル１４０，２４０と、記憶装置９０とを備える。制御部１０は、表示制御部１１と、スキャン部１２と、検知部１３と、特定部１４と、第１判断部１５と、第２判断部１６と、第３判断部１７と、実行部１８と、選択処理部２１と、手書入力受付部３１と、文字認識部３２と、文字入力処理部４１と、関連付部４２とを備える。
【０１５２】
記憶装置９０は、ＲＡＭ１７１やハードディスク（図示せず）により構成される。記憶装置９０は、少なくとも、第１形状を示した第１形状データと、第２形状を示した第２形状データとを予め格納している。第１形状と第２形状とは、互いに異なる。また、第１形状および第２形状は、スキャン画像に含まれる画像の形状との一致を判断するための図形の形状である。
【０１５３】
表示制御部１１は、記憶装置９０内のＶＲＡＭ（図示せず）に格納された画像データに基づき、液晶パネル１４０,２４０の表示面に画像を表示させる。表示制御部１１は、液晶パネル１４０の表示面において表示されている画像の当該表示面での位置を示した位置情報と、液晶パネル２４０の表示面において表示されている画像の当該表示面での位置を示した位置情報とを、第２判断部１６および第３判断部１７に送る。
【０１５４】
スキャン部１２は、液晶パネル１４０，２４０にスキャンを実行させる。スキャン部１２は、検知部１３と手書入力受付部３１にスキャンデータを送る。
【０１５５】
検知部１３は、スキャンデータに基づいて、液晶パネル１４０，２４０の表示面に少なくとも１つの物体が接触したことを検知する。検知部１３が上記接触を検知した場合、検知部１３は、特定部１４と、第２判断部１６と、第３判断部１７とにスキャンデータを送る。
【０１５６】
特定部１４は、スキャンデータに基づいて、接触領域の形状を接触領域毎に特定する。たとえば、複数本の指が表示面に接触した場合、特定部１４は、複数の接触領域が、それぞれ略楕円形状（図１０の領域Ｐ１内の白色箇所を参照）であると特定する。特定部１４は、特定した各形状を示す情報を第１判断部１５に送る。なお、指以外の接触領域の形状については、後述する（図１５，１６）。
【０１５７】
第１判断部１５は、記憶装置９０に記憶された第１形状データに基づいて、特定部１４が特定した各形状の中に第１形状と一致する形状が存在するか否かを判断する。たとえば、特定部１４がｎ個（ｎは自然数）の形状を特定した場合、当該ｎ個の形状の中に第１形状と一致する形状が存在するか否かを判断する。言い換えれば、特定部１４がｎ個の形状を特定した場合、第１判断部１５は、当該ｎ個の形状のうち少なくとも１つの形状が第１形状と一致するか否かを判断する。
【０１５８】
なお、本実施の形態において一致とは、互いの形状が完全に一致することのみならず、形状の一致度合いが所定の値以上である場合を含む。第１判断部１５が互いの形状が一致すると判断する例としては、特定した形状と第１形状とが相似形である場合、両形状の特徴的な部分が似通っている場合などが挙げられる。なお、第１判断部１５は、たとえば、画像認証の技術を用いて、互いの形状が一致するか否かを判断すればよい。
【０１５９】
第１判断部１５は、さらに、記憶装置９０に記憶された第２形状データに基づいて、特定部１４が特定した各形状の中に第２形状と一致する形状が存在するか否かを判断する。当該判断においても、第１判断部１５は、第１形状と一致する形状が存在するか否かの判断と同様な処理を行う。なお、第１形状と第２形状とは、２次元形状である。
【０１６０】
第１判断部１５は、上記各判断結果を実行部１８に送る。第１判断部１５は、第１形状と一致する形状と第２形状と一致する形状とが存在すると判断した場合、当該判断結果を第２判断部１６に送る。第１判断部１５は、第１形状と一致する形状が存在しないと判断した場合、当該判断結果を第３判断部１７に送る。
【０１６１】
第２判断部１６が第１判断部１５から上記判断結果を受付けた場合、第２判断部１６は、表示制御部１１から受付けた位置情報に基づき、以下の判断を行なう。すなわち、第２判断部１６は、第２形状と一致する形状を有する接触領域の位置に応じて、液晶パネル１４０，２４０の表示面に表示されたオブジェクトを指定する入力を受付けたか否かを判断する。言い換えれば、第１形状と一致する形状と第２形状と一致する形状とが存在すると判断された場合に、第２判断部１６は、第２形状と一致する形状を有する接触領域の位置に応じて、液晶パネル１４０，２４０の表示面に表示されたオブジェクトを指定する入力を受付けたか否かを判断する。第２判断部１６は、上記判断結果を実行部１８に送る。
【０１６２】
第３判断部１７が第１判断部１５から上記判断結果を受付けた場合、第３判断部１７は、表示制御部１１から受付けた位置情報に基づき、以下の判断を行なう。すなわち、第３判断部１７は、第２形状と一致する形状を有する接触領域の位置に応じて、液晶パネル１４０，２４０の表示面に表示されたオブジェクトを指定する入力を受付けたか否かを判断する。第３判断部１７は、当該判断結果を実行部１８に送る。
【０１６３】
以下では、第１形状と一致する形状を有する接触領域は、物体Ａが表示面に接触することによって形成された領域とする。ここで、物体Ａは、手の掌とする。より詳しくは、物体Ａは、手の掌のうち小指球を含む領域とする。「小指球」とは、小指の付け根の下側（手首側）のふくらみの部分をいう。「小指球を含む領域」とは、ユーザがペン等を用いてたとえば紙に筆記を行なう際に、通常、紙（あるいは紙が置かれた台）に接触するユーザ
の手の表面部分である。また、第１形状は、たとえば液晶パネル１４０，２４０に手の掌を押し当てた場合に得られる接触面（図１６参照）の形状である。より詳しくは、第１形状は、手の掌のうち小指球付近の表面部を押し当てた場合に得られる接触面の形状である。なお、液晶パネル１４０，２４０がユーザの手の掌をスキャンすることにより、第１形状を示した第１形状データの登録を電子機器１００が受付ける構成としてもよい。
【０１６４】
また、第２形状と一致する形状を有する接触領域は、物体Ｂが表示面に接触することによって形成された領域とする。ここで、物体Ｂは、スタイラスペンのペン先または指先である。また、第２形状は、たとえば液晶パネル１４０，２４０にスタイラスペンのペン先または指先を押し当てた場合に得られる接触面の形状である。たとえば、第２形状は、円または略楕円を示す形状である。以下では、物体Ｂが、スタイラスペンのペン先である場合を例に挙げて説明する。
【０１６５】
次に、実行部１８の処理について説明する。なお、以下では、液晶パネル１４０と液晶パネル２４０のうち液晶パネル１４０を用いてユーザが入力を行なう場合を例に挙げて説明する。
【０１６６】
第２形状と一致する形状が存在すると判断された場合、実行部１８は、第１形状と一致する形状が存在するときと存在しないときとで異なる動作を電子機器１００に実行させる。当該異なる動作とは、第１形状と一致する形状が存在するか否かを判断した後におけるペン先による電子機器１００への入力を第１指令として処理する動作と、当該入力を第２指令として処理する動作とである。つまり、液晶パネル１４０における同一位置をペン先で指定する入力を電子機器１００が受付けた場合であっても、実行部１８は、第１形状と一致する形状が存在するときと存在しないときとで、当該入力を異なる入力（指令）として処理する。
【０１６７】
また、第１形状と一致する形状と第２形状と一致する形状とが存在すると判断された場合、実行部１８は、さらに、オブジェクトを指定する入力を受付けたと判断されたときと当該入力を受付けていないと判断されたときとで異なる動作を電子機器１００に実行させる。当該異なる動作の一方は、オブジェクトの指定に基づく動作と、当該動作が行なわれた後の、ペン先の移動に伴う手書入力の受付け動作とである。当該異なる動作の他方は、ペン先の移動に伴う手書入力の受付け動作である。
【０１６８】
なお、以下では、第２形状と一致する形状が存在すると判断された場合に、第１形状と一致する形状が存在しないときの電子機器１００の動作モードを、「第１動作モード」と称する。また、以下では、第１形状と一致する形状と第２形状と一致する形状とが存在すると判断された場合に、オブジェクトを指定する入力を受付けていないと判断されたときの電子機器１００の動作モードを、「第２動作モード」と称する。さらに、以下では、第１形状と一致する形状と第２形状と一致する形状とが存在すると判断された場合に、オブジェクトを指定する入力を受付けたと判断されたときの電子機器１００の動作モードを、「第３動作モード」と称する。
【０１６９】
（第１動作モード）
第１動作モードの場合、実行部１８は、上記オブジェクトの指定に基づく動作を電子機器１００に実行させる。たとえば、オブジェクトがファイルの場合には、オブジェクトの指定に基づく動作は、当該ファイルを、非選択状態から選択状態に切換える動作である。
【０１７０】
具体的には、実行部１８は、上記指定されたオブジェクトを特定する情報を選択処理部２１に送る。選択処理部２１は、当該オブジェクトを選択された状態とする。選択処理部２１は、選択されたオブジェクトを特定する情報を表示制御部１１に送る。表示制御部１
１は、オブジェクトが選択されていることを示した状態で当該オブジェクトを表示させる。たとえば、表示制御部１１は、オブジェクトの色を選択前の色から、当該選択前とは異なる色に切換える制御を行う。
【０１７１】
（第２動作モード）
第２動作モードの場合、実行部１８は、液晶パネル１４０の表示面上におけるスタイラスペンのペン先の移動に基づく手書き入力の受付けと、当該受付けた手書き入力に基づく画像の表示とを、電子機器１００に実行させる。
【０１７２】
具体的には、実行部１８は、手書入力受付部３１に対して手書入力の受付けを許可する指示を送る。手書入力受付部３１が当該指示を受付けた場合、手書入力受付部３１は、手書入力のための表示用のレイヤ（図２１参照）と、当該レイヤに含まれる認識文字の表示枠（図２１参照）とを表示させるための指示（以下、「レイヤ表示指示」と称する）を表示制御部１１に送る。手書入力受付部３１は、液晶パネル１４０を介した手書入力を受付ける。手書入力受付部３１は、手書入力の受付け動作として、上記指示を受付けた後にスキャン部１２から送られてくるスキャンデータから、手書の図形や文字を示すストローク情報を抽出する。手書入力受付部３１は、抽出したストローク情報を、表示制御部１１と文字認識部３２とに送る。
【０１７３】
表示制御部１１が手書入力受付部３１からレイヤ表示指示を受付けた場合、表示制御部１１は、手書入力のためのレイヤと、当該レイヤに含まれる認識文字の表示枠とを表示させる。表示制御部１１は、上記レイヤを表示した後、ストローク情報に基づいて、手書きの図形や文字を液晶パネル１４０の表示面に表示させる。
【０１７４】
文字認識部３２は、ストローク情報に基づき文字認識を行なう。文字認識部３２は、認識結果を、表示制御部１１に送る。文字認識部３２は、認識結果として、たとえば文字コードを表示制御部１１に送る。表示制御部１１は、認識結果に基づいて文字を表示させる。なお、本実施の形態では、文字は、電子機器１００がコード（たとえばJIS（Japan Industrial Standard）codeやUnicode）として記憶している数字や図形も含む。
【０１７５】
（第３動作モード）
第３動作モードの場合、実行部１８は、液晶パネル１４０の表示面上におけるスタイラスペンのペン先の移動に基づく手書き入力の受付けを電子機器１００に実行させる。また、実行部１８は、当該受付けた手書き入力に基づく画像の表示を電子機器１００に実行させる。さらに、実行部１８は、当該表示された画像に基づく情報についての上記指定されたオブジェクトへの関連付けを電子機器１００に実行させる。
【０１７６】
具体的には、ユーザから入力装置を介して電子機器１００が指定されたオブジェクトに対する入力処理を受付けた場合、実行部１８は、上記手書き入力の受付けと、上記画像の表示と、上記指定されたオブジェクトへの関連付けとを電子機器１００に実行させる。
【０１７７】
指定されたオブジェクトがファイルを示すアイコンである場合、上記入力処理としては、たとえば当該ファイルを開く処理が挙げられる。また、当該入力処理としては、たとえば、当該ファイルの名称を変更する指示が挙げられる。また、当該入力処理としては、たとえば、当該ファイルのプロパティを表示する処理が挙げられる。なお、指定されたオブジェクトがフォルダを示すアイコンである場合も、オブジェクトがファイルを示すアイコンである場合と同様であるため、上記入力処理の例についての説明は繰り返さない。
【０１７８】
電子機器１００が上記入力処理を受付けた場合、実行部１８は、手書入力受付部３１に対して手書入力の受付けを許可する指示を送る。手書入力受付部３１が当該指示を受付け
た場合、手書入力受付部３１は、手書入力のためのレイヤと、当該レイヤに含まれる認識文字の表示枠（図２１参照）とを表示させるための指示（以下、「レイヤ表示指示」と称する）を表示制御部１１に送る。手書入力受付部３１は、液晶パネル１４０を介した手書入力を受付ける。手書入力受付部３１は、手書入力の受付け動作として、上記指示を受付けた後にスキャン部１２から送られてくるスキャンデータから、手書の図形や文字を示すストローク情報を抽出する。手書入力受付部３１は、抽出したストローク情報を、表示制御部１１と文字認識部３２と実行部１８とに送る。
【０１７９】
表示制御部１１が手書入力受付部３１からレイヤ表示指示を受付けた場合、表示制御部１１は、手書入力のためのレイヤと、当該レイヤに含まれる認識文字の表示枠とを表示させる。表示制御部１１は、上記レイヤを表示した後、ストローク情報に基づいて、手書きの図形や文字を液晶パネル１４０の表示面に表示させる。
【０１８０】
文字認識部３２は、ストローク情報に基づき文字認識を行なう。文字認識部３２は、認識結果を、表示制御部１１に送る。文字認識部３２は、認識結果として、たとえば文字コードを表示制御部１１および文字入力処理部４１に送る。表示制御部１１は、認識結果に基づいて文字を表示させる。
【０１８１】
文字入力処理部４１は、上記認識した文字を、指定されたオブジェクトに関連付ける。指定されたオブジェクトがファイルを示すアイコンである場合に、上記入力処理として当該ファイルを開く処理を電子機器１００が受付けたとき、文字入力処理部４１は、開いたファイルに認識した文字を入力する。上記入力処理としてファイルの名称を変更する指示を電子機器１００が受付けたとき、文字入力処理部４１は、ファイルの名称を示すメモリ領域の内容を認識した文字で上書きする。なお、指定されたオブジェクトがフォルダを示すアイコンである場合も、オブジェクトがファイルを示すアイコンである場合と同様であるため、上記入力処理の例についての説明は繰り返さない。
【０１８２】
実行部１８は、手書入力受付部３１から受付けたストローク情報を、関連付部４２に送る。関連付部４２は、当該ストローク情報を、上記指定されたオブジェクトに関連付けて記憶装置９０に格納する。
【０１８３】
以上のように、上述した第１動作モードは、いわゆる画面操作を受付けるモードともいえる。また、上述した第２動作モードおよび第３動作モードは、手書入力を受付けるモードであるといえる。
【０１８４】
＜スキャン画像の例＞
図１５は、スタイラスペンのペン先をスキャンした場合におけるスキャン画像を示した図である。図１５を参照して、電子機器１００は、スタイラスペンのペン先の画像４０１を得る。ペン先の画像４０１の形状は、円形となる。
【０１８５】
なお、図１５に示すようなスキャン画像が得られた場合には、電子機器１００は、第１形状と一致する形状が存在せず、第２形状と一致する形状とが存在すると判断する。図１５に示すスキャン画像が得られた場合は、電子機器１００は、動作モードを第１動作モードに設定する。
【０１８６】
図１６は、スタイラスペンのペン先と手の掌（小指球付近）とをスキャンした場合におけるスキャン画像を示した図である。より具体的には、図１６は、ユーザが右手でスタイラスペンを握った状態をスキャンした場合におけるスキャン画像である。図１６を参照して、電子機器１００は、スキャンデータからペン先の画像４０１と手の掌の画像４０２とを得る。手の掌の画像４０２の形状は、スタイラスペンを握っているため、図１６に示す
ような形状となる。
【０１８７】
なお、図１６に示すようなスキャン画像が得られた場合には、電子機器１００は、第１形状と一致する形状と第２形状と一致する形状とが存在すると判断する。図１６に示すスキャン画像が得られた場合は、電子機器１００は、オブジェクトの指定の有無に応じて、動作モードを第２動作モードまたは第３動作モードに設定する。
【０１８８】
＜制御構造＞
図１７は、電子機器１００における処理フローを示したフローチャートである。図１７を参照して、ステップＳ２において、電子機器１００は、液晶パネル１４０の表示面に少なくとも１つの物体が接触したことを検知する。ステップＳ４において、電子機器１００は、上記表示面における接触領域の形状を、接触領域毎に特定する。ステップＳ６において、電子機器１００は、特定した各形状の中に、スタイラスペンのペン先形状（第２形状）と一致する形状が存在するか否かを判断する。
【０１８９】
電子機器１００がペン先形状と一致する形状が存在すると判断した場合（ステップＳ６においてＹＥＳ）、ステップＳ８において、電子機器１００は、特定した形状の中に、手の掌の形状（第１形状）と一致する形状が存在するか否かを判断する。一方、電子機器１００がペン先形状と一致する形状が存在しないと判断した場合（ステップＳ６においてＮＯ）、電子機器１００は、一連の処理を終了する。
【０１９０】
電子機器１００が手の掌の形状と一致する形状が存在すると判断した場合（ステップＳ８においてＹＥＳ）、ステップＳ１０において電子機器１００は、表示面に表示されたオブジェクトを指定する入力を受け付けたか否かを判断する。一方、電子機器１００が手の掌の形状と一致する形状が存在しないと判断した場合（ステップＳ８においてＮＯ）、ステップＳ１２において、電子機器１００は、電子機器１００の動作モードを上記第１動作モードに設定する。
【０１９１】
オブジェクトの指定を受付けていないと判断された場合（ステップＳ１０においてＮＯ）、ステップＳ１４において、電子機器１００は、電子機器１００の動作モードを上記第２動作モードに設定する。一方、オブジェクト指定を受付けたと判断された場合（ステップＳ１０においてＹＥＳ）、ステップＳ１６において、電子機器１００は、電子機器１００の動作モードを上記第３動作モードに設定する。
【０１９２】
＜画面表示例＞
図１８は、液晶パネル１４０の表示面における表示内容の一例を示した図である。図１８を参照して、電子機器１００は、ファイルを示したアイコン５０１〜５０３と、フォルダを示したアイコン５３１，５３２と、ごみ箱を示したアイコン５５１とを表示面に表示している。以下では、図１８に示した状態において、ユーザが、液晶パネル１４０の表示面に対してペン先および手の掌のうち少なくとも１つを接触させた場合における当該表示面の表示内容について説明する。
【０１９３】
なお、アイコン５０１で特定されるファイルの名称は、「Ｆｉ−Ａ」である。アイコン５０２で特定されるファイルの名称は、「Ｆｉ−Ｂ」である。アイコン５０３で特定されるファイルの名称は、「Ｆｉ−Ｃ」である。また、アイコン５３１で特定されるフォルダの名称は、「Ｆｏ−Ｘ」である。アイコン５３２で特定されるフォルダの名称は、「Ｆｏ−Ｙ」である。
【０１９４】
図１９は、ユーザがスタイラスペン６００のペン先を液晶パネル１４０の表示面に接触させた状態を示した図である。図１９に示した状態となった場合、電子機器１００は、動
作モードを第１モードに設定する。また、図１９は、スタイラスペン６００によりオブジェクトであるアイコン５０１が指定された状態を示した図でもある。図１９を参照して、電子機器１００は、アイコン５０１を選択状態として表示する。
【０１９５】
図２０は、ユーザがスタイラスペン６００のペン先と右手７００の掌とを液晶パネル１４０の表示面に接触させる直前の状態を示した図である。図２０を参照して、スタイラスペン６００のペン先の位置は、表示面に表示されているオブジェクトの表示位置ではない。このため、ペン先と掌とが表示面に接触した場合には、電子機器１００は、動作モードを第２モードに設定する。
【０１９６】
図２１は、電子機器１００が動作モードを第２動作モードに設定した場合における表示面の表示内容を示した図である。図２１を参照して、電子機器１００は、液晶パネル１４０において、レイヤ１４０１とレイヤ１４０２とを用いて画像を表示する。レイヤ１４０２は、手書入力のためのレイヤである。レイヤ１４０２は、半透明のレイヤである。また、レイヤ１４０２は、レイヤ１４０１の上層である。さらに、電子機器１００は、レイヤ１４０２において認識文字の表示枠１４２１を表示する。
【０１９７】
図２２は、図２１の状態において、ユーザがスタイラスペンを用いて手書入力を行なった後の状態を示した図である。より詳しくは、図２２は、ユーザが、ペン先を表示面に接触させた状態で右手７００を動かした後の状態を示した図である。図２２を参照して、電子機器１００は、ペン先の軌跡に応じた文字１４５１をレイヤ１４０２に表示する。
【０１９８】
図２３は、図２２の状態において文字認識の処理を行った後の表示面の表示内容を示した図である。なお、たとえばユーザが電子機器１００に備えられた予め定められたボタン（ソフトキーを含む）を押すことにより、電子機器１００は文字認識の処理を開始する。図２３を参照して、電子機器１００は、レイヤ１４０２の表示枠１４２１に文字認識の認識結果である文字１４５５を表示する。
【０１９９】
図２４は、ユーザがスタイラスペン６００のペン先と右手７００の掌とを液晶パネル１４０の表示面に接触させる直前の状態を示した図である。図２４を参照して、スタイラスペン６００のペン先の位置は、オブジェクトであるアイコン５０１の表示位置である。このため、ペン先と掌とが表示面に接触した場合には、電子機器１００は、動作モードを第３モードに設定する。
【０２００】
図２５は、電子機器１００が動作モードを第３動作モードに設定した場合における表示面の表示内容を示した図である。図２５を参照して、電子機器１００は、アイコン５０１に関連するメニュー画面５７０を表示面に表示する。メニュー画面５７０は、たとえば、選択可能な３つの項目５７１，５７２，５７３を含む。
【０２０１】
図２６は、図２５に示される場合において、スタイラスペン６００により項目５７２が選択される直前の状態を示した図である。なお、項目５７２は、ファイルを開くこと示した項目である。
【０２０２】
図２７は、スタイラスペン６００により項目５７２が選択された後の状態を示した図である。図２７を参照して、電子機器１００は、液晶パネル１４０において、レイヤ１４０１とレイヤ１４０２とを用いて画像を表示する。電子機器１００は、アイコン５０１で特定されるファイルを開いた状態を示した画像５０１Ａをレイヤ１４０１に表示する。
【０２０３】
図２８は、図２７に示される場合において、ユーザがスタイラスペンを用いて手書入力を行なった後の状態を示した図である。より詳しくは、図２８は、ユーザが、ペン先を表
示面に接触させた状態で右手７００を動かした後の状態を示した図である。図２８を参照して、電子機器１００は、ペン先の軌跡に応じた文字１４６１をレイヤ１４０２に表示する。
【０２０４】
図２９は、図２８に示される場合において文字認識の処理を行った後の表示面の表示内容を示した図である。図２９を参照して、電子機器１００は、レイヤ１４０２の表示枠１４２１に文字認識の認識結果である文字１４６５を表示する。
【０２０５】
図３０は、図２９に示される場合において、画像５０１Ａのカーソル１５０１の表示位置に上記認識された文字を入力する指示を、電子機器１００がユーザから受付けた後の状態を示した図である。図３０を参照して、電子機器１００は、半透明のレイヤ１４０２を非表示とする。電子機器１００は、さらに、カーソル１５０１の表示位置（図２７〜２９参照）を先頭に、認識した文字１４６５を表示する。
【０２０６】
電子機器１００は、ストローク情報である文字１４６１（図２９参照）を、アイコン５０１で特定されるファイルに関連付けて記憶装置９０に格納する。なお、電子機器１００は、たとえば、右手７００の掌およびペン先が表示面から離れたことを電子機器１００が検知してから予め定められた時間が経過した後に、当該ストローク情報を格納すればよい。
【０２０７】
図３１は、ユーザがスタイラスペン６００のペン先と右手７００の掌とを液晶パネル１４０の表示面に接触させる直前の状態を示した図である。図３１を参照して、スタイラスペン６００のペン先の位置は、オブジェクトであるアイコン５３１の表示位置である。このため、ペン先と掌とが表示面に接触した場合には、電子機器１００は、動作モードを第３モードに設定する。
【０２０８】
図３２は、電子機器１００が動作モードを第３動作モードに設定した場合における表示面の表示内容を示した図である。図３２を参照して、スタイラスペン６００のペン先がアイコン５３１の表示位置であるため、電子機器１００は、アイコン５３１に関連するメニュー画面５７０を表示面に表示する。
【０２０９】
図３３は、図３２に示される場合において、スタイラスペン６００により項目５７１が選択される直前の状態を示した図である。なお、項目５７１は、フォルダの名称を変更すること示した項目である。
【０２１０】
図３４は、スタイラスペン６００により項目５７１が選択された後の状態を示した図である。図３４を参照して、電子機器１００は、液晶パネル１４０において、レイヤ１４０１とレイヤ１４０２とを用いて画像を表示する。
【０２１１】
図３５は、図３４に示される場合において、ユーザがスタイラスペンを用いて手書入力を行なった後の状態を示した図である。より詳しくは、図３５は、ユーザが、ペン先を表示面に接触させた状態で右手７００を動かした後の状態を示した図である。図３５を参照して、電子機器１００は、ペン先の軌跡に応じた文字１４７１をレイヤ１４０２に表示する。
【０２１２】
図３６は、図３５に示される場合において文字認識の処理を行った後の表示面の表示内容を示した図である。図３６を参照して、電子機器１００は、レイヤ１４０２の表示枠１４２１に文字認識の認識結果である文字１４７５を表示する。
【０２１３】
図３７は、図３６に示される場合において、フォルダの名称を認識された文字に変更す
る入力する指示を電子機器１００がユーザから受付けた後の状態を示した図である。図３６を参照して、電子機器１００は、半透明のレイヤ１４０２を非表示とする。電子機器１００は、さらに、アイコン５３１で特定されるフォルダの名称を、「Ｆｏ−Ｘ」から認識した文字１４７５（つまり「Ｆｏ−Ｗ」）に変更する。
【０２１４】
電子機器１００は、ストローク情報である文字１４７１（図３５参照）を、アイコン５３１で特定されるフォルダに関連付けて記憶装置９０に格納する。なお、電子機器１００は、たとえば、右手７００の掌およびペン先が表示面から離れたことを電子機器１００が検知してから予め定められた時間が経過した後に、当該ストローク情報を格納すればよい。
【０２１５】
次に、オブジェクトに関連付けて記憶装置９０に格納したストローク情報の利用態様について説明する。電子機器１００が、動作モードを、再度、第３動作モードに設定した場合に、指定されたオブジェクトで特定されるファイルやフォルダに既にストローク情報が関連付けられているとき、電子機器１００は以下の処理を行なう。
【０２１６】
すなわち、メニュー画面５７０の中の項目５７１，５７２，５７３からいずれか１つの項目を選択する処理を電子機器１００が受付けた場合、電子機器１００は、ストローク情報を液晶パネル１４０の表示面に表示する。ストローク情報の表示の際、電子機器１００は、２つのレイヤ１４０１，１４０２を表示するとともに、当該ストローク情報をレイヤ１４０２に表示することが好ましい。また、電子機器１００は、表示されたストローク情報の編集を受付ける構成とすることが好ましい。また、電子機器１００は、ストローク情報が生成されたときに選択された項目（たとえば図３３の場合、項目５７１）が再度選択された場合においてのみ、電子機器１００は、当該ストローク情報を液晶パネル１４０の表示面に表示してもよい。
【０２１７】
＜電子機器１００のまとめ＞
（１）以上のように、記憶装置９０は、第１形状を示した第１形状データと、第２形状を示した第２形状データとを格納する。検知部１３は、液晶パネル１４０の表示面に少なくとも１つの物体が接触したことを検知する。特定部１４は、上記接触が検知された場合、接触領域の形状を接触領域毎に特定する。第１判断部１５は、第１形状データに基づいて、特定された各形状の中に第１形状（手の掌の２次元形状）と一致する形状が存在するか否かを判断する。第１判断部１５は、さらに、第２形状データに基づいて、特定された各形状の中に第２形状（ペン先の２次元形状）と一致する形状が存在するか否かを判断する。第２形状と一致する形状が存在すると判断された場合、実行部１８は、第１形状と一致する形状が存在するときと存在しないときとで異なる動作を電子機器１００に実行させる。
【０２１８】
したがって、ペン先が表示面に接触している場合には、手の掌が表示面に接触しているときと接触していないときとで、電子機器１００は異なる動作を行なう。それゆえ、ユーザは、電子機器１００の動作の切換え操作を簡単かつ確実に行なうことができる。また、電子機器１００では、ユーザが手の掌を無意識に表示面に接触することがない限り、ユーザが意図しない動作の切換えが行なわれることはない。
【０２１９】
（２）第１形状と一致する形状と第２形状と一致する形状とが存在すると判断された場合に、第２判断部１６は、第２形状と一致する形状を有する接触領域の位置に応じて、表示面に表示されたオブジェクトを指定する入力を受付けたか否かを判断する。実行部１８は、オブジェクトを指定する入力を受付けたと判断されたときと当該入力を受付けていないと判断されたときとで異なる動作を電子機器１００に実行させる。
【０２２０】
したがって、ユーザは、ペン先をオブジェクトの表示位置に置くことにより、オブジェクトを指定する入力を電子機器１００に対して行なうことができる。また、ユーザは、ペン先をオブジェクトの表示位置に置くか、オブジェクトの表示位置以外の位置に置くかで、異なる動作を電子機器１００に実行させることができる。
【０２２１】
（３）第１形状と一致する形状が存在しない場合、第３判断部１７は、スタイラスペン６００のペン先の接触位置に応じて、表示面に表示されたオブジェクトを指定する入力を受付けたか否かを判断する。オブジェクトを指定する入力を受付けたと判断された場合、実行部１８は、当該オブジェクトの指定に基づく動作を電子機器１００に実行させる。
【０２２２】
したがって、ユーザが手の掌を表示面に接触させずに、ペン先だけを表示面に接触させた場合、ユーザは、ペン先をオブジェクトの表示位置に置くことにより、オブジェクトを指定する入力を電子機器１００に対して行なうことができる。また、ユーザが、ペン先をオブジェクトの表示位置に置くことにより、ユーザは、当該オブジェクトの指定に基づく動作を電子機器１００に実行させることができる。オブジェクトがファイルを示すアイコンである場合、オブジェクトの指定に基づく動作は、たとえば、当該ファイルを選択された状態とする動作である。
【０２２３】
（４）第１形状と一致する形状と第２形状と一致する形状とが存在すると判断された場合に、オブジェクトを指定する入力を受付けていないと判断されたとき、実行部１８は、表示面上におけるペン先の移動に基づく手書き入力の受付けを、電子機器１００に実行させる。さらに、実行部１８は、当該受付けた手書き入力に基づく画像の表示を、電子機器１００に実行させる。
【０２２４】
したがって、ユーザがペン先と手の掌とを表示面に接触させ、かつペン先をオブジェクトの表示位置以外の位置に置いた場合、ユーザは、手書入力を行なうことができる。また、ユーザは、手書入力の結果を視認することもできる。
【０２２５】
（５）第１形状と一致する形状と第２形状と一致する形状とが存在すると判断された場合に、オブジェクトを指定する入力を受付けたと判断されたとき、実行部１８は、表示面上におけるペン先の移動に基づく手書き入力の受付けを、電子機器１００に実行させる。さらに、実行部１８は、当該受付けた手書き入力に基づく画像の表示を、電子機器１００に実行させる。さらに、実行部１８は、当該表示された画像に基づく情報（ストローク情報）についての指定されたオブジェクトへの関連付けを、電子機器１００に実行させる。
【０２２６】
したがって、ユーザがペン先と手の掌とを表示面に接触させ、かつペン先をオブジェクトの表示位置に置いた場合、ユーザは、手書入力を行なうことができる。また、ユーザは、手書入力の結果を視認することもできる。さらに、ユーザは、ストローク情報を当該指定されたオブジェクトに関連付けて電子機器１００の記憶装置９０に記憶させることもできる。
【０２２７】
文字認識部３２は、受付けた手書入力を文字認識する。オブジェクトがファイルを示すアイコンである場合に、当該ファイルを開く指示を電子機器１００が受付けると、実行部１８は、ファイルを開く処理を電子機器１００に実行させる。さらに、実行部１８は、当該開いたファイルの入力領域に対する認識された文字の入力処理を、電子機器１００に実行させる。したがって、電子機器１００がファイルを開いた後、ユーザは、手書入力を行なうことにより、上記ファイルの入力領域に対して、手書入力の認識結果である文字を入力することができる。
【０２２８】
オブジェクトがファイルを示すアイコンまたはフォルダを示すアイコンである場合に、
当該オブジェクトの名称を変更する指示を電子機器１００が受付けると、実行部１８は、当該オブジェクトの名称を上記認識された文字を用いて変更する処理を電子機器１００に実行させる。したがって、オブジェクトの名称を変更する指示を電子機器１００が受付けた場合、ユーザは、手書入力を行なうことにより、オブジェクトの名称を上記認識された文字を用いて変更することができる。
【０２２９】
ペン先の接触位置がオブジェクトが表示された位置であるとき、第２判断部１６は、当該オブジェクトを指定する入力を受付けたと判断する。したがって、ユーザが、手の掌を表示面に接触するとともに、ペン先をオブジェクトの表示位置に置くことにより、オブジェクトを指定する入力を電子機器１００に対して行なうことができる。
【０２３０】
＜電子機器１００の変形例＞
（１）上記においては、ユーザは、オブジェクトの指定を、スタイラスペン６００のペン先で行なった。しかしながら、オブジェクトの指定方法は、ペン先を用いる方法に限定されない。たとえば、電子機器１００を、以下のような、ユーザの指先等の他の物体によってオブジェクトの指定を行える構成にに変更してもよい。
【０２３１】
電子機器１００は、スタイラスペン６００のペン先と右手７００の掌とが表示面に接触したことを検知した後、予め定められた時間内に、他の物体によるオブジェクトの指定を受付けたか否かを判断する。電子機器１００が予め定められた時間内にオブジェクトの指定を受付けた場合、電子機器１００は、動作モードを第３動作モードに設定する。なお、電子機器１００が予め定められた時間内にオブジェクトの指定を受付けていない場合、電子機器１００は、動作モードを第２動作モードに設定する。
【０２３２】
図３８は、スタイラスペン６００のペン先と右手７００の掌とを表示面に接触させた後、上記他の物体である左手７０１の指先でアイコン５３１を指定する直前の状態を示した図である。図３８に示す状態においてユーザが左手７０１の指先をアイコン５３１が表示された位置に接触させた場合、電子機器１００は、表示面の表示内容を図３２の状態に遷移する。
【０２３３】
このように、電子機器１００を指などの物体によりオブジェクトを指定可能な構成とすることにより、ユーザは、ペン先をオブジェクトの位置におく必要がなくなる。なお、スタイラスペン６００のペン先および上記他の物体のいずれでもオブジェクトの指定が行なえるように、電子機器１００の構成を変更してもよい。
【０２３４】
（２）上記においては、電子機器１００が、特定した形状の中にペン先形状と一致する形状が存在するかを判断し、さらに、特定された形状の中に手の掌の形状と一致する形状が存在するか否かを判断する構成を説明した。しかしながら、当該構成に限定されず、電子機器１００の構成を、たとえば以下のようにしてもよい。
【０２３５】
電子機器１００は、特定した形状の中にペン先形状と一致する形状が存在するかを判断することなく、特定した形状の中に手の掌の形状と一致する形状が存在するか否かを判断する。電子機器１００の実行部１８は、手の掌の形状と一致する形状が存在する場合と存在しない場合とで異なる動作を電子機器１００に実行させる。
【０２３６】
したがって、手の掌が表示面に接触しているときと接触していないときとで、電子機器１００は異なる動作を行なう。それゆえ、ユーザは、電子機器１００の動作の切換え操作を簡単かつ確実に行なうことができる。また、電子機器１００では、ユーザが手の掌を無意識に表示面に接触することがない限り、ユーザが意図しない動作の切換えが行なわれることはない。
【０２３７】
なお、当該異なる動作とは、第１形状と一致する形状が存在するか否かを判断した後におけるペン先による電子機器１００への入力を第１指令として処理する動作と、当該入力を第２指令として処理する動作とである。
【０２３８】
（３）上記においては、ユーザがスタイラスペン６００を用いて手書入力を行なうことを考慮して、第１形状を小指球付近の形状とした場合を例に挙げて説明した。しかしながら、第１形状は小指球付近の形状に限定されるものではない。たとえば、第１形状を手の掌の手首付近の形状としてもよい。このように第１形状を手首付近の形状とした場合、指先（たとえば人先指の指先）で手書入力を行なう際に好適である。また、第１形状は手の掌の形状に限定されず、たとえば、手の甲の形状であってもよい。さらに、第１形状は、手の一部の形状に限定されず、他の物体の形状であってもよい。また、第２形状も、スタイラスペン６００のペン先の形状や指先の形状に限定されるものではない。第２形状は、第１形状と異なる形状であればよい。
【０２３９】
（４）電子機器１００は、液晶パネル１４０，２４０を用いて２つの物体を別々にスキャンすることにより、第１形状データと第２形状データとを記憶装置９０に登録可能であることが好ましい。これによれば、ユーザの利用形態に応じた構成に電子機器１００をカスタマイズできる。
【０２４０】
（５）電子機器１００は、２つの液晶パネル１４０，２４０を備えるが、上述した具体的な実現例においては、電子機器１００が少なくとも１つの液晶パネルを備えていればよい。また、第１の筐体１００Ａは、光センサを内蔵した液晶パネル１４０の代わりに、多点入力が可能なタッチパネルを備えてもよい。
【０２４１】
（６）今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０２４２】
１０  制御部、１１  表示制御部、１２  スキャン部、１３  検知部、１４  特定部、１５  第１判断部、１６  第２判断部、１７  第３判断部、１８  実行部、２１  選択処理部、３１  手書入力受付部、３２  文字認識部、４１  文字入力処理部、４２  関連付部、９０  記憶装置、１００  電子機器、１４０  光センサ内蔵液晶パネル、６００  スタイラスペン、７００  右手、７０１  左手、９００  指。
【図１】
2010218241.tif 000003
【図２】
2010218241.tif 000004
【図３】
2010218241.tif 000005
【図４】
2010218241.tif 000006
【図５】
2010218241.tif 000007
【図６】
2010218241.tif 000008
【図７】
2010218241.tif 000009
【図８】
2010218241.tif 000010
【図９】
2010218241.tif 000011
【図１０】
2010218241.tif 000012
【図１１】
2010218241.tif 000013
【図１２】
2010218241.tif 000014
【図１３】
2010218241.tif 000015
【図１４】
2010218241.tif 000016
【図１５】
2010218241.tif 000017
【図１６】
2010218241.tif 000018
【図１７】
2010218241.tif 000019
【図１８】
2010218241.tif 000020
【図１９】
2010218241.tif 000021
【図２０】
2010218241.tif 000022
【図２１】
2010218241.tif 000023
【図２２】
2010218241.tif 000024
【図２３】
2010218241.tif 000025
【図２４】
2010218241.tif 000026
【図２５】
2010218241.tif 000027
【図２６】
2010218241.tif 000028
【図２７】
2010218241.tif 000029
【図２８】
2010218241.tif 000030
【図２９】
2010218241.tif 000031
【図３０】
2010218241.tif 000032
【図３１】
2010218241.tif 000033
【図３２】
2010218241.tif 000034
【図３３】
2010218241.tif 000035
【図３４】
2010218241.tif 000036
【図３５】
2010218241.tif 000037
【図３６】
2010218241.tif 000038
【図３７】
2010218241.tif 000039
【図３８】
2010218241.tif 000040