(57)【要約】【課題】対象物の色等に拘らず、その外縁を正確に識別する。【解決手段】本発明のデータ表示／センサ装置１００は、筐体を折り畳んだ状態で対向する２つの内面の一方には画像を表示するセンサ内蔵液晶パネル３０１Ａが、他方の内面には近傍の像を検知するセンサ内蔵液晶パネル３０１Ｂが、互いに対向するようにそれぞれ配設されており、センサ内蔵液晶パネル３０１Ａに画像が表示された状態として、センサ内蔵液晶パネル３０１Ｂに上記対象物およびセンサ内蔵液晶パネル３０１Ａの像を検知させると共に、検知させた像から、上記対象物の像とセンサ内蔵液晶パネル３０１Ａの像との境界を特定する外縁情報生成部１２３を備えているので、対象物の色等に拘らず、その外縁を正確に識別することができる。【選択図】図１
2010061464.tif 000002
【特許請求の範囲】
【請求項１】
２つ折りに折り畳み可能な筐体を有し、該筐体を折り畳んだ状態で対向する２つの内面に挟まれた対象物の像を検知する像検知装置であって、
上記２つの内面の一方には少なくとも面状に発光する第１面状部材が、他方の内面には近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設されており、
上記第１面状部材を発光状態として、上記第２面状部材に上記対象物および上記第１面状部材の像を検知させる第１像検知手段と、
上記第１像検知手段が上記第２面状部材に検知させた上記対象物および上記第１面状部材の像から、上記対象物の像と上記第１面状部材の像との境界を特定する境界特定手段とを備えていることを特徴とする像検知装置。
【請求項２】
上記第２面状部材は、少なくとも面状に発光する機能をさらに有し、
上記第２面状部材を発光状態として当該第２面状部材に上記対象物および上記第１面状部材の像を検知させる第２像検知手段と、
上記境界特定手段が特定した境界に基づいて、上記第２像検知手段が上記第２面状部材に検知させた上記対象物および上記第１面状部材の像から、上記対象物の像を抽出する第１対象物抽出手段とを備えていることを特徴とする請求項１に記載の像検知装置。
【請求項３】
上記第１面状部材は、近傍の像を検知する機能をさらに有し、
上記第１面状部材を発光状態として、当該第１面状部材に上記対象物および上記第２面状部材の像を検知させる第３像検知手段と、
上記境界特定手段が特定した境界に基づいて、上記第３像検知手段が上記第１面状部材に検知させた像から上記対象物の像を抽出する第２対象物抽出手段とを備えていることを特徴とする請求項２に記載の像検知装置。
【請求項４】
上記第１像検知手段は、上記第１面状部材を発光状態とすると共に、上記第２面状部材を非発光状態として、上記第２面状部材に上記対象物および上記第１面状部材の像を検知させることを特徴とする請求項２または３に記載の像検知装置。
【請求項５】
２つ折りに折り畳み可能な筐体を有し、該筐体を折り畳んだ状態で対向する２つの内面に挟まれた対象物の像を検知する像検知装置の制御方法であって、
上記２つの内面の一方には少なくとも面状に発光する第１面状部材が、他方の内面には近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設されており、
上記第１面状部材を発光状態として、上記第２面状部材に上記対象物および上記第１面状部材の像を検知させる第１像検知ステップと、
上記第１像検知ステップにて上記第２面状部材に検知させた上記対象物および上記第１面状部材の像から、上記対象物の像と上記第１面状部材の像との境界を特定する境界特定ステップとを含むことを特徴とする像検知装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つ折りに折り畳み可能な筐体を有し、該筐体を折り畳んだ状態で対向する２つの内面に挟まれた対象物の像を検知する像検知装置等に関するものである。
【背景技術】
【０００２】
従来から、文書に記載されている情報を読み取り、画像データとして電子化することができるスキャナ装置が、広く用いられている。さらに近年では、携帯型のスキャナ装置が登場している。その一例として、文字などの読み取りが可能なカメラ付き携帯電話機や、ファクシミリ装置などに備えられているハンディスキャナなどが挙げられる。
【０００３】
また、ユーザの利便性を高めるため、一度の操作で文書の両面を同時に読み取ることができるスキャナ装置が従来から用いられている。そのようなスキャナ装置は、コピー機などのように、大型で据え置き型が一般的であるが、携帯型も登場している（特許文献１参照）。
【０００４】
特許文献１に開示されているスキャナ装置は、２つのスキャナユニットをヒンジ部で折り畳める構造になっており、該折り畳んだスキャナユニットの間に挟んだ文書の両面を、同時に読み取ることができる。
【０００５】
また、特許文献２には、文書の両面をスキャナ装置での読み取り結果を取得し、自装置の表示部に表示する画像情報処理装置が開示されている。
【特許文献１】特開２００８−６６９６１号公報（公開日：平成２０年３月２１日）
【特許文献２】特開平８−８８７４１号公報（公開日：平成８年４月２日）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、一般に対象物をスキャンして得られる画像には、対象物の像が含まれていると共に、対象物の像の背景に、スキャナ装置のスキャナユニットと対向する部位の像が含まれる。
【０００７】
例えば、一般的な据え置き型スキャナ装置では、スキャナユニット上に載置された対象物は、白色の板状部材とスキャナユニットとで挟み込まれた状態でスキャンされる。このため、スキャンの結果得られる対象物の画像は、白色の板状部材がスキャンされた像を背景とする画像となる。
【０００８】
同様に、特許文献１および２のように、両面のスキャンを行うスキャン装置では、対象物は、２つのスキャナユニットに挟み込まれた状態でスキャンされるので、スキャンの結果得られる対象物の画像は、他方のスキャナユニットの像を背景とする画像となる。
【０００９】
このように、対象物のスキャンを行った場合には、対象物以外の像が写り込むが、この写り込み部分の像は必要のない画像であるから、スキャン結果の画像から対象物の画像のみを切り出すことができれば好ましい。特に、複数の対象物を同時にスキャンした場合等には、各対象物を別々の画像として切り出すことができれば便利である。
【００１０】
スキャン結果の画像から対象物の画像を切り出すことは、例えば、スキャン結果の画像において、対象物に対応する領域の輝度値（または色）と、写り込み部分に対応する輝度値（または色）との相違から、対象物の外縁を特定することによって行うことができる。
【００１１】
しかしながら、上記従来のスキャナ装置では、対象物をスキャンした画像から、対象物の画像を切り出すことが困難となる場合がある。
【００１２】
例えば、据え置き型スキャナ装置において、白色の対象物をスキャンした場合には、スキャン結果の画像では、対象物の画像が白色となり、写り込んだ板状部材の画像も白色となる。このため、これらの境界をスキャナ装置が識別することは難しい。
【００１３】
また、両面のスキャンを行うスキャン装置では、対象物の背景として対向するスキャナユニットが写り込むので、スキャン結果の画像において、対象物の輝度値（または色）と、写り込み部分に対応する輝度値（または色）とに大きな差異がない場合には、これらの境界をスキャナ装置が識別することは難しい。
【００１４】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、スキャン対象物の色等に拘らず、その外縁（スキャン対象物と背景との境界）を正確に識別することができる像検知装置等を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明に係る像検知装置は、２つ折りに折り畳み可能な筐体を有し、該筐体を折り畳んだ状態で対向する２つの内面に挟まれた対象物の像を検知する像検知装置であって、上記２つの内面の一方には少なくとも面状に発光する第１面状部材が、他方の内面には近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設されており、上記第１面状部材を発光状態として、上記第２面状部材に上記対象物および上記第１面状部材の像を検知させる第１像検知手段と、上記第１像検知手段が上記第２面状部材に検知させた上記対象物および上記第１面状部材の像から、上記対象物の像と上記第１面状部材の像との境界を特定する境界特定手段とを備えていることを特徴としている。
【００１６】
また、本発明に係る像検知装置の制御方法は、上記課題を解決するために、２つ折りに折り畳み可能な筐体を有し、該筐体を折り畳んだ状態で対向する２つの内面に挟まれた対象物の像を検知する像検知装置の制御方法であって、上記２つの内面の一方には少なくとも面状に発光する第１面状部材が、他方の内面には近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設されており、上記第１面状部材を発光状態として、上記第２面状部材に上記対象物および上記第１面状部材の像を検知させる第１像検知ステップと、上記第１像検知ステップにて上記第２面状部材に検知させた上記対象物および上記第１面状部材の像から、上記対象物の像と上記第１面状部材の像との境界を特定する境界特定ステップとを含むことを特徴としている。
【００１７】
上記の構成または方法によれば、第１面状部材を発光状態として、第２面状部材で像の検知が行われる。そして、第１面状部材と第２面状部材とは互いに対向しており、対象物は第１面状部材と第２面状部材とに挟まれている。
【００１８】
このため、第１面状部材が発する光のうち、第１面状部材の対象物と対向する領域から発せられる光は、対象物に遮られて第２面状部材には届かず、それ以外の領域から発せられる光が第２面状部材に検知される。この結果、第２面状部材では、対象物と対向する領域では黒くつぶれた状態の像が検知され、それ以外の領域では第１面状部材の像が検知される。つまり、第２面状部材では、第１面状部材の発光によって生じる対象物の影が検知される。
【００１９】
すなわち、第２面状部材が検知した像では、対象物と対向する領域とそれ以外の領域との明暗のコントラストが大きくなる。この結果、境界特定手段または境界特定ステップでは、対象物の像と第１面状部材の像との境界を確実に特定することができる。
【００２０】
なお、第１面状部材を面状に発光させる方法は特に限定されないが、画像を表示させることによって面状に発光させることが特に好ましい。第１面状部材に画像を表示させることによって面状に発光させる場合には、第１面状部材に第２面状部材が検知した像を表示させたり、像検知装置のユーザに対象物の像を検知するための操作手順等を表示させたりすることも可能になる。
【００２１】
また、上記対象物は、第１面状部材が発する光を完全に遮るものであれば、対象物と対向する領域とそれ以外の領域との明暗のコントラストが大きくなるので理想的である。しかし、上記対象物は、境界特定手段または境界特定ステップにて対象物の像と第１面状部材の像との境界を特定できる範囲内で、第１面状部材が発する光を透過させるものであればよい。
【００２２】
また、上記第２面状部材は、少なくとも面状に発光する機能をさらに有し、上記第２面状部材を発光状態として当該第２面状部材に上記対象物および上記第１面状部材の像を検知させる第２像検知手段と、上記境界特定手段が特定した境界に基づいて、上記第２像検知手段が上記第２面状部材に検知させた上記対象物および上記第１面状部材の像から、上記対象物の像を抽出する第１対象物抽出手段とを備えていることが好ましい。
【００２３】
上記の構成によれば、第２像検知手段は、第２面状部材を発光状態として当該第２面状部材に対象物および第１面状部材の像を検知させている。この場合には、第２面状部材から発せられる光は、対象物で反射して第２面状部材に受光される。つまり、この場合には、第２面状部材では対象物の像が検知される。
【００２４】
また、この場合にも、対象物の背景として第１面状部材の像が写り込むので、第２面状部材では第１面状部材の像を背景とする対象物の像が検知されることになる。なお、第２面状部材で検知を行うときの第１面状部材は、発光状態であってもよいし、非発光状態であってもよい。
【００２５】
ここで、対象物の像と第１面状部材の像との境界は、既に特定されているので、上記第１対象物抽出手段は、上記検知された第１面状部材の像を背景とする対象物の像から、上記対象物の像を抽出することができる。すなわち、上記の構成によれば、第２面状部材が検知した像から、対象物の像を確実に抽出することができる。
【００２６】
なお、第２面状部材を面状に発光させる方法は特に限定されないが、画像を表示させることによって面状に発光させることが特に好ましい。第２面状部材に画像を表示させることによって面状に発光させる場合には、第２面状部材に上記抽出した対象物の像を表示させたり、像検知装置のユーザに対象物の像を検知するための操作手順や、第２面状部材上における対象物の載置位置を示す情報等を表示させたりすることも可能になる。
【００２７】
また、上記第１面状部材は、近傍の像を検知する機能をさらに有し、上記第１面状部材を発光状態として、当該第１面状部材に上記対象物および上記第２面状部材の像を検知させる第３像検知手段と、上記境界特定手段が特定した境界に基づいて、上記第３像検知手段が上記第１面状部材に検知させた像から上記対象物の像を抽出する第２対象物抽出手段とを備えていることが好ましい。
【００２８】
上記の構成によれば、第１面状部材を発光状態として第１面状部材で像の検知を行うので、第１面状部材では該第１面状部材が発する光が対象物で反射した反射光が受光される。つまり、この場合には、第１面状部材で対象物の像が検知される。
【００２９】
また、この場合には、対象物の背景として第２面状部材の像が写り込むので、第１面状部材では第２面状部材の像を背景とする対象物の像が検知されることになる。なお、第１面状部材で検知を行うときの第２面状部材は、発光状態であってもよいし、非発光状態であってもよい。
【００３０】
ここで、対象物の像と第１面状部材の像との境界は、既に特定されている。また、第１面状部材と第２面状部材とは、対象物を挟んで対向する位置関係にあるので、境界特定手段が特定した対象物の像と第１面状部材の像との境界から、対象物の像と第２面状部材の像との境界を推定することができる。
【００３１】
このため、上記第２対象物抽出手段は、上記検知された第２面状部材の像を背景とする対象物の像から、上記対象物の像を抽出することができる。すなわち、上記の構成によれば、第１面状部材が検知した像から、対象物の像を確実に抽出することができる。
【００３２】
このように、上記の構成によれば、対象物を第１面状部材側で検知した像と、対象物を第１面状部材側で検知した像とを一度に取得することができる。これにより、例えば上記対象物を両面印刷された文書とした場合に、該文書の両面を一度に読み取ることも可能になる。
【００３３】
また、上記第１像検知手段は、上記第１面状部材を発光状態とすると共に、上記第２面状部材を非発光状態として、上記第２面状部材に上記対象物および上記第１面状部材の像を検知させることが好ましい。
【００３４】
上述のように、上記第１像検知手段は、対象物の境界を特定するための像を検知させるものである。したがって、第１像検知手段が検知させた像では、対象物の像と第１面状部材の像とのコントラストが大きい方が、その境界を明確に特定できるので好ましい。
【００３５】
ここで、第１像検知手段が対象物の境界を特定するための像を検知させるときに、第２面状部材が発光状態であれば、該第２面状部材が発する光が対象物で反射した反射光も第２面状部材で受光される。つまり、この場合には、第２面状部材で対象物の像が検知されるので、対象物の像と第１面状部材の像とのコントラストが小さくなってしまうおそれがある。
【００３６】
そこで、上記の構成によれば、上記第１像検知手段は、第２面状部材を発光させない状態として、像の検知を行わせるようにしている。これにより、対象物の像と第１面状部材の像とのコントラストが小さくなることを防ぎ、対象物の像と第１面状部材の像との境界を確実に特定することが可能になる。
【発明の効果】
【００３７】
以上のように、本発明に係る像検知装置は、筐体を折り畳んだ状態で対向する２つの内面の一方には少なくとも面状に発光する第１面状部材が、他方の内面には近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設されており、上記第１面状部材を発光状態として、上記第２面状部材に上記対象物および上記第１面状部材の像を検知させる第１像検知手段と、上記第１像検知手段が上記第２面状部材に検知させた上記対象物および上記第１面状部材の像から、上記対象物の像と上記第１面状部材の像との境界を特定する境界特定手段とを備えている構成である。
【００３８】
また、以上のように、本発明に係る像検知装置の制御方法は、筐体を折り畳んだ状態で対向する２つの内面の一方には少なくとも面状に発光する第１面状部材が、他方の内面には近傍の像を検知する第２面状部材が、互いに対向するようにそれぞれ配設されており、上記第１面状部材を発光状態として、上記第２面状部材に上記対象物および上記第１面状部材の像を検知させる第１像検知ステップと、上記第１像検知ステップにて上記第２面状部材に検知させた上記対象物および上記第１面状部材の像から、上記対象物の像と上記第１面状部材の像との境界を特定する境界特定ステップとを含む構成である。
【００３９】
したがって、対象物の色等に拘らず、その外縁（対象物の像と写り込んだ背景の像との境界）を正確に識別することができるという効果を奏する。
【発明を実施するための最良の形態】
【００４０】
本発明の一実施形態について図１から図１４に基づいて説明すると以下の通りである。本実施形態に係るデータ表示／センサ装置１００（像検知装置）は、２つ折りに折り畳み可能な筐体を有し、上記筐体を折り畳んだ状態で対向する２つの内面のそれぞれに、センサ内蔵液晶パネル３０１（第１面状部材、第２面状部材）が、互いに対向するようにそれぞれ配設された構成である。
【００４１】
そして、データ表示／センサ装置１００は、上記筐体を折り畳んだ状態で、それぞれのセンサ内蔵液晶パネル３０１に含まれる光センサ回路３２を駆動させることにより、２つのセンサ内蔵液晶パネル３０１の間に挟みこんだ、複数の対象物（文書など）の表面および裏面の少なくともいずれかをスキャンすることが可能な装置である。
【００４２】
まず、以下で、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００４３】
〔センサ内蔵液晶パネルの概要〕
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００４４】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００４５】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００４６】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４７】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００４８】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４９】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００５０】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００５１】
〔データ表示／センサ装置の要部構成〕
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００５２】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００５３】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００５４】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００５５】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００５６】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５７】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５８】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００５９】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００６０】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００６１】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００６２】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００６３】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００６４】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００６５】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００６６】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６７】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６８】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００６９】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００７０】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００７１】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００７２】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００７３】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００７４】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７５】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００７６】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７７】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００７８】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００７９】
〔コマンドの詳細〕
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００８０】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００８１】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００８２】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００８３】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００８４】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００８５】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００８６】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８７】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８８】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００８９】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００９０】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００９１】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００９２】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００９３】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００９４】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００９５】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００９６】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９７】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００９８】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【００９９】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１００】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１０１】
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１０２】
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１０３】
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
【０１０４】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１０５】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１０６】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１０７】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１０８】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１０９】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１１０】
〔全体画像データ／部分画像データ／座標データ〕
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１１１】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１１２】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１１３】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１１４】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１１５】
〔センサ内蔵液晶パネルの構成〕
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１１６】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１１７】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１１８】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１１９】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１２０】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１２１】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１２２】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１２３】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１２４】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１２５】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１２６】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１２７】
〔データ表示／センサ装置の筐体〕
次に、図９（ａ）および図９（ｂ）を参照しながら、本発明に係るデータ表示／センサ装置１００の筐体について説明する。図９（ａ）および図９（ｂ）は、データ表示／センサ装置１００の筐体を示す概要図である。図示のとおり、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａと第２表示／光センサ部３００Ｂとが向き合うように、ヒンジ部Ｈで折り畳むことができる、いわゆるクラムシェル型の筐体を有している。
図９（ａ）は、データ表示／センサ装置１００の筐体を開いた（つまり、折り畳んでいない）様子を示す図であり、図９（ｂ）は、データ表示／センサ装置１００の筐体を閉じた（つまり、折り畳んだ）様子を示す図である。
【０１２８】
図９（ａ）に示すとおり、データ表示／センサ装置１００の筐体を開いた状態では、第１表示／光センサ部３００Ａのセンサ内蔵液晶パネル３０１と、第２表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１との少なくとも一方で、ユーザ入力を受け付けることが可能となる。
【０１２９】
また、図９（ｂ）に示すとおり、データ表示／センサ装置１００の筐体を閉じたとき、第１表示／光センサ部３００Ａのセンサ内蔵液晶パネル３０１と、第２表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１とは向き合う状態となるので、両方のセンサ内蔵液晶パネル３０１の間に、１または複数の文書Ｐ１などの対象物を挟むことにより、当該対象物の片面または両面をスキャンすることが可能となる。
【０１３０】
なお、データ表示／センサ装置１００の筐体を閉じた状態では、図９（ｂ）に示すとおり、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂのいずれか一方が上側にあり、他方が下側にあると言える。そこで、以降では、説明の便宜上、第１表示／光センサ部３００Ａを「上画面」とも称し、また、第２表示／光センサ部３００Ｂを「下画面」とも称する。
【０１３１】
また、図９（ａ）に示すとおり、ユーザは、通常、下画面である第２表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１上に、文書Ｐ１などの対象物を置くものとして説明する。
【０１３２】
なお、以降では、第１表示／光センサ部３００Ａのセンサ内蔵液晶パネル３０１を、センサ内蔵液晶パネル３０１Ａと表記し、第２表示／光センサ部３００Ｂのセンサ内蔵液晶パネル３０１を、センサ内蔵液晶パネル３０１Ｂと表記する。センサ内蔵液晶パネル３０１Ａおよびセンサ内蔵液晶パネル３０１Ｂを区別しないときは、センサ内蔵液晶パネル３０１と表記する。
【０１３３】
また、以降では、単に“表示する（または、表示させる）”と表記している場合は、センサ内蔵液晶パネル３０１に表示する（または、表示させる）ものとする。
【０１３４】
〔発明の要点〕
データ表示／センサ装置１００は、筐体を閉じた状態において、センサ内蔵液晶パネル３０１Ａの光センサ回路３２とセンサ内蔵液晶パネル３０１Ｂの光センサ回路３２とを駆動させることにより、センサ内蔵液晶パネル３０１Ａとセンサ内蔵液晶パネル３０１Ｂとの間に挟み込んだ対象物をスキャンする。
【０１３５】
この際に、センサ内蔵液晶パネル３０１Ａまたはセンサ内蔵液晶パネル３０１Ｂの何れか一方を表示状態とし、他方を非表示状態とした状態で、非表示状態となった側のセンサ内蔵液晶パネルでスキャンを行うことにより、上記対象物の外縁を特定することがデータ表示／センサ装置１００の主な特徴点である。
【０１３６】
対象物の外縁を特定することにより、スキャンした画像データから、対象物に対応する部分だけを抽出することも可能になる。つまり、対象物の外縁を特定することにより、スキャンによって得られる画像に写り込んだ対象物の背景を排除して対象物のみの画像を取得することが可能になる。これにより、例えば複数枚の名刺を一度にスキャンして、各名刺の画像をそれぞれ別の画像として取得することも可能になる。
【０１３７】
〔データ表示／センサ装置を用いて両面スキャンを行う様子〕
次に、図１０（ａ）から図１０（ｅ）を参照しながら、データ表示／センサ装置１００が、複数の対象物の両面スキャンを行う処理の典型例について説明する。なお、ここでは、処理の概要について説明し、各処理の詳細については後述する。
【０１３８】
まず、図１０（ａ）は、データ表示／センサ装置１００が、スキャンを実行可能な状態において、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図である。ここでは、下画面に、スキャンを行うにあたり対象物を載置する領域（以下、載置領域）Ｒ１と、ユーザ操作可能なボタンであるスイッチＳＷ１とを表示するとともに、上画面に、ユーザに対するメッセージＭ１を表示している。
【０１３９】
次に、図１０（ｂ）は、対象物である文書Ｐ１（例えば、名刺）が置かれた様子を示す図である。このとき、下画面のセンサ内蔵液晶パネル３０１が、載置領域Ｒ１内に文書Ｐ１が置かれたことを検出すると、上画面のセンサ内蔵液晶パネル３０１に新たなメッセージＭ２を表示する。
【０１４０】
次に、図１０（ｃ）は、図１０（ｂ）で示す状態から、データ表示／センサ装置１００の筐体が閉じられた様子を示す図である。このとき、例えば、ヒンジ部に設けられているヒンジ部スイッチ９０４が、筐体が閉じたことを検知すると、文書Ｐ１のスキャンが開始される。
【０１４１】
より詳細にはデータ表示／センサ装置１００は、センサ内蔵液晶パネル３０１Ａまたはセンサ内蔵液晶パネル３０１Ｂの何れか一方を点灯状態とし、他方を消灯状態として、消灯状態となった側のセンサ内蔵液晶パネル３０１でスキャンを行うことにより、上記対象物の外縁を特定する。
【０１４２】
そして、外縁を特定した後に、上画面のセンサ内蔵液晶パネル３０１が文書Ｐ１の表面をスキャンするとともに、下画面のセンサ内蔵液晶パネル３０１が文書Ｐ１の裏面をスキャンする。そして、スキャンが完了すると、スキャンが完了した旨をユーザに通知する（例えば、所定の音声を出力したり、所定のランプを点灯させたりする等）。
【０１４３】
次に、図１０（ｄ）は、図１０（ｃ）で示す状態においてスキャンが実行された後、データ表示／センサ装置１００の筐体が開かれた様子を示す図である。なお、文書Ｐ１は、下画面のセンサ内蔵液晶パネル３０１上から取り除いている。ヒンジ部スイッチ９０４が、筐体が開いたことを検知すると、上画面のセンサ内蔵液晶パネル３０１は、上画面のセンサ内蔵液晶パネル３０１にてスキャンした結果として得られる画像データのうち、文書Ｐ１の表面に該当する部分であるスキャンデータＳＣＤ１を、１８０度回転した状態で表示する。
【０１４４】
また、下画面のセンサ内蔵液晶パネル３０１は、下画面のセンサ内蔵液晶パネル３０１にてスキャンした結果として得られる画像データのうち、文書Ｐ１の裏面に該当する部分であるスキャンデータＳＣＤ２を表示する。
【０１４５】
なお、この例では、文書Ｐ１を挟んだ場所に対応する位置に、スキャンデータＳＣＤ１およびＳＣＤ２を表示している。また、上画面のセンサ内蔵液晶パネル３０１に、ユーザに対する新たなメッセージＭ３を表示している。
【０１４６】
次に、図１０（ｅ）は、図１０（ｄ）で示す状態において、ユーザ操作により、スキャンデータＳＣＤ１やＳＣＤ２の向き、および、表示位置を変更した様子を示す図である。この図では、ユーザ操作により、スキャンデータＳＣＤ１を２７０度回転し、かつ、スキャンデータＳＣＤ２の表示位置を下画面から上画面に変更した様子を示している。このように、スキャンデータＳＣＤ１およびＳＣＤ２の向きや表示位置などは、スイッチＳＷ１を操作（タッチ）したり、スキャンデータＳＣＤ１およびＳＣＤ２自体に対してユーザ操作を行ったりすることにより、適宜変更することができる。さらに、ユーザ操作により、スキャンデータＳＣＤ１およびＳＣＤ２を記憶部９０１に格納したり、スキャンデータＳＣＤ１およびＳＣＤ２に含まれる文字を認識するために、文字認識機能を起動したりしてもよい。
【０１４７】
〔スキャン処理〕
ここで、図１０（ｃ）の状態で行われる、データ表示／センサ装置１００の特徴的処理であるスキャン処理の概要について、図１１（ａ）（ｂ）に基づいて説明する。図１１はスキャン処理の一例を説明する図であり、同図（ａ）は文書Ｐ１の外縁および表面をスキャンするときに上画面および下画面に表示される画像とスキャン結果とを示し、同図（ｂ）は文書Ｐ１の裏面をスキャンするときに、上画面および下画面に表示される画像とスキャン結果とを示している。
【０１４８】
なお、スキャン処理は、図１０（ｃ）に示すように、データ表示／センサ装置１００の筐体が閉じた状態で行われるが、図１１では説明のため、筐体が開いた状態で図示している。また、図１１（ａ）（ｂ）では、簡単のため、上画面および下画面のセンサ内蔵液晶パネル３０１の全面を点灯状態または消灯状態とする例を示しているが、点灯状態または消灯状態とする領域は、文書Ｐ１を含む領域であればよい。例えば、載置領域Ｒ１および上画面のセンサ内蔵液晶パネル３０１の載置領域Ｒ１に対向する領域のみを点灯状態または消灯状態としてもよい。
【０１４９】
図１１（ａ）に示すように、データ表示／センサ装置１００では、まず上画面に画像が表示されることによって上画面が点灯状態になると共に、下画面に画像が表示されないように設定されることによって下画面が消灯状態になる。なお、上画面は、点灯状態であればよく、どのような画像が表示されてもよいが、ここでは全面が白色の白色画像（全画素の輝度値の設定が最大輝度値となる画像）を表示するものとする。また、下画面は、バックライト３０７がＯＦＦになるように制御される。
【０１５０】
そして、この状態において、下画面でスキャンが行われる。下画面によるスキャンでは、同図に示すように、文書Ｐ１の載置されている箇所に対応する領域が黒く、それ以外の領域が白い画像が得られる。データ表示／センサ装置１００では、この画像に基づいて、文書Ｐ１の外縁を特定する。
【０１５１】
文書Ｐ１の外縁を特定した後は、上画面が点灯、下画面が消灯となっている状態のまま、点灯状態の上画面によって文書Ｐ１の表面のスキャンが行われる。これにより、図示のように、文書Ｐ１の表面の画像が得られる。
【０１５２】
続いて、データ表示／センサ装置１００では、図１１（ｂ）に示すように、下画面に画像（全面が白色の白色画像）が表示されることによって下画面が点灯状態に切り替わると共に、上画面には画像が表示されないように設定されることによって上画面が消灯状態に切り替わる。そして、点灯状態の下画面によって、文書Ｐ１の裏面のスキャンが行われる。これにより、図示のように、文書Ｐ１の裏面の画像が得られる。
【０１５３】
ここで、図１１（ａ）（ｂ）に示す表示設定およびスキャンによって、文書Ｐ１の外縁、ならびに文書Ｐ１の表面および裏面の画像を取得することができる原理について、図１２（ａ）（ｂ）に基づいて説明する。同図（ａ）は文書Ｐ１の外縁および文書Ｐ１の表面の画像を取得することができる原理を説明する図であり、同図（ｂ）は文書Ｐ１の裏面の画像を取得することができる原理を説明する図である。
【０１５４】
データ表示／センサ装置１００の筐体が閉じられた状態において、上画面を点灯状態とし、下画面を消灯状態とした場合には、下画面が受光する光は、上画面が発する光のみとなる。ここで、図１２（ａ）に示すように、上画面と下画面との間には、文書Ｐ１が挟み込まれている。
【０１５５】
このため、下画面の文書Ｐ１に対向しない領域には、上画面が発する光が届く一方、下画面の文書Ｐ１に対向する領域には、上画面が発する光が届かない。この結果、下画面でスキャンを行って得られる画像は、文書Ｐ１に対向する、上画面からの光が届かない領域が黒くつぶれた画像となる。
【０１５６】
一方、上画面でスキャンを行った場合には、図示のように、上画面が発した光が文書Ｐ１の表面で反射した光が上画面にて受光される。このため、上画面を点灯状態として上画面でスキャンを行うことにより、文書Ｐ１の表面の画像を得ることができる。
【０１５７】
同様に、図１２（ｂ）に示すように、下画面を点灯状態とした場合には、下画面が発した光が文書Ｐ１の裏面で反射した光が下画面にて受光される。このため、下画面を点灯状態として下画面でスキャンを行うことにより、文書Ｐ１の裏面の画像を得ることができる。
【０１５８】
〔データ表示／センサ装置のより詳細な構成〕
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０１５９】
図１は、データ表示／センサ装置１００のより詳細な構成を示すブロック図である。図示のように、記憶部９０１は、メニュー記憶部２１、画像データ記憶部２２、および背景画像データ記憶部２３を含んでいる。
【０１６０】
メニュー記憶部２１は、センサ内蔵液晶パネル３０１上に表示するメニューに関する情報を記憶するものである。メニューは、ユーザ選択可能な複数のメニュー項目によって構成されるリストである。なお、メニュー項目は、ユーザ選択された際に実行する処理と対応付けられている。
【０１６１】
なお、メニュー記憶部２１は、データ表示／センサ装置１００の動作状態に応じたメニューを記憶する。例えば、データ表示／センサ装置１００の起動直後に、センサ内蔵液晶パネル３０１上に表示されるメニューとして、スキャン処理と対応付けられているメニュー項目である「画像スキャン」、記憶部に格納している画像データをセンサ内蔵液晶パネル３０１上に表示する処理と対応付けられているメニュー項目である「画像表示」、アドレス帳のアプリケーションを起動する処理と対応付けられているメニュー項目である「アドレス帳」などを含むメニューを記憶している。
【０１６２】
また、例えば、センサ内蔵液晶パネル３０１上に画像データを表示している状態において、センサ内蔵液晶パネル３０１上に表示されるメニューとして、「拡大／縮小」、「全画面表示」、「回転／反転」、「上下表示入れ替え」、「編集」、「文字認識」、「外部記憶域へ保存」、「各種設定」、「終了」などのメニュー項目を含むメニューを記憶している。
【０１６３】
なお、メニュー項目は、さらにサブメニュー項目と対応付けられていてもよい。例えば、上記「編集」メニュー項目は、サブメニュー項目として「コメントの追加」、「表示範囲の変更」、「蛍光ペン」、「白黒反転」などと対応付けられていてもよい。
【０１６４】
画像データ記憶部２２は、スキャンデータなどの画像データを、読み出し可能な状態で記憶するものである。ユーザが入力したコメントなどを画像データに対応付けて記憶してもよい。
【０１６５】
背景画像データ記憶部２３は、外縁を特定するときにセンサ内蔵液晶パネル３０１に表示させる背景画像データを記憶する。ここでは、背景画像データ記憶部２３には、センサ内蔵液晶パネル３０１に全面が白色の画像を表示させる白色画像データが格納されているものとする。
【０１６６】
次に、主制御部８００について説明する。図示のように、主制御部８００は、メニュー表示制御部１１、スキャン処理部１２、および画像表示処理部１３を含んでいる。
【０１６７】
メニュー表示制御部１１は、データ表示／センサ装置１００の動作状態に応じたメニューやボタンを、メニュー記憶部２１から読み出し、該読み出したメニューやボタンをセンサ内蔵液晶パネル３０１上に表示させる。
【０１６８】
そして、ユーザが、センサ内蔵液晶パネル３０１上を指やペンなどで操作（タッチ）したとき、光センサ回路３２が、指やペンなどの影像および反射像の少なくともいずれかを検知するので、その結果として、メニュー表示制御部１１は、タッチした位置を示す座標データを取得することができる。
【０１６９】
したがって、上記得られた座標データで示される位置が、センサ内蔵液晶パネル３０１にメニューやボタンを表示した領域内である場合、メニュー表示制御部１１は、ユーザが、当該メニューやボタンを操作したものと判定することができる。
【０１７０】
したがって、上記取得した座標データが、メニュー項目を表示している位置に対応する座標データであるとき、メニュー表示制御部１１は、当該メニュー項目に対応づけられている処理を実行する。例えば、「画像スキャン」というメニュー項目を表示している位置に対応する座標データを受信したとき、スキャン処理部１２を起動し、スキャン処理を実行させる。
【０１７１】
スキャン処理部１２は、センサ内蔵液晶パネル３０１上に置かれた対象物の外縁を特定すると共に、上記対象物の片面または両面のスキャンを行う。そのために、スキャン処理部１２は、スキャン前処理部１２１、スキャン実行部（第２および第３像検知手段、第１および第２対象物抽出手段）１２２、外縁情報生成部（第１像検知手段、境界特定手段）１２３、スキャンデータ保持部１２４、および外縁情報保持部１２５を含んでいる。
【０１７２】
スキャン前処理部１２１は、ユーザにスキャンの準備を促したり、対象物が載置領域に置かれているか否かを判定したりする処理を行うものである。具体的には、スキャン前処理部１２１は、載置領域をユーザに提示するとともに、対象物の準備を促すためのメッセージをユーザに提示する。
【０１７３】
そして、載置領域に対象物が置かれていると判定した場合には、スキャン前処理部１２１は、筐体を閉じることをユーザに促すためのメッセージ（例えば、“本体を閉じて、音が鳴ったら本体を開いてください”など）を含むメッセージ情報を記憶部９０１から取得する。そして、該メッセージをセンサ内蔵液晶パネル３０１に表示させる。
【０１７４】
スキャン実行部１２２は、センサ内蔵液晶パネル３０１にスキャンを実行させる。スキャン実行部１２２は、スキャンの結果得られるスキャンデータをスキャンデータ保持部１２４に一時保存し、このスキャンデータの記憶を行う旨のユーザ操作があったときには、当該スキャンデータを画像データ記憶部２２に記憶する。また、スキャン実行部１２２は、スキャンを行う際にユーザに提示するメッセージ等をセンサ内蔵液晶パネル３０１に表示させる処理も行う。
【０１７５】
外縁情報生成部１２３は、画像表示処理部１３に指示して、センサ内蔵液晶パネル３０１Ａまたはセンサ内蔵液晶パネル３０１Ｂの何れか一方に背景画像データ記憶部２３に格納されている背景画像データを表示させる。また、外縁情報生成部１２３は、スキャン実行部１２２に指示して、上記背景画像データを表示していない側のセンサ内蔵液晶パネル３０１を消灯状態とした状態で、該消灯状態とされた側のセンサ内蔵液晶パネル３０１でスキャンを実行させる。
【０１７６】
さらに、外縁情報生成部１２３は、上記スキャンの結果得られるスキャンデータにおける、対象物の像と対象物の背景との境界を特定する。例えば、外縁情報生成部１２３は、スキャンデータにおいて、隣接する画素の輝度値や色の変化率が所定の閾値を越える部位を境界として特定することができる。
【０１７７】
また、例えば、外縁情報生成部１２３は、輝度値の異なる２つの背景画像データを順次表示させ、各背景画像データが表示された状態でスキャンを行うことで、スキャンデータ中に対象物が占める領域を特定し、これにより対象物の外縁を特定してもよい。すなわち、輝度値の異なる背景画像データが表示された状態で得た２つのスキャンデータについて、輝度値の差分を演算したときに、この差分が略ゼロとなる領域は、他方のセンサ内蔵液晶パネル３０１からの光が対象物で遮られている領域と考えられるので、この領域をスキャンデータ中に対象物が占める領域として特定することができる。
【０１７８】
そして、外縁情報生成部１２３は、上記特定した境界を示す外縁情報を生成し、生成した外縁情報を外縁情報保持部１２５に格納する。ここでは、外縁情報生成部１２３は、対象物の像と対象物の背景との境界を、センサ内蔵液晶パネル３０１上の座標データとして取得する。
【０１７９】
なお、外縁情報は、対象物の像と対象物の背景との境界を示すものであればよく、この例に限られない。例えば、センサ内蔵液晶パネル３０１上において対象物が占める領域を示すデータを外縁情報としてもよい。
【０１８０】
スキャン実行部１２２は、上記外縁情報を用いることにより、対象物をスキャンしたスキャンデータから、対象物の像を抽出することができる。つまり、スキャン実行部１２２は、スキャンデータから対象物の像を抽出する機能も有する。
【０１８１】
〔スキャンを行う際に行われる処理の流れ〕
次に、図１３を参照しながら、データ表示／センサ装置１００において、スキャンを行う際の処理の流れについて説明する。図１３は、データ表示／センサ装置１００でスキャンを行う際の処理の流れを示すフローチャートである。なお、データ表示／センサ装置１００に対して、スキャンを開始する旨のユーザの入力操作があったときに、図１３に示す処理が開始される。
【０１８２】
まず、スキャン前処理部１２１は、センサ内蔵液晶パネル３０１に、載置領域、および、対象物を置くことを促す旨のメッセージを表示させる（Ｓ１１）。ここで、ユーザが対象物を載置領域に置くと（Ｓ１２）、スキャン前処理部１２１は、載置領域に対象物が置かれたと判定する（Ｓ１３でＹＥＳ）。そして、載置領域に対象物が置かれたと判定したスキャン前処理部１２１は、筐体を閉じることをユーザに促す旨のメッセージをセンサ内蔵液晶パネル３０１に表示させる（Ｓ１４）。
【０１８３】
次に、ユーザが、データ表示／センサ装置１００の筐体を閉じると（Ｓ１５）、例えば、ヒンジ部スイッチ９０４が、筐体を閉じたことを検出し（Ｓ１６でＹＥＳ）、その旨をスキャン実行部１２２に通知する。これにより、スキャン処理が開始される（Ｓ１７）。スキャン処理では、対象物の外縁を示す外縁情報が取得、格納されると共に、対象物のスキャンが行われる。なお、スキャン処理の詳細については後述する。
【０１８４】
そして、スキャン処理が終了すると、スキャン実行部１２２は、スキャンが終了した旨をユーザに通知する（Ｓ１９）。ここでは、音声出力部９０８に所定の音声データを出力し、音声によりユーザに通知する。
【０１８５】
続いて、ユーザが、データ表示／センサ装置１００の筐体を開くと（Ｓ２０）、例えば、ヒンジ部スイッチ９０４が、筐体を開いたことを検出し（Ｓ２１でＹＥＳ）、その旨をスキャン実行部１２２に通知する。
【０１８６】
通知を受けたスキャン実行部１２２は、スキャンが完了したことをユーザに通知する旨のメッセージをセンサ内蔵液晶パネル３０１に表示させる（Ｓ２２）。また、スキャン実行部１２２は、スキャンデータ保持部１３５に保持されているスキャンデータもセンサ内蔵液晶パネル３０１に表示させる（Ｓ２３）。これにより、ユーザは、センサ内蔵液晶パネル３０１にてスキャンデータを確認することができる。
【０１８７】
ここで、スキャン実行部１２２は、連続スキャンが設定されているか否かを確認する（Ｓ２４）。連続スキャンが設定されている場合（Ｓ２４でＹＥＳ）には、スキャン実行部１２２は、スキャンデータ保持部１２４に一次保存されているスキャンデータを画像データ記憶部２２に格納する（Ｓ２５）。そして、スキャン実行部１２２は、その旨をスキャン前処理部１２１に伝達し、これにより処理はＳ１１に戻り、次の対象物の載置を待ち受けが行われる。
【０１８８】
一方、連続スキャンが設定されていない場合（Ｓ２４でＮＯ）には、スキャン実行部１２２は、メニュー表示制御部１１に指示してメニュー項目をセンサ内蔵液晶パネル３０１に表示させてユーザの操作を受け付ける（Ｓ２６）。そして、ユーザ操作を受け付けたときには、スキャン実行部１２２は、受け付けた操作に応じた処理を行う。
【０１８９】
ここでは、データ表示／センサ装置１００が、センサ内蔵液晶パネル３０１に表示されたスキャンデータの表示位置を変更する機能、センサ内蔵液晶パネル３０１に表示されたスキャンデータを回転させる機能、スキャンデータを保存する機能、およびスキャンデータに含まれる文字を認識する機能を備えていることを想定しているので、“表示位置変更”、“回転”、“保存”、および“文字認識”というメニュー項目がメニュー表示制御部１１によって表示される。
【０１９０】
ここで、“表示位置変更”または“回転”が選択された場合は、スキャン実行部１２２は、それぞれ、スキャンデータの表示位置を変更する処理（Ｓ２７）、およびスキャンデータの表示を例えば９０度左回転させて表示する処理（Ｓ２８）を行った後、Ｓ２６の処理に戻って再びユーザのメニュー操作を受け付ける。
【０１９１】
一方、“保存”が選択された場合には、スキャン実行部１２２は、スキャンデータ保持部１２４に一次保存されているスキャンデータを、画像データ記憶部２２に格納し（Ｓ２９）、処理を終了する。
【０１９２】
また、“文字認識”が選択された場合には、文字認識機能を起動して、表示しているスキャンデータに対して文字認識を行う処理を実行する（Ｓ３０）。なお、文字認識処理については、発明の本質的部分ではないので、説明を省略する。
【０１９３】
データ表示／センサ装置１００では、以上のような流れで対象物のスキャンが行われる。また、スキャンを行った後は、必要に応じて、スキャンデータの表示態様を変更したり、保存したり、あるいは文字認識を行ったりすることもできる。
【０１９４】
〔スキャン処理の詳細〕
続いて、本発明の主な特徴点であるスキャン処理の詳細について、図１４に基づいて説明する。図１４は、スキャン処理の一例を示すフローチャートである。なお、スキャン処理は、図１３のＳ１７で行われる処理である。
【０１９５】
スキャン処理では、まず対象物の外縁を特定するための処理が行われる。すなわち、まず、外縁情報生成部１２３は、画像表示処理部１３に指示して上画面に対象物の外縁を特定するための画像、すなわち背景画像データを表示させる。そして、指示を受けた画像表示処理部１３が背景画像データ記憶部２３から背景画像データを読み出して上画面に表示させることにより、上画面のバックライトが点灯状態となる。
【０１９６】
続いて、外縁情報生成部１２３は、スキャン実行部１２２に指示して下画面を画像が表示されていない状態、すなわち消灯状態として、下画面でスキャンを実行させる（Ｓ５１）。Ｓ５１の処理により、図１１（ａ）に示すような表示態様となる。そして、Ｓ５１のスキャンによって、図１１（ａ）のＳＣＤ３のようなスキャンデータが取得される。
【０１９７】
次に、外縁情報生成部１２３は、Ｓ５１で取得された下画面のスキャンデータから、対象物の外縁を特定し（Ｓ５２）、特定した外縁を外縁情報として外縁情報保持部１２５に格納する（Ｓ５３）。そして、外縁情報生成部１２３は、外縁情報が格納された旨をスキャン実行部１２２に伝達する。
【０１９８】
伝達を受けたスキャン実行部１２２は、上画面で対象物のスキャンを行う（Ｓ５４）。そして、スキャン実行部１２２は、外縁情報保持部１２５から外縁情報を読み出し、読み出した外縁情報に基づいて、スキャンの結果得られた画像データから対象物の像を抽出する。これにより、図１１（ａ）に示すように、対象物の表面の画像が背景の含まれていない状態で取得され、この画像のデータがスキャンデータ保持部１２４に格納される。
【０１９９】
次に、スキャン実行部１２２は、下画面のバックライトを点灯状態とすると共に上画面のバックライトを消灯状態とし、下画面で対象物のスキャンを実行させる（Ｓ５５）。そして、スキャン実行部１２２は、外縁情報保持部１２５から外縁情報を読み出し、読み出した外縁情報に基づいて、スキャンの結果得られた画像データから対象物の像を抽出する。
【０２００】
これにより、図１１（ｂ）に示すように、対象物の裏面の画像が背景の含まれていない状態で取得され、この画像のデータがスキャンデータ保持部１２４に格納され、これにより、対象物の表面と裏面とのスキャンが終了し、スキャン処理は終了する。
【０２０１】
〔変形例〕
図１４では、対象物の両面のスキャンを行う例を示したが、対象物の片面のみをスキャンすることももちろん可能である。この場合には、Ｓ５１からＳ５４までの処理でスキャン処理が終了する。
【０２０２】
また、データ表示／センサ装置１００のセンサ内蔵液晶パネル３０１ＡおよびＢは、共に画像の表示と像の検知を行うことができるが、センサ内蔵液晶パネル３０１ＡおよびＢの何れか一方は、少なくとも面状に発光する機能を有し、他方は少なくとも近傍の像を検知するスキャン機能を有していればよい。
【０２０３】
例えば、センサ内蔵液晶パネル３０１Ａが面状に発光する場合には、センサ内蔵液晶パネル３０１Ａを発光状態としてセンサ内蔵液晶パネル３０１Ｂでスキャンを行うことで対象物の外縁情報を取得することができる。
【０２０４】
また、図１４では、下画面のスキャンデータのみから対象物の外縁情報を生成する例を示したが、より正確な外縁情報に基づいてスキャンを行うために、下画面のスキャンデータから生成した外縁情報に加えて、上画面で取得したスキャンデータから生成した外縁情報を用いてスキャンを行うようにしてもよい。
【０２０５】
この場合には、Ｓ５５において、下画面を点灯状態とすると共に上画面を消灯状態とし、上画面で対象物のスキャンを実行させることにより、上画面のスキャンデータから対象物の外縁を特定することになる。
【０２０６】
さらに、上述の例では、外縁を特定するためのスキャンを行うセンサ内蔵液晶パネル３０１を消灯状態とする例を示したが、外縁を特定するときには少なくともスキャンを行わない側のセンサ内蔵液晶パネル３０１が点灯状態であればよく、スキャンを行う側のセンサ内蔵液晶パネル３０１が点灯状態であっても構わない。ただし、スキャンを行う側のセンサ内蔵液晶パネル３０１を消灯状態とした方が、対象物の像とその背景の像とのコントラストを大きくすることができるので好ましい。
【０２０７】
また、上述の例では、外縁情報を対象物の像の抽出に用いる例を示したが、外縁情報はこれ以外にも様々な用途に適用することができる。例えば、外縁情報を用いて特定した対象物の像の外縁部分に任意のフレーム画像を合成した画像を生成することもできる。
【０２０８】
〔背景画像データを変更する例〕
ところで、対象物が光を透過させない場合には、上述の方法で対象物の外縁を確実に特定することができるが、対象物が光を透過させる場合には、対象物の外縁を特定することが困難となることも考えられる。
【０２０９】
ここで、対象物が光を透過させる場合であっても、特定の色の光を透過させない場合には、その特定の色を背景画像データとして表示させることにより、対象物の外縁を特定することが可能になる。例えば、対象物が半透明の緑色のシートである場合には、赤色の画像が表示される背景画像データを用いることによって、対象物の外縁をより正確に特定することができる。
【０２１０】
そこで、外縁情報生成部１２３は、スキャン実行部１２２が取得したスキャンデータから、対象物の外縁を特定することができなかった場合には、異なる色の画像が表示される背景画像データに変更して、変更後の背景画像データを用いて再スキャンを行わせるようにしてもよい。これにより、対象物が光を透過させるが、特定の色の光を透過させない場合に、対象物の外縁を特定することが可能になる。
【０２１１】
また、対象物の外縁を特定するときに、表示される色が互いに異なる複数種類の背景画像データを用いて取得した複数のスキャンデータを用いて、対象物の外縁を特定するようにしてもよい。これにより、背景画像データの中に、対象物が透過させる色を表示させるものが含まれている場合であっても、対象物の外縁を特定することができる。
【０２１２】
〔コマンドを用いた処理〕
以上の説明では、簡単のためコマンドを用いずにスキャン処理の説明を行ったが、データ表示／センサ装置１００では、実際には以下のようにコマンドを用いてスキャン処理が行われる。
【０２１３】
すなわち、まず、スキャン実行部１２２は、スキャンを開始する旨を外縁情報生成部１２３に伝達する。そして、伝達を受けた外縁情報生成部１２３は、画像表示処理部１３に指示して、上画面に所定の画像データ（図１（ａ）の例では全面が白色の画像を表示するための画像データ）を表示させる。
【０２１４】
外縁情報生成部１２３からの上記指示を受けた画像表示処理部１３は、背景画像データ記憶部２３から、全面が白色の画像を表示するための画像データを読み出してデータ処理部７００に送信すると共に、「表示パネル」フィールドの値として上画面を指定したコマンドをデータ処理部７００に送信する。これにより、上画面の全面に白色の画像が表示される。
【０２１５】
上記のようにして上画面の全面に白色の画像を表示させた外縁情報生成部１２３は、その旨をスキャン実行部１２２に伝達し、伝達を受けたスキャン実行部１２２は、下画面でのスキャンを実行する。
【０２１６】
すなわち、スキャン実行部１２２は、「データ取得タイミング」フィールドの値を“センス”、「データ種別」フィールドの値を“全体画像”、「スキャン方式」フィールドの値を“透過”、そして「スキャンパネル」フィールドの値を“第２表示／光センサ部”としたコマンドをデータ処理部７００に送信する。
【０２１７】
これにより、下画面のバックライトが消灯された状態にて、下画面でスキャンが実行され、スキャンした結果として、光センサ回路３２からセンサ制御部６０２を介して得られる画像データの全体が、データ処理部７００から取得される。ここでは、スキャン実行部１２２は、スキャン結果の画像データ、すなわちスキャンデータをデータ処理部７００から取得して、スキャンデータ保持部１２４に一時的に格納する。
【０２１８】
スキャンデータがスキャンデータ保持部１２４に格納されると、外縁情報生成部１２３は、格納されたスキャンデータを読み出し、読み出したスキャンデータから対象物の外縁を特定し、特定した外縁を示す外縁情報を生成して外縁情報保持部１２５に格納する。そして、外縁情報生成部１２３は、外縁情報を外縁情報保持部１２５に格納した旨をスキャン実行部１２２に伝達する。
【０２１９】
伝達を受けたスキャン実行部１２２は、対象物の表面（センサ内蔵液晶パネルＡに対向する側の面）のスキャンを実行する。すなわち、スキャン実行部１２２は、「データ取得タイミング」フィールドの値を“センス”、「データ種別」フィールドの値を“全体画像”、「スキャン方式」フィールドの値を“反射”、そして「スキャンパネル」フィールドの値を“第１表示／光センサ部”としたコマンドをデータ処理部７００に送信する。
【０２２０】
これにより、下画面が消灯し、上画面が点灯した状態で、上画面でスキャンが実行され、スキャンした結果として、光センサ回路３２からセンサ制御部６０２を介して得られる画像データの全体が、データ処理部７００から取得される。
【０２２１】
そして、スキャン実行部１２２は、外縁情報保持部１２５に格納された外縁情報に基づいて、上記取得された画像データから、対象物の像を抽出してスキャンデータ保持部１２４に一時的に格納する。このデータは、センサ内蔵液晶パネルＡのスキャンで得られたデータであるから、対象物の表面の像を示すデータである。
【０２２２】
なお、スキャン実行部１２２は、対象物のスキャンを行うときに、外縁情報を用いて対象物のみのスキャンを実行するようにしてもよい。この場合には、スキャン実行部１２２は、外縁情報を、スキャンを行う領域を示すデータとしてデータ処理部７００に送信する。
【０２２３】
これにより、センサ制御部６０２は、光センサ駆動回路３０５に指示して、外縁情報で特定される対象物が載置されている領域の光センサ回路３２のみを駆動させ、対象物のみの像をスキャンデータとして取得する。そして、このスキャンデータが部分画像データとして主制御部８００に送られる。この場合には、スキャン実行部１２２は、対象物の像をスキャンデータから抽出する必要はなく、受け取ったスキャンデータをそのままスキャンデータ保持部１２４に格納する。
【０２２４】
そして、スキャン実行部１２２は、上記と同様にして、対象物の裏面（センサ内蔵液晶パネルＢに対向する側の面）のスキャンを実行し、これにより対象物の両面スキャンが終了する。
【０２２５】
〔付記事項〕
上述では、データ表示／センサ装置１００の構成として、データ処理部７００や回路制御部６００を備える構成について説明したが、この構成に限定されるものではない。例えば、主制御部８００が回路制御部６００を直接制御し、主制御部８００が全体画像データ／部分画像データ／座標データを生成するような構成であってもよい。また、主制御部８００が表示／光センサ部３００を直接制御するような構成であってもよい。
【０２２６】
また、対象物の外縁を特定する処理は、スキャンを行う度に行われるので、この処理を主制御部８００よりも上の階層（データ処理部７００や回路制御部６００）で行うようにしてもよい。
【０２２７】
最後に、データ表示／センサ装置１００の主制御部８００、データ処理部７００、回路制御部６００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２２８】
すなわち、データ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２２９】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２３０】
また、データ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２３１】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２３２】
本発明は、対象物のスキャンを行う装置に適用できる。特に、２枚のセンサ内蔵液晶パネルが互いに向き合う筐体を備えるデータ表示／センサ装置に好適に適用できる。
【図面の簡単な説明】
【０２３３】
【図１】本発明の一実施形態を示す図であり、データ表示／センサ装置の詳細な構成を示すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】同図（ａ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、同図（ｂ）は、上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】上記データ表示／センサ装置の要部構成を示すブロック図である。
【図５】上記データ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】上記コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】同図（ａ）は、上記データ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像の一例を示す図であり、同図（ｂ）は上記データ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、スキャンした結果として得られる画像の一例を示す図である。
【図８】上記データ表示／センサ装置が備えるセンサ内蔵液晶パネルの構成およびその周辺回路の構成を示すブロック図である。
【図９】同図（ａ）は、上記データ表示／センサ装置の筐体を開いた様子を示す図であり、同図（ｂ）は、上記データ表示／センサ装置の筐体を閉じた様子を示す図である。
【図１０】上記データ表示／センサ装置が、文書のスキャンを行う際に行う動作の一例を示す図である。同図（ａ）は、データ表示／センサ装置１００が、スキャンを実行可能な状態において、ユーザに対してスキャンの準備を促すメッセージなどを表示している様子を示す図であり、同図（ｂ）は、文書が置かれた様子を示す図であり、同図（ｃ）は、同図（ｂ）で示す状態から筐体が閉じられた様子を示す図であり、同図（ｄ）はスキャンが実行された後、筐体が開かれた様子を示す図であり、同図（ｅ）はユーザ操作により、スキャンデータの向き、および表示位置を変更した様子を示す図である。
【図１１】上記データ表示／センサ装置がスキャンを実行する際に行われる処理の一例を説明する図であり、（ａ）は文書の外縁および表面をスキャンするときに、上画面および下画面のセンサ内蔵液晶パネルに表示される画像のおよびスキャン結果を示す図であり、（ｂ）は文書の裏面をスキャンするときに、上画面および下画面のセンサ内蔵液晶パネルに表示される画像およびスキャン結果を示す図である。
【図１２】上記データ表示／センサ装置にて、対象物の外縁および両面の画像を取得することができる原理を説明する図であり、同図（ａ）は対象物（文書Ｐ１）の外縁および表面の画像を取得することができる原理を説明する図であり、同図（ｂ）は裏面の画像を取得することができる原理を説明する図である。
【図１３】上記データ表示／センサ装置がスキャンを行う際に行う一連の処理の流れを示すフローチャートである。
【図１４】上記一連の処理の中で行われるスキャン処理の一例を示すフローチャートである。
【符号の説明】
【０２３４】
１２    スキャン処理部
１３    画像表示処理部
２３    背景画像データ記憶部
１００    データ表示／センサ装置（像検知装置）
１２２    スキャン実行部（第２及び第３像検知手段、第１及び第２対象物抽出手段）
１２３    外縁情報生成部（第１像検知手段、境界特定手段）
１２４    スキャンデータ保持部
１２５    外縁情報保持部
３００    表示／光センサ部
３０１    センサ内蔵液晶パネル（第１面状部材、第２面状部材）
３０１Ａ  センサ内蔵液晶パネル（第１面状部材または第２面状部材）
３０１Ｂ  センサ内蔵液晶パネル（第１面状部材または第２面状部材）
【図１】
2010061464.tif 000003
【図２】
2010061464.tif 000004
【図３】
2010061464.tif 000005
【図４】
2010061464.tif 000006
【図５】
2010061464.tif 000007
【図６】
2010061464.tif 000008
【図７】
2010061464.tif 000009
【図８】
2010061464.tif 000010
【図９】
2010061464.tif 000011
【図１０】
2010061464.tif 000012
【図１１】
2010061464.tif 000013
【図１２】
2010061464.tif 000014
【図１３】
2010061464.tif 000015
【図１４】
2010061464.tif 000016