(57)【要約】【課題】面状部材に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させる。【解決手段】データ表示／センサ装置１００は、画像を表示するとともに、近傍の対象物の像を検知するセンサ内蔵液晶パネル３０１と、センサ内蔵液晶パネル３０１が検知した像の特徴量を抽出する特徴量抽出部８０２と、特徴量抽出部８０２が抽出した像の特徴量に基づいて、対象物の属性情報を特定する属性情報特定部８０４と、属性情報特定部８０４が特定した属性情報に対応する対応情報を、センサ内蔵液晶パネル３０１に対象物が載置された状態で表示させる画像制御部８０６と、を備える。【選択図】図１
2010250506.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示するとともに、近傍の対象物の像を検知する面状部材と、
上記面状部材が検知した像の特徴量を抽出する抽出手段と、
上記抽出手段が抽出した像の特徴量に基づいて、上記対象物の属性情報を特定する特定手段と、
上記特定手段が特定した属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
上記面状部材は、複数の対象物の像を検知するものであり、
上記画像制御手段は、上記複数の対象物それぞれの属性情報に基づいて、当該対象物どうしの関連を示す関連情報を上記対応情報として表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記画像制御手段は、上記面状部材が像を検知したときの画像における当該像を含む領域に、上記対応情報を表示させることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記画像制御手段は、上記面状部材が像を検知したときの画像における当該像とは異なる領域に、上記対応情報を表示させることを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
上記対象物は、医薬品またはサプリメントであることを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
【請求項６】
画像を表示するとともに、近傍の対象物の像を検知する面状部材とを備える画像処理装置の制御方法であって、
上記面状部材が検知した像の特徴量を抽出する抽出ステップと、
上記抽出ステップにて抽出された像の特徴量に基づいて、上記対象物の属性情報を特定する特定ステップと、
上記特定ステップにて特定された属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御ステップと、を含むことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、面状部材に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることが可能な画像処理装置および画像処理装置の制御方法に関するものである。
【背景技術】
【０００２】
近年、様々な医薬品が開発されているため、患者の症状、体質、年齢等にあわせて処方することが可能となっており、その処方は多岐にわたっている。また、サプリメントも複数開発されており、患者に限らず、例えば健康を維持するために、複数のサプリメントを服用する人も多い。
【０００３】
一般的に、患者には、処方される医薬品の効能、飲み合わせ等の説明を示した書面が、医薬品と共に提供される。また、市販の医薬品およびサプリメントにも、その効能、飲み合わせ等の情報を示した書面が付されている。
【０００４】
しかし、服用する医薬品またはサプリメントが複数になればなるほど、その書面も増えるため、これらを服用する人にとって、どの医薬品またはサプリメントにどのような効能があるのかを把握したり、適切な飲み合わせ、服用する時間帯、賞味期限等を判断することが困難になる。また、これらの書面のうち１つでも紛失してしまった場合には、各医薬品またはサプリメントの効能、適切な飲み合わせ、服用する時間帯、賞味期限等の情報を得ることができなくなってしまう。
【０００５】
そこで、医薬品またはサプリメントを複数服用する人は、上記のような情報を容易に得るために、これらに添付された書面を利用せずに、インターネット等の通信ネットワークを利用して、これらの品名、品番等からの情報検索を行っている。近年、ノート型ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、電子辞書、携帯電話機など、ユーザが持ち運び可能な携帯型端末の普及により、ユーザは、どこにいても手軽に、上記のような情報検索を行うことができる。
【０００６】
このように、通信ネットワークを用いて、複数の有効成分を有する医薬品およびサプリメントの飲み合わせについて適切な情報を得ることが可能な技術は、例えば特許文献１が挙げられる。
【０００７】
特許文献１は、医薬品名およびサプリメントの商品名をそれぞれ入力可能な入力部と、入力されたサプリメントまたは医薬品の情報を検索するための検索ボタンとが設けられた検索画面を端末に表示させる検索システムが開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−２２２１５８号公報（２００５年８月１８日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の技術では、これらを服用する人（検索システムを利用するユーザ）は、服用する医薬品またはサプリメントを入力する必要がある。このため、特許文献１の技術では、服用する医薬品またはサプリメントの品名または品番などを正確に入力しなければ、服用する医薬品またはサプリメントに対応する情報（効能、適切な飲み合わせ、服用する時間帯、賞味期限）を得ることができないという問題がある。また、医薬品またはサプリメントの品名があまり知られていなかったり、品名および品番が長い場合には誤入力する可能性が高くなる。
【００１０】
また、特許文献１の技術では、入力部に対する入力操作（対象物の名称を入力する操作）なしで服用する医薬品またはサプリメントに応じた情報を表示させるような機能は有していない。
【００１１】
従って、特許文献１の検索システムは、ユーザに、品名または品番を誤入力しないように細心の注意をもって入力させる必要があり、ユーザの感覚的な操作によって、服用する医薬品またはサプリメントに応じた情報を容易に表示させることが困難であった。
【００１２】
なお、特許文献１の技術では、ユーザは、服用する医薬品またはサプリメントが複数になれば、その分だけ医薬品名またはサプリメントの商品名を入力する必要がある。このため、服用する医薬品またはサプリメントが増えるほど、ユーザの手間が増えてしまうことになる。
【００１３】
この場合も、特許文献１の検索システムは、ユーザの感覚的な操作によって、複数の医薬品およびサプリメントに応じた情報（例えば飲み合わせの情報）を容易に表示させることが困難であった。
【００１４】
また、特許文献１の技術では、例えば医薬品またはサプリメントではなく、その他の対象物に応じた情報を表示させる場合であっても、入力部に対する入力操作なしで（すなわちユーザの感覚的な操作で）当該情報を容易に表示させることは困難であった。
【００１５】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、面状部材に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることが可能な画像処理装置および画像処理装置の制御方法を提供することにある。
【課題を解決するための手段】
【００１６】
本発明に係る画像処理装置は、上記の問題点を解決するために、画像を表示するとともに、近傍の対象物の像を検知する面状部材と、上記面状部材が検知した像の特徴量を抽出する抽出手段と、上記抽出手段が抽出した像の特徴量に基づいて、上記対象物の属性情報を特定する特定手段と、上記特定手段が特定した属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御手段と、を備えることを特徴としている。
【００１７】
また、本発明に係る画像処理装置の制御方法は、上記の問題点を解決するために、画像を表示するとともに、近傍の対象物の像を検知する面状部材とを備える画像処理装置の制御方法であって、上記面状部材が検知した像の特徴量を抽出する抽出ステップと、上記抽出ステップにて抽出された像の特徴量に基づいて、上記対象物の属性情報を特定する特定ステップと、上記特定ステップにて特定された属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御ステップと、を含むことを特徴としている。
【００１８】
上記構成によれば、特定手段（特定ステップ）は、抽出手段（抽出ステップ）によって抽出された像の特徴量に基づいて対象物の属性情報を特定する。そして、画像制御手段（画像制御ステップ）は、この特定した属性情報に対応する対応情報を、面状部材に対象物が載置された状態で表示させる。
【００１９】
これにより、画像処理装置およびその制御方法では、面状部材に対象物を載置したままで、当該対象物の属性情報に対応する対応情報を表示することができるので、面状部材に表示させる画像の一部として用いることができる。
【００２０】
このため、ユーザは、ユーザ操作を取得可能な操作入力画像に対して、対象物の名称などを入力するというような入力操作を行うことなく、面状部材に対象物を載置するだけで、当該対象物の属性情報に対応する対応情報（すなわち対象物に関係する情報）を確認することができる。
【００２１】
従って、画像処理装置およびその制御方法は、ユーザに入力操作を行わせずに（すなわち、ユーザの感覚的な操作によって）、面状部材に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることができる。そして、ユーザは、面状部材に情報を得たい対象物を載置するだけで、当該対象物に応じた情報を容易に確認することができる。
【００２２】
ここで、属性情報とは、対象物に関するあらゆる情報を指し、例えば対象物が医薬品の場合、品名、品番、効能、飲み合わせ不可能な医薬品の名称、服用日を決定するための情報、賞味期限などが挙げられる。
【００２３】
また、属性情報に対応する対応情報とは、各属性情報に対応した処理の結果を示す情報であり、例えば対象物が医薬品である場合、当該医薬品の賞味期限が切れているかどうかを示す情報などを指す。
【００２４】
さらに、本発明に係る画像処理装置は、上記面状部材は、複数の対象物の像を検知するものであり、上記画像制御手段は、上記複数の対象物それぞれの属性情報に基づいて、当該対象物どうしの関連を示す関連情報を上記対応情報として表示させることが好ましい。
【００２５】
上記構成によれば、画像制御手段は、面状部材に載置された複数の対象物それぞれの属性情報に基づいて、対象物どうしの関連を示す関連情報を対応情報として表示させる。このため、画像処理装置は、面状部材に載置された対象物それぞれの対応情報を表示することができるだけでなく、対象物どうしの関連を示す関連情報を表示することができる。
【００２６】
これにより、ユーザは、面状部材に複数の対象物を載置するだけで、当該対象物どうしの関連を示す関連情報を容易に確認することができる。
【００２７】
ここで、対象物どうしの関連を示す関連情報とは、複数の対象物が検知されたときの各対象物の属性情報に対応する対応情報を示すものである。例えば対象物が医薬品の場合、属性情報としての飲み合わせ不可能な医薬品の名称から求められる、飲み合わせ可能か不可能かを示す飲み合わせ情報、属性情報としての服用日を決定するための情報から求められる服用日と、当該服用日ごとに対象物を分類したときのグループとを対応付けたグループ情報などを指す。
【００２８】
さらに、本発明に係る画像処理装置は、上記画像制御手段は、上記面状部材が像を検知したときの画像における当該像を含む領域に、上記対応情報を表示させることが好ましい。
【００２９】
上記構成によれば、画像処理装置は、面状部材が像を検知したときの画像における当該像を含む領域に対応情報を表示させるので、面状部材に載置された対象物と重なる領域に、当該対象物に関する対応情報を表示することができる。すなわち、画像処理装置は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。
【００３０】
さらに、本発明に係る画像処理装置は、上記画像制御手段は、上記面状部材が像を検知したときの画像における当該像とは異なる領域に、上記対応情報を表示させることが好ましい。
【００３１】
例えば、対応情報が文字、数値、記号を含む場合、当該対応情報を対象物と重なる領域に表示すると、文字、数値、記号の少なくとも一部が対象物に隠れてしまうため、ユーザがこれらの情報を確認することができなくなる可能性がある。
【００３２】
上記構成によれば、画像処理装置は、面状部材が像を検知したときの画像における当該像とは異なる領域に対応情報を表示させるので、面状部材に載置された対象物に重ならない領域に、当該対象物に関する対応情報を表示することができる。従って、対応情報が文字、数値、記号を含む場合であっても、画像処理装置は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。
【００３３】
さらに、本発明に係る画像処理装置は、上記対象物は、医薬品またはサプリメントであることが好ましい。
【００３４】
上記構成によれば、画像処理装置は、医薬品またはサプリメントに応じた情報を表示することができる。このため、ユーザは、面状部材に載置した医薬品またはサプリメントが服用可能かどうか（服用すべきかどうか）を容易に確認することができると共に、服用可能（服用すべき）であると判断した医薬品またはサプリメントを面状部材から取り上げて、そのまま服用することができる。
【００３５】
従って、画像処理装置は、ユーザに、医薬品またはサプリメントが服用可能（服用すべき）かどうかを適切に知らせることができるだけでなく、ユーザが、服用する医薬品またはサプリメントを取り違えて服用することを未然に防止することができる。
【発明の効果】
【００３６】
本発明に係る画像処理装置は、画像を表示するとともに、近傍の対象物の像を検知する面状部材と、上記面状部材が検知した像の特徴量を抽出する抽出手段と、上記抽出手段が抽出した像の特徴量に基づいて、上記対象物の属性情報を特定する特定手段と、上記特定手段が特定した属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御手段と、を備える構成である。
【００３７】
本発明に係る画像処理装置の制御方法は、上記面状部材が検知した像の特徴量を抽出する抽出ステップと、上記抽出ステップにて抽出された像の特徴量に基づいて、上記対象物の属性情報を特定する特定ステップと、上記特定ステップにて特定された属性情報に対応する対応情報を、上記面状部材に対象物が載置された状態で表示させる画像制御ステップと、を含む方法である。
【００３８】
それゆえ、画像処理装置およびその制御方法は、ユーザに入力操作を行わせずに（すなわち、ユーザの感覚的な操作によって）、面状部材に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態に係るデータ表示／センサ装置のより詳細な構成を示すブロック図である。
【図２】本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】図３（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置が備えるセンサ内蔵液晶パネルにて影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】本発明の一実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図５】本発明の一実施形態に係るデータ表示／センサ装置で用いられるコマンドのフレーム構造の一例を模式的に示す図である。
【図６】図５に示したコマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【図７】図７（ａ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、対象物がセンサ内蔵液晶パネル上に置かれていないときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。図７（ｂ）は、本発明の一実施形態に係るデータ表示／センサ装置にて、ユーザが指でセンサ内蔵液晶パネルをタッチしているときに、センサ内蔵液晶パネル全体をスキャンした結果として得られる画像データである。
【図８】本発明の一実施形態に係るデータ表示／センサ装置が備える表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図９】本発明の一実施形態に係るデータ表示／センサ装置において、センサ内蔵液晶パネルに対象物が載置された際の処理の流れを示すフローチャートである。
【図１０】本発明の一実施形態に係るデータ表示／センサ装置の主制御部において参照される、記憶部に格納された属性情報テーブルを示す図である。
【図１１】本発明の一実施形態に係るデータ表示／センサ装置の画像制御部における、飲み合わせの相互関係を示すときの表示処理としての画像データ作成処理を示すフローチャートである。
【図１２】図１２（ａ）は、図１１に示す画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１２（ｂ）は、図１１に示す画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネルに表示されたときの表示例を示す図である。
【図１３】本発明の一実施形態に係るデータ表示／センサ装置の画像制御部における、服用時間の順番を示すときの表示処理としての画像データ作成処理を示すフローチャートである。
【図１４】図１４（ａ）は、図１３に示す画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１４（ｂ）は、図１３に示す画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネルに表示されたときの表示例を示す図である。
【図１５】本発明の一実施形態に係るデータ表示／センサ装置の画像制御部における、服用日のグルーピングを示すときの表示処理としての画像データ作成処理を示すフローチャートである。
【図１６】図１６（ａ）は、図１５に示す画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１６（ｂ）は、図１５に示す画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネルに表示されたときの表示例を示す図である。
【図１７】本発明の一実施形態に係るデータ表示／センサ装置の画像制御部における、総摂取量を示すときの表示処理としての画像データ作成処理を示すフローチャートである。
【図１８】図１８（ａ）は、図１７に示す画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１８（ｂ）は、図１７に示す画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
【図１９】本発明の一実施形態に係るデータ表示／センサ装置の画像制御部における、賞味期限の判断を示すときの表示処理としての画像データ作成処理を示すフローチャートである。
【図２０】図２０（ａ）は、図１９に示す画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図２０（ｂ）は、図１９に示す画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
【発明を実施するための形態】
【００４０】
本発明の一実施形態について、図１から図２０に基づいて説明すると以下の通りである。
【００４１】
本実施形態に係るデータ表示／センサ装置１００（画像処理装置（その制御方法））は、画像を表示するとともに、近傍の対象物の像を検知するセンサ内蔵液晶パネル３０１（面状部材）と、センサ内蔵液晶パネル３０１が検知した像の特徴量を抽出する特徴量抽出部８０２（抽出手段、抽出ステップ）と、特徴量抽出部８０２が抽出した像の特徴量に基づいて、対象物の属性情報を特定する属性情報特定部８０４（特定手段、特定ステップ）と、属性情報特定部８０４が特定した属性情報に対応する対応情報を、センサ内蔵液晶パネル３０１に対象物が載置された状態で表示させる画像制御部８０６（画像制御手段、画像制御ステップ）と、を備える構成である。
【００４２】
これにより、データ表示／センサ装置１００は、ユーザに入力操作を行わせずに（すなわち、ユーザの感覚的な操作によって）、センサ内蔵液晶パネル３０１に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることができる。
【００４３】
まず、以下で、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
【００４４】
〔センサ内蔵液晶パネルの概要〕
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００４５】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００４６】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００４７】
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
【００４８】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００４９】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００５０】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００５１】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００５２】
〔データ表示／センサ装置の要部構成〕
次に、図４を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。
【００５３】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００５４】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
【００５５】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００５６】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００５７】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００５８】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００５９】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
【００６０】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００６１】
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
【００６２】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００６３】
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００６４】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００６５】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００６６】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００６７】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００６８】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
【００６９】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００７０】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
【００７１】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００７２】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
【００７３】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００７４】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
【００７５】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００７６】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００７７】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００７８】
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００７９】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００８０】
〔コマンドの詳細〕
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
【００８１】
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。
【００８２】
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。
【００８３】
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
【００８４】
ここで、“センス”は、最新のデータを直ちに送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
【００８５】
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
【００８６】
また、“オール”は、所定周期でデータを送信すること指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
【００８７】
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
【００８８】
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
【００８９】
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
【００９０】
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
【００９１】
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
【００９２】
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。
【００９３】
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
【００９４】
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうこと指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
【００９５】
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
【００９６】
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。
【００９７】
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
【００９８】
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
【００９９】
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。
【０１００】
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
【０１０１】
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
【０１０２】
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００（第１表示／光センサ部））、“010”（二番目の表示／光センサ部３００（第２表示／光センサ部））という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【０１０３】
ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【０１０４】
なお、本実施形態に係るデータ表示／センサ装置１００は、単一の表示／光センサ部３００を備えた構成となっている。ここでは、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部”であるコマンドを受信すると、表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与えるものとする。
【０１０５】
次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“001”（一番目の表示／光センサ部３００（第１表示／光センサ部））、“010” （二番目の表示／光センサ部３００（第２表示／光センサ部））という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
【０１０６】
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
【０１０７】
なお、本実施形態に係るデータ表示／センサ装置１００は、単一の表示／光センサ部３００を備えた構成となっている。ここでは、表示データ処理部７０１は、「表示パネル」フィールドの値が“第１表示／光センサ部”であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与えるものとする。
【０１０８】
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。
【０１０９】
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
【０１１０】
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
【０１１１】
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
【０１１２】
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
【０１１３】
〔全体画像データ／部分画像データ／座標データ〕
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
【０１１４】
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
【０１１５】
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
【０１１６】
なお、領域ＡＰで示される画像データが、“全体画像データ”である。
【０１１７】
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。
【０１１８】
〔センサ内蔵液晶パネルの構成〕
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【０１１９】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【０１２０】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【０１２１】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【０１２２】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
【０１２３】
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード６に光が入射されると、入射した光量に応じた電流がフォトダイオード６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【０１２４】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【０１２５】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【０１２６】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【０１２７】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【０１２８】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【０１２９】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【０１３０】
〔データ表示／センサ装置のより詳細な構成〕
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、画像の表示および医薬品またはサプリメント（以下、服用品とする）のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
【０１３１】
図１は、データ表示／センサ装置１００のより詳細な構成を示すブロック図である。図示のように、主制御部８００は、例えば対象物（例えば実物である服用品）の情報を多数同時に画像認識で読み取り、個々の関連性の情報を得るために、像取得部８０１、特徴量抽出部８０２、種別／文字認識部８０３、属性情報特定部８０４、位置情報書込部８０５、画像制御部８０６、モード設定部８０７および計時部８０８を備えている。
【０１３２】
像取得部８０１は、センサ内蔵液晶パネル３０１が検知した対象物の像のデータを全体画像データとして取得すると共に、当該全体画像データに含まれる各像の位置のデータを座標データとして取得するものである。
【０１３３】
特徴量抽出部８０２は、一般的な画像認識技術（文字認識技術）を用いて、全体画像データに対する画像補正を行い、当該画像補正を行った全体画像データから、像の特徴量を抽出するものである。すなわち、特徴量抽出部８０２は、センサ内蔵液晶パネル３０１が検知した像の特徴量を抽出するものといえる。
【０１３４】
種別／文字認識部８０３は、センサ内蔵液晶パネル３０１上に対象物の種別、または、対象物に印字された文字、記号などの認識を行うものである。種別／文字認識部８０３は、特徴量抽出部８０２が抽出した像の特徴量と記憶部９０１に格納された複数の標準パターンとを比較することにより、当該像の特徴量が、何れの標準パターンと最もよく類似しているのかを判定することにより、上記種別または文字、記号などの認識を行う。
【０１３５】
属性情報特定部８０４は、種別／文字認識部８０３の認識結果に基づいて、記憶部９０１に格納された属性情報を参照して、各像に対応した属性情報を特定するものである。すなわち、属性情報特定部８０４は、特徴量抽出部８０２が抽出した像の特徴量に基づいて、対象物の属性情報を特定するものといえる。
【０１３６】
また、属性情報特定部８０４は、各像に対応した属性情報が記憶部９０１に格納されていないと判断した場合には、外部通信部９０７を介して、ネットワーク上から当該属性情報を取得してもよい。
【０１３７】
画像制御部８０６は、モード設定部８０７が設定する画像データ作成モードに応じた画像データを作成し、当該画像データをセンサ内蔵液晶パネル３０１に表示させるものである。
【０１３８】
モード設定部８０７は、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、画像データ作成モードを設定するものである。また、計時部８０８は、現在時刻を計時するものである。
【０１３９】
また、図１に示すように、画像制御部８０６は、表示領域決定部８６１、属性情報取得部８６２、関連情報処理部８６３および画像データ作成部８６４を備えている。
【０１４０】
表示領域決定部８６１は、記憶部９０１に格納された属性情報または関連情報処理部８６３で求められる対応情報（対応情報としての関連情報）を表示するために、像取得部８０１が取得した全体画像データにおける仮想領域を決定するものである。
【０１４１】
属性情報取得部８６２は、各画像データ作成モードに応じて、各対象物の属性情報を取得するものである。
【０１４２】
関連情報処理部８６３は、各画像データ作成モードに応じて対応情報（関連情報）を求め、対応情報に対応したテンプレート画像を決定し、当該テンプレート画像と対象物（あるいは仮想領域）とを対応付けるものである。
【０１４３】
画像データ作成部８６４は、属性情報および／または対応情報（関連情報）を、像取得部８０１が取得した全体画像データに重畳させた画像データを作成し、当該画像データをセンサ内蔵液晶パネル３０１に表示させるものである。画像データ作成部８６４は、例えば対応情報に基づいて加工したテンプレート画像を、決定した仮想領域に重畳させた画像データを作成する。
【０１４４】
すなわち、画像制御部８０６は、特徴量抽出部８０２が特定した属性情報に対応する対応情報を、センサ内蔵液晶パネル３０１に対象物が載置された状態で表示させるものといえる。
【０１４５】
また、画像制御部８０６は、センサ内蔵液晶パネル３０１に複数の対象物が載置された場合、複数の対象物それぞれの属性情報に基づいて、当該対象物どうしの関連を示す関連情報を対応情報として表示させるものといえる。
【０１４６】
なお、記憶部９０１には、主制御部８００が実行する（１）各部の制御プログラム、（２）ＯＳプログラム、（３）アプリケーションプログラム、および、（４）これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部９０１は、フラッシュメモリなどの不揮発性の記憶装置によって構成される。本実施形態では、記憶部９０１は、例えば各対象物の属性情報が格納された属性情報テーブル、各種テンプレート画像、取得した全体画像データおよび座標データ、算出される関連情報などのデータが格納されるものである。また、以下の説明では、これらのデータを記憶部９０１に格納しているものとして説明するが、例えば全体画像データ、座標データなど、主制御部８００の処理において一時的に格納されるものについては一次記憶部９０２に格納される構成であってもよい。
【０１４７】
〔データ表示／センサ装置における処理の流れ〕
次に、図９を参照しながら、データ表示／センサ装置１００において、センサ内蔵液晶パネル３０１に対象物が載置された際の処理の流れについて説明する。図９は、データ表示／センサ装置１００において、センサ内蔵液晶パネル３０１に対象物が載置された際の処理の流れを示すフローチャートである。なお、以下に示すコマンドの使用例は、あくまで一例であり、適宜フィールドの値を変更することが可能である。
【０１４８】
なお、ここでは主に、服用品が対象物として載置された場合（すなわち、品名、品番などの文字または記号の認識を行う場合）のデータ表示／センサ装置１００における処理の流れについて説明する。
【０１４９】
まず、服用品の対象物がセンサ内蔵液晶パネル３０１上に載置されると、当該センサ内蔵液晶パネル３０１は、載置された対象物の像を検知する。センサ内蔵液晶パネル３０１が検知した像は、回路制御部６００を介してデータ処理部７００を送信される。そして、主制御部８００の像取得部８０１は、データ処理部７００に送信されてきた像のデータを全体画像データとして取得する。また、像取得部８０１は、全体画像データを取得するときに、全体画像データに含まれる各像の位置のデータを座標データとして取得する。すなわち、像取得部８０１は、センサ内蔵液晶パネル３０１が検知した像と、当該像の位置とを取得する（Ｓ１）。
【０１５０】
このとき、像取得部８３０１は、センサ内蔵液晶パネル３０１が対象物の像を検知することができるように、「スキャン方式」フィールドの値として“反射”（“00”）、“透過”（“01”）、“反射／透過”（“10”）のいずれか、「スキャン画像階調」フィールドの値として“２値”（“00”）、“多値”（“01”）のいずれか、「スキャン解像度」フィールドの値として“２値”（“00”）、“多値”（“01”）のいずれか、「スキャンパネル」フィールドの値として“第１表示／光センサ部”（“001”）を指定したコマンドを、データ処理部７００に送信する。
【０１５１】
また、像取得部８０１は、センサ内蔵液晶パネル３０１上で変化があったときの全体画像データをデータ処理部７００から取得するために、「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“全体画像”（“100”）を指定したコマンドを、データ処理部７００に送信する。
【０１５２】
さらに、像取得部８０１は、全体画像データに含まれる各像の座標データをデータ処理部７００から取得するために、「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“座標”（“100”）を指定したコマンドを、データ処理部７００に送信する。この場合、「データ取得タイミング」フィールドの値としては、“全体画像”および“座標”をあわせた“101”を指定したコマンドを、データ処理部７００に送信する。
【０１５３】
なお、像取得部８０１が全体画像データの代わりに部分画像データを取得する場合には、「データ取得タイミング」フィールドの値として“イベント”（“01”）、「データ種別」フィールドの値として“部分画像”（“010”）を指定したコマンドを、データ処理部７００に送信する。
【０１５４】
像取得部８０１は、取得した全体画像データを特徴量抽出部８０２に送信する。特徴量抽出部８０２は、この全体画像データに含まれる像の特徴量を抽出する（Ｓ２）。ここで、特徴量抽出部８０２における特徴抽出は、一般的な画像認識技術（文字認識技術）により行われるものである。
【０１５５】
すなわち、特徴量抽出部８０２は、ノイズ除去、平滑化、鮮鋭化、フィルタリング処理、画像の２値化、像の骨格線を抽出する細線化操作、正規化操作等と呼ばれる、全体画像データに対する画像補正を行う。そして、特徴量抽出部８０２は、画像補正を行った全体画像データから、像の特徴量を抽出する。像の特徴量を抽出する手法として、エッジ、輪郭および線成分を抽出する方法（２次微分処理、ハフ変換処理等）、領域分割による方法、テクスチャを抽出する方法などが挙げられる。
【０１５６】
特徴量抽出部８０２は、上記処理を行うことによって像の特徴量を抽出すると、当該特徴量を種別／文字認識部８０３に送信する。種別／文字認識部８０３は、上記像の特徴量を受信すると、記憶部９０１に格納された複数の標準パターンを読み出す。そして、種別／文字認識部８０３は、上記像の特徴量と複数の標準パターンとを比較することにより、当該像の特徴量が、何れの標準パターンと最もよく類似しているのかを判定する。すなわち、種別／文字認識部８０３は、上記の判定を行うことにより、センサ内蔵液晶パネル３０１上に対象物の種別、または、対象物に印字された文字、記号などの認識を行う（Ｓ３）。なお、種別／文字認識部８０３は、上記判定を行うために、一般的な画像認識技術（文字認識技術）に用いられる手法であるパターンマッチング手法、統計的識別手法等を用いた処理を行うものとする。
【０１５７】
また、上記標準パターンとしては、指、ペンなどを示すパターン、文字、記号などを示すパターン（すなわち、辞書）、特殊な形状（例えばビス、ナット、ビーズ、種など）を認識するためのパターンなどが挙げられる。
【０１５８】
ここで、センサ内蔵液晶パネル３０１上に対象物として服用品が載置された場合、種別／文字認識部８０３は、品名または品番が印字されているため、これらに含まれる文字または記号のそれぞれが、文字、記号などを示す標準パターンのうち、何れの標準パターンと最もよく類似するのかを判定する。すなわち、種別／文字認識部８０３は、品名または品番を示す文字または記号それぞれに最もよく類似した標準パターンを特定する。
【０１５９】
このとき、種別／文字認識部８０３は、各文字または各記号と最もよく類似した標準パターンを特定すると、各文字または各記号が含まれる像ごとに、特定した標準パターンを文字列として属性情報特定部８０４に送信する。すなわち、種別／文字認識部８０３は、像取得部８０１が取得した像の位置と、像ごとに特定した文字列とを対応付けた取得情報を、属性情報特定部８０４に送信する。
【０１６０】
属性情報特定部８０４は、種別／文字認識部８０３から取得情報を受信すると、記憶部９０１に格納された属性情報テーブル（後述）を検索する（Ｓ４）。そして、属性情報特定部８０４は、属性情報テーブルの中に、取得情報に示される文字列と一致する「品名」または「品番」をもつ属性情報が存在するか否かを判定する（Ｓ５）。
【０１６１】
属性情報特定部８０４は、文字列と一致する「品名」または「品番」をもつ属性情報が存在すると判定した場合（Ｓ５でＹＥＳ）、各像に対応した属性情報を特定する（Ｓ６）。また、属性情報特定部８０４は、各像に対応した属性情報を特定すると、取得情報に示される像の位置を、属性情報テーブルにおける当該属性情報の「位置」に書き込む。すなわち、属性情報特定部８０４は、特定された属性情報と、当該属性情報に対応する像の位置との対応付けを行う（Ｓ７）。
【０１６２】
属性情報特定部８０４は、特定した属性情報と、当該属性情報に対応する像の位置との対応付けを行うと、当該対応付けが完了したことを示す完了通知および各像の位置のデータを、画像制御部８０６に送信する。画像制御部８０６は、完了通知を受信すると、画像データ作成処理を行い（Ｓ８）、当該処理で作成された画像データを表示データとしてデータ処理部７００に送信する。これにより、画像制御部８０６により作成された画像が、センサ内蔵液晶パネル３０１に表示されることとなる。なお、この画像データ作成処理の具体例については、後述する。
【０１６３】
なお、画像制御部８０６は、作成した画像データをセンサ内蔵液晶パネル３０１に表示させるために、「表示パネル」フィールドの値として“第１表示／光センサ部”（“001”）を指定したコマンドを、データ処理部７００に送信する。
【０１６４】
一方、属性情報特定部８０４は、文字列と一致する「品名」または「品番」をもつ属性情報が存在しないと判定した場合（Ｓ５でＮＯ）、各像に対応した属性情報を特定するために、各文字列に対応した属性情報をネットワーク上から取得する（Ｓ９）。
【０１６５】
具体的には、属性情報特定部８０４は、記憶部９０１に属性情報が存在しないと判断した文字列（服用品）の属性情報の取得命令を、図４に示す外部通信部９０７に送信する。外部通信部９０７は、取得命令を受信すると、上記文字列の属性情報を検索するために、無線／有線通信によってネットワーク上の外部装置（例えば属性情報を管理するサーバ）と通信を行う。
【０１６６】
外部通信部９０７は、上記文字列の属性情報を取得すると、当該属性情報を属性情報特定部８０４に送信する。そして、属性情報特定部８０４は、受信した属性情報を属性情報テーブルに追記することにより、当該属性情報を記憶部９０１に格納する（Ｓ１０）。属性情報特定部８０４は、属性情報を記憶部９０１に格納すると、Ｓ９の処理に移行する。
【０１６７】
なお、上記の処理では、属性情報特定部８０４は、センサ内蔵液晶パネル３０１上に載置された対象物の像の位置を、属性情報テーブルの当該対象物に対応する「位置」に書き込み、各像の位置を画像制御部８０６に送信している。これにより、画像制御部８０６が像の位置と、上記「位置」に書き込まれた位置情報とを比較することにより、各像に対応する属性情報を適切に取得することができる。しかし、この処理は一例であり、画像制御部８０６が各像に対応する属性情報を適切に取得することが可能であれば、どのような情報を用いてもよい。
【０１６８】
以上のように、データ表示／センサ装置１００は、画像を表示するとともに、近傍の対象物の像を検知するセンサ内蔵液晶パネル３０１と、センサ内蔵液晶パネル３０１が検知した像の特徴量を抽出する特徴量抽出部８０２と、特徴量抽出部８０２が抽出した像の特徴量に基づいて、対象物の属性情報を特定する属性情報特定部８０４と、属性情報特定部８０４が特定した属性情報に対応する対応情報を、センサ内蔵液晶パネル３０１に対象物が載置された状態で表示させる画像制御部８０６と、を備える構成である。
【０１６９】
これにより、データ表示／センサ装置１００は、ユーザに入力操作を行わせずに（すなわち、ユーザの感覚的な操作によって）、センサ内蔵液晶パネル３０１に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることができる。そして、ユーザは、センサ内蔵液晶パネル３０１に情報を得たい対象物を載置するだけで、当該対象物に応じた情報を容易に確認することができる。
【０１７０】
また、データ表示／センサ装置１００では、センサ内蔵液晶パネル３０１が複数の対象物の像を検知した場合、画像制御部８０６は、複数の対象物それぞれの属性情報に基づいて、当該対象物どうしの関連を示す関連情報を対応情報として表示させる構成である。これにより、ユーザは、センサ内蔵液晶パネル３０１に複数の対象物を載置するだけで、当該対象物どうしの関連を示す関連情報を容易に確認することができる。
【０１７１】
特に、データ表示／センサ装置１００は、対象物が服用品である場合には、種類の常備薬を所持するユーザに対して、例えば服用すべき常備薬など、ユーザにとって必要となる情報を手軽に確認させることができる。また、ユーザは、載置した服用品が服用可能（服用すべき）であると判断した服用品をセンサ内蔵液晶パネル３０１から取り上げて、そのまま服用することができる。このため、データ表示／センサ装置１００は、ユーザが、服用品を取り違えて服用することを未然に防止することができる。
【０１７２】
〔属性情報テーブル〕
次に、図１０を参照しながら、主制御部８００において用いられる、記憶部９０１に格納された属性情報テーブルについて説明する。図１０は、主制御部８００において参照される、記憶部９０１に格納された属性情報テーブルを示す図である。
【０１７３】
属性情報テーブルには、図示のように、「品名」、「品番」、「効能」、「飲み合わせ不可品名」、「服用日」、「時間帯」、「賞味期限」および「成分量」を示す情報が格納される。なお、属性情報テーブル内の「品名」または「品番」に対応する「効能」などの情報を属性情報と称する。また、これらの情報は、予め記憶部９０１に格納されているものであるが、これに限らず、上述のように、属性情報特定部８０４が外部通信部９０７を介してネットワーク上から取得したものであってもよい。
【０１７４】
「品名」には、服用品の品名を示す文字情報（品名情報）が格納される。
【０１７５】
「品番」には、服用品のそれぞれに付される製造番号を示す記号、数値などの情報（品番情報）が格納される。
【０１７６】
「効能」には、各服用品の効能を示す文字情報（効能情報）が格納される。例えば図１０のように、各効能に対して、「コードｎ」（ｎ＝１、２、…）のような簡素な情報を格納しておき、属性情報テーブルとは異なるテーブルにて、各コードに対応する文字情報が格納されていてもよい。
【０１７７】
例えば、コード１は「ガロイン：胃がもたれる、はきけがする等の胃の諸症状に効果を発揮する健胃・消化薬です」、コード２は「ＥＣ１０：ビタミンＥ・Ｃ・Ｂ２、コエンザイムＱ１０を１つに集約した栄養機能食品」、コード３は「フェイチ１００：効果的にヘモグロビンを造り貧血を改善する鉄剤です」とした文字情報に対応付けられている。
【０１７８】
「飲み合わせ不可品名」には、同時に飲み合わせてはいけない（または飲み合わせない方が好ましい）服用品を示す文字情報が飲み合わせ不可情報として格納されている。図１０では、例えばＥＣ１０と飲み合わせ不可能な服用品がフェイチ１００であることが示されている。なお、飲み合わせ不可能な服用品がない場合には、「飲み合わせ不可用品」に例えば「Ｎｕｌｌ」（図１０では「−」で示す）の値が格納されていてもよい。また、この場合、「飲み合わせ不可用品」以外においても、属性情報テーブルの「−」には、「飲み合わせ不可用品」と同様に「ＮＵｌｌ」の値が格納されていてもよい。
【０１７９】
「服用日」には、服用品が支給されたとき（または、像取得部８０１が全体画像データを取得したとき）からの日数を示す数値情報（服用日情報）が格納される。画像制御部８０６では、この数値情報に基づいて、服用すべき曜日を算出することができる。
【０１８０】
「時間帯」には、服用品を服用するのに適した時間帯を示す文字情報（時間帯情報）が格納される。図１０では、例えばガロインの「時間帯」に示される文字情報として「食後毎」が示されている。なお、「時間帯」の文字情報としては、例えば「食後毎」、「朝食前」、「夕食前」、「食間」などが挙げられ、これらの情報に対応する時間情報（例えば「朝食前」に対応する時間情報として「午前６時〜午前７時」を示す情報）が対応付けて格納されている。
【０１８１】
「賞味期限」には、服用品の賞味期限の日時を示す情報（期限情報）が格納される。なお、「賞味期限」の代わりに製造日時を示す情報が格納され、必要に応じて、主制御部８００が賞味期限を算出する構成であってもよい。
【０１８２】
「成分量」は、服用品の成分量を示す数値情報（成分情報）が成分ごとに格納される。図１０では、成分としてカルシウム、ビタミンＣおよび鉄分の１粒あたりの重量（ｍｇ）が格納されているが、これに限らず、様々な成分の成分量が格納されてもよい。
【０１８３】
さらに、属性情報テーブルには「位置」を示す情報が格納される。「位置」には、属性情報特定部８０４が特定した属性情報に対応する像の位置を書き込むことにより、当該像の位置を示す位置情報（すなわち、座標データ）が格納される。
【０１８４】
〔画像データ作成処理（飲み合わせの相互関係を示すときの表示処理）〕
次に、図１１から図２０を参照しながら、画像データ作成処理、および、その結果としてセンサ内蔵液晶パネル３０１に表示される画像の具体例について説明する。なお、図１２（ｂ）、図１４（ｂ）、図１６（ｂ）、図１８（ｂ）および図２０（ｂ）では、センサ内蔵液晶パネル３０１に服用品（または包装された状態の服用品）が載置され、その状態で（すなわち実物が載置された状態で）、画像データ作成処理の結果が表示されているものとする。
【０１８５】
まず、図１１および図１２を参照しながら、飲み合わせの相互関係を示すときの表示処理としての画像データ作成処理について説明する。図１１は、飲み合わせの相互関係を示すときの表示処理としての画像データ作成処理を示すフローチャートであり、図１２（ａ）は、当該画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１２（ｂ）は、当該画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
【０１８６】
まず、図９に示すＳ３において、種別／文字認識部８０３が、対象物の文字または記号を認識すると（すなわち、対象物が服用品であると判断すると）、モード設定部８０７に文字認識通知を送信する。モード設定部８０７は、文字認識通知を受信すると、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、画像データ作成モード（以下では単にモードとする）を設定する。
【０１８７】
モード設定部８０７におけるモード設定処理方法としては、例えば文字認識通知と共に取得情報を受信し、当該取得情報に示される像の位置からどのモードに設定するかを決定することが挙げられる。この他、センサ内蔵液晶パネル３０１例えば載置された対象物の像の形状および／または個数、予め設定された領域への対象物の載置などを判断してモードを設定したり、モードを問い合わせるための問い合わせ画像を画像制御部８０６に作成させ、当該問い合わせ画像をセンサ内蔵液晶パネル３０１に表示させて、ユーザにモードを選択させてもよい。
【０１８８】
ここでは、モード設定部８０７は、飲み合わせの相互関係を示すときの表示処理を示す飲み合わせ表示モードに設定するものとする。
【０１８９】
次に、画像制御部８０６の表示領域決定部８６１は、完了通知を受信すると、図９に示すＳ１で取得された全体画像データを記憶部９０１から取得すると共に、モード設定部８０７で設定された、飲み合わせ表示モードを示すモード情報を取得する。なお、ここでは、像取得部８０１が取得した全体画像データが記憶部９０１に格納されているものとして説明するが、これに限らず、像取得部８０１（または主制御部８００）内に一時的に格納されていてもよい。また、座標データおよび部分画像データについても同様である。
【０１９０】
表示領域決定部８６１は、飲み合わせ表示モードに対応した各服用品の属性情報（ここでは効能情報）および服用品どうしの関係を示す関連情報（ここでは飲み合わせ情報）を表示するための全体画像データにおける仮想領域を決定する。すなわち、表示領域決定部８６１は、図１２（ａ）に示すように、像（図１２（ａ）に示す斜線部）と重ならない領域を、効能情報および関連情報を表示するための仮想領域として決定する（Ｓ２１）。
【０１９１】
表示領域決定部８６１は、効能情報を像（服用品）の近傍に表示させるために、例えば各像の位置（属性情報テーブルに書き込まれた各服用品の位置情報）から所定の距離（像と重ならない程度の距離）だけ離れた位置に、仮想領域としての矩形領域Ｑ１、Ｑ２およびＱ３をそれぞれ決定する。また、表示領域決定部８６１は、対応情報としての関連情報を各像の間に表示させるために、例えば各像を結ぶ線分を算出し、像と重ならない当該線分を含む位置に、仮想領域としての矩形領域Ｐ１、Ｐ２およびＰ３をそれぞれ決定する。
【０１９２】
次に、表示領域決定部８６１は、全体画像データにおける仮想領域を決定すると、領域決定通知を属性情報取得部８６２に送信し、決定した仮想領域の位置情報（例えば各仮想領域の全体画像データにおける４隅の座標）を、各服用品、または、線分を算出したときの２つの像（服用品）ごとに対応付けて記憶部９０１に格納する。
【０１９３】
属性情報取得部８６２は、領域決定通知を受信すると、記憶部９０１の属性情報テーブルを参照することにより、飲み合わせ表示モードのときの属性情報、すなわち各服用品の効能情報および飲み合わせ不可情報を取得する（Ｓ２２）。そして、属性情報取得部８６２は、効能情報を画像データ作成部８６４に送信し、飲み合わせ不可情報を関連情報処理部８６３に送信する。
【０１９４】
関連情報処理部８６３は、飲み合わせ不可情報を受信すると、記憶部９０１の属性情報テーブルの「品名」を参照することにより、当該飲み合わせ不可情報と一致する服用品があるか否かを判定する（Ｓ２３）。すなわち、関連情報処理部８６３は、属性情報テーブルを参照することにより、属性情報である飲み合わせ不可情報と品名情報とを比較することにより、各服用品の飲み合わせが可能または不可能であることを示す飲み合わせ情報を関連情報として求める。
【０１９５】
具体的には、関連情報処理部８６３は、飲み合わせ不可情報と一致する服用品があると判定した場合（Ｓ２３でＹＥＳ）、服用品どうしの飲み合わせが不可能であることを示す飲み合わせ情報として、記憶部９０１に格納された仮想領域と飲み合わせ不可を示すテンプレート画像とを対応付ける（Ｓ２４）。一方、関連情報処理部８６３は、飲み合わせ不可情報と一致する服用品がないと判定した場合（Ｓ２３でＮＯ）、服用品どうしの飲み合わせが可能であることを示す飲み合わせ情報として、記憶部９０１に格納された仮想領域と飲み合わせ可を示すテンプレート画像とを対応付ける（Ｓ２５）。関連情報処理部８６３は、各仮想領域とテンプレート画像との対応付けが完了すると、対応付け完了通知を画像データ作成部８６４に送信する。
【０１９６】
ここで、飲み合わせ可／不可を示すテンプレート画像とは、センサ内蔵液晶パネル３０１に画像が表示されたときに、ユーザが服用品どうしの飲み合わせが可能か不可能かを判断できるような画像であればよい。例えば、図１２（ｂ）に示すように、飲み合わせ可を示すテンプレート画像としては「○（線分を含む）」、飲み合わせ不可を示すテンプレート画像としては「×（線分を含む）」が挙げられる。
【０１９７】
画像データ作成部８６４は、対応付け完了通知を受信すると、記憶部９０１に格納された各仮想領域に対応付けられたテンプレート画像と全体画像データとを読み出し、各仮想領域の大きさにあわせてテンプレート画像の拡大／縮小を行う。そして、画像データ作成部８６４は、拡大／縮小処理が行われたテンプレート画像と効能情報とを、全体画像データの対応する仮想領域に重畳させることにより、センサ内蔵液晶パネル３０１に表示させる画像データを作成する（Ｓ２６）。
【０１９８】
画像データ作成部８６４は、画像データを作成すると、表示データとしてデータ処理部７００に送信することにより、図１２（ｂ）に示すように、当該画像データをセンサ内蔵液晶パネル３０１に表示させることができる。
【０１９９】
なお、上記では、画像制御部８０６は、飲み合わせの相互関係を示すときの表示処理としての画像データ作成処理を行うときに、各服用品の効能情報を表示する構成となっているが、これに限らず、効能情報を表示しない構成であってもよい。また、画像制御部８０６は、効能情報だけを表示させるように画像データ作成処理を行ってもよい。
【０２００】
以上のように、データ表示／センサ装置１００では、画像制御部８０６は、センサ内蔵液晶パネル３０１が像を検知したときの画像における当該像とは異なる領域に、対応情報（関連情報）を表示させる構成である。これにより、対応情報が文字、数値、記号を含む場合であっても、データ表示／センサ装置１００は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。
【０２０１】
〔画像データ作成処理（服用時間の順番を示すときの表示処理）〕
次に、図１３および図１４を参照しながら、服用時間の順番を示すときの表示処理としての画像データ作成処理について説明する。図１３は、服用時間の順番を示すときの表示処理としての画像データ作成処理を示すフローチャートであり、図１４（ａ）は、当該画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１４（ｂ）は、当該画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
【０２０２】
まず、モード設定部８０７は、文字認識通知を受信すると、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、服用時間の順番を示すときの表示処理を示す順番表示モードに設定するものとする。
【０２０３】
次に、画像制御部８０６の表示領域特定部８６１は、完了通知を受信すると、図９に示すＳ１で取得された全体画像データを記憶部９０１から取得すると共に、モード設定部８０７で設定された順番表示モードを示すモード情報を取得する。
【０２０４】
なお、画像制御部８０６は、モード設定部８０７が順番表示モードに設定した場合には、例えば図１４（ａ）に示す仮想領域Ｐ４に服用品を載置するようにユーザに指示するためのメッセージをセンサ内蔵液晶パネル３０１に表示させてもよい。
【０２０５】
表示領域決定部８６１は、順番表示モードに対応した各服用品の属性情報（ここでは時間帯情報）および服用品どうしの関係を示す関連情報（ここでは順位情報）を表示するための全体画像データにおける仮想領域を決定する。すなわち、表示領域決定部８６１は、図１４（ａ）に示すように、像（図１４（ａ）に示す斜線部）と重ならない領域を、時間帯情報および関連情報を表示するための仮想領域として決定する（Ｓ４１）。
【０２０６】
表示領域決定部８６１は、時間帯情報（服用時間）を示す棒グラフを表示するために、仮想領域としての矩形領域Ｐ５を決定する。また、表示領域決定部８６１は、各服用品に対応する棒グラフを表示するために、例えば像の位置または像の個数に基づいて、矩形領域Ｐ５１からＰ５３を決定する。さらに、表示領域決定部８６１は、上記と同様に、服用すべき時間が早い服用品の順番を示す番号を表示するために、仮想領域としての矩形領域Ｐ６（Ｐ６１からＰ６３）を決定する。なお、矩形領域Ｐ５およびＰ６は、順番表示モードである場合には記憶部９０１に予め格納されていてもよい。
【０２０７】
次に、表示領域決定部８６１は、全体画像データにおける仮想領域を決定すると、領域決定通知を属性情報取得部８６２に送信し、決定した仮想領域としての矩形領域Ｐ５１からＰ５３、および、矩形領域Ｐ６１からＰ６３の各位置情報（例えば各仮想領域の全体画像データにおける４隅の座標）を、各服用品に対応付けて記憶部９０１に格納する。
【０２０８】
属性情報取得部８６２は、領域決定通知を受信すると、記憶部９０１の属性情報テーブルを参照することにより、順番表示モードのときの属性情報、すなわち各服用品の時間帯情報を取得する（Ｓ４２）。そして、属性情報取得部８６２は、時間帯情報を関連情報処理部８６３および画像データ作成部８６４に送信する。
【０２０９】
関連情報処理部８６３は、時間帯情報を受信すると、服用品を服用する順番を決定する（Ｓ４３）。具体的には、関連情報処理部８６３は、時間帯情報を受信したときの計時部８０８から現在時刻を取得する。そして、関連情報処理部８６３は、各服用品の時間帯情報と現在時刻とを比較し、各服用品に対して現在時刻に近い順から若い番号を付与する。
【０２１０】
例えば現在時刻が午前６時である場合、フェイチ１００（朝食前）、ガロイン（食後毎）、ＡＲ１５０（食間）の順番で服用される。従って、この場合には、関連情報処理部８６３は、フェイチ１００に「１」、ガロインに「２」、ＡＲ１５０に「３」の順番を与える。そして、関連情報処理部８６３は、服用品を服用する順番を決定すると、順番決定通知を画像データ作成部８６４に送信する。
【０２１１】
画像データ作成部８６４は、順番決定通知を受信すると、記憶部９０１に格納された棒グラフを示すテンプレート画像を読み出す。そして、画像データ作成部８６４は、属性情報取得部８６２から受信した時間帯情報の示す時間帯における棒グラフの表示色を予め決められた表示色に変更することにより、棒グラフを示すテンプレート画像を加工する。また、画像データ作成部８６４は、順番決定通知を受信すると、記憶部９０１に格納された各順番を示すテンプレート画像および全体画像データを読み出す。
【０２１２】
画像データ作成部８６４は、加工された棒グラフを示すテンプレート画像および順番を示すテンプレート画像を、全体画像データの対応する仮想領域に重畳させることにより、センサ内蔵液晶パネル３０１に表示させる画像データを作成する（Ｓ４４）。
【０２１３】
画像データ作成部８６４は、画像データを作成すると、表示データとしてデータ処理部７００に送信することにより、図１４（ｂ）に示すように、当該画像データをセンサ内蔵液晶パネル３０１に表示させることができる。なお、図１４（ｂ）に示すように、属性情報取得部８６２が各服用品の品名情報も取得し、画像データ作成部８６４が品名情報および時間帯情報を表示させるようにしてもよい。
【０２１４】
以上のように、飲み合わせの相互関係を示すときの表示処理と同様に、対応情報が文字、数値、記号を含む場合であっても、データ表示／センサ装置１００は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。
【０２１５】
〔画像データ作成処理（服用日のグルーピングを示すときの表示処理）〕
次に、図１５および図１６を参照しながら、服用日のグルーピングを示すときの表示処理としての画像データ作成処理について説明する。図１５は、服用日のグルーピングを示すときの表示処理としての画像データ作成処理を示すフローチャートであり、図１６（ａ）は、当該画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１６（ｂ）は、当該画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
【０２１６】
なお、服用日のグルーピングを示すときの表示処理の場合には、画像制御部８０６は、属性情報取得部８６２が完了通知を受信し、関連情報処理部８６３が服用品どうしの関連を示す関連情報（ここではグループ情報）を算出した後に、表示領域決定部８６１が仮想領域と決定する。
【０２１７】
まず、モード設定部８０７は、文字認識通知を受信すると、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、服用日のグルーピングを示すときの表示処理を示す服用日表示モードに設定するものとする。
【０２１８】
次に、属性情報取得部８６２は、完了通知を受信すると、記憶部９０１の属性情報テーブルを参照することにより、服用日表示モードのときの属性情報、すなわち各像の服用日情報を取得する（Ｓ５１）。そして、属性情報取得部８６２は、取得した各像の服用日情報を関連情報処理部８６３に送信する。
【０２１９】
関連情報処理部８６３は、服用日情報を受信すると、同じ服用日を示す服用日情報のグループに分類する（Ｓ５２）。例えば、図１０に示す属性情報テーブルでは、「ガロイン」の服用日情報および「ＡＲ１５０」の服用日情報が同じ「＋１」、「フェイチ１００」および「ＡＲ１５０」の服用日情報が「＋２」、「ＥＣ１０」の服用日情報が「＋５」をそれぞれ示している。この場合、関連情報処理部８６３は、取得した服用日情報を、「＋１」（「ガロイン」および「ＡＲ１５０」）を示すグループＧ１、「＋２」（「フェイチ１００」および「ＡＲ１５０」）を示すグループＧ２、「＋５」（「ＥＣ１０」）を示すグループＧ３のように分類する。
【０２２０】
また、関連情報処理部８６３は、服用日情報を受信すると、グループごとに服用すべき曜日を算出する。具体的には、主制御部８００は、例えば像取得部８０１が全体画像データを取得したときの時刻（日時）を計時部８０８から取得し、記憶部９０１に格納されたカレンダーから当該日時の曜日を算出する。そして、関連情報処理部８６３は、算出した曜日（数値情報）に服用日情報の示す数値を加算することにより、服用すべき曜日を算出する。
【０２２１】
例えば、関連情報処理部８６３は、像取得部８０１が全体画像データを取得した日の曜日が日曜日であった場合、服用日情報が「＋１」であれば服用すべき曜日を月曜日と算出する。同様に、関連情報処理部８６３は、服用日情報が「＋２」であれば服用すべき曜日を火曜日と、服用日情報が「＋５」であれば服用すべき曜日を金曜日と算出する。
【０２２２】
関連情報処理部８６３は、算出した曜日と分類したグループとを対応付け、これをグループ情報（関連情報）として表示領域決定部８６１に送信する。
【０２２３】
表示領域決定部８６１は、グループ情報を取得すると、全体画像データにおける各グループに対応した仮想領域を決定する（Ｓ５３）。すなわち、表示領域決定部８６１は、各グループに含まれる品名情報と属性情報テーブルとを参照することにより得られる各グループ内の像の位置に基づいて、図１６（ａ）に示すように、グループ内の像（図１６（ａ）に示す斜線部）をすべて含む領域を、グループ情報を表示するための仮想領域として決定する。例えば、表示領域決定部８６１は、図１６（ａ）に示すように、グループＧ１を表示するための仮想領域としての矩形領域Ｐ７、グループＧ２を表示するための仮想領域としての矩形領域Ｐ８、グループＧ３を表示するための仮想領域としての矩形領域Ｐ９と決定する。
【０２２４】
表示領域決定部８６１は、全体画像データにおける仮想領域を決定すると、領域決定通知を画像データ作成部８６４に送信し、決定した仮想領域としての矩形領域Ｐ７からＰ９の各位置情報（例えば各仮想領域の全体画像データにおける４隅の座標）を、グループに対応付けて記憶部９０１に格納する。
【０２２５】
画像データ作成部８６４は、領域決定通知を受信すると、記憶部９０１に格納された円を示すテンプレート画像および全体画像データを読み出す。そして、画像データ作成部８６４は、各仮想領域の大きさにあわせてテンプレート画像の拡大／縮小を行う。例えば、画像データ作成部８６４は、各仮想領域の４辺に接触するようにテンプレート画像を拡大／縮小させる。そして、画像データ作成部８６４は、拡大／縮小処理が行われたテンプレート画像を、全体画像データの対応する仮想領域に重畳させることにより、センサ内蔵液晶パネル３０１に表示させる画像データを作成する（Ｓ５４）。
【０２２６】
画像データ作成部８６４は、画像データを作成すると、表示データとしてデータ処理部７００に送信することにより、図１６（ｂ）に示すように、当該画像データをセンサ内蔵液晶パネル３０１に表示させることができる。なお、図１６（ｂ）に示すように、画像データ作成部８６４は、グループ情報に含まれる各グループと対応付けられた曜日情報を、センサ内蔵液晶パネル３０１に表示させるようにしてもよい。
【０２２７】
以上のように、データ表示／センサ装置１００では、画像制御部８０６は、センサ内蔵液晶パネル３０１が像を検知したときの画像における当該像を含む領域に、対応情報を表示させる構成である。これにより、データ表示／センサ装置１００は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。
【０２２８】
〔画像データ作成処理（総摂取量を示すときの表示処理）〕
次に、図１７および図１８を参照しながら、総摂取量を示すときの表示処理としての画像データ作成処理について説明する。図１７は、総摂取量を示すときの表示処理としての画像データ作成処理を示すフローチャートであり、図１８（ａ）は、当該画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図１８（ｂ）は、当該画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
【０２２９】
なお、総摂取量を示すときの表示処理の場合には、画像制御部８０６は、属性情報取得部８６２が完了通知を受信し、関連情報処理部８６３が服用品どうしの関連を示す関連情報（ここでは割合情報）を算出した後に、表示領域決定部８６１が仮想領域と決定する。
【０２３０】
まず、モード設定部８０７は、文字認識通知を受信すると、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、総摂取量を示すときの表示処理を示す摂取量表示モードに設定するものとする。
【０２３１】
なお、画像制御部８０６は、モード設定部８０７が摂取量表示モードに設定した場合には、例えば図１８（ａ）に示す仮想領域Ｐ１４に服用品を載置するようにユーザに指示するためのメッセージをセンサ内蔵液晶パネル３０１に表示させてもよい。
【０２３２】
次に、属性情報取得部８６２は、完了通知を受信すると、記憶部９０１の属性情報テーブルを参照することにより、摂取量表示モードのときの属性情報、すなわち各服用品の成分情報を取得する（Ｓ６１）。そして、属性情報取得部８６２は、取得した各服用品の成分情報を関連情報処理部８６３に送信する。
【０２３３】
関連情報処理部８６３は、成分情報を受信すると、同じ成分を示す成分情報のグループに分類し、各グループの合計成分量を算出し、１日に必要な摂取量に対する割合を算出する（Ｓ６２）。例えば図１０に示す属性情報テーブルでは、「ＥＣ１０」、「フェイチ１００」および「ＡＲ１５０」の「カルシウム」の成分量がそれぞれ「ａ２」、「ａ３」および「ａ４」で示されている。同様に、「ビタミンＣ」の成分量はそれぞれ「ｂ２」、「ｂ３」および「ｂ４」で示され、「鉄分」の成分量はそれぞれ「ｃ２」、「ｃ３」および「ｃ４」で示されている。この場合、関連情報処理部８６３は、取得した成分情報を「カルシウム」、「ビタミンＣ」および「鉄分」に分類し、「カルシウム」の合計成分量ａ２＋ａ３＋ａ４、「ビタミンＣ」の合計成分量ｂ２＋ｂ３＋ｂ４、「鉄分」の合計成分量ｃ２＋ｃ３＋ｃ４を算出する。
【０２３４】
そして、関連情報処理部８６３は、記憶部９０１に予め格納された各成分の１日に必要な摂取量を読み出し、各グループの合計成分量を当該必要な摂取量で割ることにより、１日に必要な摂取量に対する割合を算出する。関連情報処理部８６３は、この割合を示す割合情報を、服用品どうしの関連を示す関連情報として表示領域決定部８６１および画像データ作成部８６４に送信する。
【０２３５】
表示領域決定部８６１は、割合情報を受信すると、全体画像データにおける各グループに対応した仮想領域を決定する（Ｓ６３）。この場合、表示領域決定部８６１は、割合情報からグループ数を算出し、図１８（ａ）に示すように、予め決められている仮想領域Ｐ１５の位置情報（例えば全体画像データにおける４隅の座標）を記憶部９０１から読み出す。そして、表示領域決定部８６１は、読み出した位置情報に基づいて、グループ数分に均等に分割した仮想領域（この例では矩形領域Ｐ１５１からＰ１５３）を決定する。
【０２３６】
表示領域決定部８６１は、全体画像データにおける仮想領域を決定すると、領域決定通知を画像データ作成部８６４に送信し、決定した仮想領域としての矩形領域Ｐ１５１からＰ１５３の各位置情報（例えば各仮想領域の全体画像データにおける４隅の座標）を、グループに対応付けて記憶部９０１に格納する。
【０２３７】
画像データ作成部８６４は、領域決定通知を受信すると、記憶部９０１に格納された円グラフを示すテンプレート画像および全体画像データを読み出す。そして、画像データ作成部８６４は、表示領域決定部８６１から受信した割合情報の示す割合を表すために、円グラフの表示色を予め決められた表示色に変更することにより、円グラフを示すテンプレート画像を加工する。
【０２３８】
また、画像データ作成部８６４は、各仮想領域の大きさにあわせて、加工されたテンプレート画像の拡大／縮小を行う。そして、画像データ作成部８６４は、拡大／縮小処理が行われたテンプレート画像を、全体画像データの対応する仮想領域に重畳させることにより、センサ内蔵液晶パネル３０１に表示させる画像データを作成する（Ｓ６４）。
【０２３９】
画像データ作成部８６４は、画像データを作成すると、表示データとしてデータ処理部７００に送信することにより、図１８（ｂ）に示すように、当該画像データをセンサ内蔵液晶パネル３０１に表示させることができる。
【０２４０】
以上のように、飲み合わせの相互関係を示すときの表示処理と同様に、対応情報が文字、数値、記号を含む場合であっても、データ表示／センサ装置１００は、載置された対象物に応じた情報をユーザが容易に把握できるような画像を表示することができるので、ユーザの利便性を向上させることができる。
【０２４１】
〔画像データ作成処理（賞味期限の判断を示すときの表示処理）〕
次に、図１９および図２０を参照しながら、賞味期限の判断を示すときの表示処理としての画像データ作成処理について説明する。図１９は、賞味期限の判断を示すときの表示処理としての画像データ作成処理を示すフローチャートであり、図２０（ａ）は、当該画像データ作成処理が実行されたときに特定される仮想領域の配置例を示す図であり、図２０（ｂ）は、当該画像データ作成処理が実行された結果としての画像が、センサ内蔵液晶パネル３０１に表示されたときの表示例を示す図である。
【０２４２】
まず、モード設定部８０７は、文字認識通知を受信すると、画像制御部８０６が適切な画像データ作成処理を行うことが可能なように、賞味期限の判断を示すときの表示処理を示す期限表示モードに設定するものとする。
【０２４３】
次に、画像制御部８０６の表示領域決定部８６１は、完了通知を受信すると、図９に示すＳ１で取得された全体画像データを記憶部９０１から取得すると共に、モード設定部８０７で設定された、期限表示モードを示すモード情報を取得する。
【０２４４】
表示領域決定部８６１は、期限表示モードに対応した各服用品の属性情報に対応した対応情報（ここでは期限判定情報）を表示するための全体画像データにおける仮想領域を決定する。表示領域決定部８６１は、属性情報テーブルから各服用品に対応した像の位置を読み出し、例えば図２０（ａ）に示すように、各服用品の像（図２０（ａ）に示す斜線部）の位置を中心とした矩形領域Ｐ１１からＰ１３を仮想領域として決定する（Ｓ７１）。
【０２４５】
また、表示領域決定部８６１は、記憶部９０１に格納された期限超過を示すテンプレート画像および期限内を示すテンプレート画像それぞれに対応するメッセージ情報を示すテンプレート画像を表示するための仮想領域として矩形領域Ｐ１０を決定する。そして、表示領域決定部８６１は、仮想領域を決定すると、領域決定通知を属性情報取得部８６２に送信する。このとき、表示領域決定部８６１は、決定した仮想領域としての矩形領域Ｐ１１からＰ１３の各位置情報（例えば各仮想領域の全体画像データにおける４隅の座標）を、各服用品に対応付けて記憶部９０１に格納する。また、表示領域決定部８６１は、メッセージ情報を含むテンプレート画像を表示するための仮想領域Ｐ１０の位置情報を記憶部９０１に格納する。
【０２４６】
次に、属性情報取得部８６２は、領域決定通知を受信すると、記憶部９０１の属性情報テーブルを参照することにより、期限表示モードのときの属性情報、すなわち各像の期限情報を取得する（Ｓ７２）。そして、属性情報取得部８６２は、取得した各像の期限情報を関連情報処理部８６３に送信する。
【０２４７】
関連情報処理部８６３は、期限情報を受信すると、計時部８０８から現在時刻（日時）を取得し、各服用品の賞味期限に示される日が現在時刻を過ぎているか否かを判定する（Ｓ７３）。
【０２４８】
関連情報処理部８６３は、服用品の賞味期限に示される日が現在時刻を過ぎていると判定した場合（Ｓ７３でＹＥＳ）、賞味期限が切れていることを示す期限判定情報として、記憶部９０１に格納された期限超過を示すテンプレート画像と当該服用品とを対応付ける（Ｓ７４）。一方、服用品の賞味期限に示される日が現在時刻を過ぎていないと判定した場合（Ｓ７３でＮＯ）、賞味期限が切れていないことを示す期限判定情報として、記憶部９０１に格納された期限内を示すテンプレート画像と当該服用品とを対応付ける（Ｓ７５）。関連情報処理部８６３は、各服用品とテンプレート画像との対応付けが完了すると、対応付け完了通知を表示領域決定部８６１に送信する。
【０２４９】
例えば、図１０に示す属性情報テーブルでは、「ガロイン」、「ＥＣ１０」および「フェイチ１００」の期限情報は、それぞれ「２０１０／７／１」、「２００９／３／１」および「２０１１／４／１」を示している。従って、関連情報処理部８６３は、例えば計時部８０８から「２００９／４／１」を示す現在時刻（日時）を取得した場合には、「ＥＣ１０」を期限超過を示すテンプレート画像と対応付ける一方、「ガロイン」および「フェイチ１００」を期限内を示すテンプレート画像と対応付ける。
【０２５０】
上記のように、テンプレート画像は、服用品の属性情報と現在時刻との比較により服用品との対応付けが行われたときの期限判定情報（すなわち服用品の属性情報に対応する対応情報）である。また、上記期限超過を示すテンプレート画像は、服用品が期限切れであることを示す「期限切れ」のメッセージおよび図形（ここでは、例えば色付き（例えば赤）の丸印）とを含む情報を示すものであり、上記期限内を示すテンプレート画像は、服用品が期限切れでないことを示す「ＯＫ」のメッセージおよび図形（ここでは、例えば上記とは異なる色付き（例えば青）の丸印）とを含む情報を示すものである。
【０２５１】
画像データ作成部８６４は、対応付け完了通知を受信すると、記憶部９０１に格納されたテンプレート画像および全体画像データを読み出す。そして、画像データ作成部８６４は、各仮想領域の大きさにあわせてテンプレート画像の拡大／縮小を行う。例えば、画像データ作成部８６４は、各仮想領域の４辺に接触するようにテンプレート画像を拡大／縮小させる。そして、画像データ作成部８６４は、拡大／縮小処理が行われたテンプレート画像を、全体画像データの対応する仮想領域に重畳させることにより、センサ内蔵液晶パネル３０１に表示させる画像データを作成する（Ｓ７６）。
【０２５２】
画像データ作成部８６４は、画像データを作成すると、表示データとしてデータ処理部７００に送信することにより、図２０（ｂ）に示すように、当該画像データをセンサ内蔵液晶パネル３０１に表示させることができる。
【０２５３】
なお、上記では、図１２（ｂ）、図１４（ｂ）、図１６（ｂ）、図１８（ｂ）および図２０（ｂ）に示す画像データ作成処理が実行された結果としての画像は、静止画であるものとして説明しているが動画であってもよい。
【０２５４】
以上のように、データ表示／センサ装置１００では、センサ内蔵液晶パネル３０１に載置された服用品どうしの関連ではなく、期限判定情報のように、服用品それぞれに対応する対応情報を表示することも可能である。この場合であっても、データ表示／センサ装置１００は、上記の表示処理と同様、ユーザに入力操作を行わせずに（すなわち、ユーザの感覚的な操作によって）、センサ内蔵液晶パネル３０１に載置された対象物を用いて、当該対象物に応じた情報を容易に表示させることができる。
【０２５５】
〔補足１（主制御部８００のソフトウェア化）〕
最後に、本実施形態に係るデータ表示／センサ装置１００の各ブロック、特に像取得部８０１、特徴量抽出部８０２、種別／文字認識部８０３、属性情報特定部８０４、画像制御部８０６（表示領域決定部８６１、属性情報取得部８６２、関連情報処理部８６３および画像データ作成部８６４）、モード設定部８０７および計時部８０８は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２５６】
すなわち、本実施形態に係るデータ表示／センサ装置１００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit）、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２５７】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２５８】
また、本実施形態に係るデータ表示／センサ装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２５９】
〔補足２（データ表示／センサ装置１００の他の使用例）〕
なお、上記では主に、服用品が対象物として載置された場合（すなわち、品名、品番などの文字または記号の認識を行う場合）のデータ表示／センサ装置１００における処理の流れについて説明したが、これに限られたものではない。
【０２６０】
例えば、センサ内蔵液晶パネル３０１に載置された対象物が個人情報の印字されたＩＣカードである場合には、服用品が載置されたときと同様の文字認識技術を用いた処理が行われる。データ表示／センサ装置１００は、少なくとも２人分の個人情報（例えば氏名、生年月日）を取得することにより、ＩＣカードの属性情報を取得する。そして、データ表示／センサ装置１００は、取得したＩＣカードの属性情報に基づいて、ＩＣカードどうしの関連を示す関連情報（例えば相性診断を示す情報）を、決定した仮想領域（あるいは予め決められた仮想領域）に表示させる。
【０２６１】
また、センサ内蔵液晶パネル３０１に載置された対象物がナットおよびビスの場合には、ナットに適応するビスを選択表示することができる。この場合、データ表示／センサ装置１００は、例えば、２つの領域の一方に１つのナットを、他方に複数のビスを載置させ、当該ナットおよびビスそれぞれの形状を一般的な画像認識技術を用いた処理により取得する。そして、データ表示／センサ装置１００は、ナットおよびビスの属性情報に基づいて、ナットとビスとの関連を示す関連情報（例えばナットに適応するビスの選択）を、決定した仮想領域（あるいは予め決められた仮想領域）に表示させる。
【０２６２】
さらに、センサ内蔵液晶パネル３０１に載置された対象物が複数のビーズである場合には、データ表示／センサ装置１００は、ビーズを用いた工芸品を作成するための配置の仕方や完成予想図などの提供を行うことができる。この場合、データ表示／センサ装置１００は、ビーズの形状および色彩を一般的な画像認識処理を用いた処理により取得し、形状および色彩に基づいて、ビーズどうしの関連を示す関連情報（例えば使用可能なビーズ、ビーズの使用順番）を、決定した仮想領域（あるいは予め決められた仮想領域）に表示させる。
【０２６３】
また、センサ内蔵液晶パネル３０１に載置された対象物が複数の種である場合には、データ表示／センサ装置１００は、種の種別ごとに分類して分類結果を表示させたり、各種別の属性情報を表示させたりすることができる。この場合、データ表示／センサ装置１００は、種の形状および色彩を一般的な画像認識処理を用いた処理により取得する。また、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に載置された複数の種それぞれの重さを測定することが可能な構造となっている。そして、データ表示／センサ装置１００は、取得した形状、色彩および重さに基づいて、種どうしの関連を示す関連情報（例えば種の種別）を表示させる。
【０２６４】
〔補足３（本発明の別の表現）〕
なお、本発明は、以下のように表現してもよい。
【０２６５】
本発明に係る画像処理装置は、表示機能とスキャナ機能を備えたデバイス（表示面とスキャナ面が同一であることが前提）に置いた物体をスキャンして固体認識を行い、認識結果を物体の近傍に表示する構成である。
【０２６６】
さらに、本発明に係る画像処理装置は、複数の物体を同時に読み取って固体認識を行い、認識結果を用いて論理検索することが好ましい。
【０２６７】
さらに、本発明に係る画像処理装置は、論理検索の検索条件を表す図形を、論理検索の対象となった複数の物体の位置を含めて表示することが好ましい。
【０２６８】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２６９】
本発明に係る画像処理装置は、撮像対象となる対象物を用いて、当該対象物に対応ずる情報を容易に表示させることが可能であり、特に、ノート型ＰＣ、ＰＤＡ、電子辞書、携帯電話機などのユーザが持ち運び可能な携帯型端末に適用することができる。
【符号の説明】
【０２７０】
１００  データ表示／センサ装置（画像処理装置）
３０１  センサ内蔵液晶パネル（面状部材）
８０２  特徴量抽出部（抽出手段）
８０４  属性情報特定部（特定手段）
８０６  画像制御部（画像制御手段）
【図１】
2010250506.tif 000003
【図２】
2010250506.tif 000004
【図３】
2010250506.tif 000005
【図４】
2010250506.tif 000006
【図５】
2010250506.tif 000007
【図６】
2010250506.tif 000008
【図７】
2010250506.tif 000009
【図８】
2010250506.tif 000010
【図９】
2010250506.tif 000011
【図１０】
2010250506.tif 000012
【図１１】
2010250506.tif 000013
【図１２】
2010250506.tif 000014
【図１３】
2010250506.tif 000015
【図１４】
2010250506.tif 000016
【図１５】
2010250506.tif 000017
【図１６】
2010250506.tif 000018
【図１７】
2010250506.tif 000019
【図１８】
2010250506.tif 000020
【図１９】
2010250506.tif 000021
【図２０】
2010250506.tif 000022