(57)【要約】【課題】光センサの露光時間を制御して撮像する場合に、その露光時間を変更する都度基準画像を取得することなくキャリブレーションを行うことが可能なキャリブレーション装置、キャリブレーション方法を提供する。【解決手段】  本発明に係るキャリブレーション装置（キャリブレーション方法）は、オフセット値算出手段（オフセット値算出ステップ）によって、少なくとも、暗室条件で、かつ露光時間ｔ０で撮像された画像のオフセット値ＶＢＯと、露光時間ｔ１で撮像された画像のオフセット値ＶＢ１とをもとに、露光時間ｔ２において撮像された画像のオフセット値ＶＢ２を算出する。上記オフセット値ＶＢＯ〜ＶＢ２は、それぞれ上記各画像の画素値であって、照度に対する画素値の光センサ間のバラツキをキャリブレーションするために用いるものである。【選択図】図６
2010057142.tif 000002
【特許請求の範囲】
【請求項１】
露光時間が変更される、複数の光センサが配列されてなる光センサアレイによって撮像された画像のキャリブレーションを行うキャリブレーション装置であって、
少なくとも、上記光センサアレイによって第１露光時間で撮像された第１画像の第１オフセット値と、上記第１露光時間とは異なる第２露光時間で撮像された第２画像の第２オフセット値とをもとに、上記第１、第２露光時間とは異なる第３露光時間において撮像された第３画像の第３オフセット値を算出するオフセット値算出手段を備え、
上記オフセット値は、暗室条件で撮像した画像の画素値を意味するものであって、照度に対する画素値の光センサ間のバラツキをキャリブレーションするために用いるものであることを特徴とするキャリブレーション装置。
【請求項２】
上記オフセット値算出手段は、以下の式（１）に基づき上記第３オフセット値を算出することを特徴とする請求項１に記載のキャリブレーション装置。
ＶＢＣ＝ＶＢＡ−（（ｔＡ−ｔＣ／ｔＡ−ｔＢ）＊（ＶＢＡ−ＶＢＢ））…（１）
ただし、
ＶＢＡは上記第１オフセット値であり、
ＶＢＢは上記第２オフセット値であり、
ＶＢＣは上記第３オフセット値であり、
ｔＡは上記第１露光時間であり、
ｔＢは上記第２露光時間であり、
ｔＣは上記第３露光時間である。
【請求項３】
上記光センサアレイには、情報を表示する表示アレイに表示を行うために光を入射するとともに、その輝度が上記第１、第２露光時間における第１輝度から上記第３露光時間において第３輝度へと変更されるバックライト装置の当該光が入射され、
上記オフセット値算出手段は、以下の式（２）および式（３）に基づき上記第３オフセット値を算出することを特徴とする請求項１に記載のキャリブレーション装置。
ＶＢＣａ＝ｕ１／ｕ０＊ｔＣ／ｔＡ＊（ＶＢＡ−ＶＢＡａ）＋Ｃ…（２）
Ｃ＝ＶＢＡ−（（ｔＡ／ｔＡ−ｔＢ）＊（ＶＢＡ−ＶＢＢ））…（３）
ただし、
ＶＢＡは上記第１オフセット値であり、
ＶＢＢは上記第２オフセット値であり、
ＶＢＣａは上記第３オフセット値であり、
ＶＢＡａは上記第１露光時間において上記バックライト装置の輝度を０としたときの画像のオフセット値であり、
ｔＡは上記第１露光時間であり、
ｔＢは上記第２露光時間であり、
ｔＣは上記第３露光時間であり、
ｕ０は上記第１輝度であり、
ｕ１は上記第３輝度である。
【請求項４】
上記光センサアレイによって上記光センサが飽和しない程度の照度の光が入射される条件で、かつ上記光センサアレイ全体において上記第１〜上記第３露光時間のいずれかの露光時間で撮像された第４画像の画素値と、上記第３オフセット値とを用い、以下の式（４）に基づき上記第３画像のキャリブレーションを行うキャリブレーション手段を備えることを特徴とする請求項１〜３のいずれか一項に記載のキャリブレーション装置。
Ｖ’＝（（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ＶＢ）＊（Ｖ−ＶＢ））＋ＶＭＩＮ…（４）
ただし、
Ｖ’はキャリブレーション後の画素値であり、
Ｖはキャリブレーション前の画素値であり、
ＶＭＡＸは上記光センサの最大画素値であり、
ＶＭＩＮは上記光センサの最小画素値であり、
ＶＷは上記第４画像の画素値であり、
ＶＢは上記第３オフセット値である。
【請求項５】
上記キャリブレーション手段は、キャリブレーションを行う画像間においてダイナミックレンジが同一となるように、以下の式（５）に基づきキャリブレーションを行うことを特徴とする請求項４に記載のキャリブレーション装置。
Ｖ’＝（（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ｄ−ＶＢ）＊（Ｖ−ＶＢ））＋ＶＭＩＮ…（５）
ただし、
Ｖ’はキャリブレーション後の画素値であり、
Ｖはキャリブレーション前の画素値であり、
ＶＭＡＸは上記光センサの最大画素値であり、
ＶＭＩＮは上記光センサの最小画素値であり、
ＶＷは上記第４画像の画素値であり、
ＶＢは上記第１〜上記第３オフセット値であり、
ｄは上記第１オフセット値と上記第３オフセット値との差である。
【請求項６】
露光時間が変更される、複数の光センサが配列されてなる光センサアレイによって撮像された画像のキャリブレーション方法であって、
少なくとも、上記光センサアレイによって第１露光時間で撮像された第１画像の第１オフセット値と、上記第１露光時間とは異なる第２露光時間で撮像された第２画像の第２オフセット値とをもとに、上記第１、第２露光時間とは異なる第３露光時間において撮像された第３画像の第３オフセット値を算出するオフセット値算出ステップを有し、
上記オフセット値は、暗室条件で撮像した画像の画素値を意味するものであって、照度に対する画素値の光センサ間のバラツキをキャリブレーションするために用いるものであることを特徴とするキャリブレーション方法。
【請求項７】
上記オフセット値算出ステップは、以下の式（１）に基づき上記第３オフセット値を算出することを特徴とする請求項６に記載のキャリブレーション方法。
ＶＢＣ＝ＶＢＡ−（（ｔＡ−ｔＣ／ｔＡ−ｔＢ）＊（ＶＢＡ−ＶＢＢ））…（１）
ただし、
ＶＢＡは上記第１オフセット値であり、
ＶＢＢは上記第２オフセット値であり、
ＶＢＣは上記第３オフセット値であり、
ｔＡは上記第１露光時間であり、
ｔＢは上記第２露光時間であり、
ｔＣは上記第３露光時間である。
【請求項８】
上記光センサアレイには、情報を表示する表示アレイに表示を行うために光を入射するとともに、その輝度が上記第１、第２露光時間における第１輝度から上記第３露光時間において第３輝度へと変更されるバックライト装置の当該光が入射され、
上記オフセット値算出ステップは、以下の式（２）および式（３）に基づき上記第３オフセット値を算出することを特徴とする請求項６に記載のキャリブレーション方法。
ＶＢＣａ＝ｕ１／ｕ０＊ｔＣ／ｔＡ＊（ＶＢＡ−ＶＢＡａ）＋Ｃ…（２）
Ｃ＝ＶＢＡ−（（ｔＡ／ｔＡ−ｔＢ）＊（ＶＢＡ−ＶＢＢ））…（３）
ただし、
ＶＢＡは上記第１オフセット値であり、
ＶＢＢは上記第２オフセット値であり、
ＶＢＣａは上記第３オフセット値であり、
ＶＢＡａは上記第１露光時間において上記バックライト装置の輝度を０としたときの画像のオフセット値であり、
ｔＡは上記第１露光時間であり、
ｔＢは上記第２露光時間であり、
ｔＣは上記第３露光時間であり、
ｕ０は上記第１輝度であり、
ｕ１は上記第３輝度である。
【請求項９】
上記光センサアレイによって上記光センサが飽和しない程度の照度の光が入射される条件で、かつ上記光センサアレイ全体において上記第１〜上記第３露光時間のいずれかの露光時間で撮像された第４画像の画素値と、上記第３オフセット値とを用い、以下の式（４）に基づき上記第３画像のキャリブレーションを行うキャリブレーションステップを有することを特徴とする請求項６〜８のいずれか一項に記載のキャリブレーション方法。
Ｖ’＝（（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ＶＢ）＊（Ｖ−ＶＢ））＋ＶＭＩＮ…（４）
ただし、
Ｖ’はキャリブレーション後の画素値であり、
Ｖはキャリブレーション前の画素値であり、
ＶＭＡＸは上記光センサの最大画素値であり、
ＶＭＩＮは上記光センサの最小画素値であり、
ＶＷは上記第４画像の画素値であり、
ＶＢは上記第３オフセット値である。
【請求項１０】
上記キャリブレーションステップは、キャリブレーションを行う画像間においてダイナミックレンジが同一となるように、以下の式（５）に基づきキャリブレーションを行うことを特徴とする請求項９に記載のキャリブレーション方法。
Ｖ’＝（（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ｄ−ＶＢ）＊（Ｖ−ＶＢ））＋ＶＭＩＮ…（５）
ただし、
Ｖ’はキャリブレーション後の画素値であり、
Ｖはキャリブレーション前の画素値であり、
ＶＭＡＸは上記光センサの最大画素値であり、
ＶＭＩＮは上記光センサの最小画素値であり、
ＶＷは上記第４画像の画素値であり、
ＶＢは上記第１〜上記第３オフセット値であり、
ｄは上記第１オフセット値と上記第３オフセット値との差である。
【請求項１１】
複数の光センサが配列されてなり、画像を撮像する光センサアレイと、
上記光センサアレイによって撮像された画像のキャリブレーションを行う、請求項１〜５のいずれか一項に記載のキャリブレーション装置とを備えていることを特徴とするセンサ装置。
【請求項１２】
複数の画素が配列されてなり、情報を表示する表示アレイと、
上記表示アレイに表示を行うために光を入射するとともに、その輝度が変更されるバックライト装置と、
上記バックライト装置から出射される光が入射される、請求項１１に記載のセンサ装置とを備えていることを特徴とする表示装置。
【請求項１３】
請求項１〜５のいずれか一項に記載のキャリブレーション装置の各手段としてコンピュータを動作させるキャリブレーション処理プログラム。
【請求項１４】
請求項１３に記載のキャリブレーション処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像するとともに、画素ごとの素子の特性のばらつきを補正（キャリブレーション）して高品位な画像を出力する、かつ露光時間を制御して撮像感度を変更する装置に関し、特に、異なる露光時間での、少なくとも２つの黒基準画像から任意の露光時間での画像のオフセット値を算出してキャリブレーションを行うキャリブレーション装置、キャリブレーション方法、センサ装置、表示装置、キャリブレーション処理プログラム、並びにキャリブレーション処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
従来、画像の撮像には、CCD(Charge Coupled Device)などのイメージセンサが用いられているが、高品位な画像を撮像するためには画素ごとの素子の特性のばらつきを補正するキャリブレーションを行う必要がある。
【０００３】
従来のキャリブレーション処理（画素ごとのオフセット補正・ゲイン補正）について、図１２を参照して説明する。図１２は、イメージセンサの照度に対する出力値を示しており、横軸が照度（ｌｘ）を、縦軸が出力値を示している。また、符号Ａを付した曲線がキャリブレーション前の出力特性であり、符号Ａ’を付した曲線がキャリブレーション後の出力特性である。
【０００４】
従来のキャリブレーション処理では、暗室環境（図１２では照度Ｂ）で撮像した暗基準画像と、イメージセンサが飽和する照度以下の任意の照度（図１２では照度Ｗ）で撮像した明基準画像とを用意して、当該暗基準画像の画素値（図１２では出力値ＶＢ、オフセット値）をイメージセンサの最小画素値である出力値ＶＭＩＮとし、当該明基準画像の画素値（図１２では出力値ＶＷ）をイメージセンサの最大画素値である出力値ＶＭＡＸとする補正処理を行う。つまり、キャリブレーション前の画素値をＶ、キャリブレーション後の画素値をＶ’とすると、以下の式（１０）の通りの補正を画素ごとに行う。
【０００５】
Ｖ’＝（（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ＶＢ）＊（Ｖ−ＶＢ））＋ＶＭＩＮ…（１０）
ここで、（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ＶＢ）がゲイン補正係数である。
【特許文献１】特開昭６１−５３８６８号公報（１９８６年３月１７日公開）
【特許文献２】特開２００４−９３８９４号公報（２００４年３月２５日公開）
【特許文献３】特開２００８−１０２４１８号公報（２００８年５月１日公開）
【特許文献４】特開２００８−１５６６７号公報（２００８年１月２４日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来、露光時間を制御して撮像感度を変更するイメージセンサが提案されている。このイメージセンサにおいて露光時間を変更した場合のキャリブレーションについて、図１３を用いて説明する。図１３は、上記イメージセンサの照度に対する出力値を示しており、横軸が照度（ｌｘ）を、縦軸が出力値を示している。また、符号ａ，ｂを付した曲線がキャリブレーション前であって、それぞれ異なる露光時間設定ａ，ｂでの出力特性であり、符号ａ’，ｂ’を付した曲線が符号ａ，ｂを付した曲線に対応するものであって、キャリブレーション後の出力特性である。
【０００７】
上記イメージセンサでは、露光時間を変更した場合、それに依存して回路内のリーク電流などによってオフセット値が変化する。このため、キャリブレーションを行う際には、その処理内容自体は上述した露光時間を変更しない場合のそれと同じであるが、図１３の例を挙げると、露光時間設定ａでは照度Ｗ０と照度Ｂとで、露光時間設定ｂでは照度Ｗ１と照度Ｂとで、それぞれ基準画像を取得する必要があった。つまり、複数の露光時間設定に対応するためには、各露光時間において基準画像を取得する手間とそれを記憶しておくメモリとがそれぞれに必要になるという問題があった。なお、上述のオフセット値の変化は、例えば、上記イメージセンサを内蔵した液晶表示装置において、当該液晶表示装置におけるバックライト装置からの光が暗室環境（照度Ｂ）における上記イメージセンサに入射することによっても生じる。
【０００８】
本発明は、上記の問題点を鑑みてなされたものであり、その目的は、光センサの露光時間を制御して撮像する場合に、その露光時間を変更する都度基準画像を取得することなくキャリブレーションを行うことが可能なキャリブレーション装置、キャリブレーション方法、センサ装置、表示装置、キャリブレーション処理プログラム、並びにキャリブレーション処理プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
本発明に係るキャリブレーション装置（本発明に係るキャリブレーション方法）は、上記課題を解決するために、露光時間が変更される、複数の光センサが配列されてなる光センサアレイによって撮像された画像のキャリブレーションを行うキャリブレーション装置（キャリブレーション方法）であって、少なくとも、上記光センサアレイによって第１露光時間で撮像された第１画像の第１オフセット値と、上記第１露光時間とは異なる第２露光時間で撮像された第２画像の第２オフセット値とをもとに、上記第１、第２露光時間とは異なる第３露光時間において撮像された第３画像の第３オフセット値を算出するオフセット値算出手段を備え（オフセット値算出ステップを有し）、上記オフセット値は、暗室条件で撮像した画像の画素値を意味するものであって、照度に対する画素値の光センサ間のバラツキをキャリブレーションするために用いるものであることを特徴としている。
【００１０】
上記の構成および方法によれば、暗室条件で、かつ異なる露光時間で撮像した、少なくとも２つの基準画像（第１、第２画像）のオフセット値から任意の露光時間での画像のオフセット値を算出することができる。このため、露光時間を変更する都度基準画像を取得することなくキャリブレーションを行うことが可能である。これにより、各露光時間において基準画像を取得する手間を省くことができるとともに、当該基準画像を記憶しておくメモリ量を節約できる。
【００１１】
また、本発明に係るセンサ装置は、上記課題を解決するために、複数の光センサが配列されてなり、画像を撮像する光センサアレイと、上記光センサアレイによって撮像された画像のキャリブレーションを行う、上記もしくは下記キャリブレーション装置とを備えていることを特徴としている。
【００１２】
また、本発明に係る表示装置は、上記課題を解決するために、複数の画素が配列されてなり、情報を表示する表示アレイと、上記表示アレイに表示を行うために光を入射するとともに、その輝度が変更されるバックライト装置と、上記バックライト装置から出射される光が入射される、上記センサ装置とを備えていることを特徴としている。
【００１３】
以上により、光センサの露光時間を制御して撮像する場合に、その露光時間を変更する都度基準画像を取得することなくキャリブレーションを行うことが可能なキャリブレーション装置、キャリブレーション方法、センサ装置、並びに表示装置を提供することができるという効果を奏する。
【００１４】
本発明に係るキャリブレーション装置における上記オフセット値算出手段（本発明に係るキャリブレーション方法における上記オフセット値算出ステップ）は、以下の式（１）に基づき上記第３オフセット値を算出することが好ましい。
【００１５】
ＶＢＣ＝ＶＢＡ−（（ｔＡ−ｔＣ／ｔＡ−ｔＢ）＊（ＶＢＡ−ＶＢＢ））…（１）
ただし、ＶＢＡは上記第１オフセット値であり、ＶＢＢは上記第２オフセット値であり、ＶＢＣは上記第３オフセット値であり、ｔＡは上記第１露光時間であり、ｔＢは上記第２露光時間であり、ｔＣは上記第３露光時間である。
【００１６】
上記の構成および方法によれば、暗室条件で、かつ異なる露光時間で撮像した、２つの基準画像（第１、第２画像）のオフセット値から任意の露光時間での画像のオフセット値を算出することができる。
【００１７】
また、表示部と光センサ部とが一体化して形成された装置（例えば光センサ内蔵液晶表示装置など）では、表示映像の走査タイミングと衝突しないよう、露光時間を光センサ面内ですべて一定にできない場合がある。上記の構成および方法によれば、そのような場合であっても、同様に任意の露光時間での画像のオフセット値を算出することができる。
【００１８】
本発明に係るキャリブレーション装置における上記オフセット値算出手段（本発明に係るキャリブレーション方法における上記オフセット値算出ステップ）は、上記光センサアレイには、情報を表示する表示アレイに表示を行うために光を入射するとともに、その輝度が上記第１、第２露光時間における第１輝度から上記第３露光時間において第３輝度へと変更されるバックライト装置の当該光が入射され、上記オフセット値算出手段（上記オフセット値算出ステップ）は、以下の式（２）および式（３）に基づき上記第３オフセット値を算出することが好ましい。
【００１９】
ＶＢＣａ＝ｕ１／ｕ０＊ｔＣ／ｔＡ＊（ＶＢＡ−ＶＢＡａ）＋Ｃ…（２）
Ｃ＝ＶＢＡ−（（ｔＡ／ｔＡ−ｔＢ）＊（ＶＢＡ−ＶＢＢ））…（３）
ただし、ＶＢＡは上記第１オフセット値であり、ＶＢＢは上記第２オフセット値であり、
ＶＢＣａは上記第３オフセット値であり、ＶＢＡａは上記第１露光時間において上記バックライト装置の輝度を０としたときの画像のオフセット値であり、ｔＡは上記第１露光時間であり、ｔＢは上記第２露光時間であり、ｔＣは上記第３露光時間であり、ｕ０は上記第１輝度であり、ｕ１は上記第３輝度である。
【００２０】
上記光センサ内蔵液晶表示装置では、光センサの露光時間を変更するだけでなく、液晶表示装置におけるバックライト装置の輝度を変更する場合がある。上記の構成および方法によれば、そのような場合であっても、任意の露光時間での画像のオフセット値を算出することができる。
【００２１】
本発明に係るキャリブレーション装置における上記オフセット値算出手段（本発明に係るキャリブレーション方法における上記オフセット値算出ステップ）は、上記光センサアレイによって上記光センサが飽和しない程度の照度の光が入射される条件で、かつ上記光センサアレイ全体において上記第１〜上記第３露光時間のいずれかの露光時間で撮像された第４画像の画素値と、上記第３オフセット値とを用い、以下の式（４）に基づき上記第３画像のキャリブレーションを行うキャリブレーション手段を備える（キャリブレーションステップを有する）ことが好ましい。
【００２２】
Ｖ’＝（（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ＶＢ）＊（Ｖ−ＶＢ））＋ＶＭＩＮ…（４）
ただし、Ｖ’はキャリブレーション後の画素値であり、Ｖはキャリブレーション前の画素値であり、ＶＭＡＸは上記光センサの最大画素値であり、ＶＭＩＮは上記光センサの最小画素値であり、ＶＷは上記第４画像の画素値であり、ＶＢは上記第３オフセット値である。
【００２３】
本発明に係るキャリブレーション装置における上記キャリブレーション手段（本発明に係るキャリブレーション方法における上記キャリブレーションステップ）は、キャリブレーションを行う画像間においてダイナミックレンジが同一となるように、以下の式（５）に基づきキャリブレーションを行うことが好ましい。
【００２４】
Ｖ’＝（（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ｄ−ＶＢ）＊（Ｖ−ＶＢ））＋ＶＭＩＮ…（５）
ただし、Ｖ’はキャリブレーション後の画素値であり、Ｖはキャリブレーション前の画素値であり、ＶＭＡＸは上記光センサの最大画素値であり、ＶＭＩＮは上記光センサの最小画素値であり、ＶＷは上記第４画像の画素値であり、ＶＢは上記第１〜上記第３オフセット値であり、ｄは上記第１オフセット値と上記第３オフセット値との差である。
【００２５】
上記キャリブレーション手段（上記キャリブレーションステップ）では、ダイナミックレンジを広く使うことができるものの、露光時間を例えば１／２にしてもキャリブレーション後の画素値の関係が１／２にならないといった問題がある。上記の構成および方法によれば、ダイナミックレンジが同一となるようにキャリブレーションできるため、以上のような問題が生じない。
【００２６】
なお、上記キャリブレーション装置における各手段を、キャリブレーション処理プログラムによりコンピュータ上で実行させることができる。さらに、上記キャリブレーション処理プログラムをコンピュータ読取り可能な記録媒体に記録させることにより、任意のコンピュータ上で上記キャリブレーション処理プログラムを実行させることができる。
【発明の効果】
【００２７】
本発明に係るキャリブレーション装置（本発明に係るキャリブレーション方法）は、上記課題を解決するために、露光時間が変更される、複数の光センサが配列されてなる光センサアレイによって撮像された画像のキャリブレーションを行うキャリブレーション装置（キャリブレーション方法）であって、少なくとも、上記光センサアレイによって第１露光時間で撮像された第１画像の第１オフセット値と、上記第１露光時間とは異なる第２露光時間で撮像された第２画像の第２オフセット値とをもとに、上記第１、第２露光時間とは異なる第３露光時間において撮像された第３画像の第３オフセット値を算出するオフセット値算出手段を備え（オフセット値算出ステップを有し）、上記オフセット値は、暗室条件で撮像した画像の画素値を意味するものであって、照度に対する画素値の光センサ間のバラツキをキャリブレーションするために用いるものであることを特徴としている。
【００２８】
上記の構成および方法によれば、暗室条件で、かつ異なる露光時間で撮像した、少なくとも２つの基準画像（第１、第２画像）のオフセット値から任意の露光時間での画像のオフセット値を算出することができる。このため、露光時間を変更する都度基準画像を取得することなくキャリブレーションを行うことが可能である。これにより、各露光時間において基準画像を取得する手間を省くことができるとともに、当該基準画像を記憶しておくメモリ量を節約できる。
【００２９】
また、本発明に係るセンサ装置は、上記課題を解決するために、複数の光センサが配列されてなり、画像を撮像する光センサアレイと、上記光センサアレイによって撮像された画像のキャリブレーションを行う、上記もしくは下記キャリブレーション装置とを備えていることを特徴としている。
【００３０】
また、本発明に係る表示装置は、上記課題を解決するために、複数の画素が配列されてなり、情報を表示する表示アレイと、上記表示アレイに表示を行うために光を入射するとともに、その輝度が変更されるバックライト装置と、上記バックライト装置から出射される光が入射される、上記センサ装置とを備えていることを特徴としている。
【００３１】
以上により、光センサの露光時間を制御して撮像する場合に、その露光時間を変更する都度基準画像を取得することなくキャリブレーションを行うことが可能なキャリブレーション装置、キャリブレーション方法、センサ装置、並びに表示装置を提供することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３２】
〔実施の形態１〕
本発明の一実施形態について図１〜図１１を用いて説明すると以下の通りである。なお、説明の便宜上、同一の機能を有する部材には同一の部材番号を付記し、その説明を省略する。
【００３３】
図１は、本実施形態に係るデータ表示／センサ装置（表示装置）１００の要部構成を示すブロック図である。以下、同図を参照しながら、データ表示／センサ装置１００の要部構成について説明する。
【００３４】
（データ表示／センサ装置の要部構成）
データ表示／センサ装置１００は、図示のように、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
【００３５】
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル（表示アレイ・光センサアレイ）３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
【００３６】
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。
【００３７】
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
【００３８】
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
【００３９】
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
【００４０】
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
【００４１】
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode：発光ダイオード）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。また、バックライト３０７は、バックライト輝度を変更するように制御されてもよい。例えば、データ表示／センサ装置１００が携帯電話機に適用される場合、バックライト３０７のバックライト輝度は周囲の明るさに応じて制御される、つまり周囲が暗い環境ではバックライト輝度を低下させ、周囲が明るい環境ではバックライト輝度を上昇させるような制御が行われる。
【００４２】
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
【００４３】
（センサ内蔵液晶パネルの構造・構成）
センサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
【００４４】
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
【００４５】
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
【００４６】
なお、センサ内蔵液晶パネル３０１をＣＧシリコン液晶（連続粒界結晶シリコン液晶）で構成する場合、光センサ回路３２のフォトダイオード６は青色光の受光感度が高い。したがって、フォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けている。
【００４７】
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
【００４８】
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
【００４９】
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
【００５０】
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
【００５１】
次に、図４を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図４は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
【００５２】
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
【００５３】
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
【００５４】
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
【００５５】
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置して、表示解像度より撮像解像度を高くしてもよい。また、１つの光センサ回路３２が１つの画素を形成する。
【００５６】
光センサ回路３２の駆動は、以下のように行う。図５は、光センサ回路３２駆動時のタイミングチャートである。なお、同図におけるノードＶ１，Ｖ２の記載において、点線はフォトダイオード３６に光が入射していない状態（“Ｄａｒｋ”）を示しており、実線はフォトダイオード３６に光が入射している状態（“Ｌｉｇｈｔ”）を示している。
【００５７】
まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷｉと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳｉとに所定の電圧を印加する。センサプリアンプ３７であるＭＯＳトランジスタのドレイン端子に接続される電圧印加線ＳＤｊには、電源電圧ＶＤＤが印加されている。これにより、コンデンサ３５が充電される（図８におけるリセット期間ｔＲＥＳＥＴ）。この状態において、フォトダイオード３６に光が入射されると（露光期間ｔＩＮＴＥＧＲＡＴＥ）、入射した光量に応じた電流がフォトダイオード３６に流れることで、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（ノードＶ１）の電圧が低下する。なお、放電される電荷の量はフォトダイオード３６に入射する光の強さに依存するが、電荷の量はコンデンサの容量にも依存するため、ある一定以上の光が当たってもそれ以上は電位は下がらない。
【００５８】
次に、センサ読み出し線ＲＷｉに電源電圧ＶＤＤを印加すると（読み出し期間ｔＳＡＭＰＬＥ）、コンデンサ３５を介してノードＶ１の電圧は増幅され、それによりセンサプリアンプ３７であるＭＯＳトランジスタがＯＮして、そのソース端子（ノードＶ２）からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
【００５９】
光センサ回路３２は、リセット期間ｔＲＥＳＥＴもしくは読み出し期間ｔＳＡＭＰＬＥのタイミングを制御することで、露光期間ｔＩＮＴＥＧＲＡＴＥの長さ、つまり露光時間を変えて撮像感度を変更することができる。露光期間ｔＩＮＴＥＧＲＡＴＥを短くすれば同じ光の強さでもノードＶ１における電圧値を大きく、つまり画素値を小さくでき、強い照度環境でも撮像部３１の白飛び（強い照度によって光センサ回路３２が飽和した状態）を防ぐことができる。
【００６０】
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
【００６１】
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
【００６２】
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
【００６３】
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
【００６４】
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
【００６５】
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
【００６６】
次に、図１に戻り、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部（キャリブレーション装置、オフセット値算出手段、キャリブレーション手段）６０２、バックライト制御部６０３、表示データ記憶部６０４、およびセンサデータ記憶部６０５を備えている。
【００６７】
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００６８】
表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
【００６９】
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
【００７０】
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
【００７１】
また、センサ制御部６０２は、デジタル信号（ＤＳ）に基づき画像データを生成する際に、画素ごとの素子の特性のバラツキによる照度に対する画素ごとの画素値のバラツキを補正するキャリブレーションを行う。センサ制御部６０２は、製品出荷時、センサ内蔵液晶パネル３０１にてスキャンを実行してこのキャリブレーションに用いるキャリブレーションデータを取得し、当該キャリブレーションデータをセンサデータ記憶部６０５に記憶させておく。このキャリブレーション処理の詳細については後述する。
【００７２】
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
【００７３】
また、バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従ってバックライト３０７のバックライト輝度を変更する場合は、変更後のバックライト輝度を示すバックライト輝度信号（ＢＫＬ）をセンサ制御部６０２に送信する。
【００７４】
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
【００７５】
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。
【００７６】
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールドの値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
【００７７】
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
【００７８】
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
【００７９】
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データを主制御部８００に送信する。
【００８０】
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
【００８１】
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。
【００８２】
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
【００８３】
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
【００８４】
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
【００８５】
なお、上記スイッチの例としては、筐体のヒンジ部分に設けられ、筐体の開閉状態を検出するヒンジ部スイッチ９０４、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
【００８６】
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
【００８７】
次に、センサ制御部６０２でのキャリブレーション処理（画素ごとのオフセット補正、ゲイン補正）について、図６〜図１１を参照しながら説明する。
【００８８】
本実施形態におけるキャリブレーション処理では、まず、暗室条件で、かつ異なる露光時間で撮像した、少なくとも２つの基準画像のオフセット値から任意の露光時間におけるオフセット値を算出するオフセット値算出処理を行う。
【００８９】
上述のように、光センサ回路３２は、その露光時間を変更して撮像感度を変更することが可能であるが、露光時間を変更した場合、それに依存して、回路内のリーク電流などによって、また、バックライト３０７から出射された光がセンサ内蔵液晶パネル３０１内部で反射して光センサ回路３２に入射することによって、各露光時間での画像のオフセット値が異なってくる。このような場合、従来では、露光時間毎に基準画像を取得していたが、その手間と当該基準画像を記憶しておくメモリが必要になるという問題があった。本実施形態では、上述のように少なくとも２つの基準画像のオフセット値から任意の露光時間におけるオフセット値を算出できるため、上記問題を解消できる、つまり、露光時間毎に基準画像を取得する手間を省くことができるとともに、当該基準画像を記憶しておくメモリ量を節約できる。なお、上記オフセット値とは、キャリブレーションに用いる、暗室条件で撮像した画像の画素値である。
【００９０】
次に、オフセット値算出処理について、図６〜図８を参照しながら具体的に説明する。
【００９１】
（オフセット値算出処理Ａ）
図６は、露光時間に対するオフセット値を示すグラフであり、横軸が露光時間を、縦軸がオフセット値を示している。
【００９２】
同図に示すように、オフセット値の変化は、定常成分と、バックライトの内部反射やリーク電流などの時間依存成分とに分けられることから、以下の式（１１）の一次式で近似できる。
【００９３】
ｄ＝ａｔ＋Ｃ…（１１）
ここで、ｄはオフセット値、ａは傾き、ｔは露光時間、Ｃは定常成分である。
露光時間最大時と任意の露光時間時とのオフセット値を測定すれば、傾きａと定常成分Ｃとを求めることができる。
【００９４】
一方、同図において、露光時間ｔ０（第１露光時間、ｔＡ），ｔ１（第２露光時間、ｔＢ），ｔ２（第３露光時間、ｔＣ）でのオフセット値をそれぞれオフセット値ＶＢ０（第１オフセット値、），ＶＢ１（第２オフセット値、ＶＢＢ），ＶＢ２（第３オフセット値、ＶＢＣ）とすると、たとえばオフセット値ＶＢ０，ＶＢ１からオフセット値ＶＢ２を求めるには、それらの比から以下の式（１２）（上記式（１）に対応）のように算出できる。
【００９５】
ＶＢ２＝ＶＢ０−（（ｔ０−ｔ２／ｔ０−ｔ１）＊（ＶＢ０−ＶＢ１））…（１２）
以上のように、暗室条件で、かつ異なる露光時間で撮像した、少なくとも２つの基準画像のオフセット値から任意の露光時間におけるオフセット値を算出できる。
【００９６】
なお、以上説明したオフセット値算出処理は、センサ内蔵液晶パネル３０１面内において露光時間が同一である場合のものである。センサ内蔵液晶パネル３０１は、上述のとおり表示も行うため、表示映像の走査タイミングと衝突しないよう、露光時間を面内ですべて一定にできない場合がある。しかしながら、このような場合であっても、それぞれの画素の露光時間に応じて上記式（１２）でオフセット値を算出することができる。
【００９７】
図７は、センサ内蔵液晶パネル３０１面内において露光時間が異なる状態を示す図である。
【００９８】
たとえば図中の黒丸の点の画素について考えると、露光時間設定ａ，ｂａのオフセット値ＶＢ００，ＶＢ１０から露光時間設定ｃのオフセット値ＶＢ２０を算出するには、以下の式（１３）のように算出できる。
【００９９】
ＶＢ２０＝ＶＢ００−（（ｔ００−ｔ２０／ｔ００−ｔ１０）＊（ＶＢ００−ＶＢ１０））  …（１３）
このように、センサ内蔵液晶パネル３０１面内において露光時間が同一でない場合であっても、同一である場合と同様に、暗室条件で、かつ異なる露光時間で撮像した、少なくとも２つの基準画像のオフセット値から任意の露光時間におけるオフセット値を算出できる。
【０１００】
（オフセット値算出処理Ｂ）
次に、露光時間だけでなく、バックライト３０７のバックライト輝度を変更した場合のオフセット値算出処理について説明する。図８は、露光時間に対するオフセット値（バックライト３０７のバックライト輝度変更あり）を示すグラフであり、横軸が露光時間を、縦軸がオフセット値を示している。
【０１０１】
上述のように、オフセット値の変化は、定常成分と時間依存成分とに分けられるが、当該時間依存成分は、バックライトの内部反射などによるバックライト（ＢＬ）依存成分と、回路内のリーク電流などによるバックライト（ＢＬ）非依存成分とに分けることができる。バックライト依存成分は、バックライト輝度に比例することから、たとえば露光時間ｔ０，ｔ１においてオフセット値ＶＢ０，ＶＢ１を取得した際のバックライト輝度が輝度ｕ０（ｃｄ、カンデラ）（第１輝度）であったものを、バックライト輝度を輝度ｕ１（ｃｄ）（第３輝度）に変更して露光時間ｔ２において画像を取得したときのオフセット値ＶＢ２ａ（第３オフセット値、ＶＢＣａ）は、以下の式（１４）・（１５）（それぞれ上記式（２）・（３）に対応）のように算出できる。
【０１０２】
ＶＢ２ａ＝ｕ１／ｕ０＊ｔ２／ｔ０＊（ＶＢ０−ＶＢ０ａ）＋Ｃ…（１４）
Ｃ＝ＶＢ０−（（ｔ０／ｔ０−ｔ１）＊（ＶＢ０−ＶＢ１））…（１５）
ただし、Ｃは図８のｙ軸切片、ＶＢ０ａは露光時間ｔ０においてバックライトを消灯（輝度を０）したときの画像のオフセット値である。なお、バックライト非依存成分が無視できるほど小さい場合はＶＢ０ａ＝Ｃとみなすこともできる。
【０１０３】
以上のように、露光時間を変更し、さらにバックライト輝度を変更したときにも、暗室条件で、かつ異なる露光時間で撮像した、少なくとも２つの基準画像のオフセット値から任意の露光時間におけるオフセット値を算出できる。同様ことができる。
【０１０４】
次に、キャリブレーション処理について、図９、図１０、図１２、図１３を参照しながら説明する。
【０１０５】
キャリブレーション処理自体は、従来と同様に上記式（１０）（上記式（４））の通り行う（図１２および図１３参照）。すなわち、図１３の例を挙げると、以下の式（１６）および式（１７）のとおり、露光時間設定ａ，ｂそれぞれにおいて上述のようにして算出したオフセット値ＶＢＯ，ＶＢ１を上記式（１０）における「ＶＢ」に代入するとともに、光センサが飽和しない程度の照度の光が入射される条件で、かつセンサ内蔵液晶パネル３０１面内において同一の露光時間で撮像された画像（明基準画像）（第４画像）の画素値ＶＷを上記式（１０）における「ＶＷ」に代入することによりキャリブレーションが行える。
【０１０６】
Ｖ’＝（（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ＶＢ０）＊（Ｖ−ＶＢ０））＋ＶＭＩＮ 
…  （露光時間設定ａ)（１６）
Ｖ’＝（（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ＶＢ１）＊（Ｖ−ＶＢ１））＋ＶＭＩＮ 
…（露光時間設定ｂ）（１７）
なお、露光時間設定ａ，ｂにおいて露光時間が異なっても飽和する画素値は変わらない。これは、露光時間を変えることによって各画素のコンデンサからフォトセンサに光が当たることによって放電される電荷のスピードは変わっても、放電される電荷の量そのものはコンデンサの容量とチャージされる電圧によって決まるため露光時間によらず一定であるからである。よって、上記明基準画像は、露光時間設定ａ，ｂのいずれの露光時間で撮像されたものであってもよい。
【０１０７】
以上のように、各露光時間設定においてオフセット値が算出されれば、少なくとも１つの露光時間設定での明基準画像があれば任意の露光時間設定でのキャリブレーションが行える。
【０１０８】
ここで、上述のようにキャリブレーションを行うと、光センサのダイナミックレンジを広く使うことができるものの、露光時間を例えば１／２にしてもキャリブレーション後の画素値の関係が１／２にならないといった問題がある。そこで、露光時間設定ａ，ｂの画像間においてダイナミックレンジが同一となるように、露光時間設定ｂの画像のキャリブレーションを、それらの画像間のオフセット値の変化量ｄ（ｄ＝ＶＢ０−ＶＢ１）を用いて、上記式（１７）に代えて以下の式（１８）のようにキャリブレーションを行うことができる。
【０１０９】
Ｖ’＝（（ＶＭＡＸ−ＶＭＩＮ／ＶＷ−ｄ−ＶＢ１）＊（Ｖ−ＶＢ１））＋ＶＭＩＮ 
… （１８）
図９は、図１３に対応するグラフであり、符号ａ’’，ｂ’’を付した曲線が、露光時間設定ａ，ｂの画像間においてダイナミックレンジが同一となるようにキャリブレーションを行った後の出力特性である。露光時間設定ａ，ｂは、露光時間が１／２の関係にあるが、そのキャリブレーション後の符号ａ’’，ｂ’’を付した曲線の関係が、図１３における符号ａ’，ｂ’を付した曲線の関係と比較して、上記キャリブレーションの効果を示している。また、図１０は、上記キャリブレーションの効果を示すものであり、各感度間において画素値が同一となっている様子が見て取れる。
【０１１０】
次に、センサ制御部６０２の処理の流れについて、図１１を参照しながら説明する。図１１は、センサ制御部６０２の処理の流れを示すフローチャートである。
【０１１１】
まず、センサ制御部６０２は、製品出荷時、センサ内蔵液晶パネル３０１にてスキャンを実行してキャリブレーションに用いるキャリブレーションデータを取得し、当該キャリブレーションデータをセンサデータ記憶部６０５に記憶させておく。次いで、センサ制御部６０２は、キャリブレーションを行うデジタル信号（ＤＳ）を受信する（以上までが図１１のフローチャートにおける「ＳＴＡＲＴ」に相当する）。
【０１１２】
上記キャリブレーションデータとは、（１）オフセット値算出処理Ａ，Ｂで用いる、暗室条件で、かつ異なる露光時間で撮像した、少なくとも２つの基準画像のオフセット値、（２）キャリブレーション処理で用いる、明基準画像の画素値、および（３）変更されるバックライト３０７のバックライト輝度である。
【０１１３】
次いで、センサ制御部６０２は、センサデータ処理部７０３からの指示に従って表示／光センサ部３００の光センサ駆動回路３０５を制御する際に使用した、光センサ回路３２の露光時間に関する露光時間データを取得する（図１１のフローチャートにおける「Ｓ１」）。
【０１１４】
次いで、センサ制御部６０２は、バックライト制御部６０３からバックライト輝度信号（ＢＫＬ）を受信していない場合は（図１１のフローチャートにおける「Ｓ２」において「ＮＯ」）、バックライト３０７のバックライト輝度が変更されていない場合であるので、上記キャリブレーションデータにおけるオフセット値、および上記露光時間データにおける露光時間を用いて、上記オフセット値算出処理Ａを行う（図１１のフローチャートにおける「Ｓ３」）。そして、この算出処理にて算出したオフセット値、および上記キャリブレーションデータにおける明基準画像の画素値を用いて、上記キャリブレーション処理を行う（図１１のフローチャートにおける「Ｓ５」）。
【０１１５】
一方、バックライト制御部６０３からバックライト輝度信号（ＢＫＬ）を受信している場合は（図１１のフローチャートにおける「Ｓ２」において「ＹＥＳ」）、バックライト３０７のバックライト輝度が変更されている場合であるので、上記キャリブレーションデータにおけるオフセット値、および上記露光時間データにおける露光時間を用いて、上記オフセット値算出処理Ｂを行う（図１１のフローチャートにおける「Ｓ４」）。そして、この算出処理にて算出したオフセット値、および上記キャリブレーションデータにおける明基準画像の画素値を用いて、上記キャリブレーション処理を行う（図１１のフローチャートにおける「Ｓ５」）。
【０１１６】
なお、上記（１）は、１つの基準画像のオフセット値と上記式（１１）における傾きａであってもよい。また、上記（２）は、キャリブレーション処理において（上記式（１０）参照）、上記明基準画像の画素値はオフセット値との差が求められることから、当該差を記憶していてもよい。また、上記（３）は、上記式（１４）から輝度の比が明らかであればよいのだから、輝度そのものではなく、初期値の輝度と変更される輝度との比を記憶させておいてもよい。あるいは、全く記憶させておかず、バックライト３０７を構成する冷陰極管やＬＥＤに流す電流値から取得する、あるいは装置の外部で計測して取得してもよい。以上により、センサデータ記憶部６０５のメモリ量を節約できる。
【０１１７】
なお、回路制御部６００等は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１１８】
すなわち、回路制御部６００等は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである制御部９の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、制御部９に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１１９】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１２０】
また、制御部９を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０１２１】
以上説明したように、本実施形態では、暗室条件で、かつ異なる露光時間で撮像した、少なくとも２つの基準画像のオフセット値から任意の露光時間での画像のオフセット値を算出することができる。このため、従来のように露光時間を変更する都度基準画像を取得することなくキャリブレーションを行うことが可能である。これにより、各露光時間において基準画像を取得する手間を省くことができるとともに、当該基準画像を記憶しておくメモリ量を節約できる。
【０１２２】
また、本実施形態では、表示部と光センサ部とが一体化して形成された、光センサ内蔵液晶表示装置を例に説明を行ったが、本発明は、画像を撮像し、キャリブレーションを行うものであって、露光時間を変更するものであれば、いわゆるイメージセンサなどの光センサ装置や当該光センサ装置を内蔵する、カメラなどの電子機器にも適用できる。
【０１２３】
（参考例）
最後に、従来提案されている、キャリブレーション方法や光センサ装置について、またそれらの問題点について、記載しておく。
【０１２４】
まず、特許文献１には、白黒各濃度値が既知である白黒各濃度基準板を撮像し、それぞれの未補正の濃度値が実際の濃度値に合致するようにゲイン補正値およびオフセット補正値を算出し、画像信号を処理することで、キャリブレーションを行う方法が開示されている。
【０１２５】
しかしながら、このキャリブレーション方法では、白黒の基準画像をもとにキャリブレーションを行うため、イメージセンサの特性が変われば、その都度白黒の基準画像を取得するか、あらかじめ基準画像を用意しておく必要があるという問題があった。
【０１２６】
また、特許文献２には、ガラス基板上に液晶表示装置とともに光センサを形成する技術が開示されている。この技術により、画像を表示するだけでなく、一般的なスキャナのように画像の入力を行うことができる。また、入力した画像を処理することでタッチパネルとしても利用できる。別途、感圧式、もしくは、静電容量式のタッチパネル部材を用いることなく、通常の液晶表示装置と同様のプロセスで製造できるため、コストを抑えることも可能であるとしている。
【０１２７】
しかしながら、特許文献２の表示装置に限らないが、一般的なイメージセンサは使用可能な照度範囲は有限であり、ある一定以上の照度の光があたるとイメージセンサの素子が飽和してしまい（いわゆる「白飛び」）、撮像することができない問題がある。
【０１２８】
また、特許文献３には、光センサ回路のプリチャージ電圧および露光時間を制御することで画像の白飛びを防ぐ技術が開示されている。光センサのプリチャージ電圧をオンにしてから制御トランジスタをオンにして光センサの出力信号を取り出すまでの時間を制御することで露光時間を制御する。
【０１２９】
しかしながら、この光センサ回路では、光センサの特性を変えるとそれに応じて正しいキャリブレーションを行わないと素子の特性のばらつきがノイズとなって出現し、高品位な画像を入力することができないという問題があった。
【０１３０】
また、特許文献４には、階調傾向値が所定の目標範囲内に収まるように露光時間およびプリチャージ電圧を調整することで光センサの出力をキャリブレーションする技術が開示されている。
【０１３１】
露光時間とプリチャージ電圧を素子ごとに調整するのは不可能であるため、素子ごとの特性のばらつきはキャリブレーションできない。また、外光の照度に応じて目標階調傾向値を設定しているが、実際にはイメージセンサの面全体で外光の照度が一定であることはなく、たとえば手をかざしたときなどは同じ面内で照度の高い領域と低い領域が存在するため、高い照度領域に対応するため、露光時間を短くしても、低い照度領域も黒つぶれすることなく撮像できる必要がある。
【０１３２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１３３】
本発明は、画像を撮像し、キャリブレーションを行うものであって、露光時間を変更するものであれば、例えば、表示部と光センサ部とが一体化して形成された、光センサ内蔵表示装置、当該光センサ内蔵表示装置を搭載する、携帯電話機、ＰＤＡ（personal digital assistance）などの電子機器、イメージセンサなどの光センサ装置、および当該光センサ装置を搭載する、カメラなどの電子機器に好適に用いられる。
【図面の簡単な説明】
【０１３４】
【図１】本発明の実施形態に係るデータ表示／センサ装置の要部構成を示すブロック図である。
【図２】センサ内蔵液晶パネルの断面を模式的に示す図である。
【図３】（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図であり、（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。
【図４】表示／光センサ部の要部、特に、センサ内蔵液晶パネルの構成および周辺回路の構成を示すブロック図である。
【図５】光センサ回路駆動時のタイミングチャートである。
【図６】本発明の実施形態のオフセット算出処理を説明するための図であり、露光時間に対するオフセット値を示すグラフである。
【図７】本発明の実施形態のオフセット算出処理を説明するための図であり、センサ内蔵液晶パネル面内において露光時間が異なる状態を示す図である。
【図８】本発明の実施形態のオフセット算出処理を説明するための図であり、露光時間に対するオフセット値（バックライトのバックライト輝度変更あり）を示すグラフである。
【図９】本発明の実施形態のキャリブレーション処理を説明するための図であり、照度に対する光センサ回路の出力値を示すグラフである。
【図１０】本発明の実施形態のキャリブレーション処理の効果を示すものであり、各感度における画素の状態を示す図である。
【図１１】センサ制御部の処理の流れを示すフローチャートである。
【図１２】従来のキャリブレーション処理を説明するための図であり、イメージセンサの照度に対する出力値を示すグラフである。
【図１３】従来および本発明の実施形態のキャリブレーション処理を説明するための図であり、照度に対する光センサの出力値を示すグラフである。
【符号の説明】
【０１３５】
３１      画素回路（画素）
３２      光センサ回路（光センサ）
１００    データ表示／センサ装置（センサ装置、表示装置）
３０１    センサ内蔵液晶パネル（光センサアレイ、表示アレイ）
３０７    バックライト
６０２    センサ制御部（キャリブレーション装置）
【図１】
2010057142.tif 000003
【図２】
2010057142.tif 000004
【図３】
2010057142.tif 000005
【図４】
2010057142.tif 000006
【図５】
2010057142.tif 000007
【図６】
2010057142.tif 000008
【図７】
2010057142.tif 000009
【図８】
2010057142.tif 000010
【図９】
2010057142.tif 000011
【図１０】
2010057142.tif 000012
【図１１】
2010057142.tif 000013
【図１２】
2010057142.tif 000014
【図１３】
2010057142.tif 000015