(57)【要約】【課題】表示機能と撮像機能とを有する入出力パネルから得られた撮像画像から適切な画像を得ることを可能とする画像入出力装置および画像補正装置を提供する。【解決手段】画像補正部５内の補正機能部５２に構成される補正実行部５２Ｃが、表示機能と撮像機能とを有する入出力パネル１に表示されている表示画像の画像データ（表示画像データＤin（Ｗ））に基づいて、この入出力パネル１の撮像機能により得られた物体の撮像画像（撮像データＤin（Ｒ））を補正するようにする。【選択図】図１
2007102728.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルと、
前記入出力パネルに表示されている表示画像の画像データに基づいて、前記入出力パネルに取り込まれた撮像画像を補正する補正手段と
を備えたことを特徴とする画像入出力装置。
【請求項２】
前記補正手段は、前記表示画像の輝度に基づいて前記撮像画像を補正する
ことを特徴とする請求項１に記載の画像入出力装置。
【請求項３】
前記補正手段は、前記表示画像の輝度に基づいて、白基準により前記撮像画像を補正する
ことを特徴とする請求項２に記載の画像入出力装置。
【請求項４】
前記補正手段は、以下の式（１）を用いて前記撮像画像を補正する
ことを特徴とする請求項３に記載の画像入出力装置。
Ｙｒ２＝Ｙｒ１×（Ｙｗ＿ｗ／Ｙｗ）  …（１）
但し、Ｙｒ１  ：補正手段により補正前の撮像画像の輝度
Ｙｗ＿ｗ ：表示画像の白基準の輝度
Ｙｗ    ：表示画像の輝度
Ｙｒ２  ：補正手段により補正後の撮像画像の輝度
【請求項５】
前記補正手段は、前記表示画像の各色ごとの輝度に基づいて前記撮像画像を補正する
ことを特徴とする請求項１に記載の画像入出力装置。
【請求項６】
前記補正手段は、前記表示画像の各色ごとの輝度に基づいて、高輝度基準により前記撮像画像を補正する
ことを特徴とする請求項５に記載の画像入出力装置。
【請求項７】
前記補正手段は、前記表示画像の輝度と前記撮像画像の輝度とを比例関係により対応付けて、前記撮像画像を補正する
ことを特徴とする請求項２に記載の画像入出力装置。
【請求項８】
前記補正手段は、前記表示画像の輝度と前記撮像画像の輝度との関係を対応付けた対応テーブルを用いて、前記撮像画像を補正する
ことを特徴とする請求項２に記載の画像入出力装置。
【請求項９】
前記対応テーブルは、前記入出力パネル上に配置された鏡面反射物体を撮像することにより、作成されたものである
ことを特徴とする請求項８に記載の画像入出力装置。
【請求項１０】
前記対応テーブルは、前記表示画像が取り得るすべての輝度レベルを１つの表示画像全体で表すことにより、作成されたものである
ことを特徴とする請求項８に記載の画像入出力装置。
【請求項１１】
前記対応テーブルは、前記表示画像が取り得るすべての輝度レベルを、複数の表示画像を用いて前記入出力パネルの各画素ごとで表すことにより、作成されたものである
ことを特徴とする請求項８に記載の画像入出力装置。
【請求項１２】
前記補正手段は、前記表示画像の画像データに基づいてその表示画像からの光の拡散を考慮した拡散画像データを作成すると共に、この拡散画像データに基づいて、前記撮像画像を補正する
ことを特徴とする請求項１に記載の画像入出力装置。
【請求項１３】
画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを備えた画像入出力装置に適用される画像補正装置であって、
前記入出力パネルに表示されている表示画像の画像データに基づいて、前記入出力パネルに取り込まれた撮像画像を補正する補正手段を備えた
ことを特徴とする画像補正装置。
【請求項１４】
画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体を撮像するステップと、
前記入出力パネルに表示されている表示画像の画像データに基づいて、この入出力パネルに取り込まれた撮像画像を補正するステップと
をコンピュータに実行させることを特徴とする画像補正プログラム。
【請求項１５】
画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体を撮像し、
前記入出力パネルに表示されている表示画像の画像データに基づいて、この入出力パネルに取り込まれた撮像画像を補正する
ことを特徴とする画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の補正機能を備えた画像入出力装置、画像補正装置、画像補正プログラムおよび画像補正方法に関する。
【背景技術】
【０００２】
従来より、撮像装置から得られた撮像画像に対して行う画像補正方法として、種々の技術が開示されている。また、本出願人は例えば特許文献１において、画像を表示する表示機能と、物体を撮像（検出）する撮像機能（検出機能）とを有する表示部を備えた表示装置を提案している。
【０００３】
【特許文献１】特開２００４−１２７２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記表示装置を撮像装置として利用すれば、撮像画像を得ることが可能となる。しかしながら、上記特許文献１では、このようにして得られた撮像画像について、それ以上の技術については何ら触れられていなかった。したがって、従来の技術では、表示機能と撮像機能とを有する表示部（入出力パネル）から、適切な画像を得ることができるとは限らなかった。
【０００５】
本発明はかかる問題点に鑑みてなされたもので、その目的は、表示機能と撮像機能とを有する入出力パネルを用いて、適切な画像を得ることを可能とする画像入出力装置、画像補正装置、画像補正プログラムおよび画像補正方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の画像入出力装置は、画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルと、この入出力パネルに表示されている表示画像の画像データに基づいて、入出力パネルに取り込まれた撮像画像を補正する補正手段とを備えたものである。
【０００７】
この場合において、上記補正手段が、表示画像の輝度に基づいて撮像画像を補正するようにするのが好ましく、また、この表示画像の輝度に基づいて、白基準により撮像画像を補正するようにするのがより好ましい。ここで、「白基準」とは、表示画像の最高輝度基準のことを意味する。また、上記補正手段が、表示画像の各色ごとの輝度に基づいて撮像画像を補正するようにするのが好ましく、この表示画像の各色ごとの輝度に基づいて、高輝度基準により撮像画像を補正するようにするのがより好ましい。ここで、「高輝度基準」とは、表示画像の各色ごとの最高輝度基準のことを意味する。
【０００８】
本発明の画像補正装置は、画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルを備えた画像入出力装置に適用されるものであって、上記入出力パネルに表示されている表示画像の画像データに基づいて、この入出力パネルに取り込まれた撮像画像を補正する補正手段を備えたものである。
【０００９】
本発明の画像補正プログラムは、画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体を撮像するステップと、この入出力パネルに表示されている表示画像の画像データに基づいて、入出力パネルに取り込まれた撮像画像を補正するステップとをコンピュータに実行させるようにしたものである。
【００１０】
本発明の画像補正方法は、画像を表示する表示機能と、この表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体を撮像し、この入出力パネルに表示されている表示画像の画像データに基づいて、入出力パネルに取り込まれた撮像画像を補正するようにしたものである。
【００１１】
本発明の画像入出力装置、画像補正装置、画像補正プログラムおよび画像補正方法では、表示機能とこの表示機能により表示された表示画像からの光を利用して物体を撮像する撮像機能とを有する入出力パネルにより物体が撮像され、撮像画像がこの入出力パネルに取り込まれる。また、この入出力パネルに表示されている表示画像の画像データに基づいて、上記撮像画像が補正される。
【発明の効果】
【００１２】
本発明の画像入出力装置、画像補正装置、画像補正プログラムまたは画像補正方法によれば、表示機能と撮像機能とを有する入出力パネルに表示されている表示画像の画像データに基づいて、この入出力パネルの撮像機能により得られた物体の撮像画像を補正するようにしたので、表示機能と撮像機能とを有する入出力パネルから適切な画像を得ることが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る画像入出力装置の構成を表すものである。
【００１５】
この画像入出力装置は、入出力パネル１と、表示信号保持制御部２２と、表示信号ドライバ２３と、表示側スキャナ２４と、撮像信号選択スキャナ３１と、撮像信号レシーバ３２と、画像補正部５とを備えており、画像データに基づく画像を入出力パネル１に表示すると共に、表示画像からの光を利用して入出力パネル１に接触または近接する物体（後述する撮像対象物体１５Ａ，１５Ｂ）を撮像し、撮像して得られた撮像画像の補正を行うものである。
【００１６】
入出力パネル１は、複数の画素１１が全面に渡ってマトリクス状に配置された、例えば有機または無機のＥＬ（ElectroLuminescence）ディスプレイやＬＣＤ（Liquid Crystal Display）からなり、後述するように線順次動作をしながら所定の図形や文字などの画像を表示するものである。また、各画素１１は、例えば１つの表示撮像素子を含む表示撮像セルＣＷＲから構成され、後述するように各画素が表示機能と撮像機能とを併有するようになっている。
【００１７】
ここで、図２〜図４を参照して、入出力パネル１の構成の詳細について説明する。
【００１８】
図２は、入出力パネル１の平面構成の一例を表すものであり、水平ライン方向にｍ個、垂直ライン方向にｎ個、合計で（ｍ×ｎ）個からなる画素１１がマトリクス状に配置されているものとする。この入出力パネル１は、合計で（ｍ×ｎ）個からなる画素１１および各画素に含まれる表示撮像セルＣＷＲ11〜ＣＷＲmnと、その画素１１の数に応じて接続された、ｍ本のデータ供給線ＤＷ（ＤＷ1〜ＤＷm）およびデータ読出線ＤＲ（ＤＲ1〜ＤＲm）、ならびにｎ本の表示用ゲート線Ｇ（Ｇ1〜Ｇn）および切換線Ｓ（Ｓ1〜Ｓn）とを有している。
【００１９】
データ供給線ＤＷは表示信号ドライバ２３に接続され、データ読出線ＤＲは撮像信号レシーバ３２に接続され、表示用ゲート線Ｇは表示側スキャナ２４に接続され、切換線Ｓは撮像信号選択スキャナ３１に接続されている。また、各表示撮像セルＣＷＲに対してそれぞれ１本ずつのデータ供給線ＤＷ、データ読出線ＤＲ、表示用ゲート線Ｇおよび切換線Ｓが接続されている。また、例えば１垂直ラインの表示撮像セルＣＷＲ11，ＣＷＲ12，…，ＣＷＲ1nに対しては、１本ずつのデータ供給線ＤＷ1およびデータ読出線ＤＲ1が共通に接続され、例えば１水平ラインの表示撮像セルＣＷＲ11，ＣＷＲ21，…，ＣＷＲm1に対しては、１本ずつの表示用ゲート線Ｇおよび切換線Ｓが共通に接続されている。なお、図中の矢印Ｙは、表示用ゲート線Ｇおよび切換線Ｓのスキャン方向を示している。
【００２０】
図３は、入出力パネル１における表示撮像セルＣＷＲの配置構成の一例を断面図で模式的に表したものであり、図２におけるＡ−Ａ部分の矢視断面に対応するものである。
【００２１】
この入出力パネル１は、１対の透明基板１２Ａ，１２Ｂと、これらの透明基板１２Ａ，１２Ｂの間に配置され、隔壁１３によって互いに分離された複数の表示撮像セルＣＷＲ（ＣＷ21，ＣＷ22，ＣＷ23，ＣＷ24，ＣＷ25，…）とを有している。また、各表示撮像セルＣＷＲは、表示撮像素子ＥＬとして例えば有機ＥＬ素子を含んでおり、表示光ＬＷを出射するようになっている。なお、一般的な有機ＥＬ表示部におけるその他の層については図示せず、説明を省略している。
【００２２】
図４は、入出力パネル１における表示撮像セルＣＷＲの回路構成を表すものである。
【００２３】
この表示撮像セルＣＷＲは、１つの表示撮像素子ＥＬと、キャパシタＣと、抵抗Ｒと、表示用ゲート線Ｇから供給される選択信号に応じてデータ供給線ＤＷとキャパシタＣの一端との間を選択的に導通させるスイッチＳＷ１と、切換線Ｓから供給される切換信号に応じてキャパシタの他端と表示撮像素子ＥＬの一端との間を選択的に導通させるスイッチＳＷ２と、同じく切換線Ｓから供給される切換信号に応じて表示撮像素子ＥＬの一端とデータ読出線ＤＲとの間を選択的に導通させるスイッチＳＷ３とを有し、表示撮像素子ＥＬの他端は接地されている。なお、抵抗Ｒの一端はデータ読出線ＤＲに接続され、抵抗Ｒの他端は接地、または負バイアス点（図示せず）に接続されるようになっている。
【００２４】
ここで、具体的に表示動作時および撮像動作時における各構成要素の動作を説明する。まず、表示動作および撮像動作は、以下のような表示撮像素子ＥＬの性質を利用して行う。つまり、本実施の形態において表示撮像素子ＥＬとして構成する、例えば有機ＥＬ素子やＬＥＤ素子などは、順方向バイアス電圧を印加すると発光動作をするが、逆方向バイアス電圧を印加すると、受光して電流を発生する性質を有する。
【００２５】
したがって、表示動作時には、表示用ゲート線Ｇから供給される選択信号および切換線Ｓから供給される切換信号に従って、スイッチＳＷ１，ＳＷ２をオン状態とすると共に、スイッチＳＷ３をオフ状態とすることで、表示撮像素子ＥＬには順方向バイアス電圧が印加される。そして表示信号に応じた輝度の発光となるよう、データ供給線ＤＷからＩ１の経路にてキャパシタＣが充電され、充電された電荷に基づいてＩ２の経路にて表示撮像素子ＥＬに電流が流れることで、表示動作がなされる。
【００２６】
一方、撮像動作時には、切換線Ｓから供給される切換信号に従って、スイッチＳＷ２，ＳＷ３をオフ状態とすると共に、スイッチＳＷ２をオン状態とすることで、表示撮像素子ＥＬに逆方向バイアス電圧が印加される。そして表示撮像素子ＥＬにおいて、受光した光量に応じた電流がＩ３の経路にてデータ読出線ＤＲへ供給されることで、撮像動作がなされる。
【００２７】
なお、表示動作および撮像動作のいずれの動作も行っていない時には、スイッチＳＷ１〜ＳＷ３はいずれもオフ状態となっており、データ供給線ＤＷおよびデータ読出線ＤＲはそれぞれ、表示撮像素子ＥＬとは切断されるようになっている。また、データ読出線ＤＲに接続されている抵抗Ｒは、Ｉ３の経路でデータ読出線ＤＲに供給される電流に基づいてその両端に電位差を生じさせ、これを撮像信号として出力するためのものである。
【００２８】
表示信号保持制御部２２は、後述する画像補正部５内の表示用フレームメモリ５３などから供給される表示信号を、１画面ごと（１フレームの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）などから構成されるフレームメモリに格納して保持するものである。この表示信号保持制御部２２はまた、表示信号ドライバ２３、表示側スキャナ２４および撮像信号選択スキャナ３１が連動して動作するように制御する役割も果たしている。具体的には、表示側スキャナ２４に対しては表示タイミング制御信号４１を、撮像信号選択スキャナ３１に対しては撮像タイミング制御信号４２を、表示信号ドライバ２３に対しては、制御信号、およびフレームメモリに保持されている１画面分の表示信号に基づく１水平ライン分の表示信号を、それぞれ出力するようになっている。
【００２９】
表示側スキャナ２４は、表示信号保持制御部２２から出力される表示タイミング制御信号４１に応じて、表示駆動対象の表示撮像セルＣＷＲを選択するものである。また、表示信号ドライバ２３は、表示信号保持制御部２２から出力される１水平ライン分の表示信号に応じて、表示駆動対象の表示撮像セルＣＷＲへ表示データを供給するものである。
【００３０】
撮像信号選択スキャナ３１は、表示信号保持制御部２２から出力される撮像タイミング制御信号４２に応じて、撮像駆動対象の表示撮像セルＣＷＲを選択するものである。なお、この撮像信号選択スキャナ３１は、撮像信号レシーバ３２に対して撮像ブロック制御信号４３を出力し、これら撮像動作に寄与する部分の動作を制御する役割も果たしている。
【００３１】
撮像信号レシーバ３２は、撮像信号選択スキャナ３１から出力される撮像ブロック制御信号４３に応じて、各表示撮像セルＣＷＲから出力された１水平ライン分の撮像信号を取得するものである。
【００３２】
ここで、図５および図６を参照して、このような構成の画像入出力装置において、接触あるいは近接した物体を撮像する動作について説明する。
【００３３】
図５は、図１の画像入出力装置において撮像対象物体を撮像する処理の一例を断面図で表したものであり、図３に示した構成要素と同一の構成要素には同一の符号を付し、説明を適宜省略する。
【００３４】
入出力パネル１上に、例えば指などの撮像対象物体１５Ａを接触あるいは近接させると、表示撮像セルＣＷＲ（ここでは、表示撮像セルＣＷＲ23）からの表示光ＬＷ１が、この撮像対象物体１５Ａで反射する。ここで、表示撮像素子ＥＬでは、表示動作と撮像動作を時分割で行う必要があり、ある表示撮像素子で表示光を発光させながらその表示撮像素子で反射光を受光することができない。そこで、ある水平ラインの表示撮像素子から出射した表示光を、逆方向バイアス電圧が印加された他の水平ラインの表示撮像素子が受光することにより、撮像対象物体１５Ａの撮像が可能になる。例えば、図５に示したように、表示撮像セルＣＷＲ23から位置が近い水平ライン上の表示撮像セル、例えばＣＷＲ24やＣＷＲ25などには反射光ＬＲ１が入射するが、この表示撮像セルＣＷＲ23から位置が遠い水平ライン上の表示撮像セルには、反射光が入射しない。したがって、ある撮像対象物体１５Ａから位置が近い表示撮像セルＣＷＲのみから撮像信号が得られるので、この画像入出力装置では、表示駆動されている水平ライン上の表示撮像セルＣＷＲから発せられて撮像対象物体１５Ａで反射された光が、その水平ラインに隣接する水平ライン上の表示撮像セルＣＷＲによって受光されるように、タイミング駆動がなされるようになっている。このようにすれば、撮像対象物体１５Ａ近傍の表示撮像セルＣＷＲからは撮像信号が出力される一方、それ以外の領域からは撮像信号が出力されないので、撮像対象物体１５Ａが入出力パネル１上のどの領域に位置するのかが検知され、撮像動作が可能となる。
【００３５】
また、図６に示したように、このような表示駆動と撮像駆動とを各水平ラインについて順次行う（線順次駆動）ことにより、入出力パネル１全体で画像を表示しながら、撮像対象物体１５Ａを撮像することが可能となる。なお、図６において、符号Ｐ２，Ｐ３，Ｐ８，Ｐ９はそれぞれ、スキャン中のラインの位置を表しており、符号６１，６１Ａ，６１Ｂは表示領域を、符号６３は撮像領域を表している。
【００３６】
図１の説明に戻り、画像補正部５は、Ｉ／Ｆ５１と、実際に画像補正処理を担っている補正機能部５２と、表示用フレームメモリ５３と、ＵＳＢ−Ｉ／Ｆ５４と、通信Ｉ／Ｆ５５とを有しており、これらはバス５０によって互いに接続されている。
【００３７】
Ｉ／Ｆ５１は、撮像信号レシーバ３２との間のインターフェース部分であり、撮像信号レシーバ３２から撮像データＤinを入力するようになっている。また、ＵＳＢ−Ｉ／Ｆ５４は、この画像入出力装置の外部とのＵＳＢ（Universal Serial Bus）接続によるインターフェース部分であり、例えば補正機能部５２による画像補正後の撮像データＤout１を外部へ出力するようになっている。また、通信Ｉ／Ｆ５５は、同じくこの画像入出力装置の外部との有線もしくは無線の通信によるインターフェース部分であり、例えば補正機能部５２による画像補正後の撮像データＤout２を外部へ出力するようになっている。
【００３８】
表示用フレームメモリ５３は、例えばＣＰＵ５２２によって作成された１画面分（１フレーム分）の表示画像データ（表示信号）を保持するメモリであり、この表示画像データを入出力パネル１における表示画像データ（表示信号）Ｄoutとして、前述の表示信号保持制御部２２へ出力するようになっている。
【００３９】
補正機能部５２は、上記のように実際に画像補正処理を担っている部分であり、メモリ５２１と、ＣＰＵ（Central Processing Unit）５２２と、プログラムメモリ５２３とを含んで構成されている。
【００４０】
ＣＰＵ５２２は、画像補正処理を実行するための演算処理を行う部分であると共に、この画像入出力装置全体を統括する部分である。また、メモリ５２１は、このＣＰＵ５２２が演算処理を実行するためのワーキングメモリであり、プログラムメモリ５２３は、ＣＰＵ５２２が実行する画像補正処理のためのプログラム等を格納するメモリである。
【００４１】
また、図７は、補正機能部５２の機能ブロック構成を表したものである。このように、この補正機能部５２は、機能ブロックで表現すると、表示画像記憶部５２Ａと、メモリ５２Ｂと、補正実行部５２Ｃとから構成されている。
【００４２】
表示画像記憶部５２Ａは、表示用フレームメモリ５３からバス５０を介して入力される、現在入出力パネル１において表示されている表示画像の表示画像データＤin（Ｗ）を一時的に保持する部分である。また、メモリ５２Ｂは、１画面分（１フレーム分）の表示画像データＤin（Ｗ）を保持する部分である。
【００４３】
補正実行部５２Ｃは、メモリ５２Ｂから入力される現在入出力パネル１において表示されている表示画像の表示画像データＤin（Ｗ）に基づいて、Ｉ／Ｆ５１およびバス５０を介して入力される撮像データＤin（Ｒ）に対し画像補正処理を実行する部分であり、画像補正後の撮像データＤout１，Ｄout２を、ＵＳＢ−Ｉ／Ｆ５４または通信Ｉ／Ｆ５５へそれぞれ出力するようになっている。
【００４４】
具体的には、この補正実行部５２Ｃは、表示画像データＤin（Ｗ）の輝度に基づいて、白基準により撮像データＤin（Ｒ）の画像補正処理を行うようになっており、より具体的には、以下の式（１）を用いて画像補正処理を行うようになっている。このような式を用いて画像補正処理を行っているので、撮像データＤin（Ｒ）における各画素の輝度を、対応する表示画像データＤin（Ｗ）の各画素の輝度が白基準となっている場合に換算するようにして、補正することができる。
Ｙｒ２＝Ｙｒ１×（Ｙｗ＿ｗ／Ｙｗ）  …（１）
但し、Ｙｒ１  ：補正前の撮像画像（撮像データＤin（Ｒ））の輝度
Ｙｗ＿ｗ ：表示画像（表示画像データＤin（Ｗ））の白基準の輝度
Ｙｗ    ：表示画像（表示画像データＤin（Ｗ））の輝度
Ｙｒ２  ：補正後の撮像画像（撮像データＤout１，Ｄout２）の輝度
【００４５】
次に、図８〜図１０を参照して、本実施の形態の画像補正部５による補正処理について説明する。ここで、図８は、本実施の形態に係る補正処理を流れ図で表したものであり、図９および図１０はそれぞれ、補正処理の態様を表したものである。
【００４６】
まず、前述した入出力パネル１の撮像機能により、この入出力パネル１の近傍に位置する物体を撮像すると共に、このときの撮像画像（撮像データＤin（Ｒ））を、補正実行部５２ＣがＩ／Ｆ５１およびバス５０を介して取得する（図８のステップＳ１０１）。具体的には、例えば図９（Ａ）に示したように、入出力パネル１上の撮像対象物体１５Ｂを、入出力パネル１からの表示光ＬＷ２およびその反射光ＬＲ２を利用して撮像し、例えば図９（Ｂ）に示したような撮像データＤin（Ｒ）を取得する。
【００４７】
次に、補正実行部５２Ｃは、取得した撮像データＤin（Ｒ）を画像変換することにより、（Ｒ（赤），Ｇ（緑），Ｂ（青））からなる各色ごとの輝度データを、輝度Ｙおよび色差ｕ，ｖからなる（Ｙ，ｕ，ｖ）データに変換する（ステップＳ１０２）。なお、輝度Ｙは、各色成分を総合した明るさを意味する一方、色差信号ｕ，ｖはそれぞれ、Ｂ（青）から輝度Ｙを引いた信号Ｂ−Ｙ、Ｒ（赤）から輝度Ｙを引いた信号Ｒ−Ｙに対応しており、これらｕ信号，ｖ信号を輝度Ｙと組み合わせることにより、色（色相，彩度，輝度）が表現されるようになっている。
【００４８】
次に、補正実行部５２Ｃは、メモリ５２Ｂから、現在入出力パネル１において表示されている表示画像の表示画像データＤin（Ｗ）を取得する（ステップＳ１０３）。そして補正実行部５２Ｃは、上記した撮像データＤin（Ｒ）の場合と同様にして、取得した表示画像データＤin（Ｗ）を画像変換することにより、（Ｒ，Ｇ，Ｂ）からなる各色ごとの輝度データを、（Ｙ，ｕ，ｖ）データに変換する（ステップＳ１０４）。
【００４９】
補正実行部５２Ｃは、ステップＳ１０４を各画素について行うことにより（Ｙ，ｕ，ｖ）データに変換された表示画像データＤin（Ｗ）における１画面分（１フレーム分）の輝度マップを作成する（ステップＳ１０５）。
【００５０】
次に、補正実行部５２Ｃは、それぞれ（Ｙ，ｕ，ｖ）データに変換された撮像データＤin（Ｒ）および表示画像データＤin（Ｗ）に基づいて、前述の式（１）を用いることにより、この撮像データＤin（Ｒ）（具体的には、輝度Ｙｒ１）の補正をする（ステップＳ１０６）。これにより、撮像データＤin（Ｒ）における各画素の輝度Ｙｒ１が、対応する表示画像データＤin（Ｗ）の各画素の輝度Ｙｗを白基準とした場合（輝度Ｙｗ＿ｗ）に換算するようにして、補正される。
【００５１】
最後に、補正実行部５２Ｃは、このようにして補正された撮像画像データ（撮像データＤout１，Ｄout２）を、それぞれバス５０を介してＵＳＢ−Ｉ／Ｆ５４または通信Ｉ／Ｆ５５へ出力することにより、この補正処理が終了する。
【００５２】
このようにして、例えば図９（Ｂ）に示した撮像画像を補正した場合、例えば図１０に示したようになり、撮像対象物体１５Ｂの部分の輝度が向上し、撮像画像が見やすくなっていることが分かる。
【００５３】
以上のように、本実施の形態では、画像補正部５内の補正機能部５２に構成される補正実行部５２Ｃが、表示機能と撮像機能とを有する入出力パネル１に表示されている表示画像の画像データ（表示画像データＤin（Ｗ））に基づいて、この入出力パネル１の撮像機能により得られた物体の撮像画像（撮像データＤin（Ｒ））を補正するようにしたので、表示機能と撮像機能とを有する入出力パネルから適切な画像を得ることが可能となる。
【００５４】
また、表示画像データＤin（Ｗ）の輝度Ｙｗに基づいて、白基準により、具体的には式（１）を用いて補正するようにしたので、撮像データＤin（Ｒ）の輝度Ｙｒ１を、対応する表示画像データＤin（Ｗ）の輝度Ｙｗが白基準である場合（輝度Ｙｗ＿ｗ）に換算させて補正することができ、撮像画像データＤin（Ｒ）が見やすくなるようにすることが可能となる。
【００５５】
さらに、上記式（１）からも分かるように、表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１とを比例関係により対応付けて補正するようにしたので、第２の実施の形態で以下説明するような、表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１との関係を対応付けた対応テーブルを用いた場合と比べて、補正処理を簡単にすることが可能となる。
【００５６】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。
【００５７】
上記第１の実施の形態においては、表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１とを比例関係により対応付けて補正する場合について説明したが、本実施の形態では、これらの関係を対応付けた対応テーブルを用いて補正する場合について説明する。なお、説明の簡潔化を図るため、以下、第１の実施の形態と同様の部位については、同じ符号を付して説明する。
【００５８】
図１１は、本実施の形態に係る補正処理を説明するためのものであり、（Ａ）は上記した対応テーブル７Ａの内容を、（Ｂ）はこの対応テーブルに基づく、表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１との対応関係を、それぞれ表している。なお、図１１（Ｂ）の特性図では、横軸が表示画像データＤin（Ｗ）の輝度Ｙｗを示し、縦軸が撮像データＤin（Ｒ）の輝度Ｙｒ１を示している。
【００５９】
図１１（Ａ），（Ｂ）に示したように、この対応テーブル７Ａによる表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１との対応関係は、第１の実施の形態のような比例関係ではなく、曲線によって対応付けられている。つまり、本実施の形態におけるこれらの対応関係では、表示画像データＤin（Ｗ）の輝度Ｙｗの大きさに応じて、撮像データＤin（Ｒ）の輝度Ｙｒ１の増加分が変化するようになっている。
【００６０】
また、図１２は、対応テーブル７Ａを作成方法について表したものである。具体的には、この補正テーブル７Ａは、例えば図１２（Ａ）に示したような表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを、いわゆるグラデーションにより１つの表示画像全体で入出力パネル１に表示した状況のもとで、例えば図１２（Ｂ），（Ｃ）に示したように、この入出力パネル１上の全面に鏡面反射物体８を配置し、この鏡面反射物体８を入出力パネル１からの表示光ＬＷ３およびその反射光ＬＲ３を利用して撮像することにより、作成されるようになっている。
【００６１】
このようにして、表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを１つの表示画像全体で表すようにしているので、この１つの表示画像における表示画像データＤin（Ｗ）の輝度Ｙｗと、これによる撮像データＤin（Ｒ）の輝度Ｙｒ１との関係を得ることにより、対応テーブル７Ａが作成される。また、撮像対象物体として鏡面反射物体８を用いているので、入出力パネル１上のどの領域においても、反射の態様が一様となる。
【００６２】
以上のように、本実施の形態では、表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１との関係を対応付けた対応テーブル７Ａを用いて補正するようにしたので、第１の実施の形態のようにこれらの関係を単純に比例関係として補正した場合と比べ、表示画像データＤin（Ｗ）の輝度Ｙｗの大きさに応じた補正をすることができ、より適切な補正を行うことが可能となる。
【００６３】
また、表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを１つの表示画像全体で表すようにしたので、この１つの表示画像のみを用いて、対応テーブル７Ａを作成することができる。
【００６４】
次に、本実施の形態の変形例について、いくつか説明する。なお、説明の簡潔化を図るため、以下、第１または第２の実施の形態と同様の部位については、同じ符号を付して説明する。
【００６５】
［変形例１］
上記第２の実施の形態においては、表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを１つの表示画像全体で表すようにして対応テーブル７Ａを作成する場合について説明したが、本変形例では、この表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを、複数の表示画像を用いて入出力パネル１の各画素１１ごとで表すようにして、対応テーブル７Ａを作成する場合について説明する。
【００６６】
本変形例に係る補正処理では、例えば図１３に示したように、表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを、複数の表示画像を用いて、各輝度レベルごとに入出力パネル１の全面に一様に表示するようにして、対応テーブル７Ａを作成するようになっている。具体的には、例えば最低輝度レベルの黒表示画像１Ｂから始まり、中間輝度レベルのグレイ（灰色）表示画像１Ｇを複数経て、最後に最高輝度レベルの白表示画像１Ｗを、入出力パネル１の全面に一様に表示するようになっている。
【００６７】
また、このようにして対応テーブル７Ａを作成する場合には、各画素１１ごとに、全ての輝度レベルの対応関係が得られることから、例えば図１４に示したように、入出力パネル１上の複数の画素１１ａ〜１１ｃにおいてそれぞれ輝度レベルの対応関係が異なる場合においても、対応することができる。
【００６８】
つまり、例えば図１５（Ａ）〜（Ｃ）にそれぞれ示したように、これらの画素１１ａ〜１１ｃにおける表示画像データＤin（Ｗ）の輝度Ｙｗと撮像データＤin（Ｒ）の輝度Ｙｒ１との対応関係がそれぞれ異なるような場合であっても、各画素の個々の対応関係を、補正処理に反映させることができるようになる。
【００６９】
以上のように、本変形例では、表示画像データＤin（Ｗ）が取り得る全ての輝度レベルを複数の表示画像を用いて入出力パネル１の各画素１１ごとに表すようにして、対応テーブル７Ａを作成するようにしたので、入出力パネル１上の複数の画素における対応関係がそれぞれ異なるような場合であっても、各画素の個々の対応関係を補正処理に反映させることができ、上記第２の実施の形態の場合と比べ、より適切に補正することが可能となる。
【００７０】
［変形例２］
上記第２の実施の形態においては、表示画像データＤin（Ｗ）の輝度Ｙｗ、すなわち各色成分を総合した明るさに基づいて、撮像データＤin（Ｒ）の輝度Ｙｒ１を補正する場合について説明したが、本変形例では、表示画像の各色ごとの輝度、すなわち（Ｒ（赤），Ｇ（緑），Ｂ（青））からなる各色ごとの輝度データに基づいて、撮像データＤin（Ｒ）の各色ごとの輝度を補正する場合について説明する。
【００７１】
本変形例に係る補正処理では、例えば図１６に示したように、表示画像（表示画像データＤin（Ｗ））の各色ごとの輝度（Ｒｗ，Ｇｗ，Ｂｗ）と、撮像画像（撮像データＤin（Ｒ））の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）との関係を対応付けた対応テーブル７Ｂを用いて、撮像データＤin（Ｒ）の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）を補正するようになっている。
【００７２】
具体的には、前述の式（１）と同様にして、以下の式（２）〜（４）をそれぞれ用いて、撮像データＤin（Ｒ）の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）を、各色ごとの輝度（Ｒｒ２，Ｇｒ２，Ｂｒ２）に補正するようになっている。
Ｒｒ２＝Ｒｒ１×（Ｒｗ＿ｗ／Ｒｗ）  …（２）
Ｇｒ２＝Ｇｒ１×（Ｇｗ＿ｗ／Ｇｗ）  …（３）
Ｂｒ２＝Ｂｒ１×（Ｂｗ＿ｗ／Ｂｗ）  …（４）
但し、Ｒｒ１，Ｇｒ１，Ｂｒ１   ：補正前の撮像データＤin（Ｒ）の各色ごとの輝度
Ｒｗ＿ｗ，Ｇｗ＿ｗ，Ｂｗ＿ｗ：表示画像データＤin（Ｗ）の白基準の各色ごとの輝度
Ｒｗ，Ｇｗ，Ｂｗ         ：表示画像データＤin（Ｗ）の各色ごとの輝度
Ｒｒ２，Ｇｒ２，Ｂｒ２   ：補正後の撮像データＤout１，Ｄout２の各色ごとの輝度
【００７３】
したがって、例えば図１７（Ａ），（Ｂ）に示したように、表示画像（表示画像データＤin（Ｗ））の輝度（Ｒｗ，Ｇｗ，Ｂｗ）が、撮像画像（撮像データＤin（Ｒ））の輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）との間で、各色ごとに対応関係が異なるような場合（この場合、（Ｒｗ，Ｇｗ，Ｂｗ）＝（６４，１２８，１９２）がそれぞれ、（Ｒｒ１，Ｇｒ１，Ｂｒ１）＝（３２，６４，９４）に対応している）であっても、各色ごとに対応することができる。
【００７４】
以上のように、本変形例では、表示画像データＤin（Ｗ）の各色ごとの輝度（Ｒｗ，Ｇｗ，Ｂｗ）と撮像データＤin（Ｒ）の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）との関係を対応付けた対応テーブル７Ｂを用いて、撮像データＤin（Ｒ）の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）を補正するようにしたので、各色ごとに輝度の対応関係が異なるような場合であっても、これらの対応関係の違いを反映させて補正することができ、上記第２の実施の形態の場合と比べ、より適切に補正することが可能となる。
【００７５】
なお、本変形例においても、上記変形例１の場合のように、各画素１１ごとの対応テーブルを作成するようにしてもよい。このように構成した場合、さらに適切に補正することが可能となる。
【００７６】
また、本変形例では、対応テーブルを用いて補正を行う第２の実施の形態の変形例として説明したが、対応テーブルを用いずに補正を行う第１の実施の形態において、撮像データＤin（Ｒ）の各色ごとの輝度（Ｒｒ１，Ｇｒ１，Ｂｒ１）を補正するようにしてもよい。そのように構成した場合、第１の実施の形態と比べ、より適切に補正することが可能となる。
【００７７】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。本実施の形態では、入出力パネル１の表示画像からの光の拡散を考慮して補正を行う場合について説明する。なお、説明の簡潔化を図るため、以下、第１または第２の実施の形態と同様の部位については、同じ符号を付して説明する。
【００７８】
図１８は、本実施の形態に係る補正機能部５２の機能ブロック構成を表すものであり、第１の実施の形態における図７に対応するものである。本実施の形態に係る補正機能部５２は、図７における画像表示記憶部５２Ａの代わりに、拡散画像生成部５２Ｄを備えている。
【００７９】
この拡散画像生成部５２Ｄは、表示用フレームメモリ５３からバス５０を介して入力される、現在入出力パネル１において表示されている表示画像の表示画像データＤin（Ｗ）に基づいて、入出力パネル１の表示画像からの光の拡散を考慮した拡散画像データを作成するものである。なお、作成された拡散画像データは、メモリ５２Ｂへ出力される。
【００８０】
ここで、図１９〜図２１を参照して、この拡散画像データの詳細について説明する。まず、この拡散画像データは、例えば図１９（Ａ）に示したように、入出力パネル１の表示画像からの光（表示光ＬＷ４）の拡散を考慮して作成されるものである。本来であれば、例えば図１９（Ｂ）に示したように、鏡面反射物体８などでの反射光ＬＲ４の拡散をも考慮して作成されるべきであるが、この反射光ＬＲ４の拡散の度合いは反射物によって異なってくることから、表示光ＬＷ４の拡散を考慮して作成されている。
【００８１】
また、この拡散画像データは、ある画素１１からの表示光の周囲への拡散が、例えば図２０（Ａ）に示したようなガウス分布により広がっているものとして作成されるようになっている。具体的には、ある画素１１における表示画像データＤin（Ｗ）の輝度が、例えば図２０（Ｂ）に示したように２００であった場合に、その画素の周囲に対して、例えば図２０（Ｃ）に示したような輝度分布によって表示光が拡散するものとして、入出力パネル１上の全ての画素について、そのようなガウス分布による表示光の輝度拡散を演算するようになっている。
【００８２】
図２１は、本実施の形態に係る補正処理の一例を説明するための画像写真であり、（Ａ）は元の表示画像データＤin（Ｗ）による表示画像を、（Ｂ）は（Ａ）の表示画像に基づいて拡散画像生成部５２Ｄにより作成された拡散画像データによる表示画像を、それぞれ表している。このようにして、元の表示画像である図２１（Ａ）と比べ、拡散画像データによる表示画像である図２１（Ｂ）は、各画素１１からの表示光が拡散しているため、画像がぼやけたようになっていることが分かる。
【００８３】
以上のように、本実施の形態では、拡散画像生成部５２Ｄが、入出力パネル１の表示画像からの光（表示光ＬＷ４）の拡散を考慮して拡散画像データを作成し、元の表示画像データＤin（Ｗ）の代わりにこの拡散画像データを利用して、撮像データＤin（Ｒ）を補正するようにしたので、実際の各画素からの表示光の拡散を考慮して補正することができ、上記第１および第２の実施の形態と比べ、より適切に補正することが可能となる。
【００８４】
以上、第１〜第３の実施の形態およびその変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。
【００８５】
例えば、上記実施の形態等では、撮像データＤin（Ｒ）の輝度を、表示画像データＤin（Ｗ）の最高輝度基準により補正しているが、基準とする輝度レベルは最高輝度には限られず、高輝度領域の輝度レベル（例えばこの場合、２５０階調レベルなど）を基準とすればよい。
【００８６】
また、上記実施の形態等では、表示機能と撮像機能とを併有する表示撮像素子ＥＬによって入出力パネル１を構成した場合で説明したが、表示機能を有する表示素子（例えば、液晶素子やＬＥＤ（Light Emitting Diode）など）と、撮像機能を有する素子（例えば、フォトダイオードやＣＣＤ（Charge Coupled Device）など）とを別々に設けて入出力パネルを構成するようにしてもよい。
【００８７】
また、上記実施の形態では、一連の補正処理をソフトウェアにより実行させる場合について説明したが、これらの処理をハードウェアによって実行させることも可能である。
【図面の簡単な説明】
【００８８】
【図１】本発明の第１の実施の形態に係る画像入出力装置の全体構成を表すブロック図である。
【図２】図１に示した入出力パネルの構成を表す平面図である。
【図３】入出力パネルにおける表示撮像セルの配置構成の一例を模式的に表す断面図である。
【図４】図１に示した表示撮像セルの構成を表す回路図である。
【図５】図１に示した画像入出力装置において撮像対象物体を撮像する処理の一例を表す模式断面図である。
【図６】入出力パネルにおける線順次表示動作および線順次撮像動作の一例を表す模式図である。
【図７】図１に示した補正機能部の構成を表す機能ブロック図である。
【図８】第１の実施の形態に係る画像補正部による補正処理を表す流れ図である。
【図９】第１の実施の形態に係る補正処理を説明するための模式図である。
【図１０】図９に示した撮像画像に対して補正処理を行ったときの画像を表す模式図である。
【図１１】第２の実施の形態に係る補正処理のための対応テーブルおよび対応グラフを表す模式図および特性図である。
【図１２】第２の実施の形態に係る補正処理を説明するための模式図である。
【図１３】第２の実施の形態の変形例１に係る補正処理を説明するための模式図である。
【図１４】第２の実施の形態の変形例１に係る補正処理を説明するための模式図である。
【図１５】第２の実施の形態の変形例１に係る対応グラフを表す特性図である。
【図１６】第２の実施の形態の変形例２に係る対応テーブルを表す模式図である。
【図１７】第２の実施の形態の変形例１に係る対応グラフを表す特性図である。
【図１８】第３の実施の形態に係る補正機能部の構成を表す機能ブロック図である。
【図１９】第３の実施の形態に係る補正処理を説明するための模式図である。
【図２０】第３の実施の形態に係る補正処理を説明するための特性図および模式図である。
【図２１】第３の実施の形態に係る補正処理の一例を説明するための画像写真である。
【符号の説明】
【００８９】
１…入出力パネル、１１，１１ａ〜１１Ｃ…画素、１２Ａ，１２Ｂ…透明基板、１３…隔壁、１５Ａ，１５Ｂ…撮像対象物体、２２…表示信号保持制御部、２３…表示信号ドライバ、２４…表示側スキャナ、３１…撮像信号選択スキャナ、３２…撮像信号レシーバ、４１…表示タイミング制御信号、４２…撮像タイミング制御信号、４３…撮像ブロック制御信号、５…画像補正部、５１…Ｉ／Ｆ、５２…補正機能部、５２Ａ…表示画像記憶部、５２Ｂ…メモリ、５２Ｃ…補正実行部、５２Ｄ…拡散画像生成部、５２１…メモリ、５２２…ＣＰＵ、５２３…プログラムメモリ、５３…表示用フレームメモリ、５４…ＵＳＢ−Ｉ／Ｆ、５５…通信Ｉ／Ｆ、６１，６１Ａ，６１Ｂ…表示領域、６３…撮像領域、７Ａ，７Ｂ…対応テーブル、８…鏡面反射物体、ＣＷＲ…表示撮像セル、ＤＷ…データ供給線、ＤＲ…データ読出線、Ｇ…表示用ゲート線、Ｓ…切換線、ＬＷ，ＬＷ１〜Ｗ４…表示光、ＬＲ１〜ＬＲ４…反射光、ＥＬ…表示撮像素子、Ｃ…キャパシタ、Ｒ…抵抗、ＳＷ１，ＳＷ２，ＳＷ３…スイッチ、Ｉ１…表示信号電流路、Ｉ２…撮像信号電流路、Ｙ…スキャン方向、Ｐ２，Ｐ３，Ｐ８，Ｐ９…スキャン中の水平ラインの位置。
【図１】
2007102728.tif 000003
【図２】
2007102728.tif 000004
【図３】
2007102728.tif 000005
【図４】
2007102728.tif 000006
【図５】
2007102728.tif 000007
【図６】
2007102728.tif 000008
【図７】
2007102728.tif 000009
【図８】
2007102728.tif 000010
【図９】
2007102728.tif 000011
【図１０】
2007102728.tif 000012
【図１１】
2007102728.tif 000013
【図１２】
2007102728.tif 000014
【図１３】
2007102728.tif 000015
【図１４】
2007102728.tif 000016
【図１５】
2007102728.tif 000017
【図１６】
2007102728.tif 000018
【図１７】
2007102728.tif 000019
【図１８】
2007102728.tif 000020
【図１９】
2007102728.tif 000021
【図２０】
2007102728.tif 000022
【図２１】
2007102728.tif 000023