(57)【要約】      （修正有）【課題】表示機能と撮像機能を併せ持ち、且つ小型情報端末に搭載可能でその薄型化を可能とする撮像装置及び方法を提供する。【解決手段】画像の表示機能を有する撮像装置１０１は、発光素子と光検出素子で構成される。発光素子により画像を表示し、光検出素子で検出した光を画像データに変換して出力する画像センサ１０３と、第１のパターンを有し、光の強度を変調する変調器と、変調器を透過した光を画像センサで受光して得られる画像データと、第２のパターンのデータとの演算に基づいて像を復元する画像処理部と、画像センサに表示する情報を出力する画像出力部と、を有する。【選択図】図１
2019029681.tif 000002
【特許請求の範囲】
【請求項１】
画像の表示機能を有する撮像装置において、
発光素子と光検出素子で構成され、前記発光素子により画像を表示し、前記光検出素子で検出した光を画像データに変換して出力する画像センサと、
第１のパターンを有し、光の強度を変調する変調器と、
前記変調器を透過した光を前記画像センサで受光して得られる前記画像データと、第２のパターンのデータとの演算に基づいて像を復元する画像処理部と、
前記画像センサに表示する情報を出力する画像出力部と、
を有することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記変調器における前記第１のパターンの表示と非表示の切り替えを制御するパターン制御部を備え、
前記パターン制御部は、前記画像センサが画像を表示する期間には前記第１のパターンが非表示にされ、前記画像センサが受光する期間には前記第１のパターンが表示されるように制御する
ことを特徴とする撮像装置。
【請求項３】
画像の表示機能を有する撮像装置において、
発光素子と光検出素子で構成され、前記発光素子により画像を表示し、前記光検出素子で検出した光を画像データに変換して出力する画像センサと、
第１のパターンを有し、光の偏光方向を前記第１のパターンで変調する変調器と、
前記変調器を透過した光を前記画像センサで受光して得られる前記画像データと、第２のパターンのデータとの演算に基づいて像を復元する画像処理部と、
前記画像センサに表示する情報を出力する画像出力部と、
を有することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置であって、
光の偏光面の回転角を切り替える液晶素子と、
前記回転角を制御することで、前記第１のパターンの表示及び非表示の切り替えを制御するパターン制御部と、を備え、
前記パターン制御部は、前記画像センサが画像を表示する期間には前記第１のパターンが非表示にされ、前記画像センサが受光する期間には前記第１のパターンが表示されるように制御する
ことを特徴とする撮像装置。
【請求項５】
請求項１または３に記載の撮像装置であって、
前記第１のパターンは、基準座標からの距離に対してピッチが反比例して細かくなる同心円状パターンで形成されている
ことを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置であって、
前記第１のパターンは、複数の領域に分割され、各領域に前記同心円状パターンを有し、
前記複数の領域のうち第１の領域に形成されている前記同心円状パターンの位相と、前記第１の領域とは別の第２の領域に形成されている前記同心円状パターンの位相とが異なる
ことを特徴とする撮像装置。
【請求項７】
請求項１または３に記載の撮像装置であって、
前記第１のパターンは、ランダムなパターンで形成されている
ことを特徴とする撮像装置。
【請求項８】
請求項１または３に記載の撮像装置であって、
前記画像処理部は、前記画像データと前記第２のパターンのデータとの相互相関演算により前記像を復元する
ことを特徴とする撮像装置。
【請求項９】
請求項５に記載の撮像装置であって、
前記変調器は、前記同心円状パターンの初期位相を切り替えて表示する
ことを特徴とする撮像装置。
【請求項１０】
画像の表示機能に関する撮像方法において、
光の強度を第１のパターンにより変調し、
変調された光を画像センサで受光して得られる画像データと、第２のパターンのデータとの演算に基づいて像を復元し、
前記画像センサに表示する情報を出力する
ことを特徴とする撮像方法。
【請求項１１】
請求項１０に記載の撮像方法であって、
前記画像センサが画像を表示する時間と、前記画像センサが受光する時間とが排他的である
ことを特徴とする撮像方法。
【請求項１２】
画像の表示機能に関する撮像方法において、
光の偏光方向を第１のパターンで変調し、
変調された光を画像センサで受光して得られる画像データと、第２のパターンのデータとの演算に基づいて像を復元し、
前記画像センサに表示する情報を出力する
ことを特徴とする撮像方法。
【請求項１３】
請求項１２に記載の撮像方法であって、
光の偏光面の回転角を切り替えることにより、前記第１のパターンの表示と非表示の切り替えが行われ、
前記画像センサが画像を表示する時間と、前記画像センサが撮像する時間とが排他的である
ことを特徴とする撮像方法。
【請求項１４】
請求項１０または１２に記載の撮像方法であって、
前記第１のパターンは、分割された各領域に、基準座標からの距離に対してピッチが反比例して細かくなる同心円で形成されている
ことを特徴とする撮像方法。
【請求項１５】
請求項１４に記載の撮像方法であって、
前記第１のパターンは、複数の前記同心円を有し、
前記分割された各領域のうち第１の領域に形成されている前記複数の同心円パターンの位相と、前記第１の領域とは異なる第２の領域に形成されている前記複数の同心円パターンの位相と、が異なる
ことを特徴とする撮像方法。
【請求項１６】
請求項１０または１２に記載の撮像方法であって、
前記第１のパターンは、ランダムなパターンである
ことを特徴とする撮像方法。
【請求項１７】
請求項１０または１２に記載の撮像方法であって、
前記画像データと、第２のパターンを示すパターンデータとの相互相関演算に基づいて像を復元する
ことを特徴とする撮像方法。
【請求項１８】
請求項１４に記載の撮像方法であって、
前記同心円の初期位相を切り替えて表示する
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関し、特に表示機能と一体化された撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
小型情報端末などの端末の表示部と操作部として、液晶ディスプレイとタッチパネルを組み合わせた装置が広く利用されている。タッチパネルの他にも、例えば特許文献１のようにガラス基板上に液晶を駆動する回路とともに光センサを形成する技術が考案されている。この技術により、画像を表示するだけでなく、一般的なスキャナのように画像の入力を行なうことができる。また、入力された画像を処理することでタッチパネルのように利用することができる。また、この表示装置は、感圧式もしくは静電容量式のタッチパネル部材を用いることなく、通常の液晶表示装置と同様のプロセスで製造できるため、コストを抑えることができるとされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３１８８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１では、形成された光センサによって操作する指を検出したり、スキャナのように極近傍の被写体を撮影したりすることは可能である。しかしながら、カメラのように遠方の被写体を撮影することはできない。
【０００５】
本発明の目的は、表示機能と撮像機能を併せ持ち、且つ小型情報端末に搭載可能でその薄型化を可能とする技術を提供することにある。
【課題を解決するための手段】
【０００６】
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。
【０００７】
本発明の一態様は、画像の表示機能を有する撮像装置において、発光素子と光検出素子で構成され、前記発光素子により画像を表示し、前記光検出素子で検出した光を画像データに変換して出力する画像センサと、第１のパターンを有し、光の強度を変調する変調器と、前記変調器を透過した光を前記画像センサで受光して得られる前記画像データと、第２のパターンのデータとの演算に基づいて像を復元する画像処理部と、前記画像センサに表示する情報を出力する画像出力部と、を有する。
【発明の効果】
【０００８】
本発明によれば、表示機能と一体化された、より薄型の撮像装置を実現することができる。
【０００９】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る表示機能一体型撮像装置の構成例を示す図である。
【図２】表示機能一体型撮像部の構成例を示す図である。
【図３】表示機能一体型撮像部の他の構成例を示す図である。
【図４】画像センサの構成例を示す図である。
【図５】画像センサの他の構成例を示す図である。
【図６】画像センサのさらに他の構成例を示す図である。
【図７】画像センサのさらに他の構成例を示す図である。
【図８】撮影用パターンの一例を示す図である。
【図９】撮影用パターンの他の例を示す図である。
【図１０】斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。
【図１１】（ａ）は撮影用パターンの投影像の一例を示す図であり、（ｂ）は現像用パターンの一例を示す図であり、（ｃ）は相互相関演算による現像画像の一例を示す図である。
【図１２】フリンジスキャンにおける初期位相の組合せの例を示す図である。
【図１３】撮影用パターンの一例を示す図である。
【図１４】撮影用パターンの他の例を示す図である。
【図１５】撮影用パターンのさらに他の例を示す図である。
【図１６】撮影用パターンのさらに他の例を示す図である。
【図１７】画像処理部の画像処理の一例を示すフローチャートである。
【図１８】物体が無限距離にある場合の撮影用パターンの投影を説明する図である。
【図１９】物体が有限距離にある場合の撮影用パターンの拡大を説明する図である。
【図２０】表示機能一体型撮像装置の他の構成例を示す図である。
【図２１】第２実施形態に係る表示機能一体型撮像装置の構成例を示す図である。
【図２２】表示機能一体型撮像部の構成例を示す図である。
【図２３】表示機能一体型撮像部の他の構成例を示す図である。
【図２４】画像センサの構成例を示す図である。
【図２５】表示機能一体型撮像装置の表示制御の一例を示すタイミングチャートである。
【図２６】表示機能一体型撮像装置の動作の一例を示すフローチャートである。
【図２７】表示機能一体型撮像装置の動作の他の例を示すフローチャートである。
【図２８】第３実施形態に係る表示機能一体型撮像部の構成例を示す図である。
【図２９】撮影用パターンの一例の一部を示す図である。
【図３０】画像センサで受光される影の例を示す図である。
【図３１】第４実施形態に係る表示機能一体型撮像部の構成例を示す図である。
【図３２】表示機能一体型撮像部の他の構成例を示す図である。
【図３３】従来の小型情報端末の構成例を示す図である。
【図３４】第５実施形態に係る表示機能一体型撮像部を用いた小型情報端末の構成例を示す図である。
【図３５】表示機能一体型撮像部を用いた小型情報端末の利用例を示す図である。
【図３６】表示機能一体型撮像部を用いた小型情報端末の他の利用例を示す図である。
【図３７】撮影用パターン及び現像用パターンのさらに他の例を示す図である。
【図３８】撮影用パターン及び現像用パターンのさらに他の例を示す図である。
【発明を実施するための形態】
【００１１】
以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
【００１２】
また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
【００１３】
さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
【００１４】
同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
【００１５】
また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。
【００１６】
［第１実施形態］
〈無限遠物体の撮影原理〉
図１は、第１実施形態に係る表示機能一体型撮像装置１０１の構成例を示す図である。表示機能一体型撮像装置１０１は、表示機能一体型撮像部１０２、画像処理部１０６、コントローラ１０７、及び画像出力部１０８を備える。
【００１７】
図２は、表示機能一体型撮像部１０２の構成例を示す図である。表示機能一体型撮像部１０２は、画像センサ１０３、パターン基板１０４、及び撮影用パターン１０５を備える。パターン基板１０４及び撮影用パターン１０５を併せて変調器と呼ぶことができる。
【００１８】
詳細は後述するが、画像センサ１０３は、光を受光して得られた光学像を画像データに変換して画像処理部１０６に出力するとともに、画像出力部１０８から出力された画像情報を表示することができる。
【００１９】
パターン基板１０４は、画像センサ１０３の受光面に密着して固定され、パターン基板１０４の表面には撮影用パターン１０５が形成されている。パターン基板１０４は、例えばガラスやプラスティックなどの可視光に対して透明な材料からなる。
【００２０】
撮影用パターン１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。撮影用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。
【００２１】
なお、撮影用パターン１０５の形成は、蒸着に限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率変調を実現できる手段であればどのように形成してもよい。
【００２２】
また、撮影用パターン１０５は、画像センサ１０３がディスプレイとして使用される際には、下から光が照射されることになり、これが撮影用パターン１０５と画像センサ１０３の間で多重反射することで、画質が劣化する。そこで、撮影用パターン１０５の下面に無反射コートや吸光剤を塗布する加工を施すことが望ましい。
【００２３】
さらに、ここでは可視光を例に説明したが、例えば遠赤外線での撮影の場合、パターン基板１０４は、例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料からなる。すなわち、パターン基板１０４には、撮影対象となる波長に対して透明な材料を用いることができ、撮影用パターン１０５には、撮影対象となる波長を遮断する材料を用いることができる。
【００２４】
また、ここでは撮影用パターン１０５をパターン基板１０４に形成する方法について述べたが、これに限定されない。図３は、表示機能一体型撮像部１０２の他の構成例を示す図である。撮影用パターン１０５を薄膜に形成し、これをパターン基板１０４の替わりに設けた支持部材３０１により保持する構成によっても、表示機能一体型撮像部１０２を実現することができる。支持部材３０１及び撮影用パターン１０５を併せて変調器と呼ぶことができる。なお、図１に示す表示機能一体型撮像装置１０１において、撮影画角はパターン基板１０４の厚さによって変更可能である。従って、図３に示す支持部材３０１がその長さを変更可能な機能を有していれば、撮影画角を変更することができる。
【００２５】
図４、図５、図６、及び図７は、画像センサ１０３の複数の構成例を示す図である。
【００２６】
図４に示すように、画像センサ１０３は、複数の画素ユニット１０３ａからなり、各画素ユニット１０３ａは、赤色発光素子４０１（Ｒ）、緑色発光素子４０２（Ｇ）、青色発光素子４０３（Ｂ）、及び光検出素子４０４（Ｄ）を含む。画素ユニット１０３ａは、カラー表示において、赤色発光素子４０１、緑色発光素子４０２、及び青色発光素子４０３により、カラーを表現する。光検出素子４０４は、受光した光強度（検出した光）を電気信号に変換して出力する。
【００２７】
ただし、図４の構成例では、光をカラーで受光することはできない。そこで、図５に示すように、画素ユニット１０３ａは、受光用に、赤色検出素子５０１（ＤＲ）、緑色検出素子５０２（ＤＧ）、及び青色検出素子５０３（ＤＢ）を備えてもよい。これにより、カラー画像を取得することができる。さらに、表示解像度よりも光検出解像度を低くする場合には、図６に示すように、画素ユニット１０３ａには検出素子数よりも多い数の発光素子数が配置されればよい。反対に、表示解像度よりも光検出解像度を高くする場合には、図７に示すように、画素ユニット１０３ａには発光素子数よりも多い数の検出素子数が配置されればよい。
【００２８】
なお、発光素子は、液晶ディスプレイのようにバックライトと液晶とカラーフィルタからなる構成で実現してもよいし、有機ＥＬ（electroluminescence）ディスプレイのように素子自体が発光する構成で実現してもよい。また、光検出素子が存在する領域は、画像センサ１０３の受光面の一部であってもよい。
【００２９】
以上の構成において、撮影する場合には、撮影用パターン１０５を透過する光は、そのパターンによって光強度が変調され、画像センサ１０３にて受光される。画像センサ１０３は、各画素ユニット１０３ａが受光した光学像を電気信号である画像信号に変換する。なお、画像信号（アナログの画像データ）は、例えばアナログ・デジタル変換回路を介してデジタル信号に変換され、デジタルの画像データとして出力される。本明細書では、画像センサ１０３が画像データを出力するものとして説明する。
【００３０】
画像処理部１０６は、画像センサ１０３から出力された画像データに対して所定の画像処理を行い、コントローラ１０７に出力する。コントローラ１０７は、画像処理部１０６から出力される画像データ等のデータを、表示機能一体型撮像装置１０１の備える記憶装置（図示せず）に格納したり、外部のホストコンピュータや記録媒体に出力したりする。
【００３１】
一方、表示する場合には、コントローラ１０７は、画像処理部１０６から出力された画像データを、画像出力部１０８に出力する。画像出力部１０８は、画像データに応じた画像信号を生成して画像センサ１０３に出力し、画像を表示させる。もちろん、コントローラ１０７は、画像処理部１０６から出力される画像データとは別に、例えばメニュー画面等の画像情報を生成し、画像出力部１０８を介して画像センサ１０３に表示させてもよい。
【００３２】
なお、コントローラ１０７は、例えば、プロセッサ、メモリ、通信装置、処理回路等を備えるユニットによって実現することができる。また、コントローラ１０７は、例えばＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）等の、外部装置と接続する入出力インターフェイスに接続される又はこれを備えてもよい。画像処理部１０６、及び画像出力部１０８は、例えば、処理回路によって実現される。画像処理部１０６、コントローラ１０７、及び画像出力部１０８は、一体的に構成されていてもよい。
【００３３】
続いて、表示機能一体型撮像装置１０１における撮影原理について説明する。
【００３４】
まず、撮影用パターン１０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンであり、同心円の中心である基準座標からの半径ｒ、係数βを用いて、
【００３５】
【数１】
2019029681.tif 000003
と定義される。撮影用パターン１０５は、この式に比例して透過率が変調されているものとする。
【００３６】
このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図８は、撮影用パターンの一例を示す図である。図８には、式（１）のガボールゾーンプレートが示されている。図９は、撮影用パターンの他の例を示す図である。図９には、式（１）を閾値１で２値化したフレネルゾーンプレートが示されている。
【００３７】
ここより以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。
【００３８】
図１０は、斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。撮影用パターン１０５が形成された厚さｄのパターン基板１０４に、ｘ軸方向に角度θ０で平行光が入射したとする。パターン基板１０４中の屈折角をθとして、幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ１０３に入射する。このとき、
【００３９】
【数２】
2019029681.tif 000004
のような強度分布を持つ投影像が画像センサ１０３上で検出される。Φは式（１）の透過率分布の初期位相を示す。この撮影用パターン１０５の投影像（図１１（ａ））は、式（２）のようにｋシフトして投影される。本方式は、この投影像と現像用パターン１１０１（図１１（ｂ））との相互相関関数を演算することにより、シフト量ｋの輝点（図１１（ｃ））を得るものである。本実施形態では、図示したように、ガボールゾーンプレートやフレネルゾーンプレートを、撮影用パターン１０５（第１のパターンとも呼ぶ）ならびに現像用パターン１１０１（第２のパターンとも呼ぶ）として用いる。よって、現像用パターン１１０１は、初期位相Φを用いて、
【００４０】
【数３】
2019029681.tif 000005
と表せる。現像用パターン１１０１は、画像処理部１０６の演算処理内で仮想的なデータとして生成されて使用されるため、式（１）のように１でオフセットさせる必要はなく、負の値を有していても問題ない。
【００４１】
式（１）及び式（３）のフーリエ変換は、それぞれ、
【００４２】
【数４】
2019029681.tif 000006
【００４３】
【数５】
2019029681.tif 000007
のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、括弧を伴うδはデルタ関数である。この式で重要なことはフーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、この数式に基づいて現像用パターン１１０１を生成してもよい。
【００４４】
次に、式（４）および式（５）を乗算すると、
【００４５】
【数６】
2019029681.tif 000008
となる。この指数関数で表された項ｅｘｐ（−ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、
【００４６】
【数７】
2019029681.tif 000009
のように変換され、元のｘ軸においてｋの位置に輝点を得ることができる。この輝点が無限遠の光束を示しており、図１の表示機能一体型撮像装置１０１による撮影像にほかならない。
【００４７】
なお、式（６）の右辺第２項のｓｉｎの中の式から、Φ＝π／４となる時、ｓｉｎの初期位相が０となる。さらに、式（６）の右辺第１項が０となり、現像に不要な項を低減できる。この条件で現像処理すれば、現像時のノイズが少ない現像画像を得ることが可能である。
【００４８】
〈ノイズキャンセル〉
式（６）から式（７）への変換において信号成分に着目して話を進めたが、実際には信号項ｅｘｐ（−ｉｋｕ）以外のノイズ項が現像を阻害する。そこで、フリンジスキャンに基づくノイズキャンセルを行う。三角関数の直交性を利用し、
【００４９】
【数８】
2019029681.tif 000010
のように式（６）の乗算結果をΦに関して積分すると、ノイズ項がキャンセルされ信号項の定数倍が残ることになる。これを逆フーリエ変換すれば、
【００５０】
【数９】
2019029681.tif 000011
のように変換され、元のｘ軸においてｋの位置にノイズのない輝点を得ることができる。ここで式（８）は積分の形で示しているが、実際には図１２（フリンジスキャンにおける初期位相の組合せの例を示す図）に示すようなΦの組合せの総和を計算することによっても同様の効果が得られる。この組合せのように、Φは０〜２πの間の角度を等分するように設定すればよい。
【００５１】
さらに、式（８）は式（６）の乗算結果をΦに関して積分したが、
【００５２】
【数１０】
2019029681.tif 000012
のように、Φが異なる撮影用パターン１０５で撮影した画像センサ１０３出力の総和を計算しておき、その後、現像用パターン１１０１との相互相関演算を行うことによっても実現できる。これにより、式（４）のフーリエ変換回数を削減することが可能である。
【００５３】
以上で説明したフリンジスキャンでは、撮影用パターン１０５として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには、時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。
【００５４】
時分割フリンジスキャンを実現するには、例えば図１２（フリンジスキャンにおける初期位相の組合せの例を示す図）に示す複数の初期位相のパターンを電気的に切り替えて表示することが可能な液晶表示素子などで構成される撮影用パターン１０５を使用する。この液晶表示素子の切替タイミングと画像センサ１０３のシャッタタイミングを同期して制御し４枚の画像を取得後、画像処理部１０６は、フリンジスキャン演算を実施する。
【００５５】
対して、空間分割フリンジスキャンを実現するには、例えば図１３（撮影用パターンの一例を示す図）に示すように、図１２に示す複数の初期位相のパターンがそれぞれ分割された領域に配置された撮影用パターン１０５を使用する。１枚の画像を取得後、画像処理部１０６は、それぞれの初期位相の領域に対応して取得画像を４枚に分割し、フリンジスキャン演算を実施する。
【００５６】
この空間分割フリンジスキャンの場合、例えば図１４（撮影用パターンの他の例を示す図）のように４つ以上のパターンを使用して撮影用パターン１０５を構成してもよい。この場合、４つのパターンが含まれるフリンジスキャン単位１４０１を１４０２のように重複してシフトさせながらフリンジスキャン演算を実行してもよい。これにより、より高精細な画像を得ることが可能となる。
【００５７】
なお、フリンジスキャンを実施しない場合、撮影用パターン１０５は、図９のような単眼でも、図１５（撮影用パターンのさらに他の例を示す図）のような複眼で実現してもよい。さらに、本実施形態の現像方式は相互相関演算に基づいているため、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えば図１６（撮影用パターンのさらに他の例を示す図）に示すようなランダムなパターンで実現してもよい。
【００５８】
続いて、説明した撮影原理に基づく画像処理部１０６による画像処理の概略について説明する。図１７は、画像処理部１０６の画像処理の一例を示すフローチャートである。
【００５９】
まず、画像処理部１０６は、時分割もしくは空間分割フリンジスキャンにより、画像センサ１０３から出力される複数枚の画像を取得する又は画像センサ１０３から出力される１枚の画像から複数枚の画像を取得し、式（１０）に基づきフリンジスキャン演算を実施する（ステップＳ１７０１）。次に、画像処理部１０６は、現像処理に使用する現像用パターン１１０１を生成し（ステップＳ１７０２）、フリンジスキャン結果の相互相関演算として２次元畳込み演算を行い（ステップＳ１７０３）、撮影対象の像を現像（復元ともいう）する。そして、画像処理部１０６は、ステップＳ１７０３で得られた画像に対してコントラスト強調処理（ステップＳ１７０４）、カラーバランス調整（ステップＳ１７０５）などを実施し、撮影画像として出力する。以上により、画像処理部１０６による画像処理が終了となる。なお、一般的に相互相関演算を２次元畳込み演算で行うと演算量が大きくなることから、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を用いて演算してもよい。
【００６０】
〈有限距離物体の撮影原理〉
図１８は、物体が無限距離にある場合の撮影用パターン１０５の投影を説明する図である。図１８は、これまで述べた被写体が遠い場合における撮影用パターン１０５の画像センサ１０３への射影の様子を示している。遠方の物体を構成する点１８０１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン１０５を照射し、その投影像１８０２が画像センサ１０３に投影される場合、投影像は撮影用パターン１０５とほぼ同じ形状である。結果、投影像１８０２に対して、現像用パターンとの相互相関演算を行うことにより、単一の輝点を得ることが可能である。
【００６１】
一方、有限距離の物体に対する撮影について説明する。図１９は、物体が有限距離にある場合の撮影用パターン１０５の拡大を説明する図である。物体を構成する点１９０１からの球面波が撮影用パターン１０５を照射し、その投影像１９０２が画像センサ１０３に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、撮影用パターン１０５から点１９０１までの距離ｆを用いて、
【００６２】
【数１１】
2019029681.tif 000013
のように算出できる。
【００６３】
そのため、平行光に対して設計された現像用パターンの透過率分布をそのまま使用し相互相関演算したのでは、単一の輝点を得ることができない。そこで、一様に拡大された撮影用パターン１０５の投影像に合わせて、現像用パターン１１０１を拡大させたならば、拡大された投影像１９０２に対して再び、単一の輝点を得ることができる。このためには、現像用パターン１１０１の係数βをβ／α２とすることで補正が可能である。これにより、必ずしも無限遠でない距離の点１９０１からの光を選択的に再生することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。
【００６４】
さらに、本構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。図２０は、表示機能一体型撮像装置１０１の他の構成例を示す図である。図１と異なり、表示機能一体型撮像装置１０１は、フォーカス設定部２００１を備える。フォーカス設定部２００１は、表示機能一体型撮像装置１０１に備え付けられた摘み等のハードウェアスイッチやＧＵＩ（Graphical User Interface）の操作により入力されるフォーカス距離を、コントローラ１０７を介して取得可能であり、フォーカス距離情報を画像処理部１０６に出力する。フォーカス設定部２００１は、コントローラ１０７内で実現されてもよい。
【００６５】
なお、撮影用パターン１０５及び現像用パターン１１０１として、図９及び図１５のような真円に基づくフレネルゾーンプレートの例を示したが、これに限定されるものではない。図９のパターンの代わりに図３７（撮影用パターン及び現像用パターンのさらに他の例を示す図）、図１５のパターンの代わりに図３８（撮影用パターン及び現像用パターンのさらに他の例を示す図）のような楕円のパターンを使用してもよい。楕円を使用しても例えば式（６）の項ｅｘｐ（−ｉｋｕ）が得られるため、今までの議論は成立する。ここで、現像画像の解像度は、式（１）における係数βと画像センサ１０３のサイズに依存する。よって、楕円を使用すればβを縦横で任意に変えることができ、例えば画像センサ１０３のアスペクト比と、楕円の長軸の長さ（長径）及び短軸の長さ（短径）の比とが同一になるようにすることで、現像画像の解像度を縦横で揃えることが可能になる。さらに、横方向に高い解像度が必要な場合には、長軸が縦方向となるように楕円パターンを配置すればよい。縦方向に高い解像度が必要な場合には、長軸が横方向となるように楕円パターンを配置すればよい。
【００６６】
以上の第１実施形態によれば、表示機能と一体化された、より薄型の撮像装置を実現することができる。
【００６７】
［第２実施形態］
第２実施形態は、表示機能一体型撮像装置１０１の表示機能と撮像機能が時間的に切り替えられる点で、第１実施形態と異なる。
【００６８】
図２１は、第２実施形態に係る表示機能一体型撮像装置１０１の構成例を示す図である。第１実施形態では、画像センサ１０３の上に透過率変調されている撮影用パターン１０５が配置されているため、ディスプレイとして使用する時に撮影用パターン１０５が表示画像を阻害する。そこで、図２１に示すように、第２実施形態に係る表示機能一体型撮像部１０２は、液晶素子が使用された撮影用パターン表示部２１０１を、図１における撮影用パターン１０５の代わりに備える。パターン基板１０４及び撮影用パターン表示部２１０１を併せて変調器と呼ぶことができる。また、表示機能一体型撮像装置１０１は、パターン制御部２１０２を備える。
【００６９】
図２２は、第２実施形態に係る表示機能一体型撮像部１０２の詳細な構成例を示す図である。表示機能一体型撮像部１０２は、撮影用パターン表示部２１０１ならびにパターン基板１０４を、偏光子２２０１、２２０２で挟み込んで構成されている。この偏光子２２０１、２２０２の光学軸は互いに直交するように配置されており、撮影用パターン表示部２１０１で偏光面が回転することにより、強度変調された影が画像センサ１０３上に投影される。
【００７０】
なお、表示機能一体型撮像部１０２の構成上、画像センサ１０３の上面に偏光子を既設することもできる。図２３（表示機能一体型撮像部の他の構成例を示す図）のように、偏光子が既設された画像センサ２３０１を用いる場合は、図２２に示す偏光子２２０２を省略してもよい。また、図２４（画像センサの構成例を示す図）に示すように、画像センサ２３０１の画素ユニット１０３ａの光検出素子２４０４だけに偏光子が設けられている（発光素子２４０１〜２４０３には偏光子が設けられていない）場合も、偏光子２２０２を省略してもよい。
【００７１】
上記の撮影用パターン表示部２１０１は、プロジェクタ等に使用されている空間光変調器（ＳＬＭ：Spatial Light Modulator）のようにピクセル単位で駆動できる素子や、電極をパターン形状に形成したカスタムした素子で実現してもよい。
【００７２】
パターン制御部２１０２は、コントローラ１０７からの指示に従って、この撮影用パターン表示部２１０１の表示制御を実施し、パターンの表示と非表示を排他的に切り替える。
【００７３】
図２５は、表示機能一体型撮像装置１０１の表示制御の一例を示すタイミングチャートである。パターン制御部２１０２は、表示機能一体型撮像装置１０１の表示機能が使用される期間（画像センサ１０３が画像を表示する期間）は、撮影用パターン表示部２１０１がパターンを非表示にするように制御し、表示機能一体型撮像装置１０１の撮像機能が使用される期間（画像センサ１０３が受光する期間）は、撮影用パターン表示部２１０１がパターンを表示するように制御する。すなわち、画像センサ１０３が画像を表示する期間と画像センサ１０３が受光する期間は、排他的に切り替わる。
【００７４】
図２６は、表示機能一体型撮像装置１０１の動作の一例を示すフローチャートである。まず、画像センサ１０３のディスプレイが有効化され、画像出力部１０８の出力が表示される（ステップＳ２６０１）。一定時間経過後に画像センサ１０３のディスプレイが無効化され、画像出力部１０８の出力が非表示にされる（ステップＳ２６０２）。その後、撮影用パターン表示部２１０１にパターンが表示される（ステップＳ２６０３）。ここで、第１実施形態で説明した方法と同様に撮影が実行され（ステップＳ２６０４）、その後、パターンが非表示にされる（ステップＳ２６０５）。以上のステップＳ２６０１〜Ｓ２６０５の処理が、終了（例えば撮影終了ボタン押下など）と判定されるまで（ステップＳ２６０６：ＹＥＳ）、繰り返し実行される。このフローチャートは、撮影した画像をリアルタイムで表示することが可能であり、動画撮影などに適している。
【００７５】
図２７は、表示機能一体型撮像装置１０１の動作の他の例を示すフローチャートである。まず、画像センサ１０３のディスプレイが有効化され、画像出力部１０８の出力が表示される（ステップＳ２６０１）。ステップＳ２６０１の処理は、終了（例えば撮影終了ボタン押下など）と判定されるまで（ステップＳ２７０１：ＹＥＳ）、あるいは、撮影開始（例えばシャッターボタン押下など）と判定されるまで（ステップＳ２７０２：ＹＥＳ）、繰り返し実行される。撮影開始と判定された場合、図２６と同様にステップＳ２６０２〜Ｓ２６０５の処理が実行され、ステップＳ２６０１に戻る。このフローチャートは、撮影時以外はディスプレイとしての機能を優先して実行することが可能でなる。
【００７６】
図２７のフローチャートを一部変更して、撮像機能を優先して実行することも可能である。具体的には、ステップＳ２６０１に替えてステップＳ２６０２〜Ｓ２６０４を挿入する。ステップＳ２７０２では、撮影終了かどうかを判定する。ステップＳ２７０２でＹＥＳと判定された後に、ステップＳ２６０５及びステップＳ２６０１を挿入する。ステップＳ２６０５及びステップＳ２６０１の処理が実行された後、ステップＳ２６０２に戻る。
【００７７】
なお、撮影用パターン表示部２１０１は表示するパターンを切替可能であるので、本実施形態では第１実施形態と同様に時分割フリンジスキャンを実行することができる。また、本実施形態では、撮影用パターン表示部２１０１として液晶素子を使用し、偏光子２２０１、２２０２を併用することで表示機能一体型撮像装置１０１の表示機能と撮像機能を時間的に切替えることを実現する例について説明したが、これに限定するものではなく、撮影用パターンの表示及び非表示を切替えられる構成であれば、機械的に切替えるなど他の構成を使用してもよい。
【００７８】
以上の第２実施形態によれば、ディスプレイとして使用する時に撮影用パターンが表示画像を阻害することなく、表示機能と一体化された薄型の撮像装置を実現することが可能となる。
【００７９】
［第３実施形態］
第３実施形態は、撮影用パターン１０５での変調を強度変調ではなく偏光方向変調で実現している点で、第１実施形態と異なる。
【００８０】
図２８は、第３実施形態に係る表示機能一体型撮像部１０２の構成例を示す図である。第１実施形態では、画像センサ１０３の上に透過率変調されている撮影用パターン１０５が配置されているため、ディスプレイとして使用する時に撮影用パターン１０５が表示画像を阻害する。そこで、図２８に示すように、第３実施形態に係る表示機能一体型撮像部１０２は、偏光素子が使用された撮影用パターン２８０１を、図１における撮影用パターン１０５の代わりに備える。パターン基板１０４及び撮影用パターン２８０１を併せて変調器と呼ぶことができる。また、表示機能一体型撮像部１０２は、第２実施形態で説明した画像センサ２３０１を用いる。
【００８１】
図２９は、撮影用パターン２８０１の一例の一部を示す図である。撮影用パターン２８０１は、撮影用パターン１０５の白黒で表示されている部分を、それぞれ互いに直交した偏光子の領域２９０１、２９０２で構成されることを特徴としている。撮影用パターン２８０１を図２４に示した画像センサ２３０１と組み合せて使用することで、撮影用パターン２８０１の偏光子のうち図２４の光検出素子２４０４の前に設けられた偏光子と直交する成分（領域２９０１）が、図３０（画像センサで受光される影の例を示す図）のように黒い影（領域３００１）として画像センサ２３０１で最終的に強度変調されて検出される。
【００８２】
ここで、ディスプレイとして使用する場合、図２４の画像センサ２３０１の発光素子２４０１〜２４０３から発光する光が無偏光であれば、撮影用パターン２８０１に対する透過率は領域２９０１と領域２９０２に差がなく、撮影用パターン２８０１が表示画像を阻害することはない。さらに、発光素子２４０１〜２４０３が液晶素子ならびに偏光子で構成されている場合、発光する光が直線偏光であることも考えられる。その場合は、発光素子２４０１〜２４０３からの光の偏光方向と領域２９０１及び２９０２の光学軸との成す角が４５°であれば、透過率は領域２９０１と領域２９０２に差がなく、撮影用パターン２８０１が表示画像を阻害することはない。
【００８３】
以上の第３実施形態によれば、ディスプレイとして使用する時に撮影用パターンが表示画像を阻害することなく、表示機能と一体化された薄型の撮像装置を実現することが可能となる。
【００８４】
［第４実施形態］
第４実施形態は、撮影用パターン表示部２１０１に表示パターンを切替可能な液晶素子ではなく固定パターンを使用して実現している点で、第２実施形態と異なる。
【００８５】
図３１は、第４実施形態に係る表示機能一体型撮像部１０２の構成例を示す図である。第２実施形態では、撮影用パターン表示部２１０１としてＳＬＭやカスタム品の液晶素子を使用する必要があり、コストが問題となる。そこで、図３１に示すように、第４実施形態に係る表示機能一体型撮像部１０２は、上から順に、撮影用パターン２８０１、偏光面の回転角を切替可能な液晶素子３１０１、パターン基板１０４、及び画像センサ２３０１を備える。
【００８６】
液晶素子３１０１は、偏光面を４５°回転させる機能及び効果を有している。また、画像センサ２３０１の光検出素子２４０４上の偏光子の偏光方向は、領域２９０１及び領域２９０２の光学軸との成す角が４５°となるように設置されている。パターン制御部２１０２は、液晶素子３１０１の表示及び非表示を切り替えることで、偏光面の回転を制御するとともに、撮影用パターン２８０１により偏光方向変調されたパターンの表示及び非表示を制御する。
【００８７】
この時、上方から入射した光は、撮影用パターン２８０１により偏光方向変調されたパターンとして透過し、液晶素子３１０１が「非表示」である時はそのまま透過する。この場合、光検出素子２４０４上の偏光子の光学軸と透過光偏光面との成す角は領域２９０１及び領域２９０２共に４５°であるので、図３０のようなパターンは生じない。これに対して、液晶素子３１０１が「表示」、即ち偏光面が４５°回転した時は、光検出素子２４０４上の偏光子の光学軸と透過光偏光面との成す角は領域２９０１及び領域２９０２のどちらかと直交するため、図３０のようなパターンが影として撮影される。
【００８８】
なお、図３２（表示機能一体型撮像部１０２の他の構成例を示す図）に示すように、液晶素子３１０１を省略し、液晶素子３１０１と同様の機能を有する液晶素子３２０１を、パターン基板１０４と画像センサ２３０１の間に配置してもよい。
【００８９】
以上の第４実施形態によれば、ディスプレイとして使用する時に撮影用パターンが表示画像を阻害することなく、また低コストに表示機能と一体化された薄型の撮像装置を実現することが可能となる。
【００９０】
［第５実施形態］
第５実施形態は、第１〜第４実施形態の１つ以上を適用した、表示機能と一体化された薄型の撮像装置の適用例に関する。
【００９１】
図３３は、従来の小型情報端末３３０１の構成例を示す図である。小型情報端末３３０１は、例えばスマートフォンである。小型情報端末３３０１は、タッチパネルが組み合わされたディスプレイ３３０２、カメラ３３０３、生体認証センサ３３０４、スピーカー３３０５などで構成される。カメラ３３０３は、例えば、撮像レンズ及びＣＭＯＳイメージセンサーを含む。
【００９２】
図３４は、第５実施形態に係る表示機能一体型撮像部を用いた小型情報端末３４０１の構成例を示す図である。小型情報端末３４０１は、例えばスマートフォンである。小型情報端末３４０１は、第１〜第４実施形態の１つ以上に示した構成が適用されることにより、小型情報端末３３０１のディスプレイ３３０２、カメラ３３０３、及び生体認証センサ３３０４に替えて、表示機能一体型撮像部１０２を備える。これにより、従来と比べて端末をさらに小型化及び薄型化することができる。
【００９３】
小型情報端末３４０１をカメラとして使用する場合には、第１実施形態における遠方撮影の原理で実現でき、小型情報端末３４０１を生体認証センサとして使用する場合には第１実施形態における近傍撮影の原理で実現することができる。
【００９４】
また、例えば図３５（表示機能一体型撮像部を用いた小型情報端末３４０１の利用例を示す図）に示すように、ユーザーが指３５０１で端末３４０１を操作している間、小型情報端末３４０１が図２６のフローに従って指紋や指静脈等の生体情報の検出（撮影を含む）と認証処理を実行してもよい。このようにすれば、高セキュアな端末を実現することが可能となる。なお、生体情報に関する画像処理や認証処理は、例えば、画像処理部１０６又はコントローラ１０７が実行すればよい。
【００９５】
また、例えば、図３６（表示機能一体型撮像部を用いた小型情報端末３４０１の他の利用例を示す図）に示すように、ユーザーが端末３４０１を操作している間、小型情報端末３４０１が図２６のフローに従って操作者の顔３６０１の検出（撮影を含む）と認証処理を実行してもよい。このようにすれば、高セキュアな端末を実現が可能となる。なお、生体情報に関する画像処理や認証処理は、例えば、画像処理部１０６又はコントローラ１０７が実行すればよい。
【００９６】
以上、本発明について複数の実施形態を用いて説明した。もちろん、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【００９７】
また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００９８】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Digital Versatile Disk）等の記録媒体に置くことができる。
【００９９】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【０１００】
本発明は、撮像装置、及び撮像方法に限られず、撮像システム、現像方法、コンピュータ読み取り可能なプログラム、などの様々な態様で提供できる。
【符号の説明】
【０１０１】
１０１…表示機能一体型撮像装置、１０２…表示機能一体型撮像部、１０３…画像センサ、１０３ａ…画素ユニット、１０４…パターン基板、１０５…撮影用パターン、１０６…画像処理部、１０７…コントローラ、１０８…画像出力部、３０１…支持部材、４０１…赤色発光素子、４０２…緑色発光素子、４０３…青色発光素子、４０４…光検出素子、５０１…赤色検出素子、５０２…緑色検出素子、５０３…青色検出素子、１１０１…現像用パターン、１４０１…フリンジスキャン単位、１４０２…フリンジスキャン単位、１８０１…点、１８０２…投影像、１９０１…点、１９０２…投影像、２００１…フォーカス設定部、２１０１…撮影用パターン表示部、２１０２…パターン制御部、２２０１…偏光子、２２０２…偏光子、２３０１…画像センサ、２４０１…赤色発光素子、２４０２…緑色発光素子、２４０３…青色発光素子、２４０４…光検出素子、２８０１…撮影用パターン、２９０１…領域、２９０２…偏光子、３００１…領域、３００２…領域、３１０１…液晶素子、３２０１…液晶素子、３３０１…小型情報端末、３３０２…ディスプレイ、３３０３…カメラ、３３０４…生体認証センサ、３３０５…スピーカー、３４０１…小型情報端末、３５０１…指、３６０１…顔
【図１】
2019029681.tif 000014
【図２】
2019029681.tif 000015
【図３】
2019029681.tif 000016
【図４】
2019029681.tif 000017
【図５】
2019029681.tif 000018
【図６】
2019029681.tif 000019
【図７】
2019029681.tif 000020
【図８】
2019029681.tif 000021
【図９】
2019029681.tif 000022
【図１０】
2019029681.tif 000023
【図１１】
2019029681.tif 000024
【図１２】
2019029681.tif 000025
【図１３】
2019029681.tif 000026
【図１４】
2019029681.tif 000027
【図１５】
2019029681.tif 000028
【図１６】
2019029681.tif 000029
【図１７】
2019029681.tif 000030
【図１８】
2019029681.tif 000031
【図１９】
2019029681.tif 000032
【図２０】
2019029681.tif 000033
【図２１】
2019029681.tif 000034
【図２２】
2019029681.tif 000035
【図２３】
2019029681.tif 000036
【図２４】
2019029681.tif 000037
【図２５】
2019029681.tif 000038
【図２６】
2019029681.tif 000039
【図２７】
2019029681.tif 000040
【図２８】
2019029681.tif 000041
【図２９】
2019029681.tif 000042
【図３０】
2019029681.tif 000043
【図３１】
2019029681.tif 000044
【図３２】
2019029681.tif 000045
【図３３】
2019029681.tif 000046
【図３４】
2019029681.tif 000047
【図３５】
2019029681.tif 000048
【図３６】
2019029681.tif 000049
【図３７】
2019029681.tif 000050
【図３８】
2019029681.tif 000051