(57)【特許請求の範囲】
【請求項１】
ライトフィールドカメラに用いられる映像処理方法であって、
前記ライトフィールドカメラを利用して、それぞれ複数のサブ領域を含む第１映像及び第２映像を取得するステップと、
前記第２映像のサブ領域中の輝度が閾値以上である少なくとも１つのサブ領域を判断し、かつ前記少なくとも１つのサブ領域の前記第２映像における位置を記録するステップと、
前記第１映像の少なくとも１つのサブ領域の輝度分布に基づいて、前記第２映像の前記少なくとも１つのサブ領域に対し狭域輝度再分配処理を行って、第３映像を取得するステップと、
前記第３映像に対し全域輝度再分配処理を行って、第４映像を取得するステップとを含み、
前記第２映像の前記少なくとも１つのサブ領域が前記第２映像の中における位置と、前記第１映像の前記少なくとも１つのサブ領域が前記第１映像の中における位置とは互いに対応することを特徴とする映像処理方法。
【請求項２】
前記第２映像の中の前記狭域輝度再分配処理が行われる前記少なくとも１つのサブ領域は複数のサブ領域であり、かつ前記第１映像の前記少なくとも１つのサブ領域の輝度分布に基づいて、前記第２映像の前記少なくとも１つのサブ領域に対し前記狭域輝度再分配処理を行うステップにおいて、異なる輝度分配パラメータで前記複数のサブ領域に対し前記狭域輝度再分配処理を行うことを特徴とする、請求項１に記載の映像処理方法。
【請求項３】
前記ライトフィールドカメラを利用して、前記第１映像及び前記第２映像を取得するステップにおいて、前記ライトフィールドカメラを利用して、それぞれ第１露光時間及び第２露光時間に前記第１映像及び前記第２映像を取得し、かつ前記第１露光時間と前記第２露光時間とは時間の長さが異なることを特徴とする、請求項１に記載の映像処理方法。
【請求項４】
前記ライトフィールドカメラはレンズモジュール、レンズアレイ及び映像センサーアセンブリーを含み、前記レンズモジュールは物体側と像側との間に設置され、前記レンズアレイは前記レンズモジュールと前記像側との間に設置され、前記映像センサーアセンブリーは前記像側に設置され、
前記レンズモジュールは第１絞り値を有し、かつ前記レンズモジュールと前記レンズアレイとの間に中間映像の焦点を合わせ、
前記レンズアレイは複数のサブレンズを含み、前記複数のサブレンズがいずれも第２絞り値を有し、前記レンズアレイが前記映像センサーアセンブリーに前記第１映像又は前記第２映像の焦点を合わせ、前記第１絞り値と前記第２絞り値とが異なり、かつ前記映像センサーアセンブリーが前記第１映像又は前記第２映像を検出することを特徴とする請求項１に記載の映像処理方法。
【請求項５】
前記レンズアレイは第１主平面及び第２主平面を含み、前記中間映像から前記第１主平面までの距離と前記第２主平面から前記映像センサーアセンブリーまでの距離との比がＮ（Ｎは２より大きい）であることを特徴とする、請求項４に記載の映像処理方法。
【請求項６】
前記レンズモジュールの有効焦点距離がｆであり、射出瞳径がＤであり、前記レンズアレイの前記第２絞り値がＦである場合、前記有効焦点距離ｆ、前記射出瞳径Ｄ及び前記第２絞り値Ｆは以下の関係式
【数１】
0006396954.tif 000003
を満たすことを特徴とする、請求項５に記載の映像処理方法。
【請求項７】
前記ライトフィールドカメラはプロセッサー回路に電気的に接続されて、前記映像処理方法を実行することを特徴とする請求項４に記載の映像処理方法。
【請求項８】
ライトフィールドカメラであって、請求項１に記載の映像処理方法を実行するプロセッサー回路に電気的に接続され、
前記ライトフィールドカメラはレンズモジュール、レンズアレイ及び映像センサーアセンブリーを含み、
前記レンズモジュールは物体側と像側との間に設置され、第１絞り値を有し、
前記レンズアレイは前記レンズモジュールと前記像側との間に設置され、複数のサブレンズを含み、前記複数のサブレンズがいずれも第２絞り値を有し、
前記レンズモジュールは、前記レンズモジュールと前記レンズアレイとの間に中間映像の焦点を合わせ、かつ前記第１絞り値と前記第２絞り値とが異なり、
前記映像センサーアセンブリーは前記像側に設置され、ライトフィールド映像を検出し、前記レンズアレイが前記映像センサーアセンブリーに前記ライトフィールド映像の焦点を合わせることを特徴とするライトフィールドカメラ。
【請求項９】
前記レンズアレイは第１主平面及び第２主平面を含み、前記中間映像から前記第１主平面までの距離と前記第２主平面から前記映像センサーアセンブリーまでの距離との比がＮ（Ｎは２より大きい）であることを特徴とする請求項８に記載のライトフィールドカメラ。
【請求項１０】
前記レンズモジュールの有効焦点距離がｆであり、射出瞳径がＤであり、前記レンズアレイの前記第２絞り値がＦである場合、前記有効焦点距離ｆ、前記射出瞳径Ｄ及び前記第２絞り値Ｆは以下の関係式
【数２】
0006396954.tif 000004
を満たすことを特徴とする、請求項９に記載のライトフィールドカメラ。
【請求項１１】
前記第２映像の中の前記狭域輝度再分配処理が行われる前記少なくとも１つのサブ領域は複数のサブ領域であり、かつ前記プロセッサー回路は前記第１映像の前記少なくとも１つのサブ領域の輝度分布に基づいて、前記第２映像の前記少なくとも１つのサブ領域に対し前記狭域輝度再分配処理を行うステップを実行する時、前記プロセッサー回路が異なる輝度分配パラメータで前記複数のサブ領域に対し前記狭域輝度再分配処理を行うことを特徴とする、請求項９に記載のライトフィールドカメラ。
【請求項１２】
前記プロセッサー回路は前記ライトフィールドカメラを利用して前記第１映像及び前記第２映像を取得するステップを実行する時、前記プロセッサー回路が前記ライトフィールドカメラを利用して、それぞれ第１露光時間及び第２露光時間に前記第１映像及び前記第２映像を取得し、前記第１露光時間と前記第２露光時間とは時間の長さが異なることを特徴とする、請求項９に記載のライトフィールドカメラ。
【請求項１３】
前記第２映像の前記少なくとも１つのサブ領域が前記第２映像の中における位置と前記第１映像の前記少なくとも１つのサブ領域が前記第１映像の中における位置とは互いに対応することを特徴とする、請求項９に記載のライトフィールドカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像取り込み装置及びその映像処理方法に関し、特にライトフィールドカメラ及びその映像処理方法に関する。
【背景技術】
【０００２】
従来の映像取り込み装置において、撮影しようとするシーン（ｓｃｅｎｅ）がハイコントラスト（ｈｉｇｈ  ｃｏｎｔｒａｓｔ）特性を有する場合、例えばシーンの中に輝度が比較的に高い空、輝度が比較的に低い影が存在し、又は比較的に強い光源がレンズに直接照射されている場合、映像センサーアセンブリーが固定パラメータ（例えば、露光時間、ゲインなど）において光信号を電気信号に変換する効率は制限されるため、強光領域の信号強度が飽和値に接近又は達することがある。そこで、強光領域の電気信号強度が飽和値に接近又は達することを防ぐために、映像センサーアセンブリーのパラメータ（例えば、露光時間など）を調整することにより強光領域の電気信号強度を低下させることができるが、こうした方法では、弱光領域の電気信号も同時に大幅に低下するため、信号レベルと映像センサーアセンブリーのノイズ強度が近くなる。従って、強光領域の電気信号飽和によって強光領域の映像細部の解析力が犠牲にされる方法、又はパラメータ調節によって強光領域の信号を飽和させない方法、この２つの方法のいずれにしても、弱光領域における信号強度がノイズレベルに近づくため、弱光領域に対する映像細部の解析力を低減される。適切なハードウエア又はソフトウエア方法を用いることを前提に、従来技術は映像中の強光及び弱光領域に対する解析力を両立させることができない。上記課題を解決するために、今は映像をハイダイナミックレンジ（ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ、ＨＤＲ、又はワイドダイナミックレンジ（ｗｉｄｅ  ｄｙｎａｍｉｃ  ｒａｎｇｅ、ＷＤＲ）をも言う）にする方法が少なからず提案されている。
【０００３】
「背景技術」部分は本発明の内容に関する理解を促すためのものであり、「背景技術」部分で開示された内容には当業者に知られている周知技術の構成以外のものが含まれている可能性がある。「背景技術」部分で開示された内容は、該内容又は本発明の１つや複数の実施例が解決しようとする課題を示すものではない、また、本発明の出願前に当業者が既に認識又は認知していることを示すものでもない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、良好な映像品質を有するライトフィールドカメラ及びその映像処理方法を提供する。
【課題を解決するための手段】
【０００５】
本発明のその他の目的と利点について、本発明が開示する技術的特徴からさらに理解を深めることができる。
【０００６】
上記目的の１つ又は一部又は全部を達成するために、本発明の実施例はライトフィールドカメラに用いられる映像処理方法を提供する。映像処理方法は、ライトフィールドカメラを利用して、それぞれ複数のサブ領域を含む第１映像及び第２映像を取得するステップと、第１映像の少なくとも１つのサブ領域の輝度分布に基づいて、第２映像の少なくとも１つのサブ領域に対し狭域（ｌｏｃａｌ）輝度再分配処理を行うステップと、第１映像及び第２映像に対し映像再構築（ｒｅｎｄｅｒ）処理を行って、第３映像を取得するステップと、第３映像に対し全域（ｇｌｏｂａｌ）輝度再分配処理を行って、第４映像を取得するステップとを含む。
【０００７】
上記目的の１つ又は一部又は全部を達成するために、本発明の実施例はライトフィールドカメラを提供する。ライトフィールドカメラはプロセッサー回路に電気的に接続される。プロセッサー回路は上記映像処理方法を実行する。ライトフィールドカメラはレンズモジュール、レンズアレイ及び映像センサーアセンブリーを含む。レンズモジュールは物体側と像側との間に設置される。レンズモジュールは第１絞り値を有する。レンズアレイはレンズモジュールと像側との間に設置される。レンズアレイは複数のサブレンズを含む。各サブレンズは第２絞り値を有する。レンズモジュールはレンズモジュールとレンズアレイとの間に中間映像の焦点を合わせる。第１絞り値と第２絞り値は異なる。映像センサーアセンブリーは像側に設置される。映像センサーアセンブリーはライトフィールド映像を検出する。レンズアレイは映像センサーアセンブリーにライトフィールド映像の焦点を合わせる。
【０００８】
以上により、本発明の実施例は少なくとも以下の１つの利点又は効果を有する。本発明の実施例において、ライトフィールドカメラの設計が予め設定された条件基準を満たし、その取り込んだ映像内の各サブ領域が比較的に高い充填率を有し、無駄な像素数を減らし、ライトフィールドカメラに比較的に高い画素利用率をもたらすことができる。また、ライトフィールドカメラが取り込んだ映像に、本発明の例示的な実施例が開示した映像処理方法を応用することにより、ライトフィールドカメラに領域化ハイダイナミックレンジ映像の撮影能力をもたらし、良好な映像品質を提供することができる。
【０００９】
本発明の上記特徴と利点をより明確にするために、以下は実施例用いて、かつ図面を参照しながら詳しく説明する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例の映像取り込み装置を示す概略図である。
【図２】本発明の実施例の映像処理方法を示すフローチャートである。
【図３】本発明の実施例のライトフィールドカメラが撮影しようとするシーンの映像及びライトフィールドカメラが撮影した映像を示す概略図である。
【図４】本発明の実施例の映像処理モジュールを示す概略図である。
【図５】本発明の実施例のライトフィールドカメラを示すブロック図である。
【図６】本発明の実施例のライトフィールドカメラを示す構成図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら実施例を詳しく説明することにより、本発明に関する上記及びその他の技術内容、特徴及び効果を明確にする。以下の実施例において言及される方向用語、例えば、上、下、左、右、前又は後などは、図面を参照するための方向である。従って、これらの方向用語は説明目的に用いられており、本発明を制限するものではない。
【００１２】
図１は本発明の実施例の映像取り込み装置を示す概略図である。図２は本発明の実施例の映像処理方法を示すフローチャートである。図１及び図２が示すように、本実施例の映像取り込み装置３００はライトフィールドカメラ１００及びプロセッサー回路２００を含む。ライトフィールドカメラ１００はプロセッサー回路２００に電気的に接続される。本実施例において、ライトフィールドカメラ１００は例えばフォーカスタイプ（ｆｏｃｕｓ  ｔｙｐｅ）ライトフィールドカメラ、ノンフォーカスタイプ（ｎｏｎ−ｆｏｃｕｓ  ｔｙｐｅ）ライトフィールドカメラ、及びカメラアレイ（ｃａｍｅｒａ  ａｒｒａｙ）を含むライトフィールドカメラの中から選ばれる一種であり、本発明はこれに限定されない。
【００１３】
本実施例において、プロセッサー回路２００は図２の映像処理方法を実行できる。ステップＳ２００において、プロセッサー回路２００はライトフィールドカメラ１００を利用して第１映像及び第２映像を取得し、第１映像と第２映像はそれぞれ複数のサブ領域を含む。ステップＳ２１０において、プロセッサー回路２００は第２映像のサブ領域に対し輝度分析処理を行い、複数のサブ領域の中から少なくとも１つのサブ領域を選択して、狭域輝度再分配処理を行う。ステップＳ２２０において、プロセッサー回路２００は第１映像のサブ領域の輝度分布に基づいて、第２映像のサブ領域に対し狭域輝度再分配処理を行う。ステップＳ２３０において、プロセッサー回路２００は第１映像及び第２映像に対し映像再構築処理を行って、第３映像を取得する。ステップＳ２４０において、プロセッサー回路２００は第３映像に対し全域輝度再分配処理を行って、第４映像を取得する。従って、本実施例において、ライトフィールドカメラ１００は図２の映像処理方法を応用して、その取り込んだ映像に対し領域化されたハイダイナミックレンジ（ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ、ＨＤＲ）又はワイドダイナミックレンジ（ｗｉｄｅ  ｄｙｎａｍｉｃ  ｒａｎｇｅ、ＷＤＲ）の映像処理を行って、良好な映像品質を提供できる。
【００１４】
本実施例において、狭域輝度再分配処理は、例えば取得した映像の一部領域、例えば１つ又は複数のサブ領域に対し、これらサブ領域の輝度を再調整する。全域輝度再分配処理は、例えば取得した映像の整体、例えば映像の領域全体に対し、その輝度を再調整する。また、本実施例において、実際の設計ニーズに応じて、プロセッサー回路２００をライトフィールドカメラ１００の中に整合させたり、又はライトフィールドカメラ１００から独立させたりすることが可能であり、本発明はこれに限定されない。プロセッサー回路２００は例えば中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）、マイクロプロセッサー（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、デジタル信号プロセッサー（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、プログラマブルコントローラ、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ、ＰＬＤ）、又はその他の類似する装置、又は上記これら装置の組み合わせであり、本発明はこれに限定されない。
【００１５】
図３は本発明の実施例のライトフィールドカメラが撮影しようとするシーンの映像及びライトフィールドカメラが撮影した映像を示す概略図である。図４は本発明の実施例の映像処理モジュールを示す概略図である。図１ないし図４が示すように、本実施例の映像処理モジュール４００は例えばライトフィールドカメラ１００の撮影によって得られた第１映像４００Ａと第２映像４００Ｂに対し、図２の映像処理方法を行って、ＨＤＲ効果を有する第４映像４００Ｄを生成する。本実施例において、映像処理モジュール４００は例えば輝度分析モジュール２１０、第１輝度再分配モジュール２２０、映像再構築モジュール２３０及び第２輝度再分配モジュール２４０を含み、これらのモジュールはそれぞれ図２の映像処理方法の各ステップを実行する。
【００１６】
具体的に言うと、本実施例において、ライトフィールドカメラ１００が撮影しようとするシーンの中に強光領域５１０と非強光領域５２０が存在する場合、撮影した映像は図３が示すようなシーン映像５００になる。シーン映像５００は例えば非ライトフィールドカメラが撮影した、高輝度領域（即ち、強光領域５１０）を有する映像である。第１映像４００Ａと第２映像４００Ｂは、例えば一部視野が重複するサブ映像特性を有するライトフィールドカメラ１００を用いて撮影された映像である。第１映像４００Ａを例にすると、白色寄りのサブ領域は該領域の映像強度が飽和値に近い又は達したことを示しており、灰色ぽいサブ領域は第１映像４００Ａの中の強光領域５１０境界付近に対応する領域を示し、黒色寄りのサブ領域は第１映像４００Ａの中の強光領域５１０から遠く離れている領域を示す。図３からわかるように、ライトフィールドカメラ１００を用いてこのような一部領域が強光特征を有する映像を撮影する場合、ライトフィールドカメラ１００の特性により、撮影したシーンに対し、強度に基づく空間性分割を行うことができる。
【００１７】
本実施例において、ライトフィールドカメラ１００は第１露光時間及び第２露光時間においてそれぞれ第１映像４００Ａ及び第２映像４００Ｂを取得する。かつ、第１露光時間と第２露光時間とは時間の長さが異なる。例を挙げると、本実施例において、ライトフィールドカメラ１００は例えば時分割露光の方法を用いる。ライトフィールドカメラ１００は、撮影しようとするシーンに対し、その内蔵されている露光時間パラメータ又は制御方法を利用して、複数の異なる露光時間の映像を撮影する。例えば，ライトフィールドカメラ１００は、長い露光時間の映像と短い露光時間の映像をそれぞれ１枚撮影することが可能であり、本発明はこれに限定されない。ライトフィールドカメラ１００はその他の露光条件を用いて、異なる数のライトフィールド映像を撮影してもよい。本実施例における長い露光時間と短い露光時間といった２つの映像の例では、ライトフィールドカメラ１００でシーン映像５００を撮影した映像は第１映像４００Ａと第２映像４００Ｂが示すようになる。ここで、第１映像４００Ａは例えば短い露光時間の映像であり、第２映像４００Ｂは例えば長い露光時間の映像である。第１映像４００Ａと第２映像４００Ｂからわかるように、第１映像４００Ａと第２映像４００Ｂの露光時間が異なるため、シーン映像５００の中の強度が高すぎる領域（例えば、強光領域５１０）は露光時間の比較的に短い第１映像４００Ａにおいて輝度が比較的に低くなっている。
【００１８】
ライトフィールドカメラ１００を利用して第１映像４００Ａと第２映像４００Ｂを取得した後、輝度分析モジュール２１０は第２映像４００Ｂのサブ領域に対し輝度分析処理を行い、かつ複数のサブ領域の中から少なくとも１つのサブ領域を選択して、狭域輝度再分配処理を行う。つまり、本実施例において、輝度分析モジュール２１０は、比較的に長い露光時間パラメータを用いた第２映像４００Ｂに対し映像の輝度分析を行い、かつ、どのサブ領域の輝度が高すぎるかを判断し、即ち輝度が既に飽和した又は設定の閾値より高いサブ領域を判断して、これらのサブ領域が第２映像４００Ｂにおける位置を記録する。本実施例において、輝度が既に飽和した又は設定の閾値より高いサブ領域は、例えば第２映像４００Ｂの中の複数のサブ領域４１０Ｂである。
【００１９】
続いて、本実施例において、第１輝度再分配モジュール２２０は、第１映像４００Ａ中の位置が第２映像４００Ｂのサブ領域４１０Ｂに対応する複数のサブ領域４１０Ａの輝度分布に基づいて、第２映像４００Ｂのサブ領域４１０Ｂに対し狭域輝度再分配処理を行う。具体的に言うと、第１輝度再分配モジュール２２０は、記録されたサブ領域４１０Ｂの位置を利用して、比較的に短い露光時間パラメータを用いて得られた第１映像４００Ａの中の対応する位置にあるサブ領域４１０Ａを取得する。本実施例において、サブ領域４１０Ａ、４１０Ｂの位置とその数、及び第１映像４００Ａと第２映像４００Ｂに含まれるサブ領域の排列方式とその数は例示説明であり、本発明はこれに限定されない。そして、第１輝度再分配モジュール２２０はＨＤＲアルゴリズムを利用して、異なる輝度分配パラメータで、サブ領域４１０Ｂとサブ領域４１０Ａに対し狭域輝度再分配処理を行い、処理後のサブ領域映像を得る。本実施例において、狭域輝度再分配処理は、例えば取得した映像の一部領域（例えば、１つ又は複数のサブ領域）の輝度に対し再調整を行う。本実施例において、異なる輝度分配パラメータで狭域輝度再分配処理を行うことは、例えば、異なるサブ領域に応じて輝度再分配を行う時に、異なるパラメータで各サブ領域の輝度を調整することである。各サブ領域の輝度が調整される程度又はその結果が同じでも、又は異なってもよい。
【００２０】
本実施例において、第１輝度再分配モジュール２２０はさらに、処理後のサブ領域とサブ領域４１０Ｂ又はサブ領域４１０Ａを結合させることにより、映像ノイズを低減させる。第１輝度再分配モジュール２２０は、例えば処理後のサブ領域と比較的に明るいサブ領域４１０Ｂとを結合させることにより、映像が比較的に暗い領域の映像ノイズを低減させる。本実施例において、第１輝度再分配モジュール２２０がＨＤＲアルゴリズムを用いてサブ領域に対し輝度再分配を行い、かつ処理前後のサブ領域を結合させる方法は、当業者にとって周知常識から十分な教示、提案及び実施説明が得られるものであるため、ここで省略する。
【００２１】
次に、本実施例において、映像再構築モジュール２３０は第１映像４００Ａ及び第２映像４００Ｂに対し映像再構築処理を行って、第３映像４００Ｃを取得する。本実施例において、映像再構築モジュール２３０は、例えばライトフィールドカメラ１００が用いるパラメータを利用して、映像に対し再構築を行う。再構築過程において、各サブ領域が再構築過程で異なるサブ領域により輝度がばらつく現象を一層改善するために、映像再構築モジュール２３０は再度異なるサブ領域の輝度に対し再分配処理を行ってもよい。本実施例において、再構築の後、映像再構築モジュール２３０が出力する第３映像４００Ｃは、例えば非ライトフィールド映像である。続いて、本実施例において、第２輝度再分配モジュール２４０は第３映像４００Ｃに対し全域輝度再分配処理を行って、第４映像４００Ｄを取得する。全域輝度再分配処理は、例えば取得した第３映像４００Ｃの整体（例えば、第３映像４００Ｃの領域全体）の輝度に対し再調整を行う。従って、第３映像４００Ｃの画面全体に対し全域輝度再分配処理を行った後、第２輝度再分配モジュール２４０はＨＤＲ效果を有する映像４００Ｄを生成し、出力する。また、本実施例において、全域輝度再分配処理は例えばトーンマッピング（ｔｏｎｅ  ｍａｐｐｉｎｇ）を含み、トーンマッピングとは限られたダイナミックレンジ媒体上にハイダイナミックレンジ画像を近似して表示するコンピュータ図形技術である。本実施例において、映像再構築処理及び輝度再分配処理の方法は、当業者にとって周知常識から十分な教示、提案及び実施説明が得られるものであるため、ここで省略する。
【００２２】
本実施例において、映像処理モジュール４００は例えばソフトウエア、ハードウエア、ファームウエア及び／又はその任意の組み合わせを用いて実施することができる。ソフトウエアで実施する例では、プロセッサー回路２００が例えば映像処理モジュール４００中の各ソフトウエアモジュールを実行して、図２の映像処理方法の各ステップを実現する。本実施例において、各ステップを実現するために、各ソフトウエアモジュールが当該技術分野における任意の適切なアルゴリズムを含み、本発明はこれに限定されず、上記アルゴリズムについて当業者は周知常識から十分な教示、提案及び実施説明を得られるため、ここで省略する。ハードウエアで実施する例では、映像処理モジュール４００の中の各ハードウエアモジュールを例えばそれぞれ当該技術分野の任意の適切な回路構造で実施することが可能であり、本発明はこれに限定されず、上記回路構造について当業者は周知常識から十分な教示、提案及び実施説明を得られるため、ここで省略する。
【００２３】
図５は本発明の実施例のライトフィールドカメラを示すブロック図である。図６は本発明の実施例のライトフィールドカメラを示す構成図である。図５及び図６が示すように、本実施例のライトフィールドカメラ１００はレンズモジュール１１０、レンズアレイ１２０及び映像センサーアセンブリー１３０を含む。レンズモジュール１１０は物体側ＯＳと像側ＩＳとの間に設置される。レンズアレイ１２０はレンズモジュール１１０と映像センサーアセンブリー１３０との間に設置される。映像センサーアセンブリー１３０は像側ＩＳに設置される。
【００２４】
具体的に言うと、本実施例において、レンズモジュール１１０はレンズモジュール１１０とレンズアレイ１２０との間に中間映像の焦点を合わせ、例えば、中間映像の焦点を像形成平面Ｓ５上に合わせる。映像センサーアセンブリー１３０はライトフィールド映像を検出し、例えば第１映像４００Ａと第２映像４００Ｂ。レンズアレイ１２０は映像センサーアセンブリー１３０にライトフィールド映像の焦点を合わせる。本実施例において、レンズモジュール１１０は第１絞り値を有し、レンズアレイ１２０は複数のサブレンズを含み、各サブレンズが第２絞り値を有し、第１絞り値と第２絞り値とが異なる。
【００２５】
本実施例において、レンズモジュール１１０は第１主平面（ｐｒｉｎｃｉｐｌｅ  ｐｌａｎｅ）Ｓ１及び第２主平面Ｓ２を含み、レンズアレイ１２０は第３主平面Ｓ３及び第４主平面Ｓ４を含む。一般的に、レンズモジュール１１０とレンズアレイ１２０はそれぞれ複数のレンズ又はマイクロレンズから構成されるが、簡潔の見地から、本実施例の図面においてレンズモジュール１１０の内部を簡略化して、等価の第１主平面Ｓ１と第２主平面Ｓ２とし、かつレンズアレイ１２０を簡略化して、等価の第３主平面Ｓ３と第４主平面Ｓ４とする。各主平面の定義について、当業者は周知常識から十分な教示、提案及び実施説明を得られるため、ここで省略する。本実施例において、中間映像（即ち、像形成平面Ｓ５上の映像）からレンズアレイ１２０の第３主平面Ｓ３までの距離Ａと、レンズアレイ１２０の第４主平面Ｓ４から映像センサーアセンブリー１３０までの距離Ｂとの比Ａ／ＢはＮであり、かつＮは２より大きい場合、映像センサーアセンブリー１３０上において好ましい像形成效果が得られる。ここで、Ｓは映像センサーアセンブリー１３０の映像検出面である。本実施例において、レンズモジュール１１０の有効焦点距離がｆであり、射出瞳径がＤであり、レンズアレイ１２０の第２絞り値がＦである場合、有効焦点距離ｆ、射出瞳径Ｄ及び第２絞り値Ｆは以下の関係式（１）
【００２６】
【数１】
0006396954.tif 000002
を満たす。
【００２７】
フォーカスタイプライトフィールドカメラを例にすると、レンズアレイ１２０に対し、レンズモジュール１１０が撮影しようとする物体は、実物又は仮想物の中間映像と見なされ、この中間映像がレンズアレイ１２０を通して映像センサーアセンブリー１３０に実像を形成する。レンズアレイ１２０と映像センサーアセンブリー１３０との距離は、レンズアレイ１２０の焦点距離と等しくない。上記関係式（１）を満たすライトフィールドカメラ１００を利用して、ライトフィールドカメラ１００が撮影した映像内の各サブ領域に比較的に高い充填率をもたらし、これにより無駄な画素数を減らすことができる。図２の映像処理方法を応用することにより、ライトフィールドカメラ１００は、比較的に高い画素利用率の特性のほか、領域化ハイダイナミックレンジ映像の撮影能力を有する。
【００２８】
映像センサーアセンブリー１３０は例えば電荷結合素子イメージセンサー（ｃｈａｒｇｅ  ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ  ｉｍａｇｅ  ｓｅｎｓｏｒ、ＣＣＤ  ｉｍａｇｅ  ｓｅｎｓｏｒ）又は相補型金属酸化物半導体イメージセンサー（ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｍｅｔａｌ  ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）など類似する装置又はその組み合わせを含み、本発明はこれに限定されない。本実施例において、レンズモジュール１１０とレンズアレイ１２０内部のレンズ構造及びその組み合わせをそれぞれ当該技術分野の任意の適切なレンズアセンブリーで実施するこが可能であり、本発明はこれに限定されない。レンズモジュール１１０とレンズアレイ１２０について、当業者は周知常識から十分な教示、提案及び実施説明を得られるため、ここで省略する。
【００２９】
以上により、本発明の実施例は少なくとも以下の利点又は効果の１つを有する。本発明の実施例において、ライトフィールドカメラの設計が予め設定した条件基準を満たし、その取り込む映像に対し本発明の実施例が提供する映像処理方法を応用することにより、優れた映像品質を提供できる。
【００３０】
以上の実施例は本発明の好ましい実施例に過ぎず、本発明の実施の範囲はこれに限定されることなく、本発明の請求の範囲及び明細書の内容に対し行った簡単かつ等価の変更と修正も本発明の範囲に含まれる。また、本発明の任意の実施例又は請求項は必ずしも本発明が開示した全ての目的、利点又は特徴を実現するとは限らない。また、要約書と発明の名称は特許文献の検索に供するものであり、本発明の請求範囲を限定するものではない。また、明細書又は請求項に言及された「第１」、「第２」などの用語は素子（ｅｌｅｍｅｎｔ）の名称又は異なる実施例や範囲を区別するものであり、素子の数の上限又は下限を限定するものではない。
【符号の説明】
【００３１】
１００      ライトフィールドカメラ
１１０      レンズモジュール
１２０      レンズアレイ
１３０      映像センサーアセンブリー
２００      プロセッサー回路
２１０      輝度分析モジュール
２２０      第１輝度再分配モジュール
２３０      映像再構築モジュール
２４０      第２輝度再分配モジュール
３００      映像取り込み装置
４００      映像処理モジュール
４００Ａ      第１映像
４００Ｂ      第２映像
４００Ｃ      第３映像
４００Ｄ      第４映像
４１０Ａ、４１０Ｂ      サブ領域
５００      シーン映像
５１０      強光領域
５２０      非強光領域
Ｓ      映像検出面
Ｓ１      第１主平面
Ｓ２      第２主平面
Ｓ３      第３主平面
Ｓ４      第４主平面
Ｓ５      像形成平面
Ａ、Ｂ      距離
ｆ      有効焦点距離
Ｄ      射出瞳径
ＯＳ      物体側
ＩＳ      像側
Ｓ２００、Ｓ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０      映像処理方法のステップ
【図１】
0006396954.tif 000005
【図２】
0006396954.tif 000006
【図３】
0006396954.tif 000007
【図４】
0006396954.tif 000008
【図５】
0006396954.tif 000009
【図６】
0006396954.tif 000010