(57)【要約】  本発明の目的は、解像度が低下することなくカラー情報及び深さ情報を復元することができる撮影装置を提供することにある。本装置は、被写体から反射される反射光を透過させるメインレンズと、反射光が入射されると互いに異なるカラーでフィルタリングして透過させる複数のマイクロレンズが配置されたマイクロレンズアレイ部と、イメージセンサ部と、イメージセンサ部でセンシングされた複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するデータ処理部と、複数のサブイメージを格納する格納部と、複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を獲得する制御部とを備える。これにより、解像度が低下することなくカラー情報及び深さ情報を復元することができる。
2016511562.tif 000002
【特許請求の範囲】
【請求項１】
被写体から反射される反射光を透過させるメインレンズと、
前記反射光が入射されると、互いに異なるカラーでフィルタリングして透過させる複数のマイクロレンズが配置されたマイクロレンズアレイ部と、
前記複数のマイクロレンズの各々を介して透過された光をセンシングするイメージセンサ部と、
前記イメージセンサ部でセンシングされた複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するデータ処理部と、
前記複数のサブイメージを格納する格納部と、
前記格納部に格納された前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を獲得する制御部と
を備える撮影装置。
【請求項２】
前記制御部は、
前記複数のサブイメージを利用して、３Ｄ客体検出作業またはリフォーカシング（ｒｅ−ｐｏｃｕｓｉｎｇ）作業を行うことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位に区分され、
各マイクロレンズグループ内ではレッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されることを特徴とする請求項１に記載の撮影装置。
【請求項４】
前記イメージセンサは
前記複数のマイクロレンズの各々に対応する複数のピクセルグループに区分され、
各ピクセルグループは、複数のピクセルを含み、
前記イメージセンサの全体ピクセル個数は、前記マイクロレンズの個数を超過することを特徴とする請求項１ないし３のうちの何れか１項に記載の撮影装置。
【請求項５】
前記複数のマイクロレンズの各々の表面には、カラーコーティング層が形成され、
前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されることを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記マイクロレンズアレイ部は、
前記複数のマイクロレンズがマトリックスパターンで配置された第１基板と、
前記複数のマイクロレンズに各々対応する複数のカラーフィルタ部が配置された第２基板とを備え、
前記複数のカラーフィルタ部のカラーは、予め設定されたパターンで繰り返されることを特徴とする請求項４に記載の撮影装置。
【請求項７】
メインレンズを介して入射される光を複数のマイクロレンズを含むマイクロレンズアレイ部を利用して、互いに異なるカラーでフィルタリングして透過させるステップと、
前記複数のマイクロレンズを透過した光をイメージセンサを利用してセンシングして、複数の原イメージを獲得するステップと、
前記複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するステップと、
前記複数のサブイメージを格納するステップと、
前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を復元するステップと
を含む撮影方法。
【請求項８】
前記カラー情報及び前記深さ情報を利用して、３Ｄ客体検出作業またはリフォーカシング（ｒｅ−ｐｏｃｕｓｉｎｇ）作業を行うステップを更に含む請求項７に記載の撮影方法。
【請求項９】
前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位で区分され、
各マイクロレンズグループ内では、レッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されることを特徴とする請求項７に記載の撮影方法。
【請求項１０】
前記複数のマイクロレンズ各々の表面には、カラーコーティング層が形成され、
前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されることを特徴とする請求項７に記載の撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置及びその撮影方法に関し、より詳細には、複数のマイクロレンズを利用して撮影する撮影装置、及びその撮影方法に関する。
【背景技術】
【０００２】
電子技術の発達に伴って、多様な類型の電子装置が開発及び普及しつつある。特に、ソーシャルネットワーキングサービスのように他人と交流できるサービスが人気を呼びながら、周辺写真を撮影してコンテンツを生成できる撮影装置の使用が大きく増えている。
【０００３】
撮影装置にはデジタルカメラだけでなく、携帯電話、タブレットパソコン、ラップトップパソコン、ＰＤＡなどのような多様な装置が含まれることができる。ユーザは、自分の撮影装置を利用して多様な写真を撮影し、これを利用できる。
【０００４】
従来の撮影装置は、被写体に対するフォーカスを合わせた後、ＣＣＤやＣＭＯＳのようなイメージセンサを利用して被写体イメージを格納する方式により撮影を行うようになる。最新の撮影装置の場合、オートフォーカス調整機能をサポートして、被写体に対するフォーカスを自動的に合わせるようにしている。しかしながら、フォーカス調整が正常に行われなかった状態で撮影が行われるか、または被写体が複数存在する場合、ユーザの望む被写体にフォーカスが合せられなかった状態で撮影が行われる場合もある。
【０００５】
この場合、ユーザは、複数回撮り直さなければならないという不都合がある。このような不都合を解決するために、最近は、複数のマイクロレンズを使用して撮影した後、フォーカスを後で合わせるようにするライトフィールド（Ｌｉｇｈｔ  Ｆｉｅｌｄ）カメラが開発された。
【０００６】
従来のライトフィールドカメラは、フィルタを介してフィルタリングされた光により生成されるイメージに対してデモザイク（ｄｅｍｏｓａｉｃ）作業を行って、カラーを補間する。これにより、補間したイメージ内の客体の境界付近ではブラー（ｂｌｕｒ）現象が発生する。そのため、実際の解像度が低下するという問題点があった。
【先行技術文献】
【特許文献】
【０００７】
韓国特開第２０１５−００６７６３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述した問題点を解決するためのものであって、本発明の目的は、カラーフィルタリングを行う複数のマイクロレンズを利用して撮像することによって、解像度の低下を防止できる撮影装置及びその撮影方法を提供することにある。
【課題を解決するための手段】
【０００９】
以上のような目的を達成するための本発明の一実施の形態によれば、撮影装置は、被写体から反射される反射光を透過させるメインレンズと、前記反射光が入射されると、互いに異なるカラーでフィルタリングして透過させる複数のマイクロレンズが配置されたマイクロレンズアレイ部と、前記複数のマイクロレンズの各々を介して透過された光をセンシングするイメージセンサ部と、前記イメージセンサ部でセンシングされた複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するデータ処理部と、前記複数のサブイメージを格納する格納部と、前記格納部に格納された前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を獲得する制御部とを備える。
【００１０】
ここで、前記制御部は、前記複数のサブイメージを利用して、３Ｄ客体検出作業またはリフォーカシング（ｒｅ−ｐｏｃｕｓｉｎｇ）作業を行ってよい。
【００１１】
前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位で区分されてよい。そして、各マイクロレンズグループ内ではレッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されてよい。
【００１２】
一方、前記イメージセンサは、前記複数のマイクロレンズの各々に対応する複数のピクセルグループに区分され、各ピクセルグループは、複数のピクセルを含み、前記イメージセンサの全体ピクセル個数は、前記マイクロレンズの個数を超過してよい。
【００１３】
前記複数のマイクロレンズの各々の表面には、カラーコーティング層が形成され、前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されてよい。
【００１４】
または、前記マイクロレンズアレイ部は、前記複数のマイクロレンズがマトリックスパターンで配置された第１基板と、前記複数のマイクロレンズに各々対応する複数のカラーフィルタ部が配置された第２基板とを備えてよい。
【００１５】
ここで、前記複数のカラーフィルタ部のカラーは、予め設定されたパターンで繰り返されてよい。
【００１６】
一方、本発明の一実施の形態によれば、撮影方法は、メインレンズを介して入射される光を複数のマイクロレンズを含むマイクロレンズアレイ部を利用して、互いに異なるカラーでフィルタリングして透過させるステップと、前記複数のマイクロレンズを透過した光をイメージセンサを利用してセンシングして、複数の原イメージを獲得するステップと、前記複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成するステップと、前記複数のサブイメージを格納するステップと、前記複数のサブイメージ内で互いにマッチングされるピクセルを検出して、被写体イメージのカラー情報及び深さ情報を復元するステップとを含む。
【００１７】
そして、前記カラー情報及び前記深さ情報を利用して、３Ｄ客体検出作業またはリフォーカシング（ｒｅ−ｐｏｃｕｓｉｎｇ）作業を行うステップを更に含んでよい。
【００１８】
また、前記マイクロレンズアレイ部は、繰り返し配置された複数のマイクロレンズグループ単位で区分され、各マイクロレンズグループ内では、レッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドのうち、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置されてよい。
【００１９】
そして、前記複数のマイクロレンズ各々の表面には、カラーコーティング層が形成され、前記カラーコーティング層のカラーは、予め設定されたパターンで繰り返されてよい。
【００２０】
本発明の多様な実施の形態によれば、複数のマイクロレンズを利用して獲得される複数のサブイメージを利用してカラー情報を復元することができる。
【発明の効果】
【００２１】
これにより、解像度を低下させることなく、多様なイメージを生成することができるようになる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施の形態にかかる撮影装置の構成を示す図である。
【図２】メインレンズを介して透過される光がマイクロレンズアレイ部に入射される状態を示す図である。
【図３】メインレンズを介して透過される光がマイクロレンズアレイ部に入射される状態を示す図である。
【図４】複数のマイクロレンズを利用して多様な視点の映像を獲得する原理を説明するための図である。
【図５】マイクロレンズアレイ部の一例を示す図である。
【図６】マイクロレンズアレイ部及びイメージセンサの断面構成を示す図である。
【図７】複数のマイクロレンズを利用してセンシングした複数の原イメージを示す図である。
【図８Ａ】図７の原イメージ内で互いに対応する位置のピクセルを収集して生成される複数のサブイメージを示す図である。
【図８Ｂ】図７の原イメージ内で互いに対応する位置のピクセルを収集して生成される複数のサブイメージを示す図である。
【図９】マイクロレンズアレイ部の断面構造の多様な例を示す図である。
【図１０】マイクロレンズアレイ部の断面構造の多様な例を示す図である。
【図１１Ａ】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１１Ｂ】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１１Ｃ】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１１Ｄ】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１２Ａ】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１２Ｂ】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１２Ｃ】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１２Ｄ】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１３】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１４】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１５】本発明の多様な実施の形態にかかるマイクロレンズアレイ部のカラーパターンを示す図である。
【図１６】本発明の一実施の形態にかかる撮影方法を説明するためのフローチャートである。
【図１７】複数のサブイメージを利用するイメージ処理方法を説明するためのフローチャートである。
【図１８】イメージ処理のうち、リフォーカシング方式の一例を説明するための図である。
【発明を実施するための形態】
【００２３】
以下、添付された図面を利用して、本発明について具体的に説明する。
【００２４】
図１は、本発明の一実施の形態にかかる撮影装置の構成を示す図である。図１によれば、撮影装置１００は、メインレンズ１１０、マイクロレンズアレイ部１２０、イメージセンサ部１３０、データ処理部１４０、格納部１５０、制御部１６０を備える。説明の便宜のために、図１では簡略化した構成を示しているが、その他にも多様な構成要素が更に含まれてよい。例えば、写真撮影のためのシャッタ、被写体に対する照明を提供するフラッシュ、反射鏡、絞り、ハウジングなどのような多様な構成要素が更に含まれることができる。なお、レンズもメインレンズ１１０１つのみが備えられるものではなく、追加で備えられてよい。
【００２５】
図１の撮影装置１００は、複数のマイクロレンズを利用して多視点の映像を撮影できるプレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラ、または光フィールド（Ｌｉｇｈｔ  Ｆｉｅｌｄ）カメラにより実現されてよい。
【００２６】
メインレンズ１１０は、被写体から反射される反射光を透過させる。メインレンズ１１０は、一般的な汎用レンズや広角レンズなどにより実現されてよい。図１においては、１つのレンズからなるものとして示しているが、メインレンズ１１０は、複数のレンズの集合からなってよい。
【００２７】
マイクロレンズアレイ部１２０は、複数のマイクロレンズを含む構成要素である。各マイクロレンズにはカラーが割り当てられ、メインレンズ１１０から入射される反射光を互いに異なるカラーでフィルタリングして透過させる。具体的には、レッド、ブルー、グリーン、シアン、マゼンタ、イエロー、ホワイト及びエメラルドなどのような多様なカラーの光を透過させる。カラーフィルタリングのために、各マイクロレンズの表面には、カラー物質層がコーティングされてよく、互いに異なるカラーのフィルタがマイクロレンズの位置に対応するパターンで形成された基板が各マイクロレンズの上側に配置されてよい。
【００２８】
複数のマイクロレンズは、予め設定されたカラーパターンに応じて配置されることができる。そのカラーパターン及びこれに応じた配置方法については、後述する部分において具体的に説明する。
【００２９】
マイクロレンズアレイ部１２０を透過した光は、背面のイメージセンサ部１３０に入射される。イメージセンサ部１３０は、複数のマイクロレンズの各々を介して透過された光をセンシングする。イメージセンサ部１３０は、相補性金属酸化物半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）と電荷結合素子（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：ＣＣＤ）などのようなイメージセンサが複数並べられたイメージセンサアレイにより実現されてよい。これにより、イメージセンサ部１３０は、各マイクロレンズを介して透過された光によって複数の原イメージを生成する。
【００３０】
データ処理部１４０は、イメージセンサ部１３０でセンシングされた複数の原イメージを利用して、複数のサブイメージを生成する。ここで、サブイメージとは、多様な視点で撮影されたピクセルを組み合わせて生成されたイメージを意味する。すなわち、複数のサブイメージは、同一の被写体を互いに異なる視点で撮像したイメージから構成されてよい。
【００３１】
データ処理部１４０は、複数の原イメージから対応する位置のピクセルを各々収集して、複数のサブイメージを生成することができる。サブイメージ生成方式については、後述する部分において説明する。
【００３２】
格納部１５０は、データ処理部１４０で生成した複数のサブイメージを格納する。
【００３３】
制御部１６０は、格納部１５０に格納された複数のサブイメージを利用して、多様な動作を行うことができる。具体的には、制御部１６０は、複数のサブイメージ内で互いにマッチングされるピクセルを検出して、ディスパリティマッチングを行うことができる。ディスパリティマッチングとは、同じ被写体を表すピクセルがサブイメージに応じて異なる位置に存在するとき、そのピクセル間の位置差を利用して、被写体との距離、すなわち、深さ（ｄｅｐｔｈ）情報を算出する動作を意味する。
【００３４】
上述したように、複数のマイクロレンズそのものでカラーフィルタリングがなされるため、各サブイメージ内のピクセルは、互いに異なるカラー情報を有するようになる。よって、制御部１６０は、互いにマッチングされるピクセルのカラー値を組み合わせて、被写体のカラー情報を復元することができる。
【００３５】
制御部１６０は、復元されたカラー情報、深さ情報などを利用して、多様なイメージ処理作業を行うことができる。具体的には、ユーザの望む地点を基準にフォーカスを再調整してイメージを生成するリフォーカシング作業や、３Ｄ客体検出作業などを行うことができる。
【００３６】
図２及び図３は、メインレンズを透過した光がマイクロレンズアレイ部１２０に入射する過程を示す図である。図２のように、被写体１０から反射される光は、メインレンズ１１０を介して透過されながら光軸方向に収束するようになる。マイクロレンズアレイ部１２０がその収束地点（すなわち、第２地点）以内に位置すると、反射光は、正常にマイクロレンズアレイ部１２０に入射される。
【００３７】
図３のように、マイクロレンズアレイ部１２０が収束地点の外側に位置すると、反射光は逆像でマイクロレンズアレイ部１２０に入射される。
【００３８】
各マイクロレンズは、入射された光をカラー光に変換させて透過させるようになり、透過された光はイメージセンサ１３０に入射される。
【００３９】
図４は、複数のマイクロレンズにより多視点映像が獲得される原理を説明するための図である。図４に示すように、Ｘ−２、Ｘ−１、Ｘ０地点から反射される光は、各々メインレンズ１１０を透過しながら屈折してマイクロレンズアレイ部１２０に入射される。屈折角度を調整するために、図４に示すように、フィールドレンズ１１５が更に使用されてよい。フィールドレンズ１１５は、マイクロレンズアレイ部１２０側の表面が平らに形成され、その反対側の表面、すなわち、メインレンズ１１０側の表面が凸状に形成されてよい。フィールドレンズ１１５は、メインレンズ１１０を透過した光をマイクロレンズアレイ部１２０側に伝達する。図４では、メインレンズ１１０の各領域θ１〜θ５を透過した光がそれぞれ異なる視点の映像を構成したものを示す。これにより、θ１〜θ５のように総５個の視点のイメージが獲得されることが分かる。
【００４０】
マイクロレンズアレイ部１２０内の各マイクロレンズには、予め設定されたカラーパターンに応じてカラーが割り当てられてよい。カラーパターンは、多様に実現されてよい。
【００４１】
図５は、本発明の一実施の形態にかかるカラーパターンを示す。
【００４２】
図５によれば、マイクロレンズアレイ部１２０は、複数のマイクロレンズグループ単位１２０−１、１２０−２〜１２０−ｘｙに区分される。各マイクロレンズのグループ内では、個別的に選択されたカラーが各々付与された複数のマイクロレンズが予め設定されたカラーパターンに応じて配置される。図５では、１つのマイクロレンズグループ内において、第１行には、レッド（Ｒ）カラーが割り当てられたマイクロレンズ１２１、グリーン（Ｇ）カラーが割り当てられたマイクロレンズ１２２が配置され、第２行には、グリーン（Ｇ）カラーが割り当てられたマイクロレンズ１２３、ブルー（Ｂ）カラーが割り当てられたマイクロレンズ１２４が配置される。このようなマイクロレンズグループは、繰り返し配置される。図５では、複数のマイクロレンズグループがｙ個の行及びｘ個の列で配置されたものを示す。
【００４３】
図６は、マイクロレンズアレイ部１２０及びイメージセンサ部１３０の断面構成の一例を示す。特に、図５のようなカラーパターンを有するマイクロレンズアレイ部１２０において第１行を横に切った断面図を示す。
【００４４】
図６によれば、マイクロレンズアレイ部１２０は、複数のマイクロレンズ１２１、１２２、１２５、．．．が配置された基板１８０を含み、イメージセンサ部１３０は、マイクロレンズアレイ部１２０に接するように配置される。
【００４５】
基板１８０は、透明な材質からなってよい。
【００４６】
イメージセンサ部１３０は、第１絶縁層１９０、第２絶縁層３００、支持基板２００を備える。第１絶縁層１９０内には、電気的接続のための金属配線１９１〜１９６が設けられる。金属配線１９１〜１９６は、各マイクロレンズを透過した光の経路を遮断しないように設計されてよい。図６においては、１つの絶縁層１９０内に金属配線１９１〜１９６が備えられたものを示しているが、実施の形態によっては、金属配線は、複数の絶縁層に分散配置されてよい。
【００４７】
支持基板２００には、複数のピクセルグループ２１０、２２０、２３０、．．．が配置される。各ピクセルグループ２１０、２２０、２３０、．．．内には、複数のピクセルを形成するイメージセンサ２１１〜２１４、２２１〜２２４、２３１〜２３４が配置される。各イメージセンサ２１１〜２１４、２２１〜２２４、２３１〜２３４は、マイクロレンズ１２１、１２２、１２３を透過した光をセンシングする。ピクセルグループの間には、素子分離膜４１０、４２０、４３０、４４０が備えられ、イメージセンサ間の干渉を防止する。
【００４８】
金属配線１９１〜１９６は、各イメージセンサと外部電極パッドと接続させる。これにより、各イメージセンサから出力される電気信号をデータ処理部１４０及び格納部１５０などに伝達することができる。
【００４９】
図６では、イメージセンサの全体ピクセル個数がマイクロレンズの個数を超過するように配置された場合を示す。具体的には、１つのマイクロレンズに対応する位置に４＊４個のイメージセンサが備えられた場合を示す。
【００５０】
図７は、Ｒ、Ｇ、Ｂカラーパターンからなるマイクロレンズアレイ部１２０を利用してイメージをセンシングする場合を示す。マイクロレンズアレイ部１２０には、多様なカラーのマイクロレンズが配置される。
【００５１】
図７によれば、各マイクロレンズ１２１、１２２、１２３、１２４、１２５、．．．を透過した光が４＊４ピクセルのイメージを形成したものを示す。説明の便宜のために、各マイクロレンズにより生成されるイメージを原イメージ（ｏｒｉｇｉｎａｌ  ｉｍａｇｅ）と称する。なお、各マイクロレンズに対しては、カラー別に英字大文字Ｒ、Ｇ、Ｂで表示しており、その配置位置によって、ｉｊ（ｉは、行番号、ｊは、列番号）に区分する。なお、１つのイメージを構成するピクセルは、小文字ｒ、ｇ、ｂでそれぞれ表示し、そのピクセル位置に応じて１〜１６のような添付番号を付して区分する。原イメージの個数は、マイクロレンズの個数に対応する。図７によれば、ｎ＊ｍ個の原イメージが獲得できる。
【００５２】
データ処理部１４０は、イメージセンサ部１３０でセンシングされたイメージを構成するピクセルのうち、互いに対応する位置のピクセルを組み合わせて複数のサブイメージを生成する。
【００５３】
図８Ａ及び図８Ｂは、複数のサブイメージを生成する方法を説明するための図である。図８Ａによれば、サブイメージ１は、ｎ＊ｍ個のピクセルからなる。サブイメージ１は、複数の原イメージのうち、第１番目の行及び第１番目の列に位置したピクセルｒ１、ｇ１、ｂ１の組み合わせからなる。
【００５４】
図８Ｂによれば、サブイメージ２は、複数の原イメージのうち、第１番目の行及び第２番目の列に位置したピクセルｒ２、ｇ２、ｂ２の組み合わせからなる。以上のように、総１６個のサブイメージを生成することができる。生成された各サブイメージは、格納部１５０に格納される。
【００５５】
一方、マイクロレンズアレイ部１２０内の各マイクロレンズは、カラーフィルタリングを行うために、カラーコーティング層またはカラーフィルタ部を更に備えることができる。
【００５６】
図９は、マイクロレンズアレイ部１２０の構成の一例を示す。具体的には、図９は、図５のマイクロレンズアレイ部１２０の第１行の断面構成を示す。
【００５７】
マイクロレンズアレイ部１２０は、マイクロレンズ１２１、１２２、１２５、１２６及びこれを支持する基板１８０を含む。各マイクロレンズ１２１、１２２、１２５、１２６の表面には、カラーコーティング層１２１−１、１２２−１、１２５−１、１２６−１が形成される。カラーコーティング層１２１−１、１２２−１、１２５−１、１２６−１は、カラーを帯びる染料からなってよい。カラーコーティング層１２１−１、１２２−１、１２５−１、１２６−１のカラーは、予め設定されたパターンで繰り返されてよい。すなわち、奇数行では、Ｒ及びＧカラーが繰り返され、偶数行では、Ｇ及びＢカラーが繰り返される。
【００５８】
図１０は、マイクロレンズアレイ部１２０構成の更に別の例を示す。図１０によれば、マイクロレンズアレイ部１２０は、第１基板層６１０及び第２基板層６２０を備える。第１基板層６１０は、複数のマイクロレンズ６１２、マイクロレンズ６１２がマトリックスパターンで配置された基板６１１を備えることができる。マイクロレンズ６１２及び第１基板層６１０の間は、空いた空間６１３であってよく、透明な材質の物質で埋められてよい。
【００５９】
第２基板層６２０は、複数のカラーフィルタ部６２１〜６２６を備える。各カラーフィルタ部６２１〜６２６は、複数のマイクロレンズの位置に対応するように配置される。各カラーフィルタ部６２１〜６２６は、定められたカラーの光を透過させるカラーフィルタリングを行う。複数のカラーフィルタ部６２１〜６２６のカラーは、予め設定されたパターンで繰り返されてよい。例えば、図５のようなカラーパターンを有する場合には、マイクロレンズアレイ部１２０の第１行は、Ｒ及びＧカラーが繰り返されるパターンにより実現されてよい。
【００６０】
以上のように、マイクロレンズは、多様な構成により実現されてカラーフィルタリングを行うことができる。マイクロレンズの有するカラーは、多様なパターンにより実現されてよい。以下では、本発明の多様な実施の形態にかかるカラーパターンの例について具体的に説明する。
【００６１】
図１１は、４つのマイクロレンズ単位で繰り返されるカラーパターンを示す。図１１Ａでは、奇数番目の行では、Ｇカラーマイクロレンズ及びＲカラーマイクロレンズが繰り返し配置され、偶数番目の行では、Ｂカラーマイクロレンズ及びＧカラーマイクロレンズが繰り返し配置される場合を示す。すなわち、図１１Ａでは、Ｇ、Ｒ、Ｂ、Ｇカラーをそれぞれ有する４つのカラーマイクロレンズが２＊２マトリックス形態で配置されたマイクロレンズグループが繰り返し配置される実施の形態を示す。
【００６２】
図１１Ｂでは、Ｂ、Ｒ、Ｒ、Ｇカラーマイクロレンズグループ、図１１Ｃでは、Ｃ（Ｃｙａｎ）、Ｙ（Ｙｅｌｌｏｗ）、Ｙ、Ｍカラーマイクロレンズグループ、図１１Ｄでは、Ｃ、Ｙ、Ｇ、Ｍカラーマイクロレンズグループが繰り返し配置される実施の形態を示す。
【００６３】
図１２は、ホワイトカラーマイクロレンズを含むカラーパターンの例を示す。
【００６４】
図１２Ａでは、奇数番目の行では、Ｗ（ｗｈｉｔｅ）カラーマイクロレンズ及びＲカラーマイクロレンズが繰り返し配置され、偶数番目の行では、Ｂカラーマイクロレンズ及びＧカラーマイクロレンズが繰り返し配置される場合を示す。ホワイトカラーレンズとは、白色光を透過させるレンズを意味する。すなわち、別途のカラーコーティング層またはカラーフィルタ層が備えられずに、透明な材質のみからなるレンズであってよい。
【００６５】
図１２Ｂでは、奇数番目の行では、Ｗ（ｗｈｉｔｅ）、Ｂ、Ｗ、Ｇカラーマイクロレンズが繰り返し配置され、偶数番目の行では、Ｂ、Ｗ、Ｇ、Ｗカラーマイクロレンズが繰り返し配置される場合を示す。以上で説明した実施の形態では、各行では、２つのマイクロレンズ単位でカラーが繰り返される実施の形態を説明したが、図１２Ｂに示すように、カラーが繰り返される周期は２つ以上であってよい。
【００６６】
図１２Ｃでは、偶数列は、全てＷカラーマイクロレンズが配置され、奇数列は、Ｇ、Ｇ、Ｂ、Ｂが繰り返されるパターンまたはＲ、Ｒ、Ｇ、Ｇが繰り返されるパターンにマイクロレンズが配置される実施の形態を示した。
【００６７】
図１２Ｄでは、偶数列は、全てＷカラーマイクロレンズが配置され、奇数列は、Ｇ、Ｂ、Ｇ、Ｂが繰り返されるパターンまたはＲ、Ｇ、Ｒ、Ｇが繰り返されるパターンにマイクロレンズが配置される実施の形態を示した。
【００６８】
図１１及び図１２では、マイクロレンズアレイ部が２＊２個のマイクロレンズを含むグループ単位で区分できる実施の形態を示したが、各グループのマイクロレンズの個数は多様に実現されてよい。
【００６９】
図１３は、３＊３個のマイクロレンズで構成されたマイクロレンズグループを複数含むマイクロレンズアレイ部１２０の構成を示す。
【００７０】
図１３によれば、１つのマイクロレンズグループは、第１行にＲ、Ｇ、Ｂカラーマイクロレンズが配置され、第２行にはＢ、Ｒ、Ｇカラーマイクロレンズ、第３行にはＧ、Ｂ、Ｒカラーマイクロレンズが配置される形となる。マイクロレンズアレイ部１２０は、３＊３マイクロレンズから構成されたグループが繰り返し配置される形で実現されてよい。
【００７１】
図１４は、６＊６個のマイクロレンズで構成されたマイクロレンズグループを複数含むマイクロレンズアレイ部１２０の構成を示す。
【００７２】
図１４によれば、１つのマイクロレンズグループは、第１行にＧ、Ｂ、Ｇ、Ｇ、Ｒ、Ｇカラーマイクロレンズが配置され、第２行にＲ、Ｇ、Ｒ、Ｂ、Ｇ、Ｂカラーマイクロレンズ、第３行にＧ、Ｂ、Ｇ、Ｇ、Ｒ、Ｇカラーマイクロレンズ、第４行にＧ、Ｒ、Ｇ、Ｇ、Ｂ、Ｇカラーマイクロレンズ、第５行にはＲ、Ｇ、Ｂ、Ｒ、Ｇ、Ｒカラーマイクロレンズ、第６行にＧ、Ｒ、Ｇ、Ｇ、Ｂ、Ｇカラーマイクロレンズが配置される。このようなカラーパターンを有するマイクロレンズグループが繰り返し配置されてよい。
【００７３】
以上のような実施の形態においては、各マイクロレンズは、マトリックスパターンで配置されるものとして示したが、その配置形態は、それに限定されるものではない。
【００７４】
図１５は、複数のマイクロレンズが対角線方向に配置される実施の形態を示す。図１５によれば、マイクロレンズアレイ部１２０は、複数の対角線列１５００、１５１０、１５２０、１５３０、１５４０、１５５０、１５６０、１５７０、１５８０、１５９０、１６００を含む。中心列１５００には、２つのＲカラーマイクロレンズ及び２つのＢカラーマイクロレンズが交互に配置される。そして、その周辺には、複数のＧカラーマイクロレンズを含む列が配置される。図１５に示すように、Ｒ及びＢカラーが混在する列と、Ｇカラーのみからなる列が対角線方向に交互に繰り返し配置されてよい。
【００７５】
以上のような多様なカラーパターンのマイクロレンズアレイ部１２０を透過した光は、イメージセンサ部１３０に入射される。これにより、複数の原イメージが獲得されてよい。データ処理部１４０は、図８Ａ及び図８Ｂにおいて説明した通りに、各原イメージのピクセルのうち、互いに対応する地点のピクセルを集めて複数のサブイメージを生成する。
【００７６】
マイクロレンズアレイ部１２０において複数のマイクロレンズを利用してカラー光をフィルタリングする。すなわち、サブイメージ別にカラー情報を分けて獲得した後に復元するため、デモザイク技法のようにピクセル値に基づいて色補間を行わなくても、イメージのカラー情報を復元することができる。それにより、色補間過程において発生するブラー（ｂｌｕｒ）による解像度の低下問題を防止することができるようになる。
【００７７】
図１６は、本発明の一実施の形態にかかる撮影方法を説明するためのフローチャートである。図１６によれば、撮影装置は、撮影命令が入力されると、シャッタをオープンさせる。それにより、メインレンズを介して光が入射されると、入射された光を複数のマイクロレンズを利用して透過してカラー別にフィルタリングする（Ｓ１６１０）。マイクロレンズは、図９及び図１０において示すような多様な構成により実現され、レンズ別にマッチングされるカラーをフィルタリングできる。マイクロレンズアレイ部のカラーパターンは、上述したように多様に実現されてよい。
【００７８】
各マイクロレンズを透過した光は、イメージセンサ部に入射される。イメージセンサ部は、複数のマイクロレンズを透過した光に基づいて、複数の原イメージを獲得する（Ｓ１６２０）。原イメージの各々は被写体を互いに異なる視点で撮影したものであり、各マイクロレンズのカラーに対応するカラーから構成される。
【００７９】
撮影装置は、複数の原イメージ内の各ピクセルを組み合わせて、複数のサブイメージを生成する（Ｓ１６３０）。また、生成されたサブイメージを格納する（Ｓ１６４０）。
【００８０】
また、サブイメージ内で互いにマッチングされるピクセルを検出し、カラー情報及び深さ情報を復元する（Ｓ１６５０）。カラー情報及び深さ情報などは、リフォーカシング作業、３Ｄ客体検出作業などに使用されてよい。
【００８１】
図１７は、ユーザ選択によって多様なイメージ処理を行う方法を説明するためのフローチャートである。図１７によれば、ユーザは、被写体を撮影してイメージ処理のためのメニューを選択することができる。メニューには、リフォーカシングメニュー、３Ｄ客体検出メニュー、視点変換メニューなどが更に含まれてよい。
【００８２】
メニュー選択によりリフォーカシング命令が入力された場合には（Ｓ１７１０）、撮影装置は、複数のサブイメージのうち、１つのサブイメージを選択してディスプレイする。一例として、中間位置のピクセルからなるサブイメージをディスプレイすることができる。
【００８３】
ユーザは、ディスプレイされたイメージ内でフォーカスを合わせようとする基準点を選択することができる（Ｓ１７２０）。
【００８４】
基準点が選択されれば、制御部１６０は、基準点の深さ情報を確認する（Ｓ１７３０）。深さ情報は、複数のサブイメージ内の各ピクセルのうち、互いに対応するピクセル値を有するピクセルの位置差を利用して探索できる。制御部１６０は、確認された深さ情報に合せてサブイメージのピクセルをシフトさせる。その後、シフトされたピクセルのピクセル値をその平均値で調整して、検出された基準点にフォーカスを合わせたイメージを生成する（Ｓ１７４０）。結果的に、基準点に対応する深さ情報を有する客体が鮮明に表示される。
【００８５】
一方、リフォーカシングではなく、３Ｄ客体検出命令が入力された場合には（Ｓ１７５０）、複数のサブイメージの間で対応するピクセルを検出して、そのディスパリティを抽出するディスパリティマッチング作業を行う（Ｓ１７６０）。
【００８６】
これにより、各ピクセルのディスパリティに応じて左眼映像及び右眼映像を生成する（Ｓ１７７０）。具体的には、深さの深い客体に対しては、左眼映像でのピクセル位置と右眼映像でのピクセル位置との間のピクセル距離を大きく生成し、深さの浅い客体に対しては、左眼映像でのピクセル位置と右眼映像でのピクセル位置との間のピクセル距離を小さく生成する。これにより、３Ｄイメージを生成できる。
【００８７】
図１６及び図１７において説明したように、本発明の多様な実施の形態によれば、撮影装置は、被写体を撮影した以後にユーザの選択によって多様な方式により調整することができる。従って、デモザイク処理をしなくても、カラーイメージを生成することができる。
【００８８】
図１８は、イメージ処理過程の一例であるリフォーカシング作業を具体的に説明するための図である。撮影装置に入射される光は、位置ｑと角度ｐを有する光のラジエンス（ｒａｄｉａｎｃｅ）であるｒ（ｑ、ｐ）で表現できる。このような光はレンズを透過した後、レンズ及びイメージセンサ間の空間を通ってイメージセンサに入射される。したがって、イメージセンサから獲得される映像のラジエンスに対する変換マトリックスは、レンズの特性マトリックスとその間の空間の特性マトリックスの積で表される。
【００８９】
リフォーカシングとは、フォーカスの調整された状態の映像を獲得するための作業である。すなわち、リフォーカシングとは、既に獲得したラジエンス情報を利用して、他の位置のイメージセンサ平面に到達したラジエンス情報を計算する方式でなされてよい。
【００９０】
図１８は、リフォーカシング作業の一例を定義するための図である。図１８は、ｒ１からｒ２にフォーカスが調整された場合を示す。
【００９１】
図１８において、メインレンズ１１０からａ分離れた地点の被写体の像であるメインレンズ１１０からマイクロレンズアレイ部１２０の方向にｂ分離れた地点であるｒ１面に結像される場合、ａ’分離れた地点の被写体の像は、マイクロレンズアレイ部１２０の方向にｂ’分離れた地点であるｒ２面に結像されるようになる、
制御部１６０は、ｒ１面に結像された光のラジエンス情報を利用して、ｒ２面に結像された光のラジエンス情報を求めることができる。具体的には、ｒ’（ｑ、ｐ）＝ｒ（ｑ−ｔｐ、ｐ）のような式を利用して、変化されたラジエンス情報を求めることができる。ここで、ｔは、光がメインレンズ１１０及びイメージセンサ１３０の間で通る距離を意味する。制御部１６０は、変化されたラジエンス情報を求めるようになれば、それに基づいて、リフォーカシングされた結果映像を作り出すことができる。具体的には、制御部１６０は、複数のサブイメージの各ピクセルの深さ情報を確認して、変化されたラジエンス情報に応じてピクセルを組み合わせることでフォーカスの変更されたイメージを獲得することができる。図１８において説明したリフォーカシング方式は一例に過ぎず、その他にも、多様な方式でリフォーカシングやその他のイメージ処理がなされ得ることは言うまでもない。
【００９２】
上述した多様な実施の形態にかかる撮影方法は、カラーフィルタを備えた複数のマイクロレンズを含む撮影装置に適用されてよい。具体的には、このような撮影方法を行うためのプログラムコードでコーディングされて非一時的読み取り可能媒体に格納されてよい。このような非一時的読み取り可能媒体は、上述したような撮影装置に搭載されて、該当装置において上述した方法を実行するようにサポートできる。
【００９３】
非一時的読み取り可能媒体とは、レジスタ、キャッシュ、メモリなどのような短い瞬間の間にデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述した多様なアプリケーションまたはプログラムは、ＣＤ、ＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリーカード、ＲＯＭなどのような非一時的読み取り可能媒体に格納されて提供されることができる。
【００９４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【図１】
2016511562.tif 000003
【図２】
2016511562.tif 000004
【図３】
2016511562.tif 000005
【図４】
2016511562.tif 000006
【図５】
2016511562.tif 000007
【図６】
2016511562.tif 000008
【図７】
2016511562.tif 000009
【図８Ａ】
2016511562.tif 000010
【図８Ｂ】
2016511562.tif 000011
【図９】
2016511562.tif 000012
【図１０】
2016511562.tif 000013
【図１１Ａ】
2016511562.tif 000014
【図１１Ｂ】
2016511562.tif 000015
【図１１Ｃ】
2016511562.tif 000016
【図１１Ｄ】
2016511562.tif 000017
【図１２Ａ】
2016511562.tif 000018
【図１２Ｂ】
2016511562.tif 000019
【図１２Ｃ】
2016511562.tif 000020
【図１２Ｄ】
2016511562.tif 000021
【図１３】
2016511562.tif 000022
【図１４】
2016511562.tif 000023
【図１５】
2016511562.tif 000024
【図１６】
2016511562.tif 000025
【図１７】
2016511562.tif 000026
【図１８】
2016511562.tif 000027
【国際調査報告】
2016511562.tif 000028
2016511562.tif 000029