(57)【要約】      （修正有）【課題】撮影装置の体積を減少させるためにマルチレンズを用いた映像復元装置及び方法を提供する。【解決手段】映像復元装置は、検出エレメント６２１、６２２、６２３を含むセンサ６２０、及びレンズ６１１、６１２、６１３を含む。第１検出エレメント６２１は、緑色に対応する色値を検出情報として生成する。第２検出エレメント６２２及び第３検出エレメント６２３は、赤色に対応する色値を検出情報として生成する。映像復元装置は、第２検出エレメント６２２及び第３検出エレメント６２３によって検出された赤色に対する色情報に基づいて、第１検出エレメント６２１の赤色に対する色情報を復元する。【選択図】図６
2019097169.tif 000002
【特許請求の範囲】
【請求項１】
映像復元装置において、
複数の光線を通過させる複数のレンズと、
前記複数のレンズのうち第１レンズを通過した対象光線を受信する対象検出エレメント、及び前記複数のレンズのうち第１レンズと異なる第２レンズを通過した第２光線を受信する第２検出エレメントを含むセンサと、
前記第２光線の方向と前記対象光線の方向との間の差に基づいて前記第２検出エレメントを決定し、前記第２検出エレメントによって検出された色情報に基づいて前記対象検出エレメントに対応する色情報を復元するプロセッサと、
を含む映像復元装置。
【請求項２】
前記第２検出エレメントに対する前記第２光線の方向と前記対象光線の方向との間の差は閾値以下である、請求項１に記載の映像復元装置。
【請求項３】
前記対象検出エレメントによって受信される前記対象光線の方向と前記第２検出エレメントに対する前記第２光線の方向との間の角度差は閾値角度以下である、請求項１に記載の映像復元装置。
【請求項４】
前記プロセッサは、前記対象検出エレメントによって受信される対象光線の方向と予め決定された個数の検出エレメントによって受信される方向との間の角度の差が小さい順に、前記予め決定された個数の検出エレメントを前記第２検出エレメントとして決定する、請求項１ないし３のうちの何れか一項に記載の映像復元装置。
【請求項５】
前記プロセッサは、前記復元された色情報に基づいてカラー映像を復元する、請求項１ないし４のうちの何れか一項に記載の映像復元装置。
【請求項６】
前記対象検出エレメントは、前記複数の光線のうち前記対象検出エレメントによって受信される対象光線から第１色に対応する色値を検出し、
前記第２検出エレメントは、前記複数の光線のうち前記第２検出エレメントによって受信される前記第２光線から第２色に対応する色値を検出し、
前記第１色及び前記第２色は互いに異なり、
前記プロセッサは、前記第２検出エレメントによって検出された第２色に対応する色値に基づいて、前記対象検出エレメントが配置された位置に対応する第２色に対応する色値を決定する、請求項１ないし３のうちの何れか一項に記載の映像復元装置。
【請求項７】
前記プロセッサは、前記対象検出エレメントと空間的に隣接する隣接検出エレメントによって検出された色情報、及び前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を決定する、請求項１に記載の映像復元装置。
【請求項８】
前記プロセッサは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用する、請求項７に記載の映像復元装置。
【請求項９】
前記プロセッサは、前記対象検出エレメントによって受信される対象光線の方向と前記第２検出エレメントによって受信される前記第２光線の方向との間の角度の差が小さいほど、前記第２検出エレメントによって検出された色情報に適用される加重値を増加させる、請求項１ないし３のうちの何れか一項に記載の映像復元装置。
【請求項１０】
前記複数のレンズは、前記センサに含まれた複数の検出エレメントに対して、一対一の対応関係ではない所定の対応関係に従って配置される、請求項１ないし９のうちの何れか一項に記載の映像復元装置。
【請求項１１】
映像復元方法において、
複数の検出エレメントを含むセンサによって、複数のレンズを通過した複数の光線を受信するステップと、
対象光線の方向に基づいて前記複数のレンズのうち第２レンズを通過する第２光線を受信する第２検出エレメントを選択するステップであって、前記第２検出エレメントは、前記複数のレンズのうち第１レンズを通過した前記対象光線を受信した対象検出エレメントとは異なる、ステップと、
前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントに対応する色情報を復元するステップと、
を含み、
前記第２検出エレメントは、前記対象光線の方向と前記第２光線の方向との間の差に基づいて選択される、映像復元方法。
【請求項１２】
前記第２検出エレメントに対する前記第２光線の方向と前記対象光線の方向との間の差は閾値以下である、請求項１１に記載の映像復元方法。
【請求項１３】
前記第２検出エレメントに対する前記第２光線の方向と前記対象光線の方向との間の角度差は閾値角度以下である、請求項１１に記載の映像復元方法。
【請求項１４】
前記第２検出エレメントを選択するステップは、前記対象検出エレメントによって受信される対象光線の方向と予め決定された個数の検出エレメントによって受信される方向との間の角度の差が小さい順に、前記予め決定された個数の検出エレメントを前記第２検出エレメントとして決定するステップを含む、請求項１１ないし１３のうちの何れか一項に記載の映像復元方法。
【請求項１５】
前記復元された色情報に基づいて、カラー映像を復元するステップをさらに含む、請求項１１ないし１４のうちの何れか一項に記載の映像復元方法。
【請求項１６】
前記複数の光線を受信するステップは、
前記複数の光線のうち、前記対象検出エレメントによって受信される対象光線から第１色に対応する色値を検出するステップと、
前記複数の光線のうち、前記第２検出エレメントによって受信される前記第２光線から前記第１色と異なる第２色に対応する色値を検出するステップと、
を含み、
前記色情報を復元するステップは、前記第２検出エレメントによって検出された第２色に対応する色値に基づいて、前記対象検出エレメントが配置された位置に対応する第２色に対応する色値を決定するステップを含む、請求項１１ないし１３のうちの何れか一項に記載の映像復元方法。
【請求項１７】
前記色情報を復元するステップは、前記対象検出エレメントと空間的に隣接する隣接検出エレメントによって検出された色情報及び前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を推定するステップを含む、請求項１１に記載の映像復元方法。
【請求項１８】
前記色情報を推定するステップは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用するステップを含む、請求項１７に記載の映像復元方法。
【請求項１９】
前記色情報を復元するステップは、前記対象検出エレメントによって受信される対象光線の方向と前記第２検出エレメントによって受信される前記第２光線の方向との間の角度の差が小さいほど、前記第２検出エレメントによって検出された色情報に適用される加重値を増加させるステップを含む、請求項１１ないし１３のうちの何れか一項に記載の映像復元方法。
【請求項２０】
請求項１１ないし１９うち何れか一項に記載の映像復元方法を映像復元装置のコンピュータに実行させるコンピュータプログラム。
【請求項２１】
映像復元装置において、
複数の光線を通過させる複数のレンズと、
前記複数のレンズのうち第１レンズを通過する対象光線を受信する対象検出エレメント、及び前記複数のレンズのうち第２レンズを通過する第２光線を受信する第２検出エレメントを含むセンサと、
前記対象光線の視点と前記第２光線の視点との間の差が閾値以下である前記第２検出エレメントを決定し、前記第２検出エレメントによって検出された色情報に基づいて前記対象検出エレメントに対応する色情報を復元するプロセッサと、
を含む映像復元装置。
【請求項２２】
前記プロセッサは、前記第２検出エレメントによって検出された色情報及び前記対象検出エレメントに空間的に隣接する隣接検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を決定する、請求項２１に記載の映像復元装置。
【請求項２３】
前記プロセッサは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用し、
前記対象光線の視点と前記第２光線の視点との間の差が減少するほど、前記第２検出エレメントによって検出された色情報に適用される前記第２加重値を増加させ、前記隣接検出エレメントによって検出された色情報に適用される前記第１加重値を減少させる、請求項２２に記載の映像復元装置。
【発明の詳細な説明】
【技術分野】
【０００１】
以下、映像を復元する技術が提供される。
【背景技術】
【０００２】
光学技術及び映像処理技術の発達に伴い、マルチメディアコンテンツ、セキュリティー、及び認識などの広範囲な分野に撮影装置が活用されている。例えば、撮影装置は、モバイル機器、カメラ、車両、及びコンピュータなどに搭載され、映像を撮影したり、オブジェクトを認識したり、機器を制御するためのデータを取得する。撮影装置の体積は、レンズのサイズ、レンズの焦点距離、及びセンサのサイズなどによって決定される。例えば、レンズのサイズとセンサのサイズに基づいて撮影装置の体積が調整される。センサのサイズが減少することにより、センサに入射する光量が減少し得る。そのため、映像の解像度が低くなったり、低照度環境における撮影が困難になってしまう場合があり得る。撮影装置の体積を減少させるために、小型レンズで構成されたマルチレンズを用いてもよい。レンズのサイズが減少する場合にレンズの焦点距離は減し得る。したがって、マルチレンズを介して撮影装置の体積が減少される。しかしながら、そのようなマルチレンズを使用する場合に、色値をどのように処理すべきかについての技術は未だ確立されていない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
一実施形態の課題は、対象検出エレメントに入射される光線と類似する方向に進行する光線を受信する他の検出エレメントから検出された色値に基づいて、対象検出エレメントのピクセル位置に対応する色値を推定することにある。
【課題を解決するための手段】
【０００４】
一実施形態に係る映像復元装置は、複数の光線を通過させる複数のレンズと、前記複数のレンズのうち第１レンズを通過した対象光線を受信する対象検出エレメント、及び前記複数のレンズのうち第２レンズを通過した第２光線を受信する第２検出エレメントを含むセンサ（前記第１レンズは、前記第２レンズと異なる）と、前記第２光線の方向と前記対象光線の方向との間の差に基づいて前記第２検出エレメントを決定し、前記第２検出エレメントによって検出された色情報に基づいて前記対象検出エレメントに対応する色情報を復元するプロセッサとを含む。
【０００５】
前記プロセッサが、前記第２光線を受信する検出エレメントを前記第２検出エレメントとして決定する場合において、前記第２検出エレメントに関する前記第２光線の方向と前記対象光線の方向との間の差は閾値以下であり得る。
【０００６】
前記プロセッサが前記第２光線を受信する検出エレメントを前記第２検出エレメントとして決定する場合において、前記対象検出エレメントによって受信される前記対象光線の方向と前記第２検出エレメントに関する前記第２光線の方向との間の角度差は閾値角度以下であり得る。
【０００７】
前記プロセッサは、前記対象検出エレメントによって受信される対象光線の方向と予め決定された個数の検出エレメントによって受信される方向との間の角度の差が小さい順に、前記予め決定された個数の検出エレメントを前記第２検出エレメントとして決定し得る。
【０００８】
前記プロセッサは、前記復元された色情報に基づいてカラー映像を復元し得る。
【０００９】
前記対象検出エレメントは、前記複数の光線のうち前記対象検出エレメントによって受信される対象光線から第１色に対応する色値を検出し、前記第２検出エレメントは、前記複数の光線のうち前記第２検出エレメントによって受信される前記第２光線から第２色に対応する色値を検出し、前記第１色及び前記第２色は互いに異なり、前記プロセッサは、前記第２検出エレメントによって検出された第２色に対応する色値に基づいて、前記対象検出エレメントが配置された位置に対応する第２色に対応する色値を決定し得る。
【００１０】
前記プロセッサは、前記対象検出エレメントと空間的に隣接する隣接検出エレメントによって検出された色情報、及び前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を決定し得る。
【００１１】
前記プロセッサは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用し得る。
【００１２】
前記プロセッサは、前記対象検出エレメントによって受信される対象光線の方向と前記第２検出エレメントによって受信される前記第２光線の方向との間の角度の差が小さいほど、前記第２検出エレメントによって検出された色情報に適用される加重値を増加させ得る。
【００１３】
前記複数のレンズは、前記センサに含まれた複数の検出エレメントに対して、一対一の対応関係ではないながらずれるように配置され得る。
【００１４】
一実施形態に係る映像復元方法は、複数の検出エレメントを含むセンサによって、複数のレンズを通過した複数の光線を受信するステップと、対象光線の方向に基づいて前記複数のレンズのうち、第２レンズを通過する第２光線を受信する第２検出エレメントを選択するステップ（前記第２検出エレメントは、前記複数のレンズのうち第１レンズを通過した前記対象光線を受信した対象検出エレメントとは異なる）と、前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントに対応する色情報を復元するステップとを含み、前記第２検出エレメントは、前記対象光線の方向と前記第２光線の方向との間の差に基づいて選択される。
【００１５】
前記第２検出エレメントを選択するステップは、前記第２光線を受信する検出エレメントを前記第２検出エレメントとして決定するステップを含み、前記第２検出エレメントに対する前記第２光線の方向と前記対象光線の方向との間の差は閾値以下であり得る。
【００１６】
前記第２検出エレメントを選択するステップは、前記第２光線を受信する検出エレメントを前記第２検出エレメントとして決定するステップを含み、前記第２検出エレメントに対する前記第２光線の方向と前記対象光線の方向との間の角度における差は閾値角度以下であり得る。
【００１７】
前記第２検出エレメントを選択するステップは、前記対象検出エレメントによって受信される対象光線の方向と予め決定された個数の検出エレメントによって受信される方向との間の角度の差が小さい順に、前記予め決定された個数の検出エレメントを前記第２検出エレメントとして決定するステップを含み得る。
【００１８】
映像復元方法は、前記復元された色情報に基づいて、カラー映像を復元するステップをさらに含み得る。
【００１９】
前記複数の光線を受信するステップは、前記複数の光線のうち、前記対象検出エレメントによって受信される対象光線から第１色に対応する色値を検出するステップと、前記複数の光線のうち、前記第２検出エレメントによって受信される前記第２光線から前記第１色と異なる第２色に対応する色値を検出するステップとを含み、前記色情報を復元するステップは、前記第２検出エレメントによって検出された第２色に対応する色値に基づいて、前記対象検出エレメントが配置された位置に対応する第２色に対応する色値を決定するステップを含み得る。
【００２０】
前記色情報を復元するステップは、前記対象検出エレメントと空間的に隣接する隣接検出エレメントによって検出された色情報及び前記第２検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を推定するステップを含み得る。
【００２１】
前記色情報を推定するステップは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用するステップを含み得る。
【００２２】
前記色情報を復元するステップは、前記対象検出エレメントによって受信される対象光線の方向と前記第２検出エレメントによって受信される前記第２光線の方向との間の角度の差が小さいほど、前記第２検出エレメントによって検出された色情報に適用される加重値を増加させるステップを含み得る。
【００２３】
一実施形態に係るコンピュータプログラムは、上記の何れかの映像復元方法を映像復元装置のコンピュータに実行させる。
【００２４】
一実施形態に係る記憶媒体は、上記のコンピュータプログラムを記憶する。
【００２５】
一実施形態に係る映像復元装置は、複数の光線を通過させる複数のレンズと、前記複数のレンズのうち第１レンズを通過する対象光線を受信する対象検出エレメント、及び前記複数のレンズのうち第２レンズを通過する第２光線を受信する第２検出エレメントを含むセンサと、前記対象光線の視点と前記第２光線の視点との間の差が閾値以下である前記第２検出エレメントを決定し、前記第２検出エレメントによって検出された色情報に基づいて前記対象検出エレメントに対応する色情報を復元するプロセッサとを含む。
【００２６】
前記プロセッサは、前記第２検出エレメントによって検出された色情報及び前記対象検出エレメントに空間的に隣接する隣接検出エレメントによって検出された色情報に基づいて、前記対象検出エレメントの位置に対応する色情報を決定し得る。
【００２７】
前記プロセッサは、前記隣接検出エレメントによって検出された色情報に第１加重値を適用し、前記第２検出エレメントによって検出された色情報に第２加重値を適用し、前記対象光線の視点と前記第２光線の視点との間の差が減少するほど、前記第２検出エレメントによって検出された色情報に適用される前記第２加重値を増加させ、前記隣接検出エレメントによって検出された色情報に適用される前記第１加重値を減少させ得る。
【発明の効果】
【００２８】
一実施形態に係る映像復元装置は、他の検出エレメントが対象検出エレメントに入射される光線と類似する方向に進行する光線を受信することによって、対象検出エレメントが検出できない色の色値をより正確に推定することができる。
【図面の簡単な説明】
【００２９】
【図１】一実施形態に係る映像復元装置の構造を示す図である。
【図２】一実施形態に係る映像復元装置の構成を示すブロック図である。
【図３】一実施形態に係る映像復元方法を示すフローチャートである。
【図４】一実施形態に係る複数の検出エレメントを含むセンサを示す図である。
【図５】一実施形態に係る検出エレメントがレンズを介して光線を受信する形状を示す図である。
【図６】一実施形態に係る対象検出エレメントの色情報を復元するために、他のレンズを通過した光線を受信する検出エレメントを用いることを示す図である。
【図７】説明の便宜のために、対象検出エレメントが受信する光線と方向性が類似する光線を受信する検出エレメントを１次元に示す図である。
【図８】一実施形態に係る映像復元方法を詳細に示すフローチャートである。
【図９】一実施形態に係る映像復元の例示を説明した図である。
【図１０】一実施形態に係る映像復元装置が具現される機器を示す図である。
【図１１】一実施形態に係る映像復元装置が具現される機器を示す図である。
【発明を実施するための形態】
【００３０】
以下、添付する図面を参照しながら実施形態を詳細に説明する。しかし、特許出願の範囲がこのような実施形態によって制限も限定もされることはない。各図面に提示された同じ参照符号は同じ部材を示す。
【００３１】
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
【００３２】
本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【００３３】
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【００３４】
また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。
【００３５】
図１は、一実施形態に係る映像復元装置の構造を示す図である。
【００３６】
一実施形態に係る映像復元装置１００によって撮影及び復元される映像の品質は、センサ１２０に含まれた検出エレメント数、及び検出エレメントに入射される光量によって決定される。例えば、映像の解像度は、センサ１２０に含まれた検出エレメント数によって決定され、映像の感度、例えば、カメラのＩＳＯなどは、検出エレメントに入射される光量によって決定される。検出エレメントに入射される光量は、検出エレメントのサイズに基づいて決定される。検出エレメントのサイズが大きいほど、検出エレメントに入射される光量は増加し、センサ１２０の動的範囲（即ち、ダイナミックレンジ）が増加する。したがって、センサ１２０に含まれた検出エレメント数が増加することにより、センサ１２０は高解像度の映像を撮影することができ、検出エレメントのサイズが増加することにより、センサ１２０は低照度で感度を改善することができる。
【００３７】
映像復元装置１００の体積は、レンズ１１１の焦点距離（ｆ）によって決定される。より具体的に、映像復元装置１００の体積は、レンズ１１１とセンサ１２０との間の間隔によって決定されるが、レンズ１１１によって屈折させられた光１９０を収集するためにセンサ１２０は、レンズ１１１の焦点距離（ｆ）に位置しなければならため、映像復元装置１００に含まれたレンズ１１１とセンサ１２０は、レンズ１１１の焦点距離（ｆ）だけ離隔して配置されなければならない。レンズ１１１の焦点距離（ｆ）は、映像復元装置１００の視野角とレンズ１１１のサイズ（例えば、レンズ１１１口径の半径）によって決定される。例えば、視野角が固定されている場合、レンズ１１１のサイズに比例して焦点距離（ｆ）が長くなる。また、レンズ１１１のサイズは、センサ１２０のサイズにも基づいて決定される。例えば、一定の視野角範囲の映像を撮影するためには、センサ１２０のサイズが増加するにつれてレンズ１１１のサイズが増加しなければならない。
【００３８】
例えば、センサの大きさは６×４ｍｍ、レンズアレイの焦点の長さは概略４ｍｍ、ＦＯＶ（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）は７７度であってもよい。レンズの大きさが１／１０に減少し、レンズアレイが同一なＦＯＶで１０×１０個のレンズを含んでいる場合、焦点の長さは０．４ｍｍである。レンズの大きさが１／１００に減少してレンズアレイが１００×１００個のレンズを含んでいる場合、焦点の長さは０．０４ｍｍである。
【００３９】
前述したように、視野角及び映像の解像度を保持しながら映像の感度を増加させるためには、映像復元装置１００の体積を増加させることが考えられる。例えば、映像の解像度を保持しながら映像の感度を増加させるためには、センサ１２０に含まれた検出エレメント数を保持しつつ、各検出エレメントのサイズを増加させなければならないため、センサ１２０のサイズが増加してしまう。ここで、視野角を保持するためには、センサ１２０のサイズ増加につれてレンズ１１１のサイズが増加し、レンズ１１１の焦点距離（ｆ）が長くなることから、映像復元装置１００の体積が増加してしまう。
【００４０】
映像復元装置１００の体積を減少させるために、センサ１２０の解像度を保持しながら検出エレメントのサイズを減少させたり、検出エレメントのサイズを保持しながらセンサ１２０の解像度を減少させるといった設計方法が考慮される。ただし、センサ１２０の解像度を保持しながら検出エレメントのサイズを減少させる場合、センサ１２０のサイズが減少してレンズ１１１の焦点距離（ｆ）が短くなることで、映像復元装置１００の体積は減少されるものの、映像の感度は低下する。この場合、低照度画質が減少する。また、検出エレメントのサイズを保持しながらセンサ１２０の解像度を減少させる場合、センサ１２０のサイズが減少してレンズ１１１の焦点距離（ｆ）が短くなることで映像復元装置１００の体積は減少されるものの、映像の解像度は低下する。
【００４１】
下記で説明する実施形態は、所望する視野角、解像度、感度、及び映像復元装置１００の体積等の条件を満足しつつ、カラー映像を正確に復元する技術を提供する。例えば、センサ１２０のサイズを保持しながら、レンズ１１１の大きさを小さく設計することで、レンズ１１１の焦点距離（ｆ）が減少され、さらに、映像復元装置１００の厚さも減少する。図１を参照すると、映像復元装置１００は、レンズアレイ１１０及びセンサ１２０を含む。レンズアレイ１１０はレンズを含み、センサ１２０は検出エレメントを含む。
【００４２】
一実施形態によれば、レンズアレイ１１０に含まれたレンズそれぞれのサイズを減少させるほど、言い換えれば、同じ広さに含まれているレンズの数を増加させるほど、レンズ１１１の焦点距離（ｆ）は短くなり、映像復元装置１００の厚さは減少する。この場合、映像復元装置１００は、各レンズ１１１で撮影された低解像度映像を組み合わせてオリジナルの高解像度の映像を復元し得る。したがって、レンズアレイ１１０に含まれたレンズを分割し、レンズアレイ１１０でレンズの個数を増加させることで、より薄いカメラを具現することができる。
【００４３】
レンズアレイ１１０の個別レンズ１１１は、レンズ自身のサイズに対応するセンサ１２０の一定領域をカバーする。言い換えれば、該当する領域に含まれたセンサ１２０の検出エレメントには該当する個別レンズ１１１を通過した光１９０が入射される。光１９０は、複数の光線を含む。光線１９１は、光子１０１の流れに対応する。センサ１２０の検出エレメントそれぞれは、レンズアレイ１１０のレンズを通過した光線１９１に基づいて検出情報を生成する。例えば、検出エレメント１２１は、レンズ１１１を介して入射される光線１９１に基づいて検出情報を生成する。映像復元装置１００は、センサ１２０によって出力された検出情報に基づいて、映像復元装置１００の視野に含まれた視点に関するオリジナル色信号に対応する色情報（例えば、色値）を決定し、決定された色情報に基づいて撮影映像を復元し得る。
【００４４】
また、検出エレメント１２１は、任意の色を検出するための色フィルタを含む。検出エレメント１２１は、特定の色に対応する色値を検出情報として生成する。センサ１２０を構成する複数の検出エレメントのそれぞれは、空間的に隣接する隣接検出エレメントと異なる色を検出するよう配置されてもよい。
【００４５】
検出情報の多様性が十分に確保され、映像復元装置１００の視野に含まれた視点に対応するオリジナル信号情報と検出情報との間に完全ランク（ｆｕｌｌ  ｒａｎｋ）関係が形成されるとき、センサ１２０の最大解像度に対応する撮影映像が導き出される。オリジナル信号情報と検出情報との間に完全ランク関係が形成されるとは、オリジナル信号情報と検出情報との間の関係を決定する行列が最大階数を有することを意味し、言い換えればその行列に逆行列が存在することを意味する。この点については後述する数式（２）に関連して説明される。検出情報の多様性は、レンズアレイ１１０に含まれたレンズの数及びセンサ１２０に含まれた検出エレメント数のような映像復元装置１００のパラメータに基づいて確保され得る。
【００４６】
図２は、一実施形態に係る映像復元装置の構成を示すブロック図である。
【００４７】
映像復元装置２００は、レンズ２１０、センサ２２０、及びプロセッサ２３０を含む。
【００４８】
レンズ２１０は、上述したように、光線を屈折させて通過させる。例えば、レンズ２１０は、複数のレンズを含むレンズアレイの形態に具現される。複数のレンズは、センサ２２０に含まれた複数の検出エレメントに対して、必ずしも一対一の対応関係でなくてもよいため、一定の規則に従ってずれるように配置されてもよい。例えば、各検出エレメントが複数の視点に対応する光線を受信するよう、複数のレンズがセンサ２２０に対して配置されてもよい。例えば、平面視で各レンズ２１０の境界が各検出エレメントの境界に重ならないように配置される。
【００４９】
センサ２２０は、上述したように、光線に基づいて検出情報を生成する。例えば、センサ２２０は、複数の検出エレメントで構成され、複数の検出エレメントのそれぞれは、該当検出エレメントが受信した光線に対応する色情報を検出情報として生成する。例えば、複数の視点に対応する光線が検出エレメントに入射され、検出エレメントは、重複的に入射した光線に対応する色情報を生成する。本明細書において色情報は、該当の検出エレメントが検出できる色に対応する強度値の色値を含む。
【００５０】
一実施形態によれば、センサ２２０は、複数のレンズ２１０のうち１つのレンズ２１０を通過した対象光線を受信する対象検出エレメント、及び対象光線の方向に基づいて決定された他の検出エレメントを含む。
【００５１】
プロセッサ２３０は、他の検出エレメントによって検出された色情報に基づいて、対象検出エレメントに対応する色情報を復元する。例えば、プロセッサ２３０は、対象光線が通過したレンズ２１０と異なる他のレンズを通過し、対象光線との方向の差が最小化される他の光線を受信する検出エレメントを他の検出エレメントとして決定する。プロセッサ２３０は、対象光線と方向との差が最小化される他の光線を受信する検出エレメントによって検出された色情報を用いて、対象検出エレメントに対応する色情報を復元し得る。
【００５２】
図３は、一実施形態に係る映像復元方法を示すフローチャートである。
【００５３】
まず、ステップＳ３１０において、映像復元装置は、複数の検出エレメントを含むセンサにより複数のレンズを通過した複数の光線を受信する。例えば、複数の視点それぞれに対応する光線が各検出エレメントに入射され、複数の光線が１つの検出エレメントに入射されてもよい。
【００５４】
そして、ステップＳ３２０において、映像復元装置は、複数のレンズのうち１つのレンズを通過した対象光線を受信した対象検出エレメントに対して、対象光線の方向に基づいて他の検出エレメントを選択する。例えば、対象検出エレメントは複数の対象光線を受信し、複数の対象光線のうち少なくとも１つの光線の方向に基づいて他の対象検出エレメントを選択する。一実施形態によれば、映像復元装置は、対象光線が通過したレンズとは異なるレンズを通過し、対象光線との方向の差が最小化される他の光線を受信する検出エレメントを他の検出エレメントとして決定する。被写体が無限の距離にある場合、他の光線は、対象光線の視点から予め決定された値よりも小さい差を有する視点から由来する光線であり得る。
【００５５】
次に、ステップＳ３３０において、映像復元装置は、他の検出エレメントによって検出された色情報に基づいて、対象検出エレメントに対応する色情報を復元する。例えば、対象検出エレメントは、複数の光線のうち対象検出エレメントに達した対象光線から第１色に対応する色値を検出する。他の検出エレメントは、複数の光線のうち他の検出エレメントに達した他の光線から第１色と異なる第２色に対応する色値を検出する。プロセッサは、他の検出エレメントによって検出された第２色に対応する色値に基づいて、対象検出エレメントが配置された位置に対応する第２色に対応する色値を推定する。
【００５６】
したがって、映像復元装置は、特定の色を検出できない対象検出エレメントに対して、該当の色を検出できる異なる位置に配置された他の検出エレメントによって検出された色値を用いて対象検出エレメントに対応する色情報を復元する。ここで、他の検出エレメントは、対象検出エレメントに入射される光線と類似する方向性又は視点における最小の差を有する光線を受信するため、映像復元装置は、対象検出エレメントが検出できない色の色値を、より正確に推定することができる。
【００５７】
また、映像復元装置は複数の検出エレメントのそれぞれに対して、ステップＳ３３０で説明したように、色情報を復元することで検出情報行列を生成し得る。検出情報行列を構成する各元素は、例えば、検出エレメントによって検出された色値又は検出エレメントが配置された位置に対応する色値を示す。
【００５８】
図４は、一実施形態に係る複数の検出エレメントを含むセンサを示す図である。
【００５９】
センサ４２０は、図示するように複数の検出エレメントを含んでいる。複数の検出エレメントは、２次元平面に沿って配列される。複数の検出エレメントのそれぞれは、１つの色に対応する強度値のみを検出し、色情報を生成する。例えば、対象検出エレメント４２１は、複数の光線のうち対象検出エレメント４２１に達した対象光線から、第１色（例えば、赤色）に対応する色値を検出し、他の検出エレメントは、複数の光線のうち他の検出エレメントに達した他の光線から、第２色（例えば、青色又は緑色）に対応する色値を検出する。ここで、第１色及び第２色は、互いに異なってもよい。
【００６０】
一実施形態によれば、検出エレメントのそれぞれは、受信された光線に応答して赤色、青色、及び緑色のうちの１つに対応する強度値を検出し得る。図４において、赤色を検出する検出エレメントはＲ、緑色を検出する検出エレメントはＧ、青色を検出する検出エレメントはＢに表示される。また、検出エレメントは、予め決定したパターンに応じて配置される。例えば、図４に示されたセンサ４２０は、ベイヤーパターン（Ｂａｙｅｒ  Ｐａｔｔｅｒｎ）の構造に配置された検出エレメントを含む。
【００６１】
図４に示されたセンサ４２０は、奇数番目の行で赤色を検出する検出エレメント、及び緑色を検出する検出エレメントが交互に配置されている。偶数番目の行では緑色を検出する検出エレメント、及び青色を検出する検出エレメントが交番に配置される。例示的に、センサ４２０が７×７個の検出エレメントを含むものと示されているが、これに限定されることはない。
【００６２】
なお、検出エレメントのそれぞれが赤色、青色、及び緑色のうちの１つに対応する強度値のみを検出するものに限定されることはない。例えば、検出エレメントのそれぞれは、他の色座標系における基本色のうちの１つに対応する強度値を検出してもよい。
【００６３】
説明の便宜のために、下記では、最初の行４５０に配置された検出エレメントを基準にして、各検出エレメントにおける色情報を復元する方法について説明する。映像復元装置は、残りの列に配置された検出エレメントについても類似方法によって検出エレメントの色情報を復元し得る。
【００６４】
図５は、一実施形態に係る検出エレメントがレンズを介して光線を受信する形状を示す図である。
【００６５】
上述したように、センサは、個別視点５９０に対応する光線Ｘ１〜Ｘ７を受信する。光線Ｘ１〜Ｘ７は、レンズ５１０を介してセンサによって検出される。図５において、図４に示されたセンサの最初の行４５０に対応する検出エレメントＳ１〜Ｓ７を基準として説明する。
【００６６】
検出エレメントＳ１〜Ｓ７は、複数のレンズを通過した光線Ｘ１〜Ｘ７を重複して検出する。例えば、図５に示されたレンズアレイにおいて、レンズアレイに含まれるレンズの個数が増加する場合、レンズ５１０からセンサまでの焦点距離が減少し得る。したがって、検出エレメントＳ１は、光線Ｘ１及びＸ２が重なった検出情報（例えば、色値）を生成する。映像復元装置は、映像を復元するために、このような重なった検出情報を復元する必要がある。
【００６７】
図５に示された検出エレメントＳ１〜Ｓ７により生成される検出情報は、下記の数式（１）により、視点５９０のそれぞれから入射される光線に対応するオリジナル信号情報（例えば、色値）にモデリングされる。
【００６８】
【数１】
2019097169.tif 000003
上述した数式（１）において、Ｓは個別検出エレメントによって検出される検出情報（例えば、検出された色値）を指示する行列を示す。Ｘは、個別視点から検出エレメントＳ１〜Ｓ７に入射される光線に対応する信号値（例えば、入射した光線の色値）を指示する行列を示す。Ｔは、変換行列として検出エレメントＳ１〜Ｓ７によって検出された検出情報と入射される光に対応する信号情報との間の関係を示す。図５に示された構造の光線Ｘ１〜Ｘ７、レンズ、及び検出エレメントＳ１〜Ｓ７は、下記の数式（２）のようにモデリングされる。
【００６９】
【数２】
2019097169.tif 000004
一実施形態によれば、センサを構成する検出エレメントＳ１〜Ｓ７に対応する検出情報（例えば、色情報）と個別視点から入射される光線Ｘ１〜Ｘ７に対応するオリジナル信号との間の関係（例えば、上述した変換行列）は、上述したレンズ５１０とセンサとの間の配置、レンズアレイを構成しているレンズの個数、センサを構成している検出エレメントＳ１〜Ｓ７の個数などに基づいて決定される。
【００７０】
変換行列Ｔの逆行列が存在するためには、変換行列Ｔが完全ランクを有しなければならない。したがって、撮影装置のパラメータは、変換行列Ｔが完全ランクを有するよう調整される。一実施形態によれば、オリジナル信号情報を指示する行列Ｘは、変換行列Ｔの逆行列及び検出エレメントによって検出された検出情報を指示する行列Ｓの積から下記の数式（３）のように算出される。
【００７１】
【数３】
2019097169.tif 000005
また、映像復元装置は、色座標系を構成している個別の色ごとに上述した数式（３）に類似するモデルを用いることができる。例えば、図５では、赤色、緑色、及び青色に対してオリジナル信号である光線Ｘ１〜Ｘ７及び検出エレメントＳ１〜Ｓ７間の関係が下記の数式（４）のようにモデリングされる。
【００７２】
【数４】
2019097169.tif 000006
上述した数式（４）において、ＲＸは視点５９０のそれぞれから入射される光線Ｘ１〜Ｘ７に対応する赤色の色値を指示する色信号行列を示す。ＧＸは、視点５９０のそれぞれから入射される光線Ｘ１〜Ｘ７に対応する緑色の色値を指示する色信号行列を示す。ＢＸは、視点５９０のそれぞれから入射される光線Ｘ１〜Ｘ７に対応する青色の色値を指示する色信号行列を示す。ＲＳ、ＧＳ、及びＢＳは、それぞれセンサに配置された検出エレメントＳ１〜Ｓ７の位置に対応する赤色、緑色、及び青色を指示する検出情報行列（例えば、検出情報行列は、各検出エレメントで検知された色情報を含む）を示す。ＴＲ、ＴＧ、及びＴＢは、それぞれ赤色、緑色、及び青色に対応する色信号行列を検出情報行列に変換する変換行列を示す。
【００７３】
完全ランクを充足するためには、センサを構成している各検出エレメントごとに全ての色（例えば、赤色、緑色、及び青色）に対する色値がサンプリングされなければならない。ただし、図５に示すように、検出エレメントＳ１〜Ｓ７のそれぞれは１つの色に対する色値のみを検出するため、下記の数式（５）のようにモデリングされる。
【００７４】
【数５】
2019097169.tif 000007
説明の便宜上、センサの最初の行４５０に対応するＲ／Ｇパターンに対して、上述した数式（５）において、ＲＳ１、ＲＳ３、ＲＳ５、及びＲＳ７は、赤色を検出する検出エレメントＳ１、Ｓ３、Ｓ５、Ｓ７によって検出された色情報（例えば、色値）を示す。ＧＳ２、ＧＳ４、及びＧＳ６は、緑色を検出する検出エレメントＳ２、Ｓ４、Ｓ６によって検出された色情報（例えば、色値）を示す。
【００７５】
ただし、上述した数式（５）において、赤色に対する光線Ｘ１〜Ｘ７及び検出エレメントＳ１〜Ｓ７間の関係をモデリングすれば、下記の数式（６）のように示される。
【００７６】
【数６】
2019097169.tif 000008
上述した数式（６）のように、復元されなければならない信号の赤色に対する色情報は６個（ＲＸ１、ＲＸ２、ＲＸ３、ＲＸ５、ＲＸ６、ＲＸ７）であり、モデリングされた式は４個であるため、数式（６）に基づいたモデルは、オリジナル信号を復元することができない。
【００７７】
上述した数式（５）で、赤色に対する光線及びセンサ間の関係についても下記の数式（７）のように示される。
【００７８】
【数７】
2019097169.tif 000009
上述した数式（７）においても、復元されなければならない緑色信号に対する色情報は５個（ＧＸ１、ＧＸ３、ＧＸ４、ＧＸ５、ＧＸ７）であるが、モデリングされた式は３個であるため、数式（７）に基づいたモデルはオリジナル信号を復元することができない。
【００７９】
一実施形態に係る映像復元装置は、下記のようにオリジナル信号の色情報を復元する方式を提案する。
【００８０】
図６は、一実施形態に係る対象検出エレメントの色情報を復元するため、他のレンズを通過した光線を受信する検出エレメントを用いることを示す図である。
【００８１】
一実施形態に係る映像復元装置のプロセッサは、対象光線が通過したレンズと異なる他のレンズを通過し、対象光線との方向の差が最小化される他の光線を受信する検出エレメントを他の検出エレメントとして決定し得る。
【００８２】
例えば、図６において、映像復元装置は、検出エレメント６２１，６２２，６２３を含むセンサ６２０、及びレンズ６１１，６１２，６１３を含む。第１光線６９１が第１レンズ６１１を通過し、第１検出エレメント６２１に入射される。第１検出エレメント６２１は、緑色に対応する色値を検出情報として生成する。映像復元装置は、第１検出エレメント６２１が配置された位置の赤色の色値を推定するため、他の検出エレメントによって検出された色情報を用いることができる。
【００８３】
第２光線６９２及び第３光線６９３は、第１光線６９１と方向が類似するものと仮定する。第２光線６９２は、第２レンズ６１２を通過して第２検出エレメント６２２に入射される。第３光線６９３は、第３レンズ６１３を通過して第３検出エレメント６２３に入射される。図示するように、第２検出エレメント６２２及び第３検出エレメント６２３は、赤色に対応する色値を検出情報として生成する。したがって、映像復元装置は、図６において第２検出エレメント６２２及び第３検出エレメント６２３によって検出された赤色に対する色情報に基づいて、第１検出エレメント６２１の赤色に対する色情報を復元し得る。
【００８４】
一実施形態に係る映像復元装置のプロセッサは、対象検出エレメントに対する他の検出エレメントを決定し、他の検出エレメントが受信する光線と対象光線の方向との間で形成される角度の差は閾値角度の以下である。閾値角度は、設計に応じて変更されてもよい。
【００８５】
また、映像復元装置のプロセッサは、対象検出エレメントによって受信される対象光線の方向との間で形成される角度の差が小さい順に、予め決定された個数の検出エレメントを他の検出エレメントとして決定してもよい。したがって、映像復元装置は、対象検出エレメントに入射される光線と類似する方向で光線を受信する予め決定された個数の他の検出エレメントが検出した色情報を用いて、対象検出エレメントの色情報を復元し得る。予め決定された個数は、設計に応じて変更されてもよい。
【００８６】
映像復元装置は、類似方向の光線が入射される検出エレメントが相互マッピングされたマッピング情報を格納する。映像復元装置は、対象検出エレメントに対して特定の色情報（例えば、対象検出エレメントによって検出できない色）を復元できる検出エレメントをマッピング情報に基づいて検索する。例えば、マッピング情報に基づいて発見された検出エレメントは、対象検出エレメントと類似方向の光線を受信し得る。
【００８７】
映像復元装置は、対象検出エレメントに空間的に隣接している隣接検出エレメントのみを単に使用するのではなく、対象検出エレメントに入射される光線と類似する方向で光線が入射される他の検出エレメントが検出した色情報を用いることで、より正確な色情報を復元することができる。
【００８８】
図７は、説明の便宜のために、対象検出エレメントが受信する光線と方向性が類似する光線を受信する検出エレメントを１次元配列として例示的に示す図である。
【００８９】
上述したように、映像復元装置は、対象検出エレメントの色情報を補間するために、空間的に隣接している隣接検出エレメントの代わりに、対象検出エレメントに入射される光線と方向が類似している光線を受信する他の検出エレメントを参照する。例えば、レンズ７１１，７１２及び検出エレメント（Ｓ１）〜（Ｓ７）は少しずつずれるよう配置された構造であるため、映像復元装置は、隣接している他のレンズを通過した光線を受信する検出エレメントによって検出される色情報を用いることで、補間の精度を改善することができる。
【００９０】
例えば、図７において、第２検出エレメント（Ｓ２）４５１の赤色に対応する色情報を復元する過程を説明する。
【００９１】
第２検出エレメント（Ｓ２）４５１と空間的に隣接する第１検出エレメント（Ｓ１）及び第３検出エレメント（Ｓ３）４５３を用いる場合、第２検出エレメント（Ｓ２）４５１に対する赤色の色情報は（ＲＳ１＋ＲＳ３）／２により算出される。ここで、ＲＳ１は、第１検出エレメント（Ｓ１）によって検出された赤色の色情報を示し、ＲＳ３は、第３検出エレメント（Ｓ３）４５３によって検出された赤色の色情報を示す。
【００９２】
ただし、第２検出エレメント（Ｓ２）４５１は、入射される光線（Ｘ３及びＸ４）７９１が混合した強度値を指示する検出情報を生成し、第２検出エレメント４５１に対応するオリジナル赤色信号はＲＸ３＋ＲＸ４により表現される。ＲＸ３は、光線Ｘ３の赤色成分に対応する色値、ＲＸ４は光線Ｘ４の赤色成分に対応する色値を示す。
【００９３】
図７に示すように、光線Ｘ３は、第５検出エレメント（Ｓ５）４５２に入射される。したがって、ＲＳ２と最も類似する検出情報は、ＲＳ１よりもむしろ、第５検出エレメント４５２によって検出される色情報ＲＳ５である。したがって、単に空間的に隣接している隣接検出エレメントによって検出された色情報（ＲＳ１）を用いるのではなく、映像復元装置は、類似する方向を有する光線を受信した他の検出エレメントによって検出された色情報（ＲＳ６）を用いることで、より正確にカラー映像を復元できる。
【００９４】
また、映像復元装置のプロセッサは、対象検出エレメントと空間的に隣接している隣接検出エレメントによって検出された色情報、及び他の検出エレメントによって検出された色情報に基づいて、対象検出エレメントの位置に対応する色情報を推定し得る。例えば、図７に示された構造で、光線Ｘ４は、赤色を検出できる検出エレメントに入射されず、映像復元装置は、隣接検出エレメントによって検出された色情報を他の検出エレメントによって検出された色情報と共に利用できる。
【００９５】
【数８】
2019097169.tif 000010
上述した数式（８）は、他の検出エレメントである第５検出エレメント（Ｓ５）４５２によって検出された色情報ＲＳ５、及び隣接検出エレメントである第３検出エレメント（Ｓ３）４５３によって検出された色情報ＲＳ３に基づいて、対象検出エレメントである第２検出エレメント（Ｓ２）４５１の赤色の色情報を復元することを示す。図７に示すように、色情報ＲＳ５は、光線ＲＸ２及びＲＸ３が混合した色値を示し、ＲＳ３は、光線ＲＸ５及びＲＸ６が混合した色値を示す。
【００９６】
また、映像復元装置は、上述した数式（８）のように、個別検出エレメントによって検出された色情報に加重値を、例えば、対象検出エレメントから他の検出エレメント間の距離、検出エレメントの総個数などに基づいて付与し得る。一実施形態によれば、プロセッサは、隣接検出エレメントによって検出された色情報に第１加重値（例えば、１−α）を適用し、他の検出エレメントによって検出された色情報に第２加重値（例えば、α）を適用する。赤色を検出できない残りの検出エレメントＳ４、Ｓ６についても、映像復元装置は下記の数式（９）のようにモデリングする。
【００９７】
【数９】
2019097169.tif 000011
映像復元装置は、補間しようとする対象検出エレメントの色値を推定するため、対象検出エレメントに入射される光線と類似方向の光線を受信する他の検出エレメントによって検出された色値を用いることができる。
【００９８】
上述した数式（８）〜数式（１０）は、説明の便宜上、対象検出エレメントと同じライン上で方向性が類似する光線を受信する他の検出エレメントの色情報を参照するものとして説明されているが、これに限定されることはない。例えば、映像復元装置は、２次元空間上で対象検出エレメントが受信する光線が通過したレンズと、上下左右に隣接している他のレンズを通過した光線が入射される検出エレメントの色情報を用いてもよい。
【００９９】
上述した数式（８）〜数式（１０）は、図７に示された構造を説明するための数式として、これを赤色に対して一般化すれば、下記の数式（１１）のように示す。
【０１００】
【数１０】
2019097169.tif 000012
上述した数式（１１）において、ＲＳｉはｉ番目の対象検出エレメントに対して復元されなければならない色値を示す。ＲＳｊは、ｊ番目の他の検出エレメントによって検出された色値を示す。αｊは、ｊ番目の他の検出エレメントによって検出された色値に適用される加重値を示す。Ｎは、ｉ番目の対象検出エレメントが受信する光線と方向が類似する光線を受信する他の検出エレメントの個数を示す。映像復元装置は、上述した数式（１１）に従って、全ての色に対して、対象検出エレメントと類似方向の光線を受信する他の検出エレメントによって検出された色情報の加重平均を算出する。
【０１０１】
また、プロセッサは、対象検出エレメントによって受信される対象光線の方向と他の検出エレメントによって受信される他の光線の方向との間の角度の差が小さいほど、他の検出エレメントによって検出された色情報にさらに高い加重値を適用し得る。
【０１０２】
図８は、一実施形態に係る映像復元方法を詳細に示すフローチャートである。
【０１０３】
まず、ステップＳ８１０において、映像復元装置は、マルチレンズアレイを介して映像を撮影する。例えば、映像復元装置のマルチレンズアレイは光線を通過させ、センサは、入射した光線から各検出エレメントが検出できる色に対応する色値を指示する検出情報を生成する。
【０１０４】
そして、ステップＳ８２０において、映像復元装置は、色補間のために最も類似する光線を検索する。例えば、映像復元装置は、対象検出エレメントの色情報を復元するため上述したように、対象検出エレメントに入射される光線と類似方向の光線が入射される他の検出エレメントを選択する。
【０１０５】
次に、ステップＳ８３０において、映像復元装置は、対象検出エレメントに対して対象検出エレメントに入射される光線と最も類似する光線を用いて色を補間する。例えば、映像復元装置は、類似方向の光線が入射される他の検出エレメントによって検出される色情報に基づいて、対象検出エレメントに対応する色情報を推定し得る。映像復元装置は、色座標系を構成している各色に対して、対象検出エレメントに対応する色情報を復元する。例えば、色座標系がＲＧＢから構成される場合、映像復元装置は、赤色を検出できない対象検出エレメント（例えば、青色又は緑色を検出できる検出エレメント）に対して、赤色を検出できる他の検出エレメントを用いて対象検出エレメントに対応する赤色の色値を推定する。映像復元装置は、対象検出エレメントに対して赤色、青色、及び緑色のそれぞれに対応する色情報を決定する。
【０１０６】
そして、ステップＳ８４０において、映像復元装置は、各色チャネルに対して映像を復元する。一実施形態によれば、映像復元装置のプロセッサは、ステップＳ８３０で復元された色情報に基づいてカラー映像を復元する。映像復元装置は、色座標系を構成している各色に対して復元された色情報を結合することで、カラー映像を復元することができる。
【０１０７】
図９は、一実施形態に係る映像復元の例示を説明した図である。
【０１０８】
映像復元装置は、上述した図１〜図７を参照して説明した動作を行うことによって、センサを構成している各検出エレメントに対して全ての色に対する色情報を決定し得る。例えば、色座標系が第１色〜第３色で構成されている場合、映像復元装置は、各検出エレメントに対して該当の検出エレメントが検出できる第１色については、該当検出エレメントによって検出された色値を用いる。該当検出エレメントが検出できない第２色又は第３色については、他の検出エレメントによって検出された第２色又は第３色に対応する色値に基づいて、該当検出エレメントに対応する第２色又は第３色の色値を推定できる。第１色ないし第３色は、ＲＧＢ系で、赤色、緑色、及び青色の１つに対応してもよいが、色座標系がＲＧＢ系に限定されることはない。
【０１０９】
図９は、色座標系を構成している色の１つの色に対して映像復元装置が各検出エレメントに対応する色情報を復元することを例示的に図示する。映像復元装置は、全ての色に対して色情報を復元し得る。
【０１１０】
上述した数式（３）のように、オリジナル信号（図９では、任意の一つの色に対応する色信号）Ｘは、変換行列の逆行列Ｔ−１及び検出情報行列Ｓの行列の積に基づいて推定される。変換行列の逆行列Ｔ−１は、上述したように、検出エレメントと視点の対応関係に基づいて決定される。変換行列Ｔは、レンズとセンサとの間の配置によって、１つの検出エレメントで複数の視点に対応する光線が重なって検出される構造をモデリングした行列を示す。検出情報行列Ｓは、各検出エレメントに対応する検出情報として、各検出エレメントによって検出された色情報（例えば、色値）を含む。
【０１１１】
図９に示すように、映像復元装置は、検出情報行列Ｓに検出エレメントと視点の対応関係に基づいた変換行列が逆変換された逆行列Ｔ−１を適用することにより、検出情報行列Ｓからオリジナル色信号Ｘを復元し得る。映像復元装置は、各色に対して、上述した数式（３）、数式（４）及び図９により逆行列Ｔ−１を検出情報に適用することで色情報を復元でき、各色に対して復元された色情報に基づいてカラー映像を復元できる。
【０１１２】
図１０及び図１１は、一実施形態に係る映像復元装置が具現できる機器を示す図である。
【０１１３】
一実施形態に係る映像復元装置は様々な技術分野に適用される。映像復元装置は、複数のレンズで構成されるレンズアレイ及び複数の検出エレメントで構成されるセンサが比較的に短い焦点距離で離隔するよう設計されている。したがって、映像復元装置は、高画質の撮影のためにセンサの大きさが大きく、同時に超薄型カメラで具現できる。
【０１１４】
例えば、図１０に示すように、スマートフォン機器１０００に前面カメラとして映像復元装置１０１０が具現されている。映像復元装置１０１０のセンサはフルフレーム（ｆｕｌｌ  ｆｒａｍｅ）で具現されてもよく、レンズアレイはマイクロレンズ（ｍｉｃｒｏ  ｌｅｎｓ）で具現されてもよい。
【０１１５】
また、図１１に示すように、車両１１００に、曲線又は曲面の形状を有する前面カメラ又は後面カメラとして映像復元装置１１１０が具現されている。ただし、これに限定されることなく、映像復元装置は、ＤＳＬＲカメラ、ドローン、ＣＣＴＶ、Ｗｅｂカメラ、３６０度撮影カメラ、映画及び放送のためのカメラ、及びＶＲ／ＡＲカメラなどに使用されてもよい。さらに、映像復元装置は、柔軟であるか延長され得るカメラ（Ｆｌｅｘｉｂｌｅ／Ｓｔｒｅｔｃｈａｂｌｅ  Ｃａｍｅｒａ）、虫の目カメラ、コンタクトレンズタイプ（Ｃｏｎｔａｃｔ  ｌｅｎｓ  ｔｙｐｅ）カメラなどのような様々な分野においも適用され得る。
【０１１６】
以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ  ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ  ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【０１１７】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこののうちの１つ以上の組合せを含み、希望の通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【０１１８】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【０１１９】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【０１２０】
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１２１】
２００：映像復元装置
２１０：レンズ
２２０：センサ
２３０：プロセッサ
【図１】
2019097169.tif 000013
【図２】
2019097169.tif 000014
【図３】
2019097169.tif 000015
【図４】
2019097169.tif 000016
【図５】
2019097169.tif 000017
【図６】
2019097169.tif 000018
【図７】
2019097169.tif 000019
【図８】
2019097169.tif 000020
【図９】
2019097169.tif 000021
【図１０】
2019097169.tif 000022
【図１１】
2019097169.tif 000023