(57)【要約】      （修正有）【課題】ハイダイナミックレンジの画像を取得できる結像方法、結像装置及び電子装置を提供する。【解決手段】画像センサは、感光画素アレイと感光画素アレイに設けられたフィルタ１３とを備える。フィルタ１３は、複数のフィルタユニット１３１５を備えるフィルタユニットアレイ１３１を備える。画像処理モジュールは、感光画素アレイの出力を読み取り、一フレームの高分解能画像を取得する。高分解能画像から、フィルタユニット１３１５の下方に位置する、隣接して配置された４つの感光画素の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得する。更に、画像処理モジュールは、低分解能の画像を合成し、ハイダイナミックレンジの画像を生成する。【選択図】図４Ａ
2018186512.tif 000002
【特許請求の範囲】
【請求項１】
画像センサの結像方法であって、
前記画像センサが、感光画素アレイと該感光画素アレイに設けられたフィルタとを備え、
該フィルタがフィルタユニットアレイを備え、該フィルタユニットアレイが複数のフィルタユニットを備え、各フィルタユニットと該フィルタユニットにより被覆される前記感光画素アレイのうち隣接する２＊２個の感光画素とが、１つの合併画素を構成し、隣接する４つの合併画素が１つの合併画素ユニットを構成し、各合併画素ユニットのうち隣接して配列される４つのフィルタユニットは、１つの赤のフィルタユニットと、１つの青のフィルタユニットと、２つの緑のフィルタユニットと、を含み、前記感光画素がフォトダイオードを含み、各感光画素は１つのソースフォロアー及び１つのアナログデジタル変換器に対応し、
前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能の画像から１つの合併画素ユニットのうち隣接する４つの合併画素の同一位置又は異なる位置の前記合併画素の前記感光画素の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得するステップと、
前記４フレームの低分解能の画像を合成するステップとを含む画像センサの結像方法。
【請求項２】
画像センサを備え、
該画像センサは、感光画素アレイと、該感光画素アレイに設けられたフィルタと、前記画像センサに接続された画像処理モジュールとを備え、
前記フィルタがフィルタユニットアレイを備え、該フィルタユニットアレイが複数のフィルタユニットを備え、各フィルタユニットと当該フィルタユニットにより被覆される感光画素アレイのうち隣接する２＊２個の感光画素とが、１つの合併画素を構成し、隣接する４つの合併画素が１つの合併画素ユニットを構成し、各合併画素ユニットのうち隣接して配列される４つのフィルタユニットは、１つの赤のフィルタユニットと、１つの青のフィルタユニットと、２つの緑のフィルタユニットと、を含み、前記感光画素がフォトダイオードを含み、各感光画素は１つのソースフォロアー及び１つのアナログデジタル変換器に対応し、
前記画像処理モジュールが、前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能の画像から１つの合併画素ユニットのうち隣接する４つの合併画素における同一位置又は異なる位置の合併画像の感光画素の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得し、前記４フレームの低分解能の画像を合成することに用いられる、結像装置。
【請求項３】
各前記合併画素が、前記フィルタユニットの上方に設けられたレンズアレイを更に備え、
該レンズアレイが、光線を前記フィルタの下方にある前記感光画素に集光させる請求項２に記載の結像装置。
【請求項４】
前記レンズアレイが、複数のマイクロレンズを備え、
各該マイクロレンズが、１つの感光画素に対応して設けられている請求項３に記載の結像装置。
【請求項５】
移動端末であって、
ケーシングと、プロセッサと、メモリと、回路基板と、電源回路と、画像センサとを備え、
前記回路基板が、前記ケーシングで囲まれた空間の内部に配置され、
前記プロセッサと前記メモリと前記画像センサとが、前記回路基板に設けられ、
前記電源回路が、前記移動端末における各回路又は部品に給電し、
前記画像センサが、感光画素アレイと該感光画素アレイに設けられたフィルタとを備え、
該フィルタが、フィルタユニットアレイを備え、該フィルタユニットアレイが複数のフィルタユニットを備え、各フィルタユニットと該フィルタユニットにより被覆される前記感光画素アレイのうち隣接する２＊２個の感光画素とが、１つの合併画素を構成し、隣接する４つの合併画素が１つの合併画素ユニットを構成し、各合併画素ユニットのうち隣接して配列される４つのフィルタユニットは、１つの赤のフィルタユニットと、１つの青のフィルタユニットと、２つの緑のフィルタユニットと、を含み、前記感光画素がフォトダイオードを含み、各感光画素は１つのソースフォロアー及び１つのアナログデジタル変換器に対応し、
前記メモリが、実行可能なプログラムコードを記憶し、
前記プロセッサが、前記メモリに記憶された前記実行可能なプログラムコードを読み取り、前記実行可能なプログラムコードに対応するプログラムを実行することにより、
前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能の画像から１つの合併画素のうち隣接する４つの合併画素の同一位置又は異なる位置の前記合併画素の前記感光画素の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得するステップと、
４フレームの前記低分解能の画像を合成するステップと、を実行する移動端末。
【請求項６】
各前記合併画素が、前記フィルタユニットの上方に設けられたレンズアレイを更に備え、
該レンズアレイが、光線を前記フィルタの下方にある前記感光画素に集光させる請求項５に記載の移動端末。
【請求項７】
前記レンズアレイが、複数のマイクロレンズを備え、
各該マイクロレンズが、１つの感光画素に対応して設けられている請求項６に記載の移動端末。
【請求項８】
少なくとも１つのプログラムが記憶され、
該プログラムが請求項１に記載の画像センサの結像方法を実行する不揮発性のコンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、グアンドン  オッポ  モバイル  テレコミュニケーションズ  コーポレーション，リミテッドが２０１５年１２月１８日に中国国家知識産権局に提出された発明の名称が「画像センサの結像方法、結像装置及び電子装置」であり、特許出願番号が２０１５１０９６３３４１.３である特許出願の優先権及び権益を主張するものである。
【０００２】
本発明は、結像技術分野に関し、特に画像センサの結像方法、結像装置及び電子装置に関する。
【背景技術】
【０００３】
従来、携帯電話の結像機能の多様化はたくさんのユーザに歓迎され、多くの携帯電話は結像する時にマルチフレーム合成技術を採用し、即ち携帯電話の画像センサに連続的に数枚の画像を出してソフトウェアで合成することで異なる結像効果（例えば、ＨＤＲ、夜景効果等）を達成し、使用体験を豊かにしていた。
【０００４】
しかしながら、関連技術における携帯電話が採用のマルチフレーム合成技術は、マルチフレームデータを収集する必要があるため、マルチフレームデータの待つ時間は長いという課題が存在する。また、マルチフレームデータを結像する時に移動するものがあれば、合成した後ゴースト像が発生しやすい。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、従来技術における少なくとも１つの技術的課題を解決することである。そのため、本発明の目的の１つは、画像センサの結像方法を提供することである。該結像方法は、画像センサの単一のフレーム出力だけで、合成する方法でハイダイナミック範囲の画像を取得することができ、マルチフレーム合成におけるデータフレームの待つ時間を大きく減少させ、また、マルチフレーム合成のデータは画像センサの同一フレームからのものであるため、ゴースト像の発生を防止し、ユーザ体験が遥かに向上される。
【０００６】
本発明の第２の目的は結像装置を提供することである。
【０００７】
本発明の第３の目的は電子装置を提供することである。
【０００８】
本発明の第４の目的は移動端末を提供することである。
【０００９】
本発明の第５の目的は不揮発性のコンピュータ記憶媒体を提供することである。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明の第一態様の実施形態に係る画像センサの結像方法が提供される。前記画像センサは、感光画素アレイと該感光画素アレイに設けられたフィルタとを備え、該フィルタがフィルタユニットアレイを備え、各フィルタユニットと該フィルタユニットにより被覆される前記感光画素アレイのうち隣接する複数の感光画素とが、１つの合併画素を構成する。前記結像方法は、以下のステップを含む。前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる前記合併画素の前記感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得する。また、マルチフレームの前記低分解能の画像を合成する。
【００１１】
本発明の第二態様の実施形態に係る結像装置が提供される。画像センサと、該画像センサに接続された画像処理モジュールとを備え、前記画像センサが、感光画素アレイと、該感光画素アレイに設けられたフィルタとを備え、該フィルタがフィルタユニットアレイを備え、各フィルタユニットと該フィルタユニットにより被覆される前記感光画素アレイのうち隣接する複数の感光画素とが、１つの合併画素を構成し、前記画像処理モジュールが、前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる前記合併画素の前記感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得し、マルチフレームの前記低分解能の画像を合成する。
【００１２】
本発明の第三態様の実施形態に、本発明の第二態様の実施形態に係る結像装置を備える電子装置が提供される。
【００１３】
本発明の第四態様の実施形態に係る移動端末は、ケーシングと、プロセッサと、メモリと、回路基板と、電源回路と、画像センサとを備え、前記回路基板が、前記ケーシングで囲まれた空間内部に配置され、前記プロセッサと前記メモリと前記画像センサとが、前記回路基板に設けられ、前記電源回路が、前記移動端末における各回路又は部品に給電し、前記画像センサが、感光画素アレイと該感光画素アレイに設けられたフィルタとを備え、該フィルタが、フィルタユニットアレイを備え、各フィルタユニットと該フィルタユニットにより被覆される前記感光画素アレイのうち隣接する複数の感光画素とが、１つの合併画素を構成し、前記メモリが、実行可能なプログラムコードを記憶し、前記プロセッサが、前記メモリに記憶された前記実行可能なプログラムコードを読み取り、前記実行可能なプログラムコードに対応するプログラムを実行し、以下のステップを実行する。前記感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる前記合併画素の前記感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得し、マルチフレームの前記低分解能の画像を合成する。
【００１４】
本発明の第五態様の実施形態に係る不揮発性のコンピュータ記憶媒体が提供される。前記コンピュータ記憶媒体は、少なくとも１つのプログラムが記憶され、少なくとも１つの前記プログラムが１つの機器に実行されると、前記機器に本発明の第一態様の実施形態に係る画像センサの結像方法を実行させる。
【発明の効果】
【００１５】
本発明は、画像センサの１つフレーム出力だけで、合成する方法ことでハイダイナミック範囲の画像を取得することができ、マルチフレーム合成におけるデータフレームの待つ時間を大きく減少させ、また、マルチフレーム合成のデータは画像センサの同一フレームからのものであるため、ゴースト像の発生が防止され、ユーザ体験が遥かに向上される。
【図面の簡単な説明】
【００１６】
【図１Ａ】本発明の一実施形態に係る画像センサの結像方法のフローチャートである。
【図１Ｂ】本発明の一実施形態に係る画像センサの結像方法の具体例を示すフローチャートである。
【図１Ｃ】本発明の一実施形態に係る画像センサの結像方法の他の具体例を示すフローチャートである。
【図２】本発明の一実施形態におけるマルチフレームの低分解能の画像を取得する具体例を示す原理図である。
【図３】本発明の一実施形態に係る結像装置のブロック図である。
【図４Ａ】本発明の一実施形態におけるフィルタユニットアレイのイメージ図である。
【図４Ｂ】本発明の一実施形態に係る画像センサの構造イメージ図である。
【図４Ｃ】本発明の一実施形態に係る画像センサの変形例を示す構造イメージ図である。
【図５】本発明の一実施形態における感光画素及び関連回路のイメージ図である。
【図６】本発明の一実施形態に係る移動端末の構造イメージ図である。
【発明を実施するための形態】
【００１７】
以下に、本発明の一実施形態を詳細に説明する。
上記実施形態の一例が図面に示されるが、同一または類似する符号は、常に、相同又は類似の部品、或いは、相同又は類似の機能を有する部品を表す。
以下に、図面を参照しながら説明される実施形態は例示的なものであり、本発明を解釈するためだけに用いられ、本発明を限定するものと理解されてはならない。
【００１８】
以下に、図面を参照しながら本発明の一実施形態に係る画像センサの結像方法、結像装置及び電子装置を説明する。
【００１９】
図１Ａは本発明の一実施形態に係る画像センサの結像方法のフローチャートである。
【００２０】
まず、本発明の一実施形態に係る方法で採用された画像センサについて説明する。
【００２１】
具体的には、画像センサは、感光画素アレイと、該感光画素アレイに設けられたフィルタとを備える。
フィルタは、フィルタユニットアレイを備える。
フィルタユニットアレイは、複数のフィルタユニットを備え、各フィルタユニットと、当該フィルタユニットにより被覆される感光画素アレイのうち隣接する複数の感光画素とが、共同で１つの合併画素を構成する。
【００２２】
本発明の一実施形態の一例において、隣接する４つの合併画素を１つの合併画素ユニットとして構成する。各合併画素ユニットのうち隣接して配列される４つのフィルタユニットは、１つの赤のフィルタユニットと、１つの青のフィルタユニットと、２つの緑のフィルタユニットとを備える。
【００２３】
図２及び図４Ｂに示されるように、各フィルタユニット１３１５は、該フィルタユニット１３１５が被覆する感光画素アレイ１１における隣接する４つの感光画素１１１とともに１つの合併画素１４を構成する。隣接する４つの合併画素は、共同で１つの、１６個の感光画素１１１を備える合併画素ユニットを組み合わせる。
【００２４】
隣接する４つの感光画素１１１は、１つの同色のフィルタユニット１３１５を共用し、例えば、図２の破線ブロック内における４つの感光画素Ｇｒ１と、Ｇｒ２と、Ｇｒ３とＧｒ４とが、緑のフィルタユニット１３１５に対応している。図２において、Ｇｒ、Ｒ、Ｂ、Ｇｂはそれぞれフィルタユニット１３１５の色を認識するためのもので、数字１、２、３、４はフィルタユニット１３１５の下方に隣接する４つの感光画素１１１の位置を示す。具体的には、Ｒが赤のフィルタユニット１３１５を示し、Ｂが青のフィルタユニット１３１５を示し、Ｇｒ及びＧｂが緑のフィルタユニット１３１５を示すものである。
【００２５】
隣接する４つの感光画素１１１が共用するフィルタユニット１３１５は一体的に構成、又は４つの独立的なフィルタを組み合わせて構成することができる。好ましくは、本実施形態におけるフィルタユニット１３１５は一体的に構成される。
【００２６】
再度図１Ａを参照して、本実施形態に係る画像センサの結像方法は、以下のようなステップを含む。
【００２７】
Ｓ１として、感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得する。
【００２８】
本実施形態において、読み取られた単一フレームの高分解能画像から異なる合併画素の感光画素の画素値を組み合わせ、マルチフレームの低分解能の画像を取得するステップは、具体的には、読み取られた単一フレームの高分解能画像から異なる合併画素の同一位置における感光画素の画素値を組み合わせ、マルチフレームの低分解能の画像を取得するステップを含む。
【００２９】
理解されるのは、本実施形態において、単一フレームの高分解能画像から画素位置を抽出するステップは、実の合成画像の需要に応じて調整してもよい。例えば、読み取られた単一フレームの高分解能画像から異なる合併画素の異なる位置における感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得してもよい。
【００３０】
図２及び図４Ｂに示されるように、単一フレームの高分解能画像からそれぞれ４つの異なる合併画素１４の同一位置における感光画素１１１の画素値を組み合わせ、４フレームの低分解能の画像を取得する。例えば、取得した第１フレームの低分解能の画像の４つの感光画素１１１は、いずれも隣接する４つの合併画素１４が有する４つのフィルタユニット１３１５と同一位置Ｇｒ１,Ｒ１,Ｂ１，Ｇｂ１に対応する感光画素１１１の画素値から抽出するものである。
【００３１】
Ｓ２として、マルチフレームの低分解能の画像を合成する。
【００３２】
具体的には、取得したマルチ低分解能の画像を合成して、ハイダイナミック範囲の画像を生成する。
【００３３】
本実施形態に係る結像方法は、画像センサの単一フレームのみを出力すれば、合成する形でハイダイナミック範囲の画像を取得することができる。これにより、マルチフレーム合成におけるデータフレームの待つ時間を遥かに減少させ、また、マルチフレーム合成用のデータは画像センサの同一フレーム出力からのもので、ゴースト像の発生が防止され、ユーザ体験を遥かに向上させる。
【００３４】
本実施形態の具体例において、各フィルタユニットと当該フィルタユニットにより被覆される感光画素アレイのうち隣接するｎ＊ｎ個の感光画素とが、１つの合併画素を構成する。図１Ｂに示されるように、画像センサの結像方法は、具体的に以下のようなステップを含む。
Ｓ１０１として、感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から隣接する合併画素の感光画素の画素値を抽出して組み合わせ、少なくともｍフレームの低分解能の画像を取得する。
Ｓ１０２として、少なくともｍフレームの低分解能の画像を合成する。ここで、ｎ，ｍはいずれも１より大きい自然数であり、ｍの値はｎ＊ｎ以下である。
【００３５】
具体的には、１つの合併画素がｎ＊ｎ個の感光画素を備えるため、読み取られた単一フレームの高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせ、最大ｎ＊ｎフレームの低分解能の画像を取得することができ、実の需要に応じ、少なくともｍフレームの低分解能の画像を取得してマルチフレームを合成することができる。
【００３６】
本実施形態の他の具体例において、各フィルタユニットと当該フィルタユニットにより被覆される感光画素アレイのうち隣接する２＊２個の感光画素とが、１つの合併画素を構成する。図１Ｃに示されるように、結像方法は、具体的に以下のようなステップを含む。
Ｓ２０１として、感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得する。
Ｓ２０２として、４フレームの低分解能の画像を合成する。
【００３７】
例えば、１６Ｍの画像センサが暗い所のフレームレートが８フレームである。４フレームのデータを利用してマルチフレームの合成をすれば、関連技術におけるマルチフレームの合成方法として、画像センサは４フレームのデータを出力する必要があり、つまり、マルチフレーム合成におけるデータフレームの待つ時間は０．５ｓである。本実施形態に係る画像センサの結像方法ならば、画像センサは１フレームのデータのみを出力すればよく、読み取られた当該１フレームの高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせることを経て、当該１フレームのデータを４枚４Ｍの画像に分ける。つまり、マルチフレーム合成におけるデータフレームの待つ時間としてただ０.１２５ｓだけが必要となり、これでマルチフレーム合成におけるデータフレームの待つ時間を遥かに減少させ、ユーザによりよい結像体験をもたらす。
【００３８】
また、４フレームの低分解能の画像を合成する場合、４フレームの４Ｍの画像は画像センサの同一フレーム画像から分離されるものであるため、差が小さく、ゴースト像の発生を減少させる。
【００３９】
理解されるのは、各フィルタユニットは、ｎ＊ｎ（例えば、２＊２、３＊３、４＊４）の構造以外、更に任意のｎ＊ｍ構造（ｎ，ｍは自然数である）までの複数の感光画素を被覆することができる。感光画素アレイに配列される感光画素の数は限られているため、各フィルタユニットにより被覆される感光画素が多すぎると、取得された低分解能の画像の分解能のサイズも制限される。例えば、感光画素アレイの画素値が１６Ｍであると、２＊２の構造を採用すれば４枚の分解能は４Ｍの低分解能を取得することができ、４＊４の構造を採用すると１６枚の分解能が１Ｍの低分解能の画像しか取得できない。よって、２＊２構造は好ましい配列方法であり、分解能をできるだけ犠牲にしないように画像の輝度及び鮮明度を向上する。
【００４０】
本実施形態の変形例において、画像センサはフィルタユニット上方のレンズアレイを更に備える。レンズアレイは、複数のマイクロレンズを備える。各マイクロレンズは、１つの感光画素に対応して設けられ、当該レンズアレイが光線をフィルタの下方の感光画素の感光部分に集光し、感光画素の受光強度を向上したり画像の画質を改善したりする。
【００４１】
上記の実施例を達成するために、本発明は結像装置を更に提供する。
【００４２】
図３は本発明の一実施形態に係る結像装置のブロック図である。
図３に示されるように、本実施形態に係る結像装置１００は、画像センサ１０と、画像センサ１０に接続された画像処理モジュール２０とを備える。
【００４３】
図４Ａ及び図４Ｂに示されるように、画像センサ１０は、感光画素アレイ１１と、感光画素アレイ１１の上方に設けられたフィルタ１３とを備える。当該フィルタ１３は、フィルタユニットアレイ１３１を備え、当該フィルタユニットアレイ１３１が複数のフィルタユニット１３１５を備える。各フィルタユニット１３１５は、当該フィルタユニット１３１５の下方に位置する隣接して配列された複数の感光画素１１１とともに合併画素１４を構成する。本実施形態において、４つの隣接する合併画素１４は１つの合併画素ユニット（図示略）を構成する。各合併画素ユニットに隣接して配列された複数のフィルタユニット１３１５は、１つの赤のフィルタユニット１３１５と、１つの青のフィルタユニット１３１５と、２つの緑のフィルタユニット１３１５とを備える。
【００４４】
各フィルタユニット１３１５が被覆する感光画素アレイ１１における隣接する番号が１、２、３、４の４つの感光画素１１１を一例として、図４Ｂに示されるように、各フィルタユニット１３１５が当該フィルタユニット１３１５の下方に位置する、隣接して配置された４つの感光画素１１１とともに１つの合併画素１４を構成する。隣接する４つの合併画素１４は１つの、１６個の感光画素１１１を有する合併画素ユニットを構成する。
【００４５】
隣接する４つの感光画素１１１は１つの同色のフィルタユニット１３１５を共用するが、隣接する４つのフィルタユニット１３１５（１つの赤のフィルタユニット１３１５、１つの青のフィルタユニット１３１５及び２つの緑のフィルタユニット１３１５）は共同で一組のフィルタ構造１３１３を構成する。
【００４６】
ここで、隣接する４つの感光画素１１１が共用するフィルタユニット１３１５が一体的に構成されたり、又は４つの独立なフィルタを組み合わせたりすることができる。好ましくは、４つの隣接する感光画素１１１は共用するフィルタ１３１５が一体的に構成される（図４Ｂ参照）。
【００４７】
画像処理モジュール２０は、感光画素アレイ１１の出力を読み取り、更に読み取られた単一の高分解能画像から異なる合併画素の感光画素１１１の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得し、及びマルチフレームの低分解能の画像を合成するためのものである。
【００４８】
本発明の実施形態において、画像処理モジュール２０は、具体的には、読み取られた単一の高分解能画像から異なる合併画素の同一位置にある感光画素１１１の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得することに用いられる。
【００４９】
理解されるのは、本実施形態において、単一フレームの高分解能画像から画素位置を抽出するステップは、実の合成画像の需要に応じて調整し、例えば、画像処理モジュール２０は読み取られた単一の高分解能画像から異なる合併画素の異なる位置にある感光画素の画素値を組み合わせ、マルチフレームの低分解能の画像を取得する。
【００５０】
図２及び図４Ｂに示されるように、画像処理モジュール２０は単一フレームの高分解能画像から４つの異なる合併画素１４の同一位置にある感光画素１１１の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得する。例えば、取得された第１フレームの低分解能４つの感光画素１１１はいずれも隣接する４つの合併画素１４に含まれた４つのフィルタユニット１３１５の同一位置Ｇｒ１，Ｒ１，Ｂ１，Ｇｂ１に対応する感光画素１１１の画素値を抽出する。
【００５１】
更に、画像処理モジュール２０は、取得されたマルチフレームの低分解能の画像を合成し、ハイダイナミックな範囲の画像を生成する。
【００５２】
本発明の実施形態に係る結像装置は、画像処理モジュールが画像センサの単一フレームの出力だけで、合成することでハイダイナミックな範囲の画像を得られ、マルチフレームの合成におけるデータの待つ時間を遥かに減少させ、またマルチフレーム合成のデータは画像センサの同一フレームの出力からのものであるため、ゴースト像が防止され、ユーザ体験を大きく向上させる。
【００５３】
本発明の一実施形態において、各フィルタユニット１３１５は、当該フィルタユニット１３１５が被覆する感光画素アレイ１１における隣接するｎ＊ｎ個の感光画素１１１とともに１つの合併画素を構成する。画像処理モジュール２０は、具体的に、感光画素アレイ１１の出力を読み取り、読み取られた単一の高分解能画像から隣接する合併画素の感光画素１１１の画素値を抽出して組み合わせ、少なくともｍフレームの低分解能の画像を取得し、且つ少なくともｍフレームの低分解能の画像を合成することに用いる。ここで、ｎ，ｍはいずれも１より大きい自然数で、ｍはｎ＊ｎ以下である。
【００５４】
本発明の一実施形態において、各フィルタユニット１３１５は、当該フィルタユニット１３１５が被覆する感光画素アレイ１１における隣接する２＊２個の感光画素１１１とともに１つの合併画素１４を構成する。画像処理モジュール２０は、具体的に、感光画素アレイ１１の出力を読み取り、読み取られた単一の高分解能画像から異なる合併画素の感光画素１１１の画素値を抽出して組み合わせ、４フレームの低分解能の画像を取得し、４フレームの低分解能の画像を合成する。
【００５５】
例えば、１６Ｍ画像センサは暗い所のフレームレートは８フレームであれば、４フレームのデータでマルチフレーム合成をすると、関連技術におけるマルチフレームの合成方法として画像センサが４フレームのデータを出力する必要があり、つまりマルチフレーム合成におけるデータフレームの待つ時間は０．５ｓである。本実施形態に係る結像装置ならば、画像センサが１フレームのデータを出力するだけで結構であり、画像処理モジュール２０は当該１フレームの高分解能画像から異なる合併画素の感光画素１１１の画素値を組み合わせすることで、当該１フレームのデータを４枚４Ｍの画像に分けられる。つまり、マルチフレーム合成におけるデータフレームの待つ時間はただ０．１２５ｓだけが必要となり、マルチフレーム合成におけるデータフレームの待つ時間を遥かに減少させ、ユーザにより結像体験をもたらす。
【００５６】
また、４フレームの低分解能の画像を合成する時、４フレーム４Ｍの画像は画像センサの同一フレーム画像から分離されたため、差が小さく、ゴースト像の発生を減少させる。
【００５７】
理解されるのは、各フィルタユニット１３１５が被覆する複数の感光画素１１１の構造は、ｎ＊ｎ（例えば２＊２、３＊３、４＊４）の構造以外に、更に任意のｎ＊ｍ構造（ｎ，ｍは自然数である）である。感光画素アレイ１１にアレイされる感光画素１１１の数は限られたため、各フィルタユニット１３１５が被覆する感光画素１１１が多すぎると、取得された低分解能の画像の分解能の大きさが制限される。例えば、感光画素アレイ１１の画素値が１６Ｍであると、２＊２の構造を利用して４枚の分解能が４Ｍの低分解能の画像を得られるが、４＊４構造を利用すれば、１６枚の分解能が１Ｍの低分解能の画像を得られる。よって、２＊２構造は好ましい配列方法であり、できるだけ分解能を犠牲にしないという前提で画像の輝度と鮮明度を向上する。
【００５８】
図４Ｃに示されるように、本発明の一実施形態において、画像センサ１０の各合併画素１４がフィルタユニット１３１５の上方にあるレンズアレイ１５を更に備える。当該レンズアレイ１５における各マイクロレンズ１５１は１つの感光画素１１１に対応し、形状、大きさ、位置の対応を含む。マイクロレンズ１５１が光線を感光画素１１１の感光部分１１２に集光し、感光画素１１１の受光強度を向上して、結像の画質を改善する。本実施形態において、各フィルタユニット１３１５は２＊２個の感光画素１１１及び２＊２個のマイクロレンズ１５１に対応する。
【００５９】
図５に示されるように、図５は感光画素及び関連回路のイメージ図である。本発明の一実施形態において、感光画素１１１は、フォトダイオード１１１３を備える。感光画素１１１と、スイッチ管１１１５と、ソースフォロアー（ｓｏｕｒｃｅ  ｆｏｌｌｏｗｅｒ）１１１７と、ＡＤＣ（ａｎａｏｌｏｇ−ｔｏ−ｄｉｇｉｔａｌ  ｃｏｎｖｅｒｔｅｒ)１７との接続関係は、図５に示されている。即ち１つの感光画素１１１は対応的に１つのソースフォロアー１１１７及び１つのＡＤＣ１７を利用する。
【００６０】
ここで、フォトダイオード１１１３は光の照射を電荷に変換し、且つ生じた電荷は光強度と比率関係を持つ。スイッチ管１１１５は行で選択した論理ユニット４１及び列で選択した論理ユニット４３の制御信号により回路の導通及び切断を制御し、回路が導通すると、ソースフォロアー１１１７はフォトダイオード１１１３が光の照射で生じた電荷信号を電圧信号に変換する。ＡＤＣ１７は電圧信号をデジタル信号に変換し、画像処理モジュール２０に転送して処理する。ここで、行で選択された論理ユニット４１及び列で選択された論理ユニット４３は結像装置１００の制御モジュール（図示略）に接続され、結像装置１００の制御モジュールにより制御される。
【００６１】
本実施形態に係る結像装置は、画像処理モジュールはただ画像センサの１フレームの出力を取得するだけで、合成することでハイダイナミックな範囲の画像を得られ、マルチフレームにおけるデータフレームの待つ時間を遥かに減少させ、また、マルチフレーム合成のためのデータは画像センサの同一フレームからのものであるため、ゴースト像の発生が防止され、更にユーザ体験を向上する。
【００６２】
上記の実施形態を実現するために、本発明は電子装置を更に提供する。当該電子装置は本発明の実施形態による結像装置を含む。
【００６３】
本発明の実施例による電子装置は、当該結像装置を有するために、結像する時に画像センサの１フレーム出力だけで、合成する方法でハイダイナミックな範囲の画像を得られ、マルチフレーム合成におけるデータフレームの待つ時間を遥かに減少させ、また、マルチ合成のデータは画像センサの同一側からのものであるため、ゴースト像の発生が防止され、ユーザ体験を大きく向上する。
【００６４】
上記の実施形態を実現するために、本発明は移動端末を更に提供する。
【００６５】
図６に示されるように、図６は本発明の一実施形態に係る移動端末の構造イメージ図である。
【００６６】
図６に示されるように、本実施形態により提供された移動端末６０は、ケーシング６０１と、プロセッサ６０２と、メモリ６０３と、回路基板６０４と、電源回路６０５と、画像センサ６０６とを備える。ここで、回路基板６０４はケーシング６０１で囲まれた空間内部に設けられ、プロセッサ６０２と、メモリ６０３と画像センサ６０６とは回路基板６０４に設けられている。電源回路６０５は移動端末６０の各回路または部品に給電するためのものである。画像センサ６０６は感光画素アレイ及び感光画素アレイに設けられたフィルタとを備える。フィルタはフィルタユニットアレイを備える。各フィルタユニットと当該フィルタユニットにより被覆される感光画素アレイのうち隣接する複数の感光画素とは、１つの合併画素を構成する。メモリ６０３は実行可能なプログラムコードを記憶するためのものである。プロセッサ６０２はメモリ６０３に記憶された実行可能なプログラムコードを読み取ることにより実行可能なプログラムコードに対応するプログラムを実行し、以下のようなステップを実行する。
感光画素アレイの出力を読み取り、読み取られた単一の高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得する。
マルチフレームの低分解能の画像を合成する。
【００６７】
なお、画像センサの結像方法の実施例についての解釈説明は、当該実施例による移動端末にも適用し、その実現原理は類似しているので、ここで省略する。
【００６８】
本実施形態に係る移動端末は、プロセッサでメモリに記憶された実行可能なプログラムコードを読み取ることにより実行可能なプログラムコードに対応するプログラムコードを実行し、以下のようなステップを実行することに用いる。
感光画素アレイの出力を読み取り、読み取られた単一フレームの高分解能画像から異なる合併画素の感光画素の画素値を抽出して組み合わせ、マルチフレームの低分解能の画像を取得し、マルチフレームの低分解能の画像を合成する。これにより、画像センサの１フレームの出力だけが実現すれば、合成する方法でハイダイナミックな範囲の画像を取得することができ、マルチフレーム合成におけるデータフレームの待つ時間を減少させ、またマルチフレーム合成のためのデータは画像センサの同一フレームからのものであるため、ゴースト像の発生が防止され、ユーザ体験を更に向上する。
【００６９】
上記の実施形態を実現するために、本発明は不揮発性のコンピュータ記憶媒体を更に提供し、コンピュータ記憶媒体は少なくとも１つのプログラムを有し、少なくとも１つのプログラムは１つの機器に実行される時、機器に本発明の第一実施形態に係る画像センサの結像方法を実行させる。
【００７０】
本発明の説明において、「中心」、「縦方向」、「横方向」、「長さ」、「幅」、「厚み」、「上」、「下」、「前」、「後」、「左」、「右」、「鉛直」、「水平」、「頂」、「底」、「内」、「外」、「時計回り」、「反時計回り」、「軸方向」、「半径方向」、「周方向」などの用語が示す方位又は位置関係は、図面に示す方位又は位置関係に基づき、本発明を便利にまたは簡単に説明するために使用されるものであり、指定された装置又は部品が特定の方位にあり、特定の方位において構造され操作されると指示又は暗示するものではないので、本発明に対する限定と理解してはいけない。
【００７１】
一方、「第１」、「第２」との用語はただ説明の目的だけであり、相対的な重要性を指示又は暗示或いは指定された技術的特徴の数量を暗黙的に指定すると理解してはいけない。よって、「第１」、「第２」と限定されている特徴は、少なくとも１つの当該特徴を含んでいることを、明示又は暗黙的に指定している。本発明の説明で、特に明確で具体的に限定されない限り、「複数」との意味は少なくとも２つであり、例えば、２つ、３つなどである。
【００７２】
なお、本発明の説明において、明確な規定と限定がない限り、「取り付け」、「互いに接続」、「接続」、「固定」の用語の意味は広く理解されるべきである。例えば、固定接続や、着脱可能な接続や、あるいは一体的な接続でも可能である。機械的な接続や、電気的な接続も可能である。直接的に接続することや、中間媒体を介して間接的に接続することや、２つの部品の内部が連通することや、あるいは２つの部品の間に相互の作用関係があることも可能である。当業者にとって、具体的な場合によって上記用語の本発明においての具体的な意味を理解することができる。
【００７３】
本発明において、明確な規定と限定がない限り、第１特徴が第２特徴の「上」又は「下」にあることは、第１特徴と第２特徴とが直接的に接触することを含んでいてもよいし、第１特徴と第２特徴とが直接的に接触することではなくそれらの間の別の特徴を介して接触することを含んでいてもよい。また、第１特徴が第２特徴の「上」、「上方」又は「上面」にあることは、第１特徴が第２特徴の真上及び斜め上にあることを含むか、或いは、単に第１特徴の水平高さが第２特徴より高いことだけを表す。第１特徴が第２特徴の「下」、「下方」又は「下面」にあることは、第１特徴が第２特徴の真下及び斜め下にあることを含むか、或いは、単に第１特徴の水平高さが第２特徴より低いことを表す。
【００７４】
本発明の説明において、「一実施形態」、「一部の実施形態」、「例示的な実施形態」、「一例」、「具体例」、或いは「変形例」などの用語を参考した説明とは、該実施形態或いは実施例に結合して説明された具体的な特徴、構成、材料或いは特徴が、本発明の少なくとも１つの実施形態或いは実施例に含まれることである。本明細書において、上記用語に対する例示的な描写は、必ずしも同じ実施形態或いは実施例を示すことではない。又、説明された具体的な特徴、構成、材料或いは特徴は、少なくとも１つの実施形態又は実施例において適切に結合することができる。なお、お互いに矛盾しない場合、当業者は本明細書で描写された異なる実施形態或いは実施例、及び異なる実施形態或いは実施例の特徴を結合且つ組み合わせることができる。
【００７５】
フローチャートまたは他の方式で説明した任意の過程や方法は、少なくとも１つの、特定ロジック性能または過程のステップの実行できるコマンドのコードのモジュール、セクターあるいは部分を含む。本発明の好ましい実施方式の範囲は、他の実現を含み、表示または討論の順序に関係なく、述べられた機能に基づいて基本的に同様な方式または逆の順序で、その機能を実行することができる。これは、本発明の実施形態における当業者に理解される。
【００７６】
フローチャート中で表され、又はその他の方式で記述された論理及び／又はステップは、例えば、論理機能を実現するための命令実行可能な順序リストであると考えられてもよい。具体的には、いかなるコンピュータ読取可能媒体中でも実現することができ、それによって指令実行システム、装置、もしくは設備（例えばコンピュータに基づくシステム、プロセッサを備えるシステム又は他の指令実行システム、装置又は設備から指令を取得して指令を実行することができるシステム等）に使用、又はこれらの指令実行システム、装置、もしくは設備を結合して使用される。本明細書について説明すれば、「コンピュータ読取可能媒体」は、プログラムを含み、保存し、通信し、伝播し又は伝送して、指令実行システム、装置若しくは設備又はこれらの指令実行システム、装置もしくは設備に使用されるいかなる装置であってもよい。コンピュータ読取可能媒体のさらに具体的な一例（非網羅的リスト）には、１つ以上の配線を有する電気接続部（電子装置）、ポータブル型コンピュータディスク（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、及びコンパクト光ディスク読み出し専用メモリ（ＣＤＲＯＭ）が含まれる。また、コンピュータ読取可能媒体は、その上に前述のプログラムを印刷した紙又はその他適当な媒質であってもよい。なぜなら、例えば、紙又はその他の媒質に対して光学スキャンを行い、続いて編集、解釈又は必要ならその他適当な方式で処理を行って、電子方式によってプログラムを取得し、その後それをコンピュータメモリ中に保存することができるからである。
【００７７】
また、理解すべきなのは、本発明の各部分は、ハードウェア、ソフトウェア、部品また
はそれらの組み合わせで実現できる。実施形態としては、複数のステップまたは方法がメモリに保存され、適当なコマンド実行システムのソフトウェアまたは部品で実現される。例えば、ハードウェアで実現する場合、他の実施方式と同じように、本領域周知の下記の任意１つまたはそれらの組み合わせで実現できる。すなわち、デジタル信号に対してロジック機能を実現するロジックゲート回路を有する個別のロジック回路、ロジックゲート回路を組み合わせた適当な専用ＩＣ、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などである。
【００７８】
実施例の方法にある全部または一部のステップがプログラムにより関連のハードウェアを実行することで完成されるステップは、当業者に理解される。プログラムは１つの計算機の読み出し可能な記憶メディアに記憶される。当プログラムを実行するとき、実施形態の方法のステップの１つまたはそれらの組み合わせを含む。
【００７９】
なお、本発明の各実施形態の各機能モジュールを１つの処理モジュールに集中、または、単独に存在し、あるいは、少なくとも２つのモジュールを１つの処理モジュールに集中することができる。集成したモジュールは、ハードウェアの形式、または、ソフトウェアの形式で実現される。集成したモジュールは、ソフトウェアの形式で実現し、また、独立の製品として販売や使用するとき、計算機の読み出し可能な記憶メディアに記憶されることができる。
【００８０】
上述の記憶メディアは、読み出し専用メモリ、ディスク、または、ＣＤなどである。本発明の実施形態を示して説明したが、当業者にとって理解できるのは、上記の実施形態は例示的なものであり、本発明に対する限定と理解されるものではなく、本発明の原理及び主旨から逸脱しない限りこれらの実施形態に対して複種の変化、補正、切り替え及び変形を行うことができる。
【図１Ａ】
2018186512.tif 000003
【図１Ｂ】
2018186512.tif 000004
【図１Ｃ】
2018186512.tif 000005
【図２】
2018186512.tif 000006
【図３】
2018186512.tif 000007
【図４Ａ】
2018186512.tif 000008
【図４Ｂ】
2018186512.tif 000009
【図４Ｃ】
2018186512.tif 000010
【図５】
2018186512.tif 000011
【図６】
2018186512.tif 000012