(57)【要約】本開示は、カメラモジュール、処理方法及び装置、電子機器、記憶媒体及びプログラムに関する。前記カメラモジュールは、画像センサーと、前記画像センサーにおける感光画素の一部を覆い、覆われている感光画素に向けて入射する入射光線を異なる位相の回折光線に分散させてから１つ又は複数の感光画素に入射する回折構造と、２Ｄ画像を生成するように前記回折光線を受信しない感光画素に対応する第１の感知信号を取得し、３Ｄ情報を生成するように前記回折光線に対応する第２の感知信号を取得する信号処理構造と、を含む。【選択図】図１
2021502004.tif 000002
【特許請求の範囲】
【請求項１】
画像センサーと、
前記画像センサーにおける感光画素の一部を覆い、覆われている感光画素に向けて入射する入射光線を異なる位相の回折光線に分散させてから１つ又は複数の感光画素に入射させる回折構造と、
２Ｄ画像を生成するように前記回折光線を受信しない感光画素に対応する第１の感知信号を取得し、３Ｄ情報を生成するように前記回折光線に対応する第２の感知信号を取得する信号処理構造と、を含む
ことを特徴とするカメラモジュール。
【請求項２】
前記回折構造は、複数の回折領域を含み、
各回折領域は、１つ又は複数の感光画素を覆うことを特徴とする請求項１に記載のカメラモジュール。
【請求項３】
前記回折領域は、同一感光画素が１つの回折領域により形成される回折光線しか受信できないように、互いに分離していることを特徴とする請求項２に記載のカメラモジュール。
【請求項４】
前記画像センサーにおける感光画素は、感光画素アレイを構成し、
複数の回折領域は、前記感光画素アレイに均等に分布していることを特徴とする請求項２に記載のカメラモジュール。
【請求項５】
前記画像センサーにおける感光画素は、感光画素アレイを構成し、
前記感光画素アレイの中央領域における回折領域の分布密度は、エッジ領域におけるその分布密度よりも高いことを特徴とする請求項２に記載のカメラモジュール。
【請求項６】
前記回折構造は、回折レンズ又は回折フィルムを含むことを特徴とする請求項１に記載のカメラモジュール。
【請求項７】
前記カメラモジュールは、前記画像センサーの感光画素を覆うカラーフィルターをさらに含み、
ここで、前記回折構造は、前記感光画素と前記カラーフィルターとの間に位置し、又は前記カラーフィルターの前記感光画素から離れた側に位置する
ことを特徴とする請求項１に記載のカメラモジュール。
【請求項８】
請求項１ないし７のいずれか１項に記載のカメラモジュールを含むことを特徴とする電子機器。
【請求項９】
前記電子機器のフロントカメラ及び／又はバックカメラは、前記カメラモジュールから構成されることを特徴とする請求項８に記載の電子機器。
【請求項１０】
前記カメラモジュールから出力された第１の感知信号及び第２の感知信号をそれぞれ取得し、第１の感知信号に基づいて２Ｄ画像を生成し、第２の感知信号に基づいて３Ｄ情報を生成するプロセッサをさらに含む
ことを特徴とする請求項８に記載の電子機器。
【請求項１１】
請求項８ないし１０のいずれか１項に記載の電子機器に応用され、
カメラモジュールから出力された第１の感知信号及び第２の感知信号を取得するステップと、
前記第１の感知信号に基づいて２Ｄ画像を生成するステップと、
前記第２の感知信号に基づいて３Ｄ情報を生成するステップと、を含む
ことを特徴とする処理方法。
【請求項１２】
前記第１の感知信号に基づいて２Ｄ画像を生成するステップは、
前記第１の感知信号及び前記第２の感知信号を処理して前記２Ｄ画像を生成し、
又は、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、補償された信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するステップを含む
ことを特徴とする請求項１１に記載の方法。
【請求項１３】
いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成されることを特徴とする請求項１１に記載の方法。
【請求項１４】
請求項８ないし１０のいずれか１項に記載の電子機器に応用され、
カメラモジュールから出力された第１の感知信号及び第２の感知信号を取得する取得ユニットと、
前記第１の感知信号に基づいて２Ｄ画像を生成する画像生成ユニットと、
前記第２の感知信号に基づいて３Ｄ情報を生成する情報生成ユニットと、を含む
ことを特徴とする処理装置。
【請求項１５】
前記画像生成ユニットは、処理サブユニット又は補償サブユニットを含み、
前記処理サブユニットは、前記２Ｄ画像を生成するように、前記第１の感知信号及び前記第２の感知信号を処理するように構成され、
前記補償サブユニットは、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、補償された信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するように構成される
ことを特徴とする請求項１４に記載の装置。
【請求項１６】
いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される
ことを特徴とする請求項１４に記載の装置。
【請求項１７】
プロセッサと、
前記プロセッサで実行可能な命令を記憶するためのメモリと、を含み、
ここで、前記プロセッサは、実行可能な命令を実行することにより請求項１１ないし１３のいずれか１項に記載の方法を実現する
ことを特徴とする電子機器。
【請求項１８】
コンピュータ命令を記憶しているコンピュータ読み取り可能な記録媒体であって、
前記コンピュータ命令がプロセッサにより実行される場合、請求項１１ないし１３のいずれか１項に記載の方法のステップを実現することを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、出願番号が２０１８１１０５２６２０．４であって、出願日が２０１８年９月１０日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
本開示は、端末技術分野に関し、特に、カメラモジュール、処理方法、装置、電子機器及び記憶媒体に関する。
【背景技術】
【０００２】
電子機器にカメラモジュールを組み立てることにより、２Ｄ画像の収集及び生成を実現することができる。３Ｄ顔認識技術や拡張現実感技術などの発展に伴い、電子機器による３Ｄ情報の収集が求められている。
【０００３】
従来技術では、電子機器に３Ｄ情報収集ユニットを実装することにより、構造化光やＴＯＦなどの技術による３Ｄ情報収集機能を実現することができるが、電子機器にスペースを別途占用する必要となる。
【発明の概要】
【０００４】
本開示は、従来技術における欠点を解決するために、カメラモジュール、処理方法、装置、電子機器及び記憶媒体を提供する。
【０００５】
本開示の実施例の第１の態様によれば、カメラモジュールを提供し、前記カメラモジュールは、
画像センサーと、
前記画像センサーにおける感光画素の一部を覆い、覆われている感光画素に向けて入射する入射光線を異なる位相の回折光線に分散させてから１つ又は複数の感光画素に入射させる回折構造と、
２Ｄ画像を生成するように前記回折光線を受信しない感光画素に対応する第１の感知信号を取得し、３Ｄ情報を生成するように前記回折光線に対応する第２の感知信号を取得する信号処理構造と、を含む。
【０００６】
選択的に、前記回折構造は、複数の回折領域を含み、各回折領域は、１つ又は複数の感光画素を覆う。
【０００７】
選択的に、前記回折領域は、同一感光画素が１つの回折領域により形成される回折光線しか受信できないように、互いに分離している。
【０００８】
選択的に、前記画像センサーにおける感光画素は、感光画素アレイを構成し、複数の回折領域は、前記感光画素アレイに均等に分布している。
【０００９】
選択的に、前記画像センサーにおける感光画素は、感光画素アレイを構成し、前記感光画素アレイの中央領域における回折領域の分布密度は、エッジ領域におけるその分布密度よりも高い。
【００１０】
選択的に、前記回折構造は、回折レンズ又は回折フィルムを含む。
【００１１】
選択的に、前記カメラモジュールは、前記画像センサーの感光画素を覆うカラーフィルターをさらに含む。
【００１２】
ここで、前記回折構造は、前記感光画素と前記カラーフィルターとの間に位置し、又は前記カラーフィルターの前記感光画素から離れた側に位置する。
【００１３】
本開示の実施例の第２の態様によれば、電子機器を提供し、前記電子機器は、上記実施例のいずれかに記載のカメラモジュールを含む。
【００１４】
選択的に、前記電子機器のフロントカメラ及び／又はバックカメラは、前記カメラモジュールから構成される。
【００１５】
選択的に、前記電子機器は、
前記カメラモジュールから出力された第１の感知信号及び第２の感知信号をそれぞれ取得し、前記第１の感知信号に基づいて２Ｄ画像を生成し、前記第２の感知信号に基づいて３Ｄ情報を生成するプロセッサをさらに含む。
【００１６】
本開示の実施例の第３の態様によれば、上記実施例のいずれかに記載の電子機器に応用される処理方法を提供し、前記方法は、
カメラモジュールから出力された第１の感知信号及び第２の感知信号を取得するステップと、
前記第１の感知信号に基づいて２Ｄ画像を生成するステップと、
前記第２の感知信号に基づいて３Ｄ情報を生成するステップと、を含む。
【００１７】
選択的に、前記第１の感知信号に基づいて２Ｄ画像を生成するステップは、
前記第１の感知信号及び前記第２の感知信号を処理して前記２Ｄ画像を生成し、
又は、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、補償された信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するステップを含む。
【００１８】
選択的に、いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される。
【００１９】
本開示の実施例の第４の態様によれば、上記実施例のいずれかに記載の電子機器に応用される処理装置を提供し、前記装置は、
カメラモジュールから出力された第１の感知信号及び第２の感知信号を取得する取得ユニットと、
前記第１の感知信号に基づいて２Ｄ画像を生成する画像生成ユニットと、
前記第２の感知信号に基づいて３Ｄ情報を生成する情報生成ユニットと、を含む。
【００２０】
選択的に、前記画像生成ユニットは、処理サブユニット又は補償サブユニットを含む。
【００２１】
前記処理サブユニットは、前記２Ｄ画像を生成するように、前記第１の感知信号及び前記第２の感知信号を処理するように構成される。
【００２２】
前記補償サブユニットは、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、補償された信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するように構成される。
【００２３】
選択的に、いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される。
【００２４】
本開示の実施例の第５の態様によれば、電子機器を提供し、前記電子機器は、
プロセッサと、
前記プロセッサで実行可能な命令を記憶するためのメモリと、を含み、
ここで、前記プロセッサは、実行可能な命令を実行することにより上記実施例のいずれかに記載の方法を実現する。
【００２５】
本発明の実施例の第６の態様によれば、コンピュータ命令を記憶しているコンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ命令がプロセッサにより実行される場合、上記実施例のいずれかに記載の方法のステップを実現する。
【００２６】
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本開示を限定するものではない。
【図面の簡単な説明】
【００２７】
以下の図面は、明細書に組み入れて本明細書の一部分を構成し、本開示に該当する実施例を例示するとともに、明細書とともに本開示の原理を解釈する。
【図１】一例示的な実施例に係るカメラモジュールの構造を示す模式図である。
【図２】一例示的な実施例に係るカメラモジュールを示す断面図である。
【図３】一例示的な実施例に係る他のカメラモジュールを示す断面図である。
【図４】一例示的な実施例に係る回折領域の均等配置を示す模式図である。
【図５】一例示的な実施例に係る回折領域の他の均等配置を示す模式図である。
【図６】一例示的な実施例に係る回折領域のランダム配置を示す模式図である。
【図７】一例示的な実施例に係る回折領域の規則的配置を示す模式図である。
【図８】一例示的な実施例に係る処理方法を示すフローチャートである。
【図９】一例示的な実施例に係る処理装置を示すブロック図である。
【図１０】一例示的な実施例に係る他の処理装置を示すブロック図である。
【図１１】一例示的な実施例に係る処理装置の構造を示す模式図である。
【発明を実施するための形態】
【００２８】
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。以下の記載が図面に関わる場合、特に別の説明がない限り、異なる図面における同一符号は、同じ又は類似する要素を示す。以下の例示的な実施例に記載の実施形態は、本発明と一致する全ての実施形態を代表するものではない。即ち、それらは、特許請求の範囲で詳細に記載される本発明のある側面に一致する装置及び方法の例に過ぎない。
【００２９】
本発明に記載の用語は、特定の実施例を説明する目的で使用されるものに過ぎず、本発明を限定するものではない。本発明及び添付された特許請求の範囲に記載の単数形式の「１種類」、「前記」及び「当該」は、前後の文章においてそれぞれ他の意味を含有すると明確に記載される以外には、複数の形式も含む。なお、本発明に記載の「及び／又は」は、挙げられる事項の１つ又は複数の何れ又は全ての組み合わせを意味する。
【００３０】
また、本発明は、第１、第２、第３などの用語を使って各種の情報を説明するが、それらの情報は上記用語に限定されない。それらの用語は、同一種類の情報同士を区分するためのものに過ぎない。例えば、本発明の範囲から逸脱しない状況で、第１の情報を第２の情報と称しても良い。同様に、第２の情報を第１の情報と称してもよい。ここで使っている用語「……場合」は、上下文の意味によって、「……時」又は「……と」又は「確定に応じる」に解釈されてもよい。
【００３１】
図１は一例示的な実施例に係るカメラモジュールの構造を示す模式図である。図１に示すように、このカメラモジュールは、画像センサー１（ｓｅｎｓｏｒ）と、回折構造２と、信号処理構造３と、を含む。その中、画像センサー１は、複数の感光画素を含み、これらの感光画素は、画像センサー１に入射する光線を感知するように、図１に示すようなＲ（ｒｅｄ、赤）、Ｇ（ｇｒｅｅｎ、緑）、Ｂ（ｂｌｕｅ、青）画素アレイを形成する。回折構造２は、画像センサー１における感光画素の一部を覆うことができ、例えば、図１における画素アレイが６４個の感光画素を含み、回折構造２が、その中の１６個の感光画素を覆い、覆われている感光画素に向けて入射する入射光線を異なる位相の回折光線に分散させてから１つ又は複数の感光画素に入射させる（即ち、１つの感光画素が１つ又は複数の位相の回折光線を受信することができる）。信号処理構造３は、２Ｄ画像を生成するように前記回折光線を受信しない感光画素に対応する第１の感知信号を取得し、且つ、３Ｄ情報を生成するように前記回折光線に対応する第２の感知信号を取得することができる。
【００３２】
したがって、別個の３Ｄ情報収集ユニットを別途装着する必要がなく、電子機器に本開示によるカメラモジュールのみを組み立てれば、２Ｄ画像及び３Ｄ情報を収集する機能を備え、電子機器にスペースを別途占用することを回避することができる。ここで、回折構造２が画像センサー１における感光画素の一部のみを覆うので、３Ｄ情報の取得を確保する上で、２Ｄ画像の生成への影響を可能な限り低減させ、２Ｄ画像の画質の劣化を回避することができる。
【００３３】
一実施例において、回折構造２は、回折機能を実現可能な任意の材料からなるが、本発明はこれを限定するものではない。例えば、この回折構造２は、回折レンズであってもよい。また、この回折構造２は、回折フィルムなどであってもよい。
【００３４】
一実施例において、図１に示す実施例における画像センサー１は、ベイヤーアレイ（Ｂａｙｅｒ  Ａｒｒａｙ）でＲＢＧ感光画素をアレイ化しているが、本開示は、これを限定するものではなく、従来技術におけるＲＧＢＷ画素配列やＸ−Ｔｒａｎｓ画素配列などのその他の任意の画素配列パターンにも適用可能である。
【００３５】
本開示の技術案において、回折構造２が画像センサー１に入射する光線（回折構造２により覆われた感光画素に入射する光線）を回折させることを確保すればよく、つまり、回折構造２は、カメラモジュールにおけるその他の構造との位置関係にかかわらず、画像センサー１の前方に配置されるべきである。例えば、図２は一例示的な実施例に係るカメラモジュールを示す断面図である。図２に示すように、カメラモジュールは、画像センサー１、回折構造２以外に、カラーフィルター４（Ｃｏｌｏｒ  Ｆｉｌｔｅｒ）をさらに含むことができる。この回折構造２は、カラーフィルター４の画像センサー１（又は感光画素）から離れた側に位置してもよく、即ち、回折構造２、カラーフィルター４及び画像センサー１が順次積層されている。また、例えば、図３は一例示的な実施例に係る他のカメラモジュールを示す断面図である。図３に示すように、回折構造２は、画像センサー１（又は感光画素）とカラーフィルター４との間に位置してもよい。
【００３６】
本発明の技術案において、回折構造２は、いくつかの回折領域２０を含むことができ、例えば、図１に示す実施例において４個の回折領域２０を含むが、他の実施例において１つ以上の他の数の回折領域２０を含むことができ、本発明はこれを限定するものではない。ここで、各回折領域２０は、図１に示す円形の以外、楕円形、矩形などの他の任意の形状を採用し得るが、本発明はこれを限定するものではない。
【００３７】
図２−３に示す実施例と組み合わせて、回折構造２に含まれるいくつかの回折領域２０が同一層に位置することが多く、各回折領域２０と画像センサー１との間の距離が等しく、これらの回折領域２０同士が、互いに独立していてもよいし、透明な材料によって一体的に接続されていてもよく、本発明はこれを限定するものではない。
図４は一例示的な実施例に係る回折領域の均等配置を示す模式図である。図４に示すように、回折構造２は、４個の回折領域２０を含むことができ、これらの回折領域２０が画像センサー１により形成される画素アレイに均等に分布することにより、回折構造２の２Ｄ画像への影響も各位置に均一に分担され、局所で２Ｄ画像に大きな影響を及ぼすことを回避することができる。同様に、図５は一例示的な実施例に係る回折領域の他の均等配置を示す模式図である。図５に示すように、回折構造２は、５個の回折領域２０を含むことができ、これらの回折領域２０は、画像センサー１により形成される画素アレイに均等に分布することができる。
【００３８】
ここで、回折領域２０の数だけでなく、図４及び図５に示す実施例における各回折領域２０により覆われた感光画素の数も異なり、例えば、図４における各回折領域２０は４個の感光領域を覆うことができ、図５における各回折領域２０は９個又はそれ以上の感光領域を覆うことができる。勿論、本開示の技術案に係る各回折領域２０は１つ又は複数の感光画素を覆うことができるが、本開示は覆われた感光画素の数を限定するものではない。
【００３９】
図６は一例示的な実施例に係る回折領域のランダム配置を示す模式図である。図６に示すように、回折構造２が複数の回折領域２０を含む場合、これらの回折領域２０が画像センサー１により形成される画素アレイにランダムに分布することができ、対応する回折機能を実現して２Ｄ画像及び３Ｄ情報を生成すればよい。
【００４０】
図７は一例示的な実施例に係る回折領域の規則的配置を示す模式図である。画像センサー１における感光画素により構成される感光画素アレイにおいて、回折構造２に含まれる複数の回折領域２０は、この感光画素アレイの中央領域の分布密度がエッジ領域の分布密度よりも高くてもよい。例えば、図７に示す実施例において、中央領域には７個の回折領域２０が分布できるが、エッジ領域には４個の回折領域２０のみが分布することにより、より重要な中央領域においてより多くの３Ｄ情報を取得することができ、３Ｄ顔認識などの場合、認識精度の向上に寄与する。
【００４１】
なお、回折構造２が複数の回折領域２０を含む場合、これらの回折領域２０同士は、同じ感光画素が１つの回折領域により形成される回折光線しか受信できないように、互いに分離しているべきである。これにより、複数の回折領域２０により形成される回折光線が同じ感光画素に入射することを回避し、最終的に得られた３Ｄ情報が十分な精度を有することを確保する。
【００４２】
本開示の技術案において、上記のいずれかの実施例によるカメラモジュールは、ある電子機器に適用可能であり、例えば、このカメラモジュールをこの電子機器のフロントカメラ又はバックカメラとするか、又はフロントカメラとバックカメラの両方とすることにより（同一のカメラがフロントカメラ及びバックカメラの両方としてもよいか、又は複数のカメラの一部をフロントカメラとし、残りのものをバックカメラとする）、２Ｄ画像を収集するとともに、３Ｄ情報を生成することもできる。ここで、この電子機器は、携帯電話、タブレットデバイス、ノートパソコン、ウェアラブルデバイスなどであってよく、本発明はこれを限定するものではない。
【００４３】
一実施例において、電子機器のプロセッサは、前記カメラモジュールから出力された第１の感知信号及び第２の感知信号をそれぞれ取得し、前記第１の感知信号に基づいて２Ｄ画像を生成し、前記第２の感知信号に基づいて３Ｄ情報を生成することができる。以下、図８を参照しプロセッサの処理ロジックを詳細に説明する。
【００４４】
図８は一例示的な実施例に係る処理方法を示すフローチャートであり、図８に示すように、前記方法は、上記の電子機器に適用し、以下のステップを含むことができる。
【００４５】
ステップ８０２において、カメラモジュールから出力された第１の感知信号、第２の感知信号を取得する。
【００４６】
一実施例において、カメラモジュールは、第１の感知信号及び第２の感知信号を出力する能力を同時に有するが、電子機器におけるプロセッサは、要求に応じて、同じ時刻に第１の感知信号又は第２の感知信号のみを出力してもよいし、同じ時刻に第１の感知信号及び第２の感知信号を同時に出力してもよい。
【００４７】
一実施例において、カメラモジュールは、第１の感知信号及び第２の感知信号を同時に出力できるが、プロセッサは、実際の要求に応じて、第１の感知信号に基づいて２Ｄ画像を生成するか、又は、第２の感知信号に基づいて３Ｄ情報を生成するか、又は、２Ｄ画像及び３Ｄ情報を同時に生成するかを選択可能となる。
【００４８】
ステップ８０４Ａにおいて、前記第１の感知信号に基づいて２Ｄ画像を生成する。
【００４９】
一実施例において、プロセッサは、前記第１の感知信号及び前記第２の感知信号を直接処理して前記２Ｄ画像を生成することができる。
【００５０】
一実施例において、第２の感知信号に含まれる３Ｄ情報が２Ｄ画像に影響を及ぼすおそれがあるので、第１の感知信号に基づいて回折光線を受信した感光画素に対して信号補償を行い、得られた補償後の信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成することができる。ここで、上記の補償プロセスは、第１の感知信号に基づいて第２の感知信号を補正するか、又は、第２の感知信号を完全に破棄して、前記第１の感知信号のみに基づいて回折光線を受信した感光画素に対して補間修復を行うことができる。
【００５１】
ステップ８０４Ｂにおいて、前記第２の感知信号に基づいて３Ｄ情報を生成する。
【００５２】
一実施例において、いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される。特に、ある位置における３Ｄ情報を生成する場合、比較的遠い距離にある感光画素により感知された第２の感知信号を参照すると、３Ｄ情報取得画素間のベースライン（ｂａｓｅｌｉｎｅ）を改善するのに寄与し、３Ｄ情報の生成精度を向上させることができる。
【００５３】
一実施例において、従来技術における３Ｄ情報生成方式を参照することにより、プロセッサが回折光線に対応する第２の感知信号に基づいて３Ｄ情報を生成することが可能となり、本発明は上記の３Ｄ情報生成方式の内容を限定するものではない。例えば、１つの３Ｄ情報生成方式の原理として、感光画素を複数の組に分け、その１組の感光画素の少なくとも１つの画素の片側が図１に示す回折構造２により覆われ、少なくとも１つの他の画素の他方の片側が回折構造２により覆われるので、これらの画素により感知された第２の感知信号が１組として一体化されることにより、双眼カメラに対応する光線の受信のアプリケーションシナリオをシミュレートし、これにより対応する３Ｄ情報（例えば対象物の深さ）を算出する。
【００５４】
本開示は、上述した処理方法の実施例に対応し、処理装置の実施例をさらに提供する。
【００５５】
図９は一例示的な実施例に係る処理装置を示すブロック図である。図９を参照すると、前記装置は、
カメラモジュールから出力された第１の感知信号、第２の感知信号を取得する取得ユニット９１と、
前記第１の感知信号に基づいて２Ｄ画像を生成する画像生成ユニット９２と、
前記第２の感知信号に基づいて３Ｄ情報を生成する情報生成ユニット９３と、を含む。
【００５６】
選択的に、いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される。
【００５７】
図１０に示すように、図１０は一例示的な実施例に係る他の処理装置を示すブロック図であり、本実施例は、上記の図９に示す実施例において、画像生成ユニット９２が処理サブユニット９２１又は補償サブユニット９２２を含む。
【００５８】
前記処理サブユニット９２１は、前記２Ｄ画像を生成するように、前記第１の感知信号及び前記第２の感知信号を処理するように構成される。
【００５９】
前記補償サブユニット９２２は、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、且つ得られた補償後の信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するように構成される。
【００６０】
上述した実施例の装置において各モジュールが操作を実行する具体的な形態は、既に前記方法に係る実施例において詳しく説明しており、ここで詳細な説明を省略する。
【００６１】
装置の実施例は、基本的に方法の実施例に対応するので、関連する部分は、方法の実施例の一部の説明を参照すればよい。前述した装置の実施例は、単に例示的なものであり、ここで、上記の分離部材として説明されるユニットは、物理的に離間したものであってもよいが、物理的に離間したものでなくてもよく、ユニットとして表示される部材は、物理的ユニットであってもよいが、物理的ユニットではなくてもよく、即ち、１つの場所に位置してもよいが、複数のネットワークユニットに分散されてもよい。実際の要求に応じて、その中の一部又は全部のモジュールを選択して、本開示の実施形態の目的を実現することができる。当業者は、創造的な労働を付与していない前提の下でも理解して実施することができる。
【００６２】
相応的に、本発明は、処理装置をさらに提供し、前記装置は、プロセッサと、前記プロセッサで実行可能な命令を記憶するためのメモリと、を含む。ここで、前記プロセッサは、実行可能な命令を実行することにより上記実施例のいずれかに記載の処理方法を実現するように構成される。
【００６３】
相応的に、本発明は、端末をさらに提供し、前記端末は、メモリと、１つ又は１つ以上のプログラムと、を含み、ここで、１つ又は１つ以上のプログラムは、メモリに記憶され、且つ、１つ又は１つ以上のプロセッサにより、以下のように操作するための命令が含まれる前記１つ又は１つ以上のプログラムを実行する。カメラモジュールから出力された第１の感知信号、第２の感知信号を取得し、前記第１の感知信号に基づいて２Ｄ画像を生成し、前記第２の感知信号に基づいて３Ｄ情報を生成する。
【００６４】
選択的に、前記第１の感知信号に基づいて２Ｄ画像を生成するステップは、
前記第１の感知信号及び前記第２の感知信号を処理して前記２Ｄ画像を生成し、
又は、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、且つ得られた補償後の信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するステップを含む。
【００６５】
選択的に、いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される。
【００６６】
図１１は一例示的な実施例に係る処理装置１１００の構造を示す模式図である。例えば、装置１１００は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機、ゲーム機、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡなどのものであってもよい。
【００６７】
図１１を参照すると、電子機器１１００は、処理ユニット１１０２、メモリ１１０４、電源ユニット１１０６、マルチメディアユニット１１０８、オーディオユニット１１１０、入力／出力（Ｉ／Ｏ）インタフェース１１１２、センサーユニット１１１４、及び通信ユニット１１１６のうちの少なくとも１つを備えてもよい。
【００６８】
処理ユニット１１０２は、一般的には、電子機器１１００の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット１１０２は、上述した方法におけるステップの一部又は全部を実現できるように、命令を実行する少なくとも１つのプロセッサ１１２０を備えてもよい。また、処理ユニット１１０２は、他のユニットとのインタラクションを便利にさせるように、少なくとも１つのモジュールを備えてもよい。例えば、処理ユニット１１０２は、マルチメディアユニット１１０８とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
【００６９】
メモリ１１０４は、電子機器１１００での操作をサポートするように、各種のデータを記憶するように配置される。これらのデータは、例えば、装置１１００で何れのアプリケーション又は方法を操作するための命令、連絡先データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ１１０４は、何れの種類の揮発性又は不揮発性メモリ、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
【００７０】
電源ユニット１１０６は、装置１１００の各種ユニットに電力を供給するためのものであり、電源管理システム、１つ又は複数の電源、及び装置１１００のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
【００７１】
マルチメディアユニット１１０８は、前記装置１１００とユーザーとの間に出力インタフェースを提供するスクリーンを備えてもよい。一実施例では、スクリーンは、例えば、液晶ディスプレイ（ＬＣＤ）やタッチパネル（ＴＰ）を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザーからの入力信号を受信するように、タッチスクリーンになることができる。タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも１つのタッチセンサーを有してもよい。前記タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、前記タッチやスライド操作と関連する持続時間や圧力も感知できる。一実施例では、マルチメディアユニット１１０８は、フロントカメラ及び／又はバックカメラを有してもよい。装置１１００が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び／又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。ここで、フロントカメラ及び／又はバックカメラは、本開示の技術案によるカメラモジュールを採用でき、このカメラモジュールは、２Ｄ画像及び３Ｄ情報を収集する機能を同時に有し、実際の需要に応じて、２Ｄ画像及び／又は３Ｄ情報を収集することができる。
【００７２】
オーディオユニット１１１０は、オーディオ信号を出力及び／又は入力するように配置される。例えば、オーディオユニット１１１０は、マイクロフォン（ＭＩＣ）を有してもよい。電子機器１１００が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにあるとき、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ１１０４にさらに記憶されてもよいし、通信ユニット１１１６を介して送信されてもよい。一実施例では、オーディオユニット１１１０は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
【００７３】
Ｉ／Ｏインタフェース１１１２は、処理ユニット１１０２と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタン等であってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
【００７４】
センサーユニット１１１４は、装置１１００のために各方面の状態を評価する少なくとも１つのセンサーを備えてもよい。例えば、センサーユニット１１１４は、装置１１００のオン／オフ状態や、ユニットの相対的な位置を感知することができる。例えば、前記ユニットは、装置１１００のディスプレイ及びキーパッドである。センサーユニット１１１４は、装置１１００又は装置１１００の１つのユニットの位置の変化や、ユーザーが装置１１００に接触しているか否かや、装置１１００の方向又は加速／減速や、装置１１００の温度変化を感知することもできる。センサーユニット１１１４は、何れの物理的な接触もない場合に付近の物体を感知するように配置される近接センサーを有してもよい。センサーユニット１１１４は、イメージングアプリケーションに用いるための光センサー、例えば、ＣＭＯＳ又はＣＣＤ画像センサーを有してもよい。一実施例では、当該センサーユニット１１１４は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー、又は温度センサーをさらに備えてもよい。
【００７５】
通信ユニット１１１６は、装置１１００と他の設備の間との無線又は有線通信を便利にさせるように配置される。装置１１００は、通信標準に基づく無線ネットワーク、例えば、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせにアクセスできる。１つの例示的な実施例では、通信ユニット１１１６は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。１つの例示的な実施例では、前記通信ユニット１１１６は、近距離通信を促進するために近距離無線通信（ＮＦＣ）モジュールをさらに備えてもよい。例えば、ＮＦＣモジュールは、無線周波数認識装置（ＲＦＩＤ：Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）技術、超広帯域無線（ＵＷＢ：Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）技術、ブルートゥース（登録商標）（ＢＴ：Ｂｌｕｅｔｏｏｔ（登録商標））技術及び他の技術によって実現されてもよい。
【００７６】
例示的な実施例では、装置１１００は、上述した方法を実行するために、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、数字信号処理デバイス（ＤＳＰＤ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅ）、プログラム可能論理デバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、書替え可能ゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子機器によって実現されてもよい。
【００７７】
例示的な実施例では、命令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、命令を有するメモリ１１０４をさらに提供し、前記命令は、装置１１００のプロセッサ１１２０により実行されて上述した処理方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク及び光データメモリなどであってもよい。
【００７８】
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本開示に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本開示の一般的な原理に従い、本開示では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本開示の本当の範囲と主旨は、以下の特許請求の範囲によって示される。
【００７９】
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
【図１】
2021502004.tif 000003
【図２】
2021502004.tif 000004
【図３】
2021502004.tif 000005
【図４】
2021502004.tif 000006
【図５】
2021502004.tif 000007
【図６】
2021502004.tif 000008
【図７】
2021502004.tif 000009
【図８】
2021502004.tif 000010
【図９】
2021502004.tif 000011
【図１０】
2021502004.tif 000012
【図１１】
2021502004.tif 000013
【手続補正書】
【提出日】平成31年2月6日(2019.2.6)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本願は、出願番号が２０１８１１０５２６２０．４であって、出願日が２０１８年９月１０日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
本開示は、端末技術分野に関し、特に、カメラモジュール、処理方法、装置、電子機器、記憶媒体及びプログラムに関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
本開示は、従来技術における欠点を解決するために、カメラモジュール、処理方法、装置、電子機器、記憶媒体及びプログラムを提供する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本発明の実施例の第７の態様によれば、プログラムを提供し、プロセッサに実行されることにより、上記実施例のいずれかに記載の方法のステップを実現する。
なお、前記一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本開示を限定するものではない。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像センサーと、
前記画像センサーにおける感光画素の一部を覆い、覆われている感光画素に向けて入射する入射光線を異なる位相の回折光線に分散させてから１つ又は複数の感光画素に入射させる回折構造と、
２Ｄ画像を生成するように前記回折光線を受信しない感光画素に対応する第１の感知信号を取得し、３Ｄ情報を生成するように前記回折光線に対応する第２の感知信号を取得する信号処理構造と、を含む
ことを特徴とするカメラモジュール。
【請求項２】
前記回折構造は、複数の回折領域を含み、
各回折領域は、１つ又は複数の感光画素を覆うことを特徴とする請求項１に記載のカメラモジュール。
【請求項３】
前記回折領域は、同一感光画素が１つの回折領域により形成される回折光線しか受信できないように、互いに分離していることを特徴とする請求項２に記載のカメラモジュール。
【請求項４】
前記画像センサーにおける感光画素は、感光画素アレイを構成し、
複数の回折領域は、前記感光画素アレイに均等に分布していることを特徴とする請求項２に記載のカメラモジュール。
【請求項５】
前記画像センサーにおける感光画素は、感光画素アレイを構成し、
前記感光画素アレイの中央領域における回折領域の分布密度は、エッジ領域におけるその分布密度よりも高いことを特徴とする請求項２に記載のカメラモジュール。
【請求項６】
前記回折構造は、回折レンズ又は回折フィルムを含むことを特徴とする請求項１に記載のカメラモジュール。
【請求項７】
前記カメラモジュールは、前記画像センサーの感光画素を覆うカラーフィルターをさらに含み、
ここで、前記回折構造は、前記感光画素と前記カラーフィルターとの間に位置し、又は前記カラーフィルターの前記感光画素から離れた側に位置する
ことを特徴とする請求項１に記載のカメラモジュール。
【請求項８】
請求項１ないし７のいずれか１項に記載のカメラモジュールを含むことを特徴とする電子機器。
【請求項９】
前記電子機器のフロントカメラ及び／又はバックカメラは、前記カメラモジュールから構成されることを特徴とする請求項８に記載の電子機器。
【請求項１０】
前記カメラモジュールから出力された第１の感知信号及び第２の感知信号をそれぞれ取得し、第１の感知信号に基づいて２Ｄ画像を生成し、第２の感知信号に基づいて３Ｄ情報を生成するプロセッサをさらに含む
ことを特徴とする請求項８に記載の電子機器。
【請求項１１】
請求項８ないし１０のいずれか１項に記載の電子機器に応用され、
カメラモジュールから出力された第１の感知信号及び第２の感知信号を取得するステップと、
前記第１の感知信号に基づいて２Ｄ画像を生成するステップと、
前記第２の感知信号に基づいて３Ｄ情報を生成するステップと、を含む
ことを特徴とする処理方法。
【請求項１２】
前記第１の感知信号に基づいて２Ｄ画像を生成するステップは、
前記第１の感知信号及び前記第２の感知信号を処理して前記２Ｄ画像を生成し、
又は、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、補償された信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するステップを含む
ことを特徴とする請求項１１に記載の方法。
【請求項１３】
いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成されることを特徴とする請求項１１に記載の方法。
【請求項１４】
請求項８ないし１０のいずれか１項に記載の電子機器に応用され、
カメラモジュールから出力された第１の感知信号及び第２の感知信号を取得する取得ユニットと、
前記第１の感知信号に基づいて２Ｄ画像を生成する画像生成ユニットと、
前記第２の感知信号に基づいて３Ｄ情報を生成する情報生成ユニットと、を含む
ことを特徴とする処理装置。
【請求項１５】
前記画像生成ユニットは、処理サブユニット又は補償サブユニットを含み、
前記処理サブユニットは、前記２Ｄ画像を生成するように、前記第１の感知信号及び前記第２の感知信号を処理するように構成され、
前記補償サブユニットは、前記第１の感知信号に基づいて前記回折光線を受信した感光画素に対して信号補償を行い、補償された信号及び前記第１の感知信号を処理することにより、前記２Ｄ画像を生成するように構成される
ことを特徴とする請求項１４に記載の装置。
【請求項１６】
いずれかの感光画素に対応する位置における３Ｄ情報は、当該感光画素の近傍の感光画素及び／又は当該感光画素から離れた感光画素に感知された第２の感知信号によって生成される
ことを特徴とする請求項１４に記載の装置。
【請求項１７】
プロセッサと、
前記プロセッサで実行可能な命令を記憶するためのメモリと、を含み、
ここで、前記プロセッサは、実行可能な命令を実行することにより請求項１１ないし１３のいずれか１項に記載の方法を実現する
ことを特徴とする電子機器。
【請求項１８】
コンピュータ命令を記憶しているコンピュータ読み取り可能な記録媒体であって、
前記コンピュータ命令がプロセッサにより実行される場合、請求項１１ないし１３のいずれか１項に記載の方法のステップを実現することを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１９】
プロセッサに実行されることにより、請求項１１ないし１３のいずれか１項に記載の方法を実現することを特徴とするプログラム。
【国際調査報告】
2021502004.tif 000014
2021502004.tif 000015
2021502004.tif 000016
2021502004.tif 000017