(57)【要約】  或る実施例では、電子デバイスは、第１のカメラモジュール及び第２のカメラモジュールと、第１のカメラモジュールから生画像データの第１のセットのラインを受領する第１の受信機と、第２のカメラモジュールから生画像データの第２のセットのラインを受領する第２の受信機と、第１のセットのラインと第２のセットのラインとを結合し、生画像データの結合されたラインを生成し、生画像データの結合されたラインを処理し、生画像データの結合されたラインから結合された画像フレームを生成するロジックとを有する。他の実施例も記載される。
2013539611.tif 000002
【特許請求の範囲】
【請求項１】
第１のカメラモジュールから第１の受信機への生画像データの第１のセットのラインを受領し、第２のカメラモジュールから第２の受信機への生画像データの第２のセットのラインを受領するステップと、
前記第１のセットのラインと前記第２のセットのラインとを結合し、生画像データの結合されたラインを生成するステップと、
生画像データの前記結合されたラインを処理するステップと、
生画像データの前記結合されたラインから結合された画像フレームを生成するステップと
を有する方法。
【請求項２】
第１のカメラモジュールから第１の受信機への生画像データの第１のセットのラインを受領し、第２のカメラモジュールから第２の受信機への生画像データの第２のセットのラインを受領することは、ライン毎に前記第１のカメラモジュール及び前記第２のカメラモジュールのそれぞれから生画像データを受領することを有し、
生画像データのラインは、帰線消去期間により分離される、請求項１に記載の方法。
【請求項３】
前記第１のセットのラインと前記第２のセットのラインとを結合し、生画像データの結合されたラインを生成することは、前記第１のカメラモジュール及び前記第２のカメラモジュールからの生画像データの対応するラインを単一のラインに論理的にリンクさせことを有する、請求項１に記載の方法。
【請求項４】
生画像データの前記結合されたラインを処理することは、１つ以上の生フレームを１つ以上のYUVビデオフレームに変換することを有する、請求項１に記載の方法。
【請求項５】
前記第１のカメラモジュールから前記生画像データに関連する第１のセットの画像統計を生成するステップと、
前記第２のカメラモジュールから前記生画像データに関連する第２のセットの画像統計を生成するステップと
を更に有する、請求項１に記載の方法。
【請求項６】
第１のカメラ制御モジュールは、前記第１のセットの画像統計を受領し、前記第１のセットの画像統計から１つ以上のカメラ制御パラメータを計算し、前記第２のセットの画像統計を受領し、前記第２のセットの画像統計から１つ以上のカメラ制御パラメータを計算する、請求項５に記載の方法。
【請求項７】
第１のカメラモジュール及び第２のカメラモジュールと、
前記第１のカメラモジュールから生画像データの第１のセットのラインを受領する第１の受信機と、
前記第２のカメラモジュールから生画像データの第２のセットのラインを受領する第２の受信機と、
前記第１のセットのラインと前記第２のセットのラインとを結合し、生画像データの結合されたラインを生成し、生画像データの前記結合されたラインを処理し、生画像データの前記結合されたラインから結合された画像フレームを生成するロジックと
を有する電子デバイス。
【請求項８】
前記第１の受信機は、ライン毎に前記第１のカメラモジュールから生画像データを受領し、前記第２の受信機は、前記第２のカメラモジュールから生画像データを受領し、
生画像データのラインは、帰線消去期間により分離される、請求項７に記載の電子デバイス。
【請求項９】
前記ロジックは、前記第１のカメラモジュール及び前記第２のカメラモジュールからの生画像データの対応するラインを単一のラインにリンクさせることを有する、請求項７に記載の電子デバイス。
【請求項１０】
１つ以上の生フレームを対応する数のYUVビデオフレームに変換するロジックを更に有する、請求項７に記載の電子デバイス。
【請求項１１】
前記第１のカメラモジュールから前記生画像データに関連する第１のセットの画像統計を生成し、前記第２のカメラモジュールから前記生画像データに関連する第２のセットの画像統計を生成するロジックを更に有する、請求項７に記載の電子デバイス。
【請求項１２】
第１のカメラ制御モジュールは、前記第１のセットの画像統計を受領し、前記第１のセットの画像統計から１つ以上のカメラ制御パラメータを計算し、第２のカメラ制御モジュールは、前記第２のセットの画像統計を受領し、前記第２のセットの画像統計から１つ以上のカメラ制御パラメータを計算する、請求項１１に記載の電子デバイス。
【請求項１３】
前記結合された画像フレームを提示する表示デバイスを有する、請求項７に記載の電子デバイス。
【請求項１４】
第１のカメラモジュールから生画像データの第１のセットのラインを受領する第１の受信機と、
第２のカメラモジュールから生画像データの第２のセットのラインを受領する第２の受信機と、
前記第１のセットのラインと前記第２のセットのラインとを結合し、生画像データの結合されたラインを生成し、生画像データの前記結合されたラインを処理し、生画像データの前記結合されたラインから結合された画像フレームを生成するロジックと
を有する装置。
【請求項１５】
前記第１の受信機は、ライン毎に前記第１のカメラモジュールから生画像データを受領し、前記第２の受信機は、ライン毎に前記第２のカメラモジュールから生画像データを受領し、
生画像データのラインは、帰線消去期間により分離される、請求項１４に記載の装置。
【請求項１６】
前記第１のカメラモジュール及び前記第２のカメラモジュールからの生画像データの対応するラインを単一のラインにリンクさせるロジックを更に有する、請求項１４に記載の装置。
【請求項１７】
１つ以上の生フレームを対応する数のYUVビデオフレームに変換するロジックを更に有する、請求項１４に記載の装置。
【請求項１８】
前記第１のカメラモジュールから前記生画像データに関連する第１のセットの画像統計を生成し、前記第２のカメラモジュールから前記生画像データに関連する第２のセットの画像統計を生成し、前記第１のセットの画像統計を第１のカメラ制御モジュールに転送し、前記第２のセットの画像統計を第２のカメラモジュールに転送するロジックを更に有する、請求項１４に記載の装置。
【請求項１９】
前記第１のカメラ制御モジュールは、前記第１のセットの画像統計を受領し、前記第１のセットの画像統計から１つ以上のカメラ制御パラメータを計算し、前記第２のセットの画像統計を受領し、前記第２のセットの画像統計から１つ以上のカメラ制御パラメータを計算する、請求項１８に記載の装置。
【請求項２０】
電子デバイスに結合され、前記結合された画像フレームを提示する表示デバイスを更に有する、請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
ここに記載の対象は、概して画像処理の分野に関し、特に立体画像の取得のためのシステム及び方法に関する。
【背景技術】
【０００２】
移動電話、パーソナルデジタルアシスタント、ポータブルコンピュータ等のような電子デバイスは、画像を取得するためのカメラを有することがある。一例として、移動電話は、画像を取得するために電話の背面に配置されたカメラを有することがある。電子デバイスは、カメラにより収集された画像を取得し、画像を処理し、メモリへの画像の格納及び／又は画像の表示を行うための画像信号処理パイプラインを備えることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
立体画像の取得は、２つ以上のカメラを使用して画像を生成することを含む。立体画像の取得は、通常の単一カメラの画像処理では利用できない画像処理機能を提供する。従って、電子デバイスに立体画像を実装する機能を備える技術は有用になる可能性がある。
【図面の簡単な説明】
【０００４】
【図１】或る実施例による電子デバイスの概略図
【図２】或る実施例による単一のパイプラインの立体画像の取得の際に使用される構成要素の概略図
【図３】或る実施例による画像信号処理の多重を示すフローチャート
【発明を実施するための形態】
【０００５】
添付図面を参照して詳細な説明を行う。
【０００６】
ここでは、電子デバイスにおける立体画像の取得のための例示的なシステム及び方法が記載される。以下の説明では、様々な実施例の完全な理解を提供するために、複数の特定の詳細が示されている。しかし、様々な実施例は特定の詳細なしに実施されてもよいことが当業者により分かる。他の場合にも、特定の実施例を曖昧にしまいように、周知の方法、手順、構成要素及び回路は詳細には図示又は記載されていない。
【０００７】
或る実施例では、ここに記載の対象は、電子デバイスが独立した画像信号処理のチャネルを必要とせずに、複数のカメラモジュールからの画像を収集することを可能にする。従って、ここに記載のシステム及び方法は、電子デバイスが単一の画像処理パイプラインを通じて複数のカメラモジュールからの画像の立体画像の取得を実行することを可能にする。画像信号は、メモリに格納されてもよく、及び／又は表示デバイスに表示されてもよい。
【０００８】
図１は、或る実施例による立体画像の取得を実行するように適合され得る電子デバイスの概略図である。図１を参照すると、或る実施例では、電子デバイス110は、移動電話、パーソナルデジタルアシスタント（PDA：personal  digital  assistant）等として具現されてもよい。電子デバイス110は、RF信号を送受信するRFトランシーバ150と、RFトランシーバ150により受信された信号を処理する信号処理モジュール152とを含んでもよい。
【０００９】
RFトランシーバは、例えば、Bluetooth（登録商標）或いは802.11X、IEEE802.11a、b又はgに準拠したインタフェース（例えば、IEEE  Standard  for  IT-Telecommunications  and  information  exchange  between  systems  LAN/MAN-Part  II:  Wireless  LAN  Medium  Access  Control  (MAC)  and  Physical  Layer  (PHY)  specifications  Amendment  4:  Further  Higher  Data  Rate  Extension  in  the  2.4  GHz  Band,  802.11G-2003参照）のようなプロトコルを介してローカル無線接続を実施してもよい。無線インタフェースの他の例は、GPRS（general  packet  radio  service）インタフェース（例えば、Guidelines  on  GPRS  Handset  Requirements,  Global  System  for  Mobile  Communications/GSM  Association,  Ver.  3.0.1,  December  2002参照）である。
【００１０】
電子デバイス110は、１つ以上のプロセッサ154と、メモリモジュール156とを更に含んでもよい。ここで使用される“プロセッサ”という用語は、マイクロプロセッサ、マイクロコントローラ、複雑命令セットコンピュータ（CISC：complex  instruction  set  computing）マイクロプロセッサ、縮小命令セット（RISC：reduced  instruction  set）マイクロプロセッサ、超長命令語（VLIW：very  long  instruction  word）マイクロプロセッサ、又は他の種類のプロセッサ若しくは処理回路に限定されず、このような如何なる種類の計算エレメントをも意味する。或る実施例では、プロセッサ154は、Santa  Clara,  CaliforniaのIntel(R)  Corporationから入手可能なIntel(R)  PXA27xプロセッサの系列の１つ以上のプロセッサでもよい。或いは、IntelのItanium(R)、XEON(TM)及びCeleron(R)プロセッサのような他のCPUが使用されてもよい。また、他の製造者からの１つ以上のプロセッサが利用されてもよい。更に、プロセッサは、単一コア又は複数コアの設計を有してもよい。或る実施例では、メモリモジュール156は、ランダムアクセスメモリ（RAM：random  access  memory）を有してもよいが、メモリモジュール156は、ダイナミックRAM（DRAM：dynamic  RAM）、シンクロナスDRAM（SDRAM：synchronous  DRAM）等のような他のメモリ種別を使用して実装されてもよい。電子デバイス110は、例えば、キーパッド158及び１つ以上のディスプレイ160のような１つ以上の入出力インタフェースを更に有してもよい。
【００１１】
或る実施例では、電子デバイス110は、２つ以上のカメラモジュール162と、画像信号プロセッサ164とを有する。限定ではなく一例として、第１のカメラモジュール162及び第２のカメラモジュール164は、カメラモジュール162が立体画像を取得するように配置されるよう、電子デバイス110に相互に隣接して配置されてもよい。カメラモジュール及び画像信号プロセッサ164並びに関連するパイプラインの態様について、図２〜３を参照して以下に詳細に説明する。
【００１２】
図２は、実施例による立体画像の取得の際に使用される構成要素の概略図である。図２を参照すると、或る実施例では、図１に示す画像信号処理（ISP：image  signal  processor）モジュール164は、集積回路若しくはその構成要素として、チップセットとして、又はシステム・オン・チップ（SOC：System  On  a  Chip）内のモジュールとして実装されてもよい。別の実施例では、ISPモジュール164は、プログラム可能デバイス（例えば、フィールドプログラマブルゲートアレイ（FPGA：field  programmable  gate  array）に符号化されたロジックとして、又は汎用プロセッサの論理命令若しくは専用プロセッサ（デジタルシグナルプロセッサ（DSP：Digital  Signal  Processor）若しくは単一命令多重データ（SIMD：Single  Instruction  Multiple  Data）ベクトルプロセッサ等）の論理命令として実装されてもよい。
【００１３】
図２に示す実施例では、ISPモジュール164は、画像制御装置210を有し、画像制御装置210は、第１のカメラ受信機222と、第２のカメラ受信機224と、画像信号処理インタフェース226と、画像信号処理パイプライン228と、ダイレクトメモリアクセス（DMA）エンジン230とを有する。ISPモジュール164は、デバイス110のメモリモジュール156に結合されてもよく、デバイス110のメモリモジュール156を含んでもよい。メモリモジュール156は、第１のフレームバッファ242と第２のフレームバッファ244とを維持管理する。メモリモジュール156は、グラフィックスプロセッサ250と符号化器とに結合される。デバイス110のプロセッサモジュール154は、カメラ制御ユニット230及び232の論理命令を実行してもよい。カメラ制御ユニット230及び232は、それぞれ第１のカメラ164A及び第２のカメラ162Bの動作パラメータを制御する。
【００１４】
或る実施例では、ISPモジュール164は、単一のパイプラインの立体画像の取得を実施するように電子デバイス110を適合させる。このような実施例では、複数のカメラモジュール162A、162Bにより取得された立体画像は、単一の画像処理パイプライン228により処理されてもよい。このことにより、通常の単一のパイプラインの画像処理アーキテクチャへの最小の変更で、立体画像の取得が可能になる。
【００１５】
電子デバイス110の構成及び動作について、図２〜３を参照して説明する。或る実施例では、第１のカメラモジュール162Aからの画像は、第１の受信機222に入力され（動作310）、第２のカメラモジュール162Bからの画像は、第２の受信機224に入力される（動作315）。或る実施例では、カメラモジュール162A及び162B（ここでは場合によって併せて参照符号162により示される）は、画像取得デバイス（例えば、電荷結合素子（CCD：charge  coupled  device）又は相補型MOS（CMOS：complementary  MOS）デバイス）に結合された光学素子配置（例えば、１つ以上のレンズ）を有してもよい。取得デバイスの出力は、Bayerフレームのフォーマットでもよい。CCD又はCMOSデバイスからのBayerフレームの出力は、一連のBayerフレームを生成するために時間でサンプリングされてもよい。一連のBayerフレームは、受信機222、224に向けられる。これらの未処理の画像フレームは、ここでは場合によって生フレームと呼ばれることがある。当業者は、生画像フレームがカメラモジュール162のCCD又はCMOSデバイスの出力に対応するデータ値の配列又は行列として具現されてもよいことを認識する。
【００１６】
生Bayerフレームは、ISPインタフェース226に入力される。ISPインタフェース226は、生Bayerフレームの画像データを結合する。或る実施例では、カメラ受信機222、224は、画像データを一度に１つのライン（line）だけリリースし、隣接するラインは垂直帰線消去期間により分離される。このような実施例では、ISPインタフェース226は、受信機A222及び受信機B224のそれぞれの受信機の画像データからの対応するラインが単一のラインに論理的にリンク付けられるように、受信機A222及び受信機B224からの画像データをライン毎に結合する。従って、図３を参照すると、動作330において、生フレームに処理される更なるラインが存在する場合、制御は動作320に戻り、生フレームデータの次のラインが結合される。
【００１７】
これに対して、動作330において、生フレームに処理されるラインが存在しない場合、制御は動作335に進み、結合された画像が受信機A222及び受信機B224から受信された生画像データから生成される。ISPインタフェースは、画像データの結合されたラインをISPパイプライン228に転送し、ISPパイプライン228は、画像データの結合されたラインを処理する。或る実施例では、ISPパイプラインは、生画像データを処理し、YUVフレームを生成する。
【００１８】
動作340において、結合された画像は、メモリ位置に格納されてもよく、及び／又は適切な表示モジュールに表示されてもよい。DMAモジュール230は、YUVフレームをフレームバッファ242に格納する。図２を参照すると、或る実施例では、ISPパイプライン228は、隣接する画素データを格納する内部ラインバッファを含む。YUVフレームは、グラフィックスプロセッサ250に入力され、グラフィックスプロセッサ250は、表示モジュールへの提示のために画像を処理してもよい。処理された画像は、フレームバッファ244に格納されてもよい。次に、処理された画像は、ディスプレイコントローラ252に出力されてもよい。ディスプレイコントローラ252は、画像をディスプレイ260に提示する。更に、フレームバッファ244のYUV画像は、符号化器254に転送されてもよい。符号化器254は、マルチビュー符号化のためにフレームを符号化する。符号化されたフレームは、適切な記憶媒体270に格納されてもよい。
【００１９】
或る実施例では、ISPパイプラインは、カメラ制御モジュール230、232がリアルタイムの画像処理パラメータに応じてカメラ制御パラメータを変更することを可能にするフィードバック機構を提供する。カメラモジュール162が立体画像の取得に使用される実施例では、カメラモジュールは、同時に同じオブジェクトに焦点を合わされる。従って、カメラモジュールにより収集されたフレームは、同じ照明条件及び同じ内容を有する。従って、同じカメラモジュールが使用されることを前提とすると、同じ画像処理パラメータが双方のカメラモジュールに適用されてもよい。しかし、カメラモジュールが異なる場合又は異なる特性を有する場合、画像処理パラメータは異なって適用される必要がある。従って、カメラ制御モジュール230、232は、カメラモジュール162A、162Bを異なるように制御してもよい。
【００２０】
カメラ制御モジュール230、232は、異なる照明条件及び異なるシーンについて様々なカメラパラメータ（例えば、シャッター速度、アナログ利得、焦点距離等）を調整するために、ウィンドウに基づく画像統計を使用する。入来するフレームから収集される画像統計は、双方のカメラモジュール162A、162Bにより収集されたカメラのウィンドウを含む。結合されたフレームがISPパイプライン228により処理されているときに、第１のカメラモジュール162Aからの統計は、第１のカメラ制御モジュール230により読み取られ、第２のカメラモジュール162Bからの統計は、第２のカメラ制御モジュール232により読み取られる。カメラ制御モジュール230、232は、ISPパイプラインにより処理されているフレームからデータを読み取り、データからカメラモジュール162A、162Bの新たなパラメータを計算する。新たなカメラ制御パラメータは、メモリレジスタに書き込まれ、次のフレームを取得するために使用されてもよい。このように、ISP及びカメラ制御モジュールは、現在の動作条件に基づいてカメラパラメータを絶えず調整するフィードバックループを実装する。カメラ制御モジュール230、232は、別々のスレッドを実行する別々のインスタンスとして実装されてもよく、単一の処理スレッドを利用する単一の制御モジュールとして実装されてもよい。
【００２１】
従って、ここには、電子デバイスにおける立体画像の取得のための例示的なシステム及び方法が記載される。或る実施例では、電子デバイスは、オブジェクトの画像を同時に取得するように配置された複数のカメラモジュールを備えてもよい。カメラモジュールからの生画像データは、画像信号処理インタフェースに向けられ、画像信号処理インタフェースは、ライン毎に画像を結合し、結合されたラインを単一の画像信号処理パイプラインに供給する。単一の画像信号処理パイプラインは、結合された画像をYUV画像フレームに処理する。YUVフレームは、メモリに格納されてもよく、及び／又はディスプレイに提示されてもよい。
【００２２】
ここに記載の“論理命令”という用語は、１つ以上の論理動作を実行する１つ以上の機械により理解し得る表現に関する。例えば、論理命令は、１つ以上のデータオブジェクトで１つ以上の動作を実行するプロセッサコンパイラにより解釈可能な命令を有してもよい。しかし、これは機械可読命令の単なる例であり、実施例はこの点に限定されない。
【００２３】
ここに記載の“コンピュータ可読媒体”という用語は、１つ以上の機械により認識可能な表現を維持可能な媒体に関する。例えば、コンピュータ可読媒体は、コンピュータ可読命令又はデータを格納する１つ以上の記憶デバイスを有してもよい。このような記憶デバイスは、例えば、光、磁気又は半導体記憶媒体のような記憶媒体を有してもよい。しかし、これはコンピュータ可読媒体の単なる例であり、実施例はこの点に限定されない。
【００２４】
ここに記載の“ロジック”という用語は、１つ以上の論理演算を実行する構成に関する。例えば、ロジックは、１つ以上の入力信号に基づいて１つ以上の出力信号を提供する回路を有してもよい。このような回路は、デジタル入力を受信し、デジタル出力を提供する有限状態機械、又は１つ以上のアナログ入力信号に応じて１つ以上のアナログ出力信号を提供する回路を有してもよい。このような回路は、特定用途向け集積回路（ASIC：application  specific  integrated  circuit）又はフィールドプログラマブルゲートアレイ（FPGA：field  programmable  gate  array）で提供されてもよい。また、ロジックは、機械可読命令を実行する処理回路と共にメモリに格納された機械可読命令を有してもよい。しかし、これらはロジックを提供し得る構成の単なる例であり、実施例はこの点に限定されない。
【００２５】
ここに記載の方法のいくつかは、コンピュータ可読媒体の論理命令として具現されてもよい。プロセッサで実行された場合、論理命令は、プロセッサを、記載の方法を実施する特殊用途機械としてプログラムさせるようにする。プロセッサは、ここに記載の方法を実行する論理命令により構成された場合、記載の方法を実行する構成を構成する。或いは、ここに記載の方法は、例えば、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）等のロジックにされてもよい。
【００２６】
詳細な説明及び特許請求項において、結合及び接続という用語がその派生と共に使用されることがある。特定の実施例では、接続は、２つ以上の要素が相互に直接の物理的又は電気的接触にあることを示すために使用されてもよい。結合は、２つ以上の要素が直接の物理的又は電気的接触にあることを意味してもよい。しかし、結合はまた、２つ以上の要素が相互に直接的接触にないことがあるが、依然として相互に協力又は相互作用し得ることを意味してもよい。
【００２７】
明細書において“一実施例”又は“実施例”への言及は、実施例に関して記載される特定の特徴、構成又は特徴が少なくとも１つの実装に含まれることを意味する。明細書の様々な場所に“一実施例”という用語が現れることは、全て同じ実施例を示してもよく、示さなくてもよい。
【００２８】
実施例について構成の機能及び／又は方法の動作に特有の用語で説明したが、特許請求の範囲の対象は、記載の特定の機能又は動作に限定されなくてもよいことが分かる。むしろ、特定の機能及び動作は、特許請求の範囲の対象を実施する例示的な形式として開示される。
【図１】
2013539611.tif 000003
【図２】
2013539611.tif 000004
【図３】
2013539611.tif 000005
【国際調査報告】
2013539611.tif 000006
2013539611.tif 000007