(57)【要約】  或る実施例では、電子デバイスは、第１のカメラ及び第２のカメラと、第１のカメラからの第１のセットの入力フレームを受領する第１のバッファ及び第２のカメラからの第２のセットの入力フレームを受領する第２のバッファと、第１のバッファ及び第２のバッファに結合され、第１のメモリに格納された１つ以上の処理パラメータを使用して第１のフレームバッファからの第１のセットの入力フレームを処理し、第１のビデオストリームを生成し、第２のメモリレジスタに格納された１つ以上の処理パラメータを使用して第２のフレームバッファからの第２のセットの入力フレームを処理し、第２のビデオストリームを生成する単一の画像信号プロセッサと、第１のビデオストリーム及び第２のビデオストリームを格納するメモリモジュールとを有する。
2013535173.tif 000002
【特許請求の範囲】
【請求項１】
第１のカメラから第１のバッファへの第１のセットの入力フレームを受領し、第２のカメラから第２のバッファへの第２のセットの入力フレームを受領するステップと、
１つ以上の処理パラメータを使用して第１のフレームバッファからの前記第１のセットの入力フレームを処理し、第１のビデオストリームを生成するステップと、
１つ以上の処理パラメータを使用して第２のフレームバッファからの前記第２のセットの入力フレームを処理し、第２のビデオストリームを生成するステップと、
前記第１のビデオストリーム及び前記第２のビデオストリームをメモリモジュールに格納するステップと
を有する方法。
【請求項２】
第１のカメラから第１のバッファへの第１のセットの入力フレームを受領することは、第１のカメラから第１のカメラ受信機への第１のセットの入力フレームを受領することを有し、
前記方法は、
前記第１のカメラ受信機から前記第１のバッファへの前記第１のセットの入力フレームのダイレクトメモリアクセス読み取りを実行するステップを更に有する、請求項１に記載の方法。
【請求項３】
第２のカメラから第２のバッファへの第２のセットの入力フレームを受領することは、第２のカメラから第２のカメラ受信機への第２のセットの入力フレームを受領することを有し、
前記方法は、前記第２のカメラ受信機から前記第２のバッファへの前記第２のセットの入力フレームのダイレクトメモリアクセス読み取りを実行するステップを更に有する、請求項２に記載の方法。
【請求項４】
第１のメモリに格納された１つ以上の処理パラメータを使用して第１のフレームバッファからの前記第１のセットの入力フレームを処理し、第１のビデオストリームを生成することは、１つ以上の生フレームを１つ以上のYUVビデオフレームに変換することを有する、請求項１に記載の方法。
【請求項５】
第２のメモリに格納された１つ以上の処理パラメータを使用して第２のフレームバッファからの前記第２のセットの入力フレームを処理し、第２のビデオストリームを生成することは、１つ以上の生フレームを１つ以上のYUVビデオフレームに変換することを有する、請求項４に記載の方法。
【請求項６】
前記第１のビデオストリーム及び前記第２のビデオストリームをメモリモジュールに格納することは、前記第１のビデオストリーム及び前記第２のビデオストリームから合成画像を生成することを有し、
前記方法は、前記合成画像を電子デバイスの表示デバイスに提示するステップを更に有する、請求項１に記載の方法。
【請求項７】
第１のカメラ及び第２のカメラと、
前記第１のカメラからの第１のセットの入力フレームを受領する第１のバッファ及び前記第２のカメラからの第２のセットの入力フレームを受領する第２のバッファと、
前記第１のバッファ及び前記第２のバッファに結合され、第１のメモリに格納された１つ以上の処理パラメータを使用して第１のフレームバッファからの前記第１のセットの入力フレームを処理し、第１のビデオストリームを生成し、第２のメモリレジスタに格納された１つ以上の処理パラメータを使用して第２のフレームバッファからの前記第２のセットの入力フレームを処理し、第２のビデオストリームを生成する単一の画像信号プロセッサと、
前記第１のビデオストリーム及び前記第２のビデオストリームを格納するメモリモジュールと
を有する電子デバイス。
【請求項８】
第１のカメラからの第１のセットの入力フレームを受領する第１のカメラ受信機と、
前記受信機から前記フレームバッファへの前記第１のセットの入力フレームのダイレクトメモリアクセス読み取りを実行するダイレクトメモリエンジンと
を更に有する、請求項７に記載の電子デバイス。
【請求項９】
第２のカメラからの第２のセットの入力フレームを受領する第２のカメラ受信機と、
前記受信機から前記フレームバッファへの前記第２のセットの入力フレームのダイレクトメモリアクセス読み取りを実行するダイレクトメモリエンジンと
を更に有する、請求項８に記載の電子デバイス。
【請求項１０】
前記画像プロセッサは、前記第１のセットの入力フレームからの１つ以上の生フレームを対応する数のYUVビデオフレームに変換する、請求項７に記載の電子デバイス。
【請求項１１】
前記画像プロセッサは、前記第２のセットの入力フレームからの１つ以上の生フレームを１つ以上のYUVビデオフレームに変換する、請求項１０に記載の電子デバイス。
【請求項１２】
前記メモリは、前記第１のビデオストリーム及び前記第２のビデオストリームから生成された合成画像を格納する、請求項７に記載の電子デバイス。
【請求項１３】
前記合成画像を提示するディスプレイを更に有する、請求項１２に記載の電子デバイス。
【請求項１４】
第１のメモリレジスタに格納された１つ以上の処理パラメータを使用して第１の受信機からの第１のセットの入力フレームを処理し、第１のビデオストリームを生成し、第２のメモリレジスタに格納された１つ以上の処理パラメータを使用して第２のフレームバッファからの第２のセットの入力フレームを処理し、第２のビデオストリームを生成するロジックを有する単一の画像信号プロセッサを有する装置。
【請求項１５】
第１のカメラからの第１のセットの入力フレームを受領する第１のカメラ受信機と、
前記受信機から前記フレームバッファへの前記第１のセットの入力フレームのダイレクトメモリアクセス読み取りを実行するダイレクトメモリエンジンと
を更に有する、請求項１４に記載の装置。
【請求項１６】
第２のカメラからの第２のセットの入力フレームを受領する第２のカメラ受信機と、
前記受信機から前記フレームバッファへの前記第２のセットの入力フレームのダイレクトメモリアクセス読み取りを実行するダイレクトメモリエンジンと
を更に有する、請求項１５に記載の装置。
【請求項１７】
前記画像プロセッサは、前記第１のセットの入力フレームからの１つ以上の生フレームを対応する数のYUVビデオフレームに変換する、請求項１５に記載の装置。
【請求項１８】
前記画像プロセッサは、前記第２のセットの入力フレームからの１つ以上の生フレームを対応する数のYUVビデオフレームに変換する、請求項１６に記載の装置。
【請求項１９】
前記第１のビデオストリーム及び前記第２のビデオストリームから生成された合成画像を格納するメモリモジュールを更に有する、請求項１４に記載の装置。
【請求項２０】
前記合成画像を提示するディスプレイを更に有する、請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
ここに記載の対象は、概して画像処理の分野に関し、特に画像信号処理の多重のためのシステム及び方法に関する。
【背景技術】
【０００２】
移動電話、パーソナルデジタルアシスタント、ポータブルコンピュータ等のような電子デバイスは、画像を取得するためのカメラを有することがある。一例として、移動電話は、画像を取得するために電話の背面に配置されたカメラを有することがある。電子デバイスは、カメラにより収集された画像を取得し、画像を処理し、メモリへの画像の格納及び／又は画像の表示を行うための画像信号処理パイプラインを備えることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
電子デバイスに複数のカメラを備える技術は有用になる可能性がある。
【図面の簡単な説明】
【０００４】
【図１】或る実施例による画像信号処理の多重の際に使用される電子デバイスの概略図
【図２】或る実施例による画像信号処理の多重の際に使用される構成要素の概略図
【図３】或る実施例による画像信号処理の多重のデータフローの概略図
【図４】或る実施例による画像信号処理の多重を示すフローチャート
【発明を実施するための形態】
【０００５】
添付図面を参照して詳細な説明を行う。
【０００６】
ここでは、画像信号処理の多重のための例示的なシステム及び方法が記載される。以下の説明では、様々な実施例の完全な理解を提供するために、複数の特定の詳細が示されている。しかし、様々な実施例は特定の詳細なしに実施されてもよいことが当業者により分かる。他の場合にも、特定の実施例を曖昧にしまいように、周知の方法、手順、構成要素及び回路は詳細には図示又は記載されていない。
【０００７】
或る実施例では、ここに記載の対象は、電子デバイスが独立した画像信号処理のチャネルを必要とせずに、複数のカメラを備えることを可能にする。従って、ここに記載のシステム及び方法は、電子デバイスが単一の画像処理パイプラインを通じて複数のカメラからの画像信号を多重することを可能にする。画像信号は、メモリに格納されてもよく、及び／又は表示デバイスに表示されてもよい。
【０００８】
図１は、或る実施例による画像信号処理の多重の際に使用される電子デバイスの概略図である。図１を参照すると、或る実施例では、電子デバイス110は、移動電話、パーソナルデジタルアシスタント（PDA：personal  digital  assistant）等として具現されてもよい。電子デバイス110は、RF信号を送受信するRFトランシーバ150と、RFトランシーバ150により受信された信号を処理する信号処理モジュール152とを含んでもよい。
【０００９】
RFトランシーバは、例えば、Bluetooth（登録商標）或いは802.11X、IEEE802.11a、b又はgに準拠したインタフェース（例えば、IEEE  Standard  for  IT-Telecommunications  and  information  exchange  between  systems  LAN/MAN-Part  II:  Wireless  LAN  Medium  Access  Control  (MAC)  and  Physical  Layer  (PHY)  specifications  Amendment  4:  Further  Higher  Data  Rate  Extension  in  the  2.4  GHz  Band,  802.11G-2003参照）のようなプロトコルを介してローカル無線接続を実施してもよい。無線インタフェースの他の例は、GPRS（general  packet  radio  service）インタフェース（例えば、Guidelines  on  GPRS  Handset  Requirements,  Global  System  for  Mobile  Communications/GSM  Association,  Ver.  3.0.1,  December  2002参照）である。
【００１０】
電子デバイス110は、１つ以上のプロセッサ154と、メモリモジュール156とを更に含んでもよい。ここで使用される“プロセッサ”という用語は、マイクロプロセッサ、マイクロコントローラ、複雑命令セットコンピュータ（CISC：complex  instruction  set  computing）マイクロプロセッサ、縮小命令セット（RISC：reduced  instruction  set）マイクロプロセッサ、超長命令語（VLIW：very  long  instruction  word）マイクロプロセッサ、又は他の種類のプロセッサ若しくは処理回路に限定されず、このような如何なる種類の計算エレメントをも意味する。或る実施例では、プロセッサ154は、Santa  Clara,  CaliforniaのIntel(R)  Corporationから入手可能なIntel(R)  PXA27xプロセッサの系列の１つ以上のプロセッサでもよい。或いは、IntelのItanium(R)、XEON(TM)及びCeleron(R)プロセッサのような他のCPUが使用されてもよい。また、他の製造者からの１つ以上のプロセッサが利用されてもよい。更に、プロセッサは、単一コア又は複数コアの設計を有してもよい。或る実施例では、メモリモジュール156は、ランダムアクセスメモリ（RAM：random  access  memory）を有してもよいが、メモリモジュール156は、ダイナミックRAM（DRAM：dynamic  RAM）、シンクロナスDRAM（SDRAM：synchronous  DRAM）等のような他のメモリ種別を使用して実装されてもよい。電子デバイス110は、例えば、キーパッド158及び１つ以上のディスプレイ160のような１つ以上の入出力インタフェースを更に有してもよい。
【００１１】
或る実施例では、電子デバイス110は、２つ以上のカメラ162と、画像信号プロセッサ164とを有する。限定ではなく一例として、第１のカメラ162は、電子デバイス110の前面に配置されてもよく、第２のカメラは、電子デバイス110の背面に配置されてもよい。カメラ及び画像信号プロセッサ164並びに関連するパイプラインの態様について、図２〜４を参照して以下に詳細に説明する。
【００１２】
図２は、或る実施例による画像信号処理（ISP：image  signal  processor）の多重の際に使用される構成要素の概略図である。図２を参照すると、或る実施例では、ISPモジュール164は、集積回路若しくはその構成要素として、チップセットとして、又はシステム・オン・チップ（SOC：System  On  a  Chip）内のモジュールとして実装されてもよい。別の実施例では、ISPモジュール164は、プログラム可能デバイス（例えば、フィールドプログラマブルゲートアレイ（FPGA：field  programmable  gate  array）に符号化されたロジックとして、又は汎用プロセッサの論理命令若しくは専用プロセッサ（デジタルシグナルプロセッサ（DSP：Digital  Signal  Processor）若しくは単一命令多重データ（SIMD：Single  Instruction  Multiple  Data）ベクトルプロセッサ等）の論理命令として実装されてもよい。
【００１３】
図２に示す実施例では、ISPモジュール164は、画像信号プロセッサ212と、タスクマネージャ220と、第１のカメラ受信機222と、第２のカメラ受信機224と、ダイレクトメモリアクセス（DMA：direct  memory  access）エンジン226と、メモリ管理ユニット（MMU：memory  management  unit）228とを有する。ISPモジュール164はメモリモジュール156に結合される。メモリモジュール156は、第１のレジスタ230と、第２のレジスタ232と、フレームバッファA240と、フレームバッファA’242と、フレームバッファB250と、フレームバッファB’252とを維持管理する。各カメラの3A（自動ホワイトバランス（Auto-white  balance）、自動焦点（Auto-focus）、自動露光（Auto-exposure））400A及び400Bの２つのスレッドは、ホストCPUで動作する。ホストCPUは、図１に示すプロセッサ154に対応してもよい。
【００１４】
電子デバイスの動作について、図２〜４を参照して説明する。或る実施例では、第１のカメラ162Aからの画像は、第１の受信機222に入力され（動作410）、第２のカメラ162Bからの画像は、第２の受信機224に入力される（動作415）。或る実施例では、カメラ162A及び162B（ここでは場合によって併せて参照符号162により示される）は、画像取得デバイス（例えば、電荷結合素子（CCD：charge  coupled  device））に結合された光学素子配置（例えば、１つ以上のレンズ）を有してもよい。電荷結合素子の出力は、Bayerフレームのフォーマットでもよい。CCD又はCMOSデバイスからのBayerフレームの出力は、一連のBayerフレームを生成するために時間でサンプリングされてもよい。一連のBayerフレームは、受信機222、224に向けられる。これらの未処理の画像フレームは、ここでは場合によって生フレームと呼ばれることがある。当業者は、生画像フレームがデータ値の配列又は行列として具現されてもよいことを認識する。或る実施例では、焦点とホワイトバランスと露光とを調整する制御プログラムは、処理スレッド3A  400A及び400Bにおいて実施されてもよい。
【００１５】
動作420（図４）において、生フレームは、フレームバッファに格納される。図２及び３を参照すると、第１のカメラ162からの画像は、受信機222、224に入力される。或る実施例では、ダイレクトメモリアクセスエンジン220は、受信機A216から画像フレームを取得し、画像フレームをフレームバッファ240に格納する。同様に、DMAエンジン220は、受信機B218から画像フレームを取得し、画像フレームをフレームバッファB250に格納する。
【００１６】
動作425-440は、フレームバッファ240、250の生フレームがビデオストリームのフォーマットに処理されるループを規定している。或る実施例では、フレーム処理は、フレーム処理がインターリーブされるように、各カメラのソースから一度に１つのフレームだけ行われる。従って、動作425において、フレームバッファAの内容は、画像信号処理インタフェース214を通じて画像信号プロセッサ212に入力される。画像信号処理インタフェース214は、フレームバッファAの内容を画像信号処理パイプライン216に供給する。図３に示すように、フレームバッファAの内容は、例えばフレームバッファ240の内容を生Bayerフレームから適切なビデオフォーマット（例えば、対応する数のYUVビデオフレーム）に変換することにより、パイプライン216で処理される。画像信号プロセッサ212は、フレームバッファAからのパラメータをスレッド3A  400Aで渡してもよい。処理スレッド3A  400Aは、カメラ162で適切な設定を行うために、これらのパラメータを使用してもよい。3Aパラメータ及びフレームバッファAでフレームを処理するためのパラメータは、まずレジスタAに格納することにより渡されてもよい。動作430において、ダイレクトメモリアクセス（DMA）エンジン226は、YUVビデオフレームをメモリ156のメモリバッファ242に格納する。
【００１７】
動作435において、フレーム処理が終了していない場合、制御は動作425に戻り、フレームバッファの更なる生フレームがインターリーブされるようにビデオストリームフォーマットに処理される。一例として、２つ以上のカメラが利用される実施例では、フレームバッファBの内容は、画像信号処理インタフェース214を通じて画像信号プロセッサに入力される。画像信号処理インタフェース214は、フレームバッファBの内容を画像信号処理パイプライン216に供給する。フレームバッファBの内容は、例えばフレームバッファの内容を生Bayerフレームから適切なビデオフォーマット（例えば、対応する数のYUVビデオフレーム）に変換することにより、パイプラインで処理される。3A  400フレームBは、レジスタBを通じて渡されたパラメータに基づいて処理される。動作430において、バッファの生ビデオフレームから生成されたビデオストリームは、メモリに格納される。或る実施例では、DMAエンジン226は、フレームバッファB240から生成されたビデオストリームをメモリ156の第２のフレームバッファB’252に格納する。或る実施例では、ビデオストリームは、ピクチャ・イン・ピクチャ（picture-within-a-picture）ビューに格納されてもよい。或る実施例では、ビデオストリームは、ビデオストリームがいずれかの対象のデバイスで表示可能なように、マルチビデオコーダ／デコーダ（コーデック）を通じて２つのストリームとして符号化及び保持されてもよい。
【００１８】
再び動作435において、フレーム処理が終了していない場合、制御は動作440に進み、処理は受信機Bから受信機Aに切り戻される。従って、動作425-435は、複数のカメラからの生フレームがビデオストリームに多重され、電子デバイスのメモリに格納されるループを規定している。
【００１９】
これに対して、動作435において、フレームバッファが処理を終了した場合、制御は動作445に進み、ビデオストリームはディスプレイに合わせられる。或る実施例では、ビデオストリームは、ピクチャ・イン・ピクチャ画面に結合される。動作450において、ビデオストリームは、ディスプレイで提示されてもよい。
【００２０】
ここに記載の“論理命令”という用語は、１つ以上の論理動作を実行する１つ以上の機械により理解し得る表現に関する。例えば、論理命令は、１つ以上のデータオブジェクトで１つ以上の動作を実行するプロセッサコンパイラにより解釈可能な命令を有してもよい。しかし、これは機械可読命令の単なる例であり、実施例はこの点に限定されない。
【００２１】
ここに記載の“コンピュータ可読媒体”という用語は、１つ以上の機械により認識可能な表現を維持可能な媒体に関する。例えば、コンピュータ可読媒体は、コンピュータ可読命令又はデータを格納する１つ以上の記憶デバイスを有してもよい。このような記憶デバイスは、例えば、光、磁気又は半導体記憶媒体のような記憶媒体を有してもよい。しかし、これはコンピュータ可読媒体の単なる例であり、実施例はこの点に限定されない。
【００２２】
ここに記載の“ロジック”という用語は、１つ以上の論理演算を実行する構成に関する。例えば、ロジックは、１つ以上の入力信号に基づいて１つ以上の出力信号を提供する回路を有してもよい。このような回路は、デジタル入力を受信し、デジタル出力を提供する有限状態機械、又は１つ以上のアナログ入力信号に応じて１つ以上のアナログ出力信号を提供する回路を有してもよい。このような回路は、特定用途向け集積回路（ASIC：application  specific  integrated  circuit）又はフィールドプログラマブルゲートアレイ（FPGA：field  programmable  gate  array）で提供されてもよい。また、ロジックは、機械可読命令を実行する処理回路と共にメモリに格納された機械可読命令を有してもよい。しかし、これらはロジックを提供し得る構成の単なる例であり、実施例はこの点に限定されない。
【００２３】
ここに記載の方法のいくつかは、コンピュータ可読媒体の論理命令として具現されてもよい。プロセッサで実行された場合、論理命令は、プロセッサを、記載の方法を実施する特殊用途機械としてプログラムさせるようにする。プロセッサは、ここに記載の方法を実行する論理命令により構成された場合、記載の方法を実行する構成を構成する。或いは、ここに記載の方法は、例えば、フィールドプログラマブルゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）等のロジックにされてもよい。
【００２４】
詳細な説明及び特許請求項において、結合及び接続という用語がその波形と共に使用されることがある。特定の実施例では、接続は、２つ以上の要素が相互に直接の物理的又は電気的接触にあることを示すために使用されてもよい。結合は、２つ以上の要素が直接の物理的又は電気的接触にあることを意味してもよい。しかし、結合はまた、２つ以上の要素が相互に直接的接触にないことがあるが、依然として相互に協力又は相互作用し得ることを意味してもよい。
【００２５】
明細書において“一実施例”又は“実施例”への言及は、実施例に関して記載される特定の特徴、構成又は特徴が少なくとも１つの実装に含まれることを意味する。明細書の様々な場所に“一実施例”という用語が現れることは、全て同じ実施例を示してもよく、示さなくてもよい。
【００２６】
実施例について構成の機能及び／又は方法の動作に特有の用語で説明したが、特許請求の範囲の対象は、記載の特定の機能又は動作に限定されなくてもよいことが分かる。むしろ、特定の機能及び動作は、特許請求の範囲の対象を実施する例示的な形式として開示される。
【図１】
2013535173.tif 000003
【図２】
2013535173.tif 000004
【図３】
2013535173.tif 000005
【図４】
2013535173.tif 000006
【国際調査報告】
2013535173.tif 000007
2013535173.tif 000008