(57)【要約】【課題】  デジタル画像を処理するための方法、装置、及びシステムを提供する。【解決手段】  大型画像を処理するための方法、画像前処理装置、及びカメラシステムが提供される。方法は、画像前処理装置においてイメージセンサから画像フレームを受信するステップであって、画像フレームはイメージセンサのセンサ画素解像度と実質的に等しいフレーム画素解像度を有するステップと、画像フレームを、画像信号プロセッサにより逐次的に処理されることになる第一及び第二の画像サブフレームに分割するステップであって、第一及び第二の画像サブフレームの各々は、センサ画素解像度より小さいサブフレーム画素解像度と、第一及び第二の画像サブフレームが相互に重複する領域とを有するステップと、を含む。サブフレーム画素解像度は、画像信号プロセッサの処理能力によって事前に決定され、第一及び第二の画像サブフレームは画像信号プロセッサによって連続的に処理される。
2021527273.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像を処理する方法において、
イメージセンサから画像フレームを受信するステップであって、前記画像フレームは、前記イメージセンサのセンサ画素解像度と実質的に等しいフレーム画素解像度を有するステップと
前記画像フレームを、画像信号プロセッサにより逐次的に処理されることになる第一及び第二の画像サブフレームに分割するステップであって、前記第一及び第二の画像サブフレームの各々は、前記センサ画素解像度より小さいサブフレーム画素解像度と、前記第一及び第二の画像サブフレームが相互に重複する領域とを有し、前記サブフレーム画素解像度は、前記画像信号プロセッサの処理能力によって事前に決定されるステップと、
前記第一及び第二の画像サブフレームを前記画像信号プロセッサによって連続的に処理するステップと、
を含む方法。
【請求項２】
前記分割するステップは、前記画像フレームを前記第一及び第二の画像サブフレームに水平に分割するステップを含む、請求項１に記載の方法。
【請求項３】
前記分割するステップは、前記画像フレームを前記第一及び第二の画像サブフレームに垂直に分割するステップを含む、請求項１に記載の方法。
【請求項４】
前記分割するステップは、前記画像フレームを、前記第一の画像サブフレーム、前記第二の画像サブフレーム、及び少なくとも１つの第三の画像サブフレームに分割するステップを含む、請求項１に記載の方法。
【請求項５】
前記画像フレームの画素行の第一の数は、前記第一及び第二のサブフレームの画素行の第二の数と実質的に等しく、
前記画像フレームの画素列の第一の数は、前記第一及び第二のサブフレームの画素列の第二の数より大きい、
請求項１に記載の方法。
【請求項６】
前記画像フレーム内の欠陥を補正するステップと、
前記補正された画像フレームをバッファメモリに送信するステップと、
前記画像フレームを前記バッファメモリに保存するステップと、
前記第一の画像サブフレームを前記バッファメモリから受信するステップと、
前記第一の画像サブフレームを前記画像信号プロセッサに送信するステップと、
前記第一の画像サブフレームを前記画像信号プロセッサにより処理するステップと、
前記第二の画像サブフレームを前記バッファメモリから受信するステップと、
前記第一の画像サブフレームを前記画像信号プロセッサにより前記処理するステップが完了したところで、前記第二の画像サブフレームを前記画像信号プロセッサに送信するステップと、
前記第二の画像サブフレームを前記画像信号プロセッサにより処理するステップと、
をさらに含む、請求項１に記載の方法。
【請求項７】
前記バッファメモリは第一のバッファメモリであり、
前記方法が、
前記第一及び第二の画像サブフレームを、前記画像信号プロセッサにより処理した後に第二のバッファメモリに保存するステップと、
前記第二のバッファメモリに保存された前記第一及び第二の画像サブフレームを、デジタル信号プロセッサにより静止画像フレームに組み立て直すステップと、
前記静止画像フレームを前記デジタル信号プロセッサにより後処理するステップと、
前記後処理された静止画像フレームを非一時的コンピュータ可読記憶媒体にグラフィクス画像フォーマットで保存するステップと、
をさらに含む、請求項１に記載の方法。
【請求項８】
前記第一のバッファメモリに保存された前記画像フレームを、前記デジタル信号プロセッサにより処理して、前記画像フレームからノイズを除去するステップと、
前記デジタル信号プロセッサにより処理された前記画像フレームを前記非一時的コンピュータ可読記憶媒体に生画像フォーマットで保存するステップと、
をさらに含む、請求項７に記載の方法。
【請求項９】
前記非一時的コンピュータ可読記憶媒体はソリッドステートドライブ（ＳＳＤ）である、請求項８に記載の方法。
【請求項１０】
前記グラフィクス画像フォーマットは、Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ（ＴＩＦＦ）とＪｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＪＰＥＧ）フォーマットとからなる群より選択される、請求項７に記載の方法。
【請求項１１】
前記生画像フォーマットはＤｉｇｉｔａｌ  Ｎｅｇａｔｉｖｅ（ＤＮＧ）フォーマットである、請求項８に記載の方法。
【請求項１２】
前記デジタル信号プロセッサは、グラフィックスプロセッシングユニット（ＧＰＵ）である、請求項８に記載の方法。
【請求項１３】
画像前処理装置において前記画像フレームを前記イメージセンサから受信するステップであって、前記前処理装置はピクセルプロセッサと、データインタフェースと、画像データトランスミッタと、を含むステップと、
前記画像フレーム内の欠陥を前記画素プロセッサにより補正するステップと、
前記画像フレームを前記データインタフェースを介してバッファメモリに送信するステップと、
前記画像フレームを前記バッファメモリに保存するステップと、
前記第一の画像サブフレームを前記データインタフェースを介して前記バッファメモリから受信するステップと、
前記第一の画像サブフレームを前記イメージャデータインタフェースを介して前記画像信号プロセッサに送信するステップと、
前記第一の画像サブフレームを前記画像信号プロセッサにより処理するステップと、
前記第二の画像サブフレームを前記データインタフェースを介して前記バッファメモリから受信するステップと、
前記画像信号プロセッサにより前記第一の画像サブフレームを前記画像信号プロセッサにより前記処理するステップが完了したところで、前記第二の画像サブフレームを前記イメージャデータインタフェースを介して前記画像信号プロセッサに送信するステップと、
前記第二の画像サブフレームを前記画像信号プロセッサにより処理するステップと、
をさらに含む、請求項１に記載の方法。
【請求項１４】
前記前処理装置はＦｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（ＦＰＧＡ）である、請求項１３に記載の方法。
【請求項１５】
前記画像信号プロセッサは第一の画像信号プロセッサであり、
前記イメージャデータインタフェースは第一のイメージャデータインタフェースであり、
前記方法が、
前記画像フレームを、前記画像フレームから画素の列及び行の少なくとも一方を除去することによって撮影ビュー画像フレームにリサイズするステップと、
前記撮影ビュー画像フレームを第二のイメージャデータインタフェースを介して第二の画像信号プロセッサに送信するステップと、
前記撮影ビュー画像フレームを前記第二の画像信号プロセッサにより処理するステップと、
前記撮影ビュー画像フレームをディスプレイ上に表示するステップと、
をさらに含む、請求項１に記載の方法。
【請求項１６】
画像前処理装置において、
イメージセンサから画像フレームを受信するように構成された画像データレシーバであって、前記画像フレームは、前記イメージセンサのセンサ画素解像度と実質的に等しいフレーム画素解像度を有する画像データレシーバと、
データインタフェース及びイメージャデータインタフェースと、
前記画像データレシーバ、前記データインタフェース、及び前記イメージャデータインタフェースと通信するダイレクトメモリアクセス（ＤＭＡ）コントローラであって、
前記画像フレームを前記データインタフェースを介してバッファメモリに保存し、
第一及び第二の画像サブフレームであって、前記画像フレームを画像信号プロセッサにより処理されることになる前記第一及び第二の画像サブフレームに分割することによって前記画像フレームから生成された第一及び第二の画像サブフレームを受信し、前記第一及び第二の画像サブフレームの各々は、前記センサ画素解像度より小さいサブフレーム画素解像度と、前記第一及び第二の画像サブフレームが相互に重複する領域とを有し、前記サブフレーム画素解像度は前記画像信号プロセッサの処理能力によって事前に決定され、
前記第一及び第二のサブフレームを、前記イメージャデータインタフェースを介して前記画像信号プロセッサに連続的に送信する
ように構成されたＤＭＡコントローラと、
を含む画像前処理装置。
【請求項１７】
前記画像フレームは前記第一及び第二の画像サブフレームに水平に分割される、請求項１６に記載の画像前処理装置。
【請求項１８】
前記画像フレームは前記第一及び第二の画像サブフレームに垂直に分割される、請求項１６に記載の画像前処理装置。
【請求項１９】
前記画像フレームは、前記第一の画像サブフレーム、前記第二の画像サブフレーム、及び少なくとも１つの第三の画像サブフレームに分割される、請求項１６に記載の画像前処理装置。
【請求項２０】
前記イメージセンサから前記画像データレシーバを介して受信した前記画像フレーム中の欠陥を補正するように構成された画素プロセッサをさらに含む、
請求項１６に記載の画像前処理装置。
【請求項２１】
前記画像信号プロセッサは第一の画像信号プロセッサであり、
前記イメージャデータインタフェースは第一のイメージャデータインタフェースであり、
前記画像前処理装置は、
画像ダウンサイザであって、前記画素プロセッサと通信して、
前記補正された画像フレームを前記画素プロセッサから受信し、
前記補正された画像フレームを、前記補正された画像フレームから画素の列と行の少なくとも一方を除去することによって撮影ビュー画像フレームにリサイズし、
前記撮影ビュー画像フレームを、第二のイメージャデータインタフェースを介して前記第二の画像信号プロセッサに送信し、処理され及びディスプレイ上に表示されるようにする
ように構成された画像ダウンサイザをさらに含む、
請求項１６に記載の画像前処理装置。
【請求項２２】
前記画像前処理装置はＦｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（ＦＰＧＡ）である、請求項１６に記載の画像前処理装置。
【請求項２３】
デジタル画像を処理するためのカメラシステムにおいて、
イメージセンサと、
前記イメージセンサと通信し、バッファメモリ及び画像信号プロセッサを含む画像処理装置と、
前記画像処理装置に接続されたディスプレイと、
を含むカメラシステム。
【請求項２４】
前記画像処理装置は、前記バッファメモリ内に保存された前記画像フレームを、前記画像信号プロセッサにより処理されることになる前記第一及び第二の画像サブフレームに分割するように構成されたデジタル信号プロセッサをさらに含み、前記第一及び前記第二の画像サブフレームの各々は、前記センサ画素解像度より小さいサブフレーム画素解像度と、前記第一及び第二の画像サブフレームが相互に重複する領域とを有し、前記サブフレーム画素解像度は前記画像信号プロセッサの処理能力によって事前に決定される、請求項２３に記載のカメラシステム。
【請求項２５】
前記画像処理装置に接続される非一時的コンピュータ可読記憶媒体をさらに含み、
前記バッファメモリは第一のバッファメモリであり、
前記画像処理装置は、前記第一及び第二の画像サブフレームが前記画像信号プロセッサにより処理された後に保存される第二のバッファメモリをさらに含み、
前記デジタル信号プロセッサは、
前記第二のバッファメモリ内に保存された前記第一及び第二の画像サブフレームを静止画像フレームに組み立て直し、
前記静止画像フレームを後処理し、
前記後処理された静止画像フレームを前記非一時的コンピュータ可読記憶媒体にグラフィクス画像フォーマットで保存する
ように構成される、
請求項２４に記載のカメラシステム。
【請求項２６】
前記デジタル信号プロセッサはさらに、
前記第一のバッファメモリに保存された前記画像フレームを前記デジタル信号プロセッサによって処理して、前記画像フレームからノイズを除去し、
前記デジタル信号プロセッサにより処理された前記画像フレームを前記非一時的コンピュータ可読記憶媒体に生画像フォーマットで保存する
ように構成される、請求項２５に記載のカメラシステム。
【請求項２７】
前記非一時的コンピュータ可読記憶媒体は、ソリッドステートドライブ（ＳＳＤ）である、請求項２５に記載のカメラシステム。
【請求項２８】
前記グラフィクス画像フォーマットは、Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ（ＴＩＦＦ）とＪｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＪＰＥＧ）フォーマットとからなる群より選択される、請求項２５に記載のカメラシステム。
【請求項２９】
前記生画像フォーマットはＤｉｇｉｔａｌ  Ｎｅｇａｔｉｖｅ（ＤＮＧ）フォーマットである、請求項２６に記載のカメラシステム。
【請求項３０】
前記デジタル信号プロセッサは、グラフィックスプロセッシングユニット（ＧＰＵ）である、請求項２５に記載のカメラシステム。
【請求項３１】
前記イメージセンサと通信する画像前処理装置をさらに含み、
前記画像前処理装置は、
前記イメージセンサから画像フレームを受信するように構成された画像データレシーバであって、前記画像フレームが前記イメージセンサのセンサ画素解像度と実質的に等しいフレーム画素解像度を有する、画像データレシーバと、
データインタフェース及びイメージャデータインタフェースと、
前記画像データレシーバ、前記データインタフェース、及び前記イメージャデータインタフェースと通信するダイレクトメモリアクセス（ＤＭＡ）コントローラであって、
前記画像フレームを前記データインタフェースを介して前記バッファメモリに保存し、
前記画像フレームから生成される第一及び第二のサブフレームを受信し、
前記第一及び第二のサブフレームを前記イメージャデータインタフェースを介して前記画像信号プロセッサに連続的に送信する
ように構成されたＤＭＡコントローラと、
を含む、請求項２３に記載のカメラシステム。
【請求項３２】
前記画像前処理装置はＦｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（ＦＰＧＡ）である、請求項３１に記載のカメラシステム。
【請求項３３】
前記イメージセンサと通信する画像前処理装置であって、
前記イメージセンサから画像フレームを受信する画像データレシーバであって、前記画像フレームは前記イメージセンサのセンサ画素解像度と実質的に等しいフレーム画素解像度を有する画像データレシーバと、
前記画像フレームを前記バッファメモリに送信するイメージャデータトランスミッタと、
を含む画像前処理装置をさらに含み、
前記画像処理装置は、
前記画像フレームを前記バッファメモリに保存し、
前記画像フレームから生成された第一及び第二のサブフレームを受信し、
前記第一及び第二のサブフレームを前記画像信号プロセッサに連続的に送信する
ように構成されたプリプロセッサを含む、
請求項２３に記載のカメラシステム。
【請求項３４】
前記画像信号プロセッサは第一の画像信号プロセッサであり、
前記画像処理装置は、第二の画像信号プロセッサをさらに含み、
前記イメージャデータインタフェースは第一のイメージャデータインタフェースであり、
前記画像前処理装置は、第二のイメージャデータインタフェースと画像ダウンサイザをさらに含み、前記画像ダウンサイザは、前記第二のイメージャデータインタフェースと通信して、
前記画像フレームを、前記画像フレームから画素の列及び行の少なくとも一方を除去することによって撮影ビュー画像フレームにリサイズし、
前記撮影ビュー画像フレームを前記第二のイメージャデータインタフェースを介して前記第二の画像信号プロセッサに送信するように構成され、前記第二の画像信号プロセッサは、前記撮影ビュー画像フレームを処理し、前記処理された撮影ビュー画像フレームを前記ディスプレイに転送するように構成される、
請求項３１に記載のカメラシステム。
【請求項３５】
前記イメージセンサは、電荷結合素子（ＣＣＤ）センサ、相補型金属酸化膜半導体（ＣＭＯＳ）センサ、及びＮ型金属酸化膜半導体（ＮＭＯＳ）センサのうちの少なくとも１つであり、
前記イメージセンサは、前記画像信号プロセッサの前記処理能力より大きい画素解像度を有する、
請求項２３に記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連特許出願との相互参照
本願は、２０１８年６月１２日に出願された米国特許出願第１６／００６，６３７号の優先権を主張するものであり、その開示の全体を参照によって本願に援用する。
【０００２】
本発明は、デジタル画像の処理に関し、詳しくは、静止画像モードで高画素解像度の大型デジタル画像を処理することに関する。さらに、本発明はデジタル画像の処理を行う装置とシステムに関する。
【背景技術】
【０００３】
デジタルカメラは、デジタル画像を捕捉するイメージセンサを含み、一般に、静止画像モード又はライブビューモードで動作する。静止画像及びライブビュー画像を生成するために、様々な技術が使用されてよい。高品質の静止画像を生成することは重要であるが、ライブビュー又はプレビューのための画像は、それより低く、ただし容認可能な画像品質で生成されてよい。
【０００４】
イメージセンサは典型的に、画素ごとの光強度を検出する。色情報を記録できるようにするために、カラーフィルタがイメージセンサの基板に結合されてよく、これは特定の色を特定の画素に割り当て、各画素がその特定の色に関する光強度を検出する。デジタルカメラで使用されるカラーフィルタの典型的なパターンは、ベイヤフィルタである。ベイヤフィルタは、赤及び緑のフィルタと青及び緑のフィルタの交互の行を含み、各行はそれぞれ、赤及び緑のフィルタと青及び緑のフィルタを交互に含む。緑フィルタは緑の光子を優先的にイメージセンサのそれぞれの画素の検出器（例えば、フォトダイオード）まで通過させる。同時に、緑フィルタに到達した赤及び青光子は、フィルタにより透過されず、したがって、それぞれの検出器により検出されない。同様に、赤フィルタは優先的に赤い光子を、青フィルタは青い光子だけをそれぞれの検出器へと通過させる。
【０００５】
各画像フレームの画像画素解像度は、イメージセンサの画素解像度に依存し、一般にデジタル画像に含まれる情報の詳細を説明する。換言すれば、画像画素解像度を増大させることにより、画像の詳細レベルを高めることができる。画像フレームの画素解像度は典型的に、画素列の数（画像の幅）と画素行の数（画像の高さ）により表され、これが、専用の画像プロセッサにより処理する必要のある画素総数となる。
【０００６】
ベイヤフィルタをイメージセンサの前段に適用すると、その結果としてイメージセンサにより生成される画像フレームは、補間又はデモザイキングを行うことによって各画素について３色すべてを生成し、デジタル画像を表示、印刷、又は保存できるようにする必要がある。
【０００７】
デジタルカメラの場合、補間又はデモザイキングは専用の画像信号プロセッサ（ＩＳＰ）だけではなく、画像処理ソフトウェアプログラムを実行する汎用プロセッサ（ＣＰＵ）によっても行われてよい。
【０００８】
補間又はデモザイキングのプロセスは、使用される数学アルゴリズムの有効性に応じて、特に静止画像モードで処理する必要のある画素数がはるかに大きいことから、非常に複雑となり得る。（特許文献１）には、高品質の静止画像を生成するための、より複雑なデジタル技術はソフトウェアに実装され、ＣＰＵで実行され、他方で、容認可能な品質のプレビュー画像を生成するための、より複雑でない技術は特定用途集積回路（ＡＳＩＣ）に実装される電子カメラが記載されている。
【０００９】
しかしながら、静止画像のためにＣＰＵを利用すると、高解像度デジタルカメラの製造コストが大幅に増大することがある。特に、静止画像処理は、ＩＳＰによる静止画像処理より格段に遅く、これは、すべてのステップをＣＰＵ上で逐次的に行わなければならないのに対し、ＩＳＰではこれらは同時にパイプライン処理されるからである。反面、画像処理能力が相応に高いＩＳＰを用いた静止画像処理はまた、デジタルカメラの製造コストの有意な増大につながることがある。したがって、比較的低い処理能力のＩＳＰを、フル解像度の高品質静止画像フレームの処理にも使用でき、補間及びデモザイキング等の画像処理のためのＣＰＵが不要であるような新規な手法が必要とされている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第６，２９２，２１８  Ｂ１号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１１】
そこで、本発明の目的は、限定的な処理能力を有する画像信号プロセッサによって、静止画像モードで高画素解像度の大型デジタル画像を処理するための方法、画像処理装置、及びシステムを提供することである。
【課題を解決するための手段】
【００１２】
本発明の第一の態様によれば、デジタル画像を処理する方法が提供され、画像フレームが画像前処理装置におけるイメージセンサから受信される。画像フレームは、イメージセンサのセンサ画素解像度と実質的に等しいフレーム画素解像度を有する。本開示におけるセンサ画素解像度と実質的に等しいフレーム画素解像度は、センサ画素解像度と等しいフレーム画素解像度と、センサ画素解像度からわずかに異なるフレーム画素解像度を含んでいてよい。特に、実質的に等しいとは、フレーム画素解像度がセンサ画素解像度よりわずかに低いことがあり得ることを意味し、なぜなら、幾つかの画像フレーム行及び／又は画像フレーム列はフルセンサ画素解像度から省かれるからである。画像フレームは、少なくとも２つの画像サブフレームに分割され、これらが画像信号プロセッサにより逐次的に処理される。その後、少なくとも２つの画像サブフレームは、画像信号プロセッサにより連続的に処理される。
【００１３】
本発明の第二の態様によれば、画像前処理装置が提供され、これはイメージセンサから画像フレームを受信するように構成された画像データレシーバを含み、画像フレームはイメージセンサのセンサ画素解像度と実質的に等しいフレーム画素解像度を有する。画像前処理装置は、データインタフェースと、イメージャデータインタフェースと、画像データレシーバ、データインタフェース、及びイメージャデータインタフェースと通信するダイレクトメモリアクセス（ＤＭＡ）コントローラと、をさらに含む。ＤＭＡコントローラは、データインタフェースを介してバッファメモリに画像フレームを保存し、第一及び第二の画像サブフレームであって、画像フレームを第一及び第二の画像サブフレームに分割することによって画像フレームから生成され、画像信号プロセッサにより処理されることになる第一及び第二の画像サブフレームを受信し、第一及び第二のサブフレームを、イメージャデータインタフェースを介して画像信号プロセッサに連続的に送信するように構成される。
【００１４】
第一及び第二の画像サブフレームの各々は、センサ画素解像度より小さいサブフレーム画素面積と、第一及び第二の画像サブフレームが相互に重複する領域とを有する。サブフレーム画素解像度は、画像信号プロセッサの処理能力により事前に決定される。
【００１５】
本発明の第三の態様によれば、デジタル画像を処理するためのカメラシステムが提供される。カメラシステムは、イメージセンサと、イメージセンサと通信する画像前処理装置と、前処理装置と通信し、バッファメモリ及び画像信号プロセッサを含む画像処理装置と、画像処理装置に接続されたディスプレイと、を含む。画像前処理装置は、イメージセンサから画像フレームを受信するように構成された画像データレシーバであって、画像フレームはイメージセンサのセンサ画素解像度と実質的に等しいフレーム画素解像度を有する画像データレシーバと、データインタフェース及びイメージャデータインタフェースと、画像データレシーバ、データインタフェース、及びイメージャデータインタフェースと通信するダイレクトメモリアクセス（ＤＭＡ）コントローラと、を含む。ＤＭＡコントローラは、データインタフェースを介してバッファメモリに画像フレームを保存し、画像フレームから生成された第一及び第二のサブフレームを受信し、第一及び第二のサブフレームを、イメージャデータインタフェースを介して画像信号プロセッサに連続的に送信するように構成される。
【００１６】
その結果、本発明のある態様による画像前処理装置の使用によって、画像前処理装置により動作が実行されなければ、ダウンサイズされたプレビュー画像フレームのみを処理できるが、高解像度の静止画像フレームは処理できないような処理能力を有するＩＳＰを有する既製の画像処理装置を使用できる。
【００１７】
ここで、以下の図面を参照しながら本発明を説明する。
【図面の簡単な説明】
【００１８】
【図１】本発明の例示的な実施形態による、デジタル画像を処理するためのカメラシステムの概略図を示す。
【図２】本発明の例示的な実施形態による画像前処理装置の概略図を示す。
【図３】本発明の例示的な実施形態による、デジタル画像を処理するためのカメラシステムの他の詳細な概略図を示す。
【図４Ａ】イメージセンサにより生成される画像フレームの例を示す。
【図４Ｂ】図４Ａの画像フレームから生成される第一の画像サブフレームの例を示す。
【図４Ｃ】図４Ａの画像フレームから生成される第二の画像サブフレームの例を示す。
【図５】本発明の例示的な実施形態による、画像フレームを処理するためにカメラシステムにより実行される動作を示すフローチャートである。
【図６】本発明の例示的な実施形態による、静止画像フレームを生成するためにカメラシステムにより実行される動作を示すフローチャートである。
【図７】本発明の第二の例示的な実施形態による画像前処理装置の概略図を示す。
【図８】本発明の第三の例示的な実施形態による、デジタル画像を処理するためのカメラシステムの概略図を示す。
【図９】本発明の第二の例示的な実施形態による、デジタル画像を処理するためのカメラシステムの詳細な概略図を示す。
【図１０】本発明の第三の例示的な実施形態による、デジタル画像を処理するためのカメラシステムの詳細な概略図を示す。
【図１１】本発明の第四の例示的な実施形態による、デジタル画像を処理するためのカメラシステムの詳細な概略図を示す。
【発明を実施するための形態】
【００１９】
図１は、本発明の例示的な実施形態による、デジタル画像を処理するためのカメラシステム１００を示す。カメラシステム１００は、イメージセンサ１１０と、画像前処理装置１２０と、そこにディスプレイ１４０と記憶媒体１５０が接続される画像処理装置１３０と、を含む。
【００２０】
イメージセンサ１１０は、ライブビューモードと静止画像撮影モードで動作可能である。何れのモードでも、イメージセンサ１１０の有効画素面積全体が使用され、画像フレームはイメージセンサ１１０によって生成されて、画像前処理装置１２０に出力される。後でより詳しく述べるように、ライブビューをプレビューするため、又は静止画像撮影のプレビューのために、画像フレームは画像前処理装置１２０によってダウンサイズされて、高フレームレートが実現される。しかしながら、静止画像撮影の場合、画像フレームのすべてのラインと列がダウンサイズされずに処理される。
【００２１】
ライブビュー画像及び撮影ビュー画像はディスプレイ１４０に表示される。ディスプレイ１４０は電子ビューファインダ（ＥＶＦ）を含んでいてよく、これは画像処理装置１３０に、Ｍｏｂｉｌｅ  Ｉｎｄｕｓｔｒｙ  Ｐｒｏｃｅｓｓｏｒ  Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）Ａｌｌｉａｎｃｅにより規定されたＭＩＰＩ  ｄｉｓｐｌａｙ  ｓｅｒｉａｌ  ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ  ＤＳＩ）（図示せず）を介して接続されるが、これに限定されない。ディスプレイ１４０はまた、デジタルカメラ（図示せず）のバックディスプレイも含んでいてよく、これも画像処理装置１３０にＭＩＰＩを介して接続される。
【００２２】
記憶媒体１５０は非一時的コンピュータ可読記憶媒体、例えばソリッドステートドライブ（ＳＳＤ）であるが、これに限定されない。他の何れの非一時的コンピュータ可読記憶媒体も記憶媒体１５０として利用できる。
【００２３】
図２は、画像前処理装置１２０の概略図を示す。画像前処理装置１２０は、画像データレシーバ２１０と、ダイレクトメモリアクセス（ＤＭＡ）コントローラ２２０と、データインタフェース２３０と、静止画像処理に必要なイメージャデータインタフェース２４０と、を含む。画像データレシーバ２１０は、イメージセンサ１１０から画像フレームを受信するように構成される。画像フレームは、イメージセンサのセンサ画素解像度と実質的に等しいフレーム画素解像度を有する。換言すれば、画像フレームは、イメージセンサの有効画素面積のすべてのセンサ画素の画像情報を含む。
【００２４】
データインタフェース２３０は、画像前処理装置１２０を画像処理装置１３０の中のバッファメモリ２５０に接続する。イメージャデータインタフェース２４０は、前処理装置１２０をＩＳＰ  ２６０に接続する。ＤＭＡコントローラ２２０は、画像データレシーバ２１０、データインタフェース２３０、及びイメージャデータインタフェース２４０と通信し、画像フレームを、データインタフェース２３０を介してバッファメモリ２５０に保存し、バッファメモリ２５０からの第一及び第二の画像サブフレームを、データインタフェース２３０を介して受信し、第一及び第二のサブフレームをＩＳＰ  ２６０に、イメージャデータインタフェース２４０を介して連続的に送信するように構成される。
【００２５】
次に、図３を参照すると、本発明の例示的な実施形態による、デジタル画像を処理するためのカメラシステム３００の他のより詳細な概略図が示されている。図３に示されるように、カメラシステム３００は、そこにイメージセンサ１１０が接続される画像前処理装置３１０と、画像処理装置３３０と、を含む。画像処理装置３３０は、画像前処理装置３１０、ディスプレイ１４０、及び記憶媒体１５０と通信する。
【００２６】
図３に示されるカメラシステム３００の例示的な実施形態の画像処理装置３３０は、Ｓｙｓｔｅｍ−ｏｎ−Ｃｈｉｐ（ＳｏＣ）アーキテクチャを有し、イメージセンサから受信した画像フレームを処理して、表示、印刷、又は保存可能なデジタル画像を生成するために必要なすべての構成要素を内蔵する。それゆえ、画像処理装置３３０は、画像プロセッサ３４２を含み、これは例えばデジタルシグナルプロセッサ（ＤＳＰ）又はグラフィックスプロセッシングユニット（ＧＰＵ）として実装されてよい。画像処理装置３３０は、第一のＩＳＰ  ３３８と、静止画像プリバッファ３３４に保存されることになる画像フレームを送受信するように構成されたデータトランシーバ３３２と、をさらに含む。それに加えて、イメージャデータレシーバ３３６が提供され、これはＩＳＰ  ３３８により処理されることになる画像サブフレームを受信するように構成される。ＩＳＰ  ３３８により処理された画像サブフレームは、静止画像ポストバッファ３４０に保存される。ディスプレイコントローラ３５２が提供され、これは、イメージセンサ１１０により捕捉された画像フレームがディスプレイ１４０全体で見られるようにするための動作を実行する。ディスプレイコントローラ３５２は、表示データトランスミッタ３５４を介してディスプレイ１４０に接続される。グラフィクス画像フォーマットの静止画像フレーム又は生画像フォーマットの画像フレームを記憶媒体１５０に保存するために、ストレージコントローラ３５６及びストレージインタフェース３５８が提供される。
【００２７】
画像前処理装置３１０は、データトランシーバ３１２と、第一のイメージャデータトランスミッタ３１４を含む。データトランシーバ３１２とデータトランシーバ３３２は、画像前処理装置３１０と画像処理装置３３０との間のデータインタフェースを形成する。データインタフェース３１２、３３２は、高速シリアルコンピュータ拡張バス標準インタフェース、例えばＰｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｅｘｐｒｅｓｓ（ＰＣＩｅ）標準インタフェースであってよいが、これに限定されない。
【００２８】
データインタフェース３１２、３３２のように、イメージャデータトランスミッタ３１４はイメージャデータレシーバ３３６と共に、画像前処理装置３１０と画像処理装置３３０との間の別のインタフェース（すなわち、イメージャデータインタフェース）を形成する。データトランシーバ３１２とイメージャデータトランスミッタ３１４は、受信ＤＭＡ（ＲＸ−ＤＭＡ）コントローラ３１６と送信ＤＭＡ（ＴＸ−ＤＭＡ）コントローラ３１８によって制御される。ＲＸ−ＤＭＡコントローラ３１６はイメージャデータトランスミッタ３１４とＦｉｒｓｔ−Ｉｎ−Ｆｉｒｓｔ−Ｏｕｔ（ＦＩＦＯ）バッファ３２０を介して通信する。画像前処理装置３１０はまた、画像データレシーバ３２２と、ＦＩＦＯバッファ３２６を介してＴＸ−ＤＭＡコントローラ３１８と通信する画素プロセッサ３２４も含む。
【００２９】
図３に示される例示的な実施形態による第一及び第二のイメージャデータインタフェース３１４、３３６及び３４６、３４８は、Ｍｏｂｉｌｅ  Ｉｎｄｕｓｔｒｙ  Ｐｒｏｃｅｓｓｏｒ  Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）Ｃａｍｅｒａ  Ｓｅｒｉａｌ  Ｉｎｔｅｒｆａｃｅ（ＣＳＩ）画像データインタフェースである。しかしながら、イメージャデータインタフェースは、ＭＩＰＩ  ＣＳＩに限定されず、その代わりに他の何れのシリアルインタフェースも利用できる。
【００３０】
図３に示される例示的な実施形態において、画像前処理装置３１０は、Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ（ＦＰＧＡ）として実装される。しかしながら、画像前処理装置３１０は、特定用途集積回路（ＡＳＩＣ）としても実装されてよい。
【００３１】
画像前処理装置３１０は、画像ダウンサイザ３２８をさらに含み、これはＦＩＦＯバッファ３４４を介して第二のイメージャデータトランスミッタ３４６に接続され、それが第二のイメージャデータレシーバ３４８と共に第二のイメージャデータインタフェースを形成する。イメージャデータレシーバ３４８は、第二のＩＳＰ  ３５０に接続される。
【００３２】
イメージャデータインタフェース３１４、３３６及び３４６、３４８のどちらも、静止画像撮影モードで利用できる。ＩＳＰ  ３３８及び３５０は、静止画像撮影モードに入ると構成され、ライブビュー状態と撮影状態との間で変化しない。静止画像処理は、画像前処理装置３１０、ＩＳＰ  ３３８、及び画像プロセッサ３４２によって行われる。
【００３３】
前述のように、イメージセンサ１１０は異なるモード、すなわちライブビューモードと静止画像撮影モードで動作する。第一のイメージャデータインタフェース３１４、３３６はＩＳＰ  ３３８と共に、静止画像フレームが撮影されるときだけ使用される。第二のイメージャデータインタフェース３４６、３４８は、ＩＳＰ  ３５０と共に、ライブビュー及び撮影プレビューのみに利用される。
【００３４】
両方のモードで、イメージセンサの有効画素面積全体が使用される。画像フレームがイメージセンサ１１０から画像前処理装置３１０の画像データレシーバ３２２によって受信されると、どちらのモードでもセンサ画素が画素プロセッサ３２４によって補正される。しかしながら、静止画像撮影モードでは、すべてのラインと列がイメージセンサ１１０が読み出されるのに対し、ライブビューモードでは、ラインをスキップして、高いフレームレートが実現されてもよい。例えば、ライブビューでは、イメージセンサ１１０はラインの４分の１のみを出力し、列はすべて出力してもよい。イメージャデータインタフェース３４６、３４８は限定的なデータレートしかサポートしないかもしれないため、画素補正後、フレームは、限定的なデータレートに対応するために画像ダウンサイザ３２８によって水平に４：１にリサイズされてもよい。ライブビューでの画像フレームはＩＳＰ  ３５０によって処理され、その後、ディスプレイ１４０にとって適正な解像度に非対称にスケーリングされる。
【００３５】
イメージセンサ１１０の典型的なアスペクト比は３：２であり、ディスプレイ１４０の典型的なアスペクト比は１６：９である。例えば、イメージセンサ１１０のアスペクト比が３：２であり、ディスプレイ１４０のアスペクト比が１６：９であると、イメージセンサ１１０から受信された画像フレーム全体がディスプレイ１４０上で見えるように、ディスプレイコントローラ３５２で黒いバーが追加されてよい。
【００３６】
静止画像撮影モードでは、イメージセンサ１１０のすべてのラインと列が読み出される。静止画像撮影ビューでは、画素の補正は画素プロセッサ３２４によってライブビューモードの場合と同様に行われる。しかしながら、列のスキッピングも画像ダウンサイザ３２８によって行われる。その結果、静止画像撮影モードでイメージャデータインタフェース３４６、３４８を介して送信される画像データのフォーマットは、ライブビューモードの場合と同じであり、ＩＳＰ  ３５０の再構成は不要である。静止画像撮影フレームは、それらがイメージセンサ１１０によって撮影されながら、ライブビュー画像フレームよりはるかに遅いフレームレートで表示される。
【００３７】
ライブビュー画像フレームと静止画像撮影フレームは通常異なるインテグレーションタイムを有し、撮影はフラッシュ照明で行われ得るため、ＩＳＰ  ３５０を通る画像パスとＩＳＰ  ３３８を通る画像パスとの間に露光及びホワイトバランスの変化があってもよい。イメージ統計はＩＳＰ  ３５０で収集され、統計データは、ＩＳＰ  ３５０によるライブビューとＩＳＰ  ３３６による静止画像フレームのその後の処理の両方に関する露光、ホワイトバランス、及び焦点調節を特定するために使用される。
【００３８】
イメージャデータインタフェース３１４、３３６及びＩＳＰ  ３３８は、静止画像フレームが撮影されるときだけ使用される。静止画像撮影中、フル解像度フレームが画像前処理装置からデータトランシーバ３１２及び３３２を介して画像処理装置３３０に出力され、静止画像プリバッファ３３４のメモリ領域に保存される。イメージセンサ１１０から撮影される完全なフル解像度画像フレームが静止画像プリバッファに保存されると、画像プロセッサ３４２によってプリＩＳＰ処理が行われる。プリＩＳＰ処理が完了すると、プリＩＳＰ処理された画像フレームがストレージコントローラ３５６によって生画像フォーマット、例えばＤｉｇｉｔａｌ  Ｎｅｇａｔｉｖｅ（ＤＮＧ）フォーマットで記憶媒体１５０に保存されてよい。
【００３９】
ＩＳＰ  ３３８の処理能力ではセンサ幅全体に対応できないため、ＩＳＰ  ３３８は、静止画像撮影モード中にイメージセンサ１１０により生成される画像フレーム全体を処理できず、画像フレームは画像サブフレームで、すなわち画像幅の半分のタイル又は部分で処理する必要がある。この目的のために、画像フレームは画像プロセッサ３４２によって第一及び第二の画像サブフレームに分割され、これらはＩＳＰ  ３３８によって逐次的に処理されることになる。第一及び第二の画像サブフレームは各々、センサ画素解像度より小さいサブフレーム画素解像度と、第一及び第二の画像サブフレームが相互に重複する領域とを有する。サブフレーム画素解像度は、ＩＳＰ  ３３８の処理能力により事前に決定される。その後、第一及び第二の画像サブフレームは、ＩＳＰ  ３３８によって逐次的に処理される。
【００４０】
換言すれば、画像データはデータインタフェース３１２、３３２を通じて画像前処理装置３１０に戻され、そこでイメージャデータインタフェース３１４、３３６を通じてＩＳＰ  ３３８のフロントエンドにストリームされる。各画像サブフレームが処理されると、それは静止画像ポストバッファ３４０に保存され、高い画像品質の完全な画像へと組み立て直される。
【００４１】
近年、イメージセンサの革新によってイメージセンサの利用可能な画素解像度が急激に向上した。それと同時に、同等の処理パワーを有する費用対効果の高いＩＳＰの開発は遅れ、ボトルネックとなり得る事態が生じた。前述の方式によれば、完全な画像の品質が大きく改善され、また、例えば静止画像撮影モード中にイメージセンサ１１０が生成する画像フレーム全体を処理できないＩＳＰを含むデジタル画像処理システムの全体的性能も向上する。したがって、ハードウェアのコストを下げることができ、ＩＳＰの処理パワーのボトルネックの影響も最小限にすることができる。
【００４２】
画像プロセッサ３４２は、静止画像ポストバッファ内の画像サブフレームに対してポストＩＳＰ処理を行う。この時点で、グラフィックス画像フォーマット、例えばＹＣｂＣｒ  Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ（ＴＩＦＦ）又はＪｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＪＰＥＧ）フォーマットの完成した画像フレームは、記憶媒体１５０内に保存されてよい。ＪＰＥＧエンコーダ（図示せず）によって、完成した画像フレームを圧縮してから、記憶媒体１５０に保存することも可能である。
【００４３】
画像サブフレームの処理は、画像フレームの撮影と同期しておらず、画像フレームの撮影より幾分遅く、イメージセンサ１１０がライブビューモードに戻った後も背景プロセスとして続けられてもよい。連写の場合、１フレームあたり最大３ファイルを保存するのにかなり長い時間がかかるため、静止画像プリバッファ３３４が空になるのは、連写中のフィルレートと比べて比較的遅い。静止画像プリバッファが満杯になると、ユーザがカメラのシャッタボタンを押していても、撮影は遮断される。バッファが空になると、追加の連写フレームを撮影できる。
【００４４】
図４Ａは、イメージセンサ１１０により生成される画像フレーム４１０の例を示す。図４Ａは、画像フレームの画素列の数（画素の幅を表す）が画像フレームの画素行の数（画素の高さを表す）より大きいフレームを示しているが、幅と高さの他の何れの比も可能である。図４Ａ〜４Ｃに示される例示的実施形態において、画像フレーム４１０は例えば、図４Ａに示されている点線によって第一及び第二の画像サブフレームに垂直に分割される。しかしながら、画像フレーム４１０の他の何れの分割も可能である。例えば、画像フレーム４１０は、３つのサブフレームに水平に分割されてもよく、画像フレーム４１０は垂直にさらに分割されてもよく、又は、結果として得られるサブフレームがＩＳＰ  ３３８により処理可能な画像サブフレーム解像度を有するかぎり、それ以外でもよい。
【００４５】
図４Ｂは、画像プロセッサ３４２により画像フレーム４１０から生成された第一の画像サブフレーム４２０の例を示し、図４Ｃは、画像プロセッサ３４２により画像フレーム４１０から生成された第二の画像サブフレーム４４０の例を示す。図４Ｂ及び４Ｃに示されるように、第一及び第二の画像サブフレームの各々は、第一及び第二のサブフレーム４２０及び４４０が相互に重複する領域４３０、４５０を有する。
【００４６】
次に、図５を参照すると（図３及び４Ａ〜４Ｃに関する）、本発明の例示的な実施形態による、画像フレーム４１０を処理するためのカメラシステム１００が実行する動作を含む方法５００を例示するフローチャートが示されている。方法５００は、ステップ５１０から始まり、そこで画像フレーム４１０が静止画像モードで動作するイメージセンサ１１０から受信される。５２０で、画像フレーム４１０は、第一及び第二の画像サブフレーム４２０及び４４０に分割され、５３０で、第一及び第二の画像サブフレーム４２０及び４４０がＩＳＰ  ３３８によって連続的に処理される。
【００４７】
次に、図６を参照する（引き続き図３及び４Ａ〜４Ｃに関する）。図６は、本発明の例示的な実施形態による、カメラシステム１００を動作させて静止画像フレームを生成する方法６００を示すフローチャートである。方法は、ステップ６０５から始まり、そこで画像フレーム４１０の中の欠陥が画素プロセッサ３２４により補正される。方法は、６１０に進み、そこで補正された画像フレームが画像前処理装置３１０のＴＸ−ＤＭＡコントローラ３１８によって、図３に示される静止画像プリバッファ３３４に送信される。６１５で、画像フレーム４１０は静止画像プリバッファ３３４に保存され、６２０で、第一の画像サブフレーム４２０がデータインタフェース３１２、３３２を介して、画像前処理装置３１０のＲＸ−ＤＭＡコントローラ３１６によって受信される。第一の画像サブフレーム４２０は、静止画像プリバッファ内で画像プロセッサ３４２によって生成されてから、画像前処理装置に送信される。
【００４８】
方法は６２５に続き、そこで第一の画像サブフレーム４２０がＲＸ−ＤＭＡコントローラ３１６によってイメージャデータインタフェース３１４、３３６を介してＩＳＰ  ３３８に送信され、６３０で、ＩＳＰ  ３３８によって処理される。６３５で、第二の画像サブフレーム４４０が静止画像プリバッファ３３４から画像前処理装置３１０のＲＸ−ＤＭＡコントローラ３１６によって受信され、６４０で、第二の画像サブフレーム４４０がイメージャデータインタフェース３１４、３３６を介してＩＳＰ  ３３８に送信され、６４５で、ＩＳＰ  ３３８によって処理される。方法は、６５０で終了し、そこで、ＩＳＰ  ３３８によって処理された後に静止画像ポストバッファ３４０に保存された処理済みの第一及び第二の画像サブフレーム４２０及び４４０が、静止画像ポストバッファ３４０の中で静止画像フレームに組み立て直される。静止画像ポストバッファ３４０における組み立て直し又はサブフレーム合成は設定変更可能であり、重複領域は、ＩＳＰ  ３３８の中で決定される画像品質パラメータ及び空間成分により特定される。
【００４９】
ＩＳＰ  ３３８の処理エンジンの構成では、画像の前処理及び後処理の空間成分によって画像品質が最小化されてもよく、これはサブフレームの処理と最終的な静止画像フレームに影響を与え得る。
【００５０】
ノイズフィルタリング及びその他の固定パターンノイズ除去が、画像プロセッサ３４２によって画像全体について行われる。前処理ブロックは、ＡＤＣ、ペデスタル補正、ブラックオフセット除去処理等の最小限のセンサ関連詳細事項がＩＳＰ  ３３８の外部で行われて、フルフレーム撮影に依存する空間アーチファクトのすべてが回避されるような方法でチューニングされる。
【００５１】
図７は、カメラシステム７００の画像前処理装置７２０の概略図を示す。画像前処理装置７２０は、画像データレシーバ２１０と、静止画像処理のためのイメージャデータインタフェース２４０を含む。画像データレシーバ２１０及びデータインタフェース２４０の構成は、図２に関してすでに述べた。
【００５２】
図７に示されるように、画像前処理装置７２０は、画像フレーム４１０をバッファメモリ２５０に保存し、第一及び第二の画像サブフレーム４２０及び４４０をバッファメモリ２５０から受信し、第一及び第二のサブフレームをＩＳＰ  ２６０に連続的に送信するためのＤＭＡコントローラとデータインタフェースを必要としない。その代わりに、第二の例示的な実施形態において、イメージセンサ１１０により生成された画像フレーム４１０は、イメージセンサ１１０から、画像前処理装置７２０を通じて画像データレシーバ２１０及びイメージャデータインタフェース２４０を介してプリプロセッサ７３０へと送信される。プリプロセッサ７３０は、画像フレーム４１０をバッファメモリ２５０に保存し、第一及び第二の画像サブフレーム４２０及び４３０をバッファメモリ２５０から受信し、第一及び第二のサブフレームをＩＳＰ  ２６０に連続的に送信する。
【００５３】
図８は、本発明の第三の実施形態による、デジタル画像を処理するためのカメラシステム８００の概略図を示す。この例示的な実施形態において、イメージセンサ１１０はプリプロセッサ７３０に直接接続され、中間の画像前処理装置はない。その結果、図８に示されるカメラシステム８００では、画像プロセッサ１１０は画像フレーム４１０をプリプロセッサ７３０に直接送信し、それが画像フレーム４１０をバッファメモリ２５０に保存し、第一及び第二の画像サブフレーム４２０及び４３０をバッファメモリ２５０から受信し、第一及び第二のサブフレームをＩＳＰ  ２６０に連続的に送信する。
【００５４】
次に図９を参照すると、本発明の第二の例示的な実施形態による、デジタル画像を処理するためのカメラシステム７００の詳細な概略図が示されている。図９に示されるように、カメラシステムは、そこにイメージセンサ１１０が接続される画像前処理装置９１０と、画像処理装置９３０を含む。画像処理装置９３０は、画像前処理装置９１０、ディスプレイ１４０、及び記憶媒体１５０と通信する。より明瞭にするために、図３と同じ要素の説明は省く。
【００５５】
図９に示されるカメラシステムの第二の例示的な実施形態における画像処理装置９３０は、ＳｏＣアーキテクチャを有し、イメージセンサから受信した画像フレームを処理して、表示、印刷、又は保存可能なデジタル画像を生成するために必要なすべてのコンポーネントを内蔵する。特に、画像処理装置９３０はプリプロセッサ９３２を含む。プリプロセッサ９３２は、画像データレシーバ３３６により受信された画像フレーム４１０が静止画像プリバッファ３３４に保存されるようにするための動作を実行する。それに加えて、プリプロセッサ９３２は、静止画像プリバッファ３３４から画像プロセッサ３４２により生成された第一及び第二の画像サブフレーム４２０及び４３０を受信して、第一及び第二の画像サブフレーム４２０及び４３０をＩＳＰ  ３３８に連続的に送信するように構成される。それゆえ、プリプロセッサ９３２は、データを変調せずに、静止画像プリバッファ３３４からＩＳＰ  １のフロントエンドに返される第一及び第二の画像サブフレーム４２０及び４３０のためのデータパスを提供する。
【００５６】
ＩＳＰ  ３３８等のＩＳＰは典型的に複雑な構造であり、それによって複数の動作パラメータを設定できる。したがって、データパスは、テスト画像をＩＳＰによって異なるパラメータにより複数回処理できるようにする必要がある。これによって、同じ画像が何度も再生されて、その後、正しいパラメータが設定される。それによって、ＩＳＰ及びＩＳＰの構造をテストすることができる。ＳｏＣ内のこのようなテストは、画像処理装置の構成から、ＩＳＰがイメージセンサからライブテータしか受信できないのであれば不可能であろう。
【００５７】
図３に示される画像処理装置３１０は、静止画像プリバッファ３３４とＩＳＰ  ３３８との間のデータパスを含まない。したがって、図３に示される例示的な実施形態におけるデータパスは、データインタフェース３３２及び３１２、受信ＤＭＡコントローラ３１６、ＦＩＦＯ  ３２０、画像データトランスミッタ３１４、及び画像データレシーバ３３６を介して前処理装置３１０により作られる。
【００５８】
図９に示される例示的な実施形態における静止画像プリバッファ３３４からＩＳＰ  ３３８までの第一及び第二の画像サブフレーム４２０及び４３０のためのデータパスは、プリプロセッサ９３２を介して提供されるため、画像前処理装置９１０において、画像フレーム４１０は、画素プロセッサ３２４により処理された後、ＦＩＦＯ  ３２０に送信され、その後、画像データトランスミッタ３１４を介してプリプロセッサ９３２に送信される。図３に示される例示的な実施形態におけるＦＩＦＯ  ３２６、ＤＭＡコントローラ３１８及び３１６、並びにデータインタフェース３１２及び３３２は、図９では省略されている。
【００５９】
図１０は、本発明の第三の例示的な実施形態による、デジタル画像を処理するためのカメラシステム８００の詳細な概略図を示す。図１０において、画像処理装置全体が省かれて、イメージセンサ１１０は画像処理装置１０３０の画像データレシーバ３３６に直接接続される。この例示的な実施形態では、イメージセンサ１１０は画像フレーム４１０を画像データレシーバ３３６の通信規格に従って出力し、図３及び９に示される例示的な実施形態における画素プロセッサ３２４により実行される画像データの補正は、ＩＳＰ  ３３８によって行われるか、又は分配される。
【００６０】
図１０に示されるように、画像処理装置１０３０は、図３及び９のＩＳＰ  ３５０のような別のＩＳＰを介したライブビューのための第二のデータパスを含まない。したがって、図１０に示される例示的な実施形態において、ビューデータは静止画像ポストバッファ３４０から収集され、静止画像ポストバッファ３４０からディスプレイコントローラ３５２へと送信される。
【００６１】
また別の例示的な実施形態によれば、図９及び１０のプリプロセッサ９３２もまた省くことができ、直接データパス（図示せず）を画像データレシーバ３３６と静止画像プリバッファ３３４との間及び静止画像プリバッファ３３４とＩＳＰ  ３３８との間に確立できる。
【００６２】
図１１は、本発明の第四の例示的な実施形態による、デジタル画像を処理するためのカメラシステムの詳細な概略図を示す。図１１に示されるように、画像処理装置１１３０は、ＩＳＰ  ３５０を介するライブビューのための第二のデータパスを含む。すなわち、画像処理装置１１３０は、イメージャデータレシーバ３３６からのデータパスを含み、それによって１つのイメージセンサの入力を２つ又はそれ以上のＩＳＰの何れかにルーティングすることができる。
【００６３】
図１１に示される例示的な実施形態において、プリ画像プロセッサ９３２はライブビューの画像フレームをダウンサイズできなくてよく、又は、前述のように、プリプロセッサ９３２は完全に省かれてよい。しかしながら、多くのイメージセンサは、水平及び垂直両次元のスキッピング及びビニングを行って出力解像度を低下させることができ、それによってイメージセンサ１１０を画像処理装置１１３０に直接接続でき、例えばＩＳＰ  ３５０を介したライブビューを行うことができる。このようなイメージセンサはまた、画像処理装置１０３０に、又は上述の他の例示的な実施形態の何れの画像処理装置にも接続して、出力解像度を低下させるためのその他の能力を提供できる。
【００６４】
以上の説明は、本発明の例示的な実施形態のものであり、付属の特許請求の範囲により定義される本発明の主旨と範囲から逸脱せずに、様々な変更や改良を加えてよいと理解されたい。
【符号の説明】
【００６５】
１００  カメラシステム
１１０  イメージセンサ
１２０  画像前処理装置
１３０  画像処理装置
１４０  ディスプレイ
１５０  記憶媒体
２１０  画像データレシーバ
２２０  ＤＭＡコントローラ
２３０  データインタフェース
２４０  イメージャデータインタフェース
２５０  バッファメモリ
２６０  ＩＳＰ
３００  カメラシステム
３１０  画像前処理装置
３１２  データインタフェース
３１４  イメージャデータトランスミッタ
３１６  受信ＤＭＡコントローラ
３１８  送信ＤＭＡコントローラ
３２０  ＦＩＦＯバッファ
３２２  画像データレシーバ
３２４  画素プロセッサ
３２６  ＦＩＦＯバッファ
３２８  画像ダウンサイザ
３３０  画像処理装置
３３２  データインタフェース
３３４  静止画像プリバッファ
３３６  イメージャデータレシーバ
３３８  ＩＳＰ
３４０  静止画像ポストバッファ
３４２  画像プロセッサ
３４４  ＦＩＦＯバッファ
３４６  イメージャデータトランスミッタ
３４８  イメージャデータレシーバ
３５０  ＩＳＰ
３５２  ディスプレイコントローラ
３５４  表示データトランスミッタ
３５６  ストレージコントローラ
３５８  ストレージインタフェース
４１０  画像フレーム
４２０  第一の画像サブフレーム
４４０  第二の画像サブフレーム
７００  カメラシステム
７２０  画像前処理装置
７３０  プリプロセッサ
８００  カメラシステム
９１０  画像前処理装置
９３０  画像処理装置
９３２  プリプロセッサ
１０３０  画像処理装置
１１３０  画像処理装置
【図１】
2021527273.tif 000003
【図２】
2021527273.tif 000004
【図３】
2021527273.tif 000005
【図４Ａ】
2021527273.tif 000006
【図４Ｂ】
2021527273.tif 000007
【図４Ｃ】
2021527273.tif 000008
【図５】
2021527273.tif 000009
【図６】
2021527273.tif 000010
【図７】
2021527273.tif 000011
【図８】
2021527273.tif 000012
【図９】
2021527273.tif 000013
【図１０】
2021527273.tif 000014
【図１１】
2021527273.tif 000015
【国際調査報告】
2021527273.tif 000016