(57)【要約】実施形態は、ビデオデータを視覚的ロスレスな形で高度に圧縮するよう構成されたビデオカメラを提供する。カメラは、データの圧縮率を高める方法で青色画像データ、赤色画像データ、および／または緑色画像データを変換するよう構成される。カメラは、データの圧縮率を高める方法で緑色画像データの少なくとも一部を変換するよう構成される。その後、データはこの形で圧縮され保存される。このことにより、ユーザは、赤色画像データ、青色画像データ、および／または緑色画像データを再構成して、元の生データもしくはデモザイク処理した時に視覚的ロスレスである元の生データの修正版を生成することができる。さらに、データは、緑色画素の少なくとも一部が最初にデモザイク処理され、その後、赤色画素、青色画素、および／またはいくつかの緑色画素がデモザイク処理された緑色画素の値に基づいて再構成される形で処理される。【選択図】図１７
2016508700.tif 000002
【特許請求の範囲】
【請求項１】
モザイクカラー画像データの圧縮方法であって、
ビデオカメラの１つまたは複数の画像センサによって取得されたモザイクカラー画像データであって、第１の緑色チャネルと第２の緑色チャネルと赤色チャネルと青色チャネルとを含む複数の空間インターリーブカラーチャネルそれぞれに対する複数の画素値を含むモザイクカラー画像データにアクセスするステップと、
前記第２の緑色チャネルの複数の画素のそれぞれの画素に対して、それぞれの画素に空間的に近接した位置にある前記第１の緑色チャネルの複数の画素の値から導出された計算値を使用して、それぞれの画素に対応する初期値を修正することにより、少なくとも部分的に前記第２の緑色チャネルを変換するステップと、
前記変換された第２の緑色チャネルを圧縮するステップと、
前記変換され圧縮された第２の緑色チャネルを、圧縮された前記第１の緑色チャネルと前記赤色チャネルと前記青色チャネルと共に前記ビデオカメラの少なくとも１つのメモリデバイスに保存するステップと、
を含む圧縮方法。
【請求項２】
前記変換ステップは、前記初期値から前記計算値を差し引くステップを含む、請求項１に記載の圧縮方法。
【請求項３】
前記計算値は、それぞれの画素に空間的に近接した位置にある前記第１の緑色チャネルの複数の画素値の平均値を含む、請求項２に記載の圧縮方法。
【請求項４】
それぞれの画素に空間的に近接した位置にある前記第１の緑色チャネルの複数の画素は、それぞれの画素の対角線上に隣接した少なくとも２つの画素を含む、請求項３に記載の圧縮方法。
【請求項５】
前記少なくとも２つの画素は、それぞれの画素の対角線上に隣接した前記第１の緑色チャネルの４つの画素を含む、請求項４に記載の圧縮方法。
【請求項６】
それぞれの画素に空間的に近接した位置にある前記第１の緑色チャネルの複数の画素は、少なくとも２つの画素を含み、それぞれの画素は前記少なくとも２つの画素間に位置決めされる、請求項１に記載の圧縮方法。
【請求項７】
前記少なくとも２つの画素は、それぞれの画素に対して互いに対角線上に対向した位置にある２つの画素を含む、請求項６に記載の圧縮方法。
【請求項８】
前記少なくとも２つの画素は、それぞれの画素に対して対角線上に対向する位置にある第１の組の画素と、それぞれの画素に対して対角線上に対向する位置にある第２の組の画素とを含む、請求項７に記載の圧縮方法。
【請求項９】
前記少なくとも２つの画素は、それぞれの画素の対角線上に隣接した位置にある、請求項７に記載の圧縮方法。
【請求項１０】
それぞれの画素に空間的に近接した位置にある前記第１の緑色チャネルの複数の画素は、少なくとも３つの画素を含む、請求項１に記載の圧縮方法。
【請求項１１】
前記カラー画像データは、Ｂａｙｅｒパターンに従ってモザイク処理されている、請求項１に記載の圧縮方法。
【請求項１２】
前記変換により、前記第１の緑色チャネルは前記第２の緑色チャネルから空間的相関除去されている、請求項１に記載の圧縮方法。
【請求項１３】
前記第１の緑色チャネルを圧縮するステップと、前記圧縮された第１の緑色チャネルを前記少なくとも１つのメモリデバイスに保存するステップとをさらに含む、請求項１に記載の圧縮方法。
【請求項１４】
前記赤色チャネルのそれぞれの画素値から、前記赤色チャネルのそれぞれの画素値に空間的に近接した位置にある前記第１の緑色チャネルおよび前記第２の緑色チャネルの１つまたは複数の画素値から導出された計算値を差し引くことにより、前記赤色チャネルを変換するステップと、
前記変換された赤色チャネルを圧縮するステップと、
前記青色チャネルのそれぞれの画素値から、前記青色チャネルのそれぞれの画素値に空間的に近接した位置にある前記第１の緑色チャネルおよび前記第２の緑色チャネルの１つまたは複数の画素値から導出された計算値を差し引くことにより、前記青色チャネルを変換するステップと、
前記変換された青色チャネルを圧縮するステップと、
前記変換され圧縮された赤色チャネルおよび青色チャネルを前記少なくとも１つのメモリデバイスに記憶するステップと、
をさらに含む、請求項１に記載の圧縮方法。
【請求項１５】
前記変換により、前記第１の緑色チャネルおよび前記第２の緑色チャネルの１つまたは複数は、前記赤色チャネルおよび前記青色チャネルから空間的相関除去される、請求項１４に記載の圧縮方法。
【請求項１６】
少なくとも１つのメモリデバイスと、
画像センサ上の入射光をカラー画像データに変換するよう構成された１つまたは複数の画像センサと、
画像処理モジュールと、を備え、
前記カラー画像データは、パターンに従ってモザイク処理されており、第１の緑色チャネルと第２の緑色チャネルと赤色チャネルと青色チャネルとを含む複数の空間インターリーブカラーチャネルそれぞれの複数の画素値を含んでおり、
前記画像処理モジュールは、
前記第２の緑色チャネルの複数の画素のそれぞれの画素に対して、それぞれの画素に空間的に近接した位置にある前記第１の緑色チャネルの複数の画素の値から導出された計算値を使用して、それぞれの画素に対応する初期値を修正することにより、少なくとも部分的に前記第２の緑色チャネルを変換し、
前記変換された第２の緑色チャネルを圧縮し、
前記変換され圧縮された第２の緑色を前記メモリデバイスに保存するよう構成されている、ビデオカメラ。
【請求項１７】
モザイクカラー画像データを処理するための処理装置であって、
少なくとも１つのメモリデバイスと、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサ内で実行する画像処理モジュールと、を備え、
前記画像処理モジュールは、
前記メモリデバイスから、第１の緑色チャネルと第２の緑色チャネルと赤色チャネルと青色チャネルとを含む複数の空間インターリーブカラーチャネルそれぞれの複数の画素値を含むカラー画像データにアクセスし、
前記第２の緑色チャネルの複数の画素のそれぞれの画素に対して、それぞれの画素に空間的に近接した位置にある前記第１の緑色チャネルの複数の画素の値から導出された計算値を使用して、それぞれの画素に対応する初期値を修正することにより、少なくとも部分的に前記第２の緑色チャネルを変換し、
前記変換された第２の緑色チャネルを圧縮するように構成されている、処理装置。
【請求項１８】
カラー画像データの復号方法であって、
前記カラー画像データの複数のカラーチャネルのうちの前記第２の緑色チャネルの符号化カラー画像データにアクセスするステップと、
前記アクセスされた第２の緑色チャネルのカラー画像データを復号するステップと、を含み、
前記符号化カラー画像データは、
前記第２の緑色チャネルの複数の画素のそれぞれの画素に対して、それぞれの画素に空間的に近接した位置にある、前記複数のカラーチャネルの前記第１の緑色チャネルの複数の画素の値から導出された計算値を使用して、それぞれの画素に対応する初期値を修正することにより、少なくとも部分的に前記第２の緑色チャネルを変換し、
前記変換された第２の緑色チャネルを圧縮することにより少なくとも部分的に符号化されている、復号方法。
【請求項１９】
前記復号ステップは、実質的に、変換操作を逆順に行うステップと、解凍操作を行うステップと、を含む、請求項１８に記載の復号方法。
【請求項２０】
実質的に変換操作を逆順に行うステップは、解凍操作の後に行われる、請求項１９に記載の復号方法。
【請求項２１】
実質的に変換操作を逆順に行うステップは、解凍操作の前に行われる、請求項１９に記載の復号方法。
【発明の詳細な説明】
【相互参照】
【０００１】
本願は、３５Ｕ．Ｓ．Ｃ１１９（ｅ）に基づいて、２０１３年２月１４日に出願された米国仮特許出願第６１／７６４，８２１号および２０１３年３月１２日に出願された米国仮特許出願第６１／７７８，３２５号の優先権の利益を主張するものである。上記特許出願それぞれの開示内容全体を参照によって本願明細書に引用したものとする。
【背景技術】
【０００２】
本発明は、例えば、静止画もしくは動画を撮るためのデジタルカメラに関し、特に、画像データを圧縮するデジタルカメラに関する。
【発明の概要】
【０００３】
現在市販されているデジタルビデオカメラの中には、高解像度画像センサを含み、高解像度のビデオを出力するものがあるが、そのようなカメラに使用されている画像処理および圧縮技術は、非常に非可逆的であり、そのために、上記ビデオカメラ市場のハイエンドモデルの仕様に合わせるには生画像データを過度に消失してしまう可能性がある。本明細書で開示されている実施形態の少なくとも１つの態様によれば、映画品質の解像度およびフレームレート（例えば、少なくとも約２ｋもしくは少なくとも約４ｋの解像度、および少なくとも毎秒約２３フレームのフレームレート）で、生もしくはほぼ生のビデオデータを取り込んで、圧縮し、保存することができるカメラによって、主要映画市場のような上記市場のよりハイエンドモデルの仕様に合ったビデオ品質を満たすことができる。生データの圧縮システムおよび圧縮方法の例は、米国特許第８，１７４，５６０号明細書に記載されており、この特許の内容全体を参照によって本願明細書に引用したものとする。
【０００４】
本開示の種々の実施形態の別の態様によれば、人の目は他のどの色よりも緑色の波長に敏感であるので、画像センサから出力された画像データを緑色の画像データに基づいて修正することにより、データの圧縮率を高め、さらに高品質のビデオ画像を生成することができる。このような技術の１つとして、データを圧縮する前に、検出された赤色光および／または青色光の強度から、検出された緑色光の強度を差し引く方法が挙げられる。例えば、本明細書でさらに詳述するように、モザイク（例えば、Ｂａｙｅｒパターン）画像データ内の赤色および／または青色の画像データを、モザイク画像データセット内の緑色データに基づいて修正することができる。このことにより、赤色および／または青色の画像データをより圧縮可能な形に変換することができる。
【０００５】
本開示の種々の実施形態のさらに別の態様によれば、緑色画像データの第１の部分を使用して緑色画像データの第２の部分を修正することで圧縮を改善することができる。例えば、モザイク生画像データ（例えば、Ｂａｙｅｒパターン画像データもしくは別のタイプのカラーフィルタアレイ［ＣＦＡ］を使用してフィルタリングされた画像データ）は、赤色チャネルと青色チャネル以外に、２つの緑色チャネルで構成されてもよい。上述したように、緑色チャネルデータを青色チャネルと赤色チャネルそれぞれから差し引くことにより、視覚的ロスがほとんどない、もしくは全くないように画像データの圧縮率を高めることができる。種々の実施形態によれば、赤色チャネルおよび青色チャネルの色および／または強度は緑色チャネルの色および／または強度と相関性があるので、この圧縮率向上は、少なくとも部分的に可能である。したがって、本明細書に記載されている方法に従って、赤色チャネルデータおよび／または青色チャネルデータから緑色チャネルデータを差し引くことで、色および／または強度のデータの一部の相関除去を行って圧縮率を高めることができる。
【０００６】
いくつかの実施例によれば、例えば、圧縮率を高めるために、緑色画像データが他の緑色画像データに基づいて修正されてもよい。例えば、Ｂａｙｅｒパターンデータの場合、第１の緑チャネルを使用して、第２の緑チャネルを予測することができる。例えば、第１の緑チャネルのデータを第２の緑チャネルのデータから差し引いて、差もしくは残差を符号化することによって、視覚的ロスがほとんどない、もしくは全くないように画像データの圧縮率を高めることができる。さらに、第２の緑チャネルデータから第１の緑チャネルデータを差し引くことにより、第１の緑チャネルと第２の緑チャネルとが互いに空間的に相関した状態で圧縮率を高めることができる。したがって、第２の緑チャネルデータから第１の緑チャネルデータを差し引くことにより、緑色画像データの少なくとも一部の相関除去を行って、さらに圧縮率を高めることができる。さらに、緑色画像データは、本質的に、赤色の面および青色の面というよりも画像細部を含む。本明細書で示されている実施形態は、少なくとも部分的には、本明細書に示されているいずれかのアルゴリズムのように注意深く設計されたアルゴリズムを使用して、別の緑チャネルを使用して１つの緑チャネルを符号化することで圧縮を向上させると同時に、許容レベルの画像細部を保存して映画品質の圧縮生画像データを実現することができるという認識に基づくものである。特定の実施例によれば、このような緑色画像データの修正は、画像データの圧縮率をさらに高めるために、任意の赤色データ修正技術／青色データ修正技術と共に行うことができる。いくつかの他の実施態様では、緑色データの修正は、赤色／青色データ修正の代わりに行われる。
【０００７】
また、上述の説明と同様に、緑色画像データを青色、赤色、および／または他の緑色の画像データから差し引くプロセスは、実施形態に応じて、非可逆圧縮アルゴリズム（例えば、少なくとも３：１、４：１、５：１、６：１、７：１、８：１、９：１、１０：１、１１：１、もしくは１２：１もしくはそれ以上の圧縮比）を適用した後に、逆順に行われてもよい。さらに、このような技術を組み込んだシステムおよび方法は、視覚的ロスレスなビデオ画像データを生成することができると同時に、このビデオ画像データの圧縮率を高めることができる。
【０００８】
一実施形態によれば、モザイクカラー画像データの圧縮方法であって、
ビデオカメラの１つまたは複数の画像センサによって取得されたモザイクカラー画像データであって、第１の緑色チャネルと第２の緑色チャネルと赤色チャネルと青色チャネルとを含む複数の空間インターリーブカラーチャネルそれぞれに対する複数の画素値を含むモザイクカラー画像データにアクセスするステップと、
第２の緑色チャネルの複数の画素のそれぞれの画素に対して、それぞれの画素に空間的に近接した位置にある第１の緑色チャネルの複数の画素の値から導出された計算値を使用して、それぞれの画素に対応する初期値を修正することにより、少なくとも部分的に第２の緑色チャネルを変換するステップと、
変換された第２の緑色チャネルを圧縮するステップと、
変換圧縮された第２の緑色チャネルを、圧縮された第１の緑色チャネルと赤色チャネルと青色チャネルと共にビデオカメラの少なくとも１つのメモリデバイスに保存するステップと、を含む圧縮方法が開示されている。
【０００９】
一態様によれば、前記変換ステップは、初期値から計算値を差し引くステップを含む。
【００１０】
別の態様によれば、計算値は、それぞれの画素に空間的に近接した位置にある第１の緑色チャネルの複数の画素の平均値を含む。
【００１１】
さらに別の態様によれば、それぞれの画素に空間的に近接した位置にある第１の緑色チャネルの複数の画素は、それぞれの画素の対角線上に隣接した少なくとも２つの画素を含む。
【００１２】
別の態様によれば、少なくとも２つの画素は、それぞれの画素の対角線上に隣接した第１の緑色チャネルの４つの画素を含む。
【００１３】
さらに別の態様によれば、それぞれの画素に空間的に近接した位置にある第１の緑色チャネルの複数の画素は、少なくとも２つの画素を含み、それぞれの画素はこの少なくとも２つの画素間に位置決めされる。
【００１４】
別の態様によれば、上記少なくとも２つの画素は、それぞれの画素に対して対角線上に対向する位置にある２つの画素を含む。
【００１５】
さらに別の態様によれば、上記少なくとも２つの画素は、それぞれの画素に対して対角線上に対向する位置にある第１の組の画素と、それぞれの画素に対して対角線上に対向する位置にある第２の組の画素と、を含む。
【００１６】
別の態様によれば、上記少なくとも２つの画素は、それぞれの画素の対角線上に隣接する。
【００１７】
さらに別の態様によれば、それぞれの画素に空間的に近接した位置にある第１の緑色チャネルの複数の画素は、少なくとも３つの画素を含む。
【００１８】
別の態様によれば、カラー画像データは、Ｂａｙｅｒパターンに従ってモザイク処理されている。
【００１９】
さらに別の態様によれば、前記変換により、第１の緑色チャネルは第２の緑色チャネルから空間的相関除去されている。
【００２０】
別の態様によれば、上記方法はさらに、第１の緑色チャネルを圧縮するステップと、圧縮された第１の緑色チャネルを少なくとも１つのメモリデバイスに保存するステップと、を含む。
【００２１】
さらに別の態様によれば、上記方法は、
赤色チャネルのそれぞれの画素値から、赤色チャネルのそれぞれの画素値に空間的に近接した位置にある第１の緑色チャネルおよび第２の緑色チャネルの１つまたは複数の画素値から導出された計算値を差し引くことにより、赤色チャネルを変換するステップと、
変換された赤色チャネルを圧縮するステップと、
青色チャネルのそれぞれの画素値から、青色チャネルのそれぞれの画素値に空間的に近接した位置にある第１の緑色チャネルおよび第２の緑色チャネルの１つまたは複数の画素値から導出された計算値を差し引くことにより、青色チャネルを変換するステップと、
変換された青色チャネルを圧縮するステップと、
変換され圧縮された赤色チャネルおよび青色チャネルを少なくとも１つのメモリデバイスに記憶するステップと、をさらに含む。
【００２２】
さらに別の態様によれば、前記変換により、第１の緑色チャネルおよび第２の緑色チャネルの１つまたは複数は、赤色チャネルおよび青色チャネルから空間的相関除去される。
【００２３】
別の実施形態によれば、
少なくとも１つのメモリデバイスと、
画像センサ上の入射光をカラー画像データに変換するよう構成された１つまたは複数の画像センサと、
画像処理モジュールと、を備え、
前記カラー画像データは、パターンに従ってモザイク処理されており、第１の緑色チャネルと第２の緑色チャネルと赤色チャネルと青色チャネルとを含む複数の空間インターリーブカラーチャネルそれぞれの複数の画素値を含んでおり、
前記画像処理モジュールは、
第２の緑色チャネルの複数の画素のそれぞれの画素に対して、それぞれの画素に空間的に近接した位置にある第１の緑色チャネルの複数の画素の値から導出された計算値を使用して、それぞれの画素に対応する初期値を修正することにより、少なくとも部分的に第２の緑色チャネルを変換し、
前記変換された第２の緑色チャネルを圧縮し、
前記変換され圧縮された第２の緑色チャネルをメモリデバイスに保存するように構成されている、ビデオカメラが開示されている。
【００２４】
別の実施形態によれば、モザイクカラー画像データを処理するための処理装置であって、
少なくとも１つのメモリデバイスと、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサ内で実行する画像処理モジュールと、を備え、
前記画像処理モジュールは、
前記メモリデバイスから、第１の緑色チャネルと第２の緑色チャネルと赤色チャネルと青色チャネルとを含む複数の空間インターリーブカラーチャネルそれぞれの複数の画素値を含むカラー画像データにアクセスし、
第２の緑色チャネルの複数の画素のそれぞれの画素に対して、それぞれの画素に空間的に近接した位置にある第１の緑色チャネルの複数の画素の値から導出された計算値を使用して、それぞれの画素に対応する初期値を修正することにより、少なくとも部分的に第２の緑色チャネルを変換し、
変換された第２の緑色チャネルを圧縮するように構成されている、処理装置が開示されている。
【００２５】
別の実施形態によれば、カラー画像データの復号方法であって、
カラー画像データの複数のカラーチャネルのうちの第２の緑色チャネルの符号化カラー画像データにアクセスするステップと、
前記アクセスされた第２の緑色チャネルのカラー画像データを復号するステップと、を含み、
前記符号化カラー画像データは、
第２の緑色チャネルの複数の画素のそれぞれの画素に対して、それぞれの画素に空間的に近接した位置にある第１の緑色チャネルの複数の画素の値から導出された計算値を使用して、それぞれの画素に対応する初期値を修正することにより、少なくとも部分的に第２の緑色チャネルを変換し、変換された第２の緑色チャネルを圧縮することにより少なくとも部分的に符号化されている、復号方法が開示されている。
【００２６】
一態様によれば、復号ステップは、実質的に、変換操作を逆順に行うステップと、解凍操作を行うステップとを含む。
【００２７】
別の態様によれば、実質的に変換操作を逆順に行うステップは、解凍操作の後に行われる。
【００２８】
さらに別の態様によれば、実質的に変換操作を逆順に行うステップは、解凍操作の前に行われる。
【図面の簡単な説明】
【００２９】
【図１】一実施形態による、ビデオ画像データを処理するためのハードウェアを含み、および／または一実施形態のビデオ画像データを処理する方法を実行するように構成されたシステムを示したブロック図である。
【００３０】
【図２】一実施形態による、図１に概略的に示されたカメラの筐体の任意の形態を示した図である。
【００３１】
【図３】種々の実施形態による図１に示されているシステムと共に使用されるＢａｙｅｒパターンフィルタを有する画像センサの配置図である。
【００３２】
【図４】種々の実施形態による、図１に示されているシステムで使用される画像処理モジュールの概略ブロック図である。
【００３３】
【図５】種々の実施形態による、図３の画像センサの緑色センサセルからの緑色画像データの配置図である。
【００３４】
【図６】種々の実施形態による、元の緑色画像データのいくつかを削除する任意プロセスを行った後の図５の残りの緑色画像データの配置図である。
【００３５】
【図７】種々の実施形態による、図１の画像処理モジュールで処理するために編成された図５の赤色、青色、緑色の画像データの配置図である。
【００３６】
【図８】種々の実施形態による、図１に示されているシステムと共に使用される画像データ変換技術を示したフローチャートである。
【００３７】
【図８Ａ】種々の実施形態による、図１に示されているシステムと共に使用される図８の画像データ変換技術の変形形態を示したフローチャートである。
【００３８】
【図９】種々の実施形態による図８の画像変換プロセスによって得られた青色画像データの配置図である。
【００３９】
【図１０】種々の実施形態による、図８の画像変換プロセスによって得られた赤色画像データの配置図である。
【００４０】
【図１１】種々の実施形態によるガンマ補正のために画像データに適用される任意の変換例を示した図である。
【００４１】
【図１２】種々の実施形態による、画像データを解凍およびデモザイク処理するために図１のシステムと共に使用される制御ルーチンのフローチャートである。
【００４２】
【図１２Ａ】種々の実施形態による、図１に示されているシステムと共に使用される図１２の画像データ変換技術の変形形態を示したフローチャートである。
【００４３】
【図１３】種々の実施形態による図１２のフローチャートに従って解凍およびデモザイク処理された緑色画像データの配置図である。
【００４４】
【図１４】種々の実施形態による、図１２のフローチャートに従って解凍およびデモザイク処理された図１３の元の緑色画像データの２分の１の配置図である。
【００４５】
【図１５】種々の実施形態による、図１２のフローチャートに従って解凍された青色画像データの配置図である。
【００４６】
【図１６】種々の実施形態による、図１２のフローチャートに従ってデモザイク処理された図１５の青色画像データの配置図である。
【００４７】
【図１７】種々の実施形態による、緑色画像データ修正を伴い、隣接ピクセル選択を含む画像変換プロセスの適用例を示した図である。
【００４８】
【図１８】種々の実施形態による、図１に示されているシステムと共に使用される緑色画像データの修正を伴う画像データ変換技術を示したフローチャートである。
【００４９】
【図１９】種々の実施形態による、画像のエッジの画像データに対する隣接ピクセル選択を含む画像変換プロセスの適用例を示した図である。
【００５０】
【図２０】種々の実施形態による、画像データを解凍および再構成するために図１のシステムと共に使用される制御ルーチンのフローチャートである。
【００５１】
【図２１】種々の実施形態による、特定の実施形態の画像データ変換技術を逆順に実行するためのサブシステム例を示した図である。
【発明を実施するための形態】
【００５２】
図１は、動画用ビデオカメラに即して説明した画像検出モジュール、画像処理モジュール、および画像圧縮モジュールを有するカメラの概略図である。本明細書で開示されている実施形態は、この状況において特定の有用性を有するので、Ｂａｙｅｒパターンフィルタを含む１つのセンサデバイスを有するビデオカメラに即して説明されている。しかし、本明細書に示されている実施形態および本発明は、異なる画像フォーマットタイプで動作し、静止画および／または動画用に構成された他のタイプの画像センサ（例えば、ＣＭＹ  Ｂａｙｅｒパターンおよび他の非Ｂａｙｅｒパターン）、他の数の画像センサを有するカメラにも適用可能である。例えば、本明細書に開示されている実施形態は、Ｂａｙｅｒパターンもしくは異なる非Ｂａｙｅｒパターンを有するカラーフィルタアレイ（ＣＦＡ）を使用して取り込まれた画像データ上で実行されてもよい。したがって、本明細書に開示されている実施形態は、実施形態例であるが非限定的な実施形態であり、つまり、本明細書に開示されている本発明は、開示されている実施形態例に限定されないことは理解されたい。
【００５３】
さらに図１を参照すると、カメラ１０は、ビデオ画像データを検出し、処理し、任意で保存し、および／または再生するように構成されたシステム１４を支持する構造である本体もしくは筐体１２を含むことができる。例えば、システム１４は、光学ハードウェア１６と、画像センサ１８と、画像処理モジュール２０と、圧縮モジュール２２と、記憶装置２４とを含むことができる。任意で、カメラ１０はさらに、監視モジュール２６と、再生モジュール２８と、ディスプレイ３０とを含むことができる。
【００５４】
図２は、カメラ１０の非限定的な実施形態例を示した図である。図２に示されているように、光学ハードウェア１６は、筐体１２によって、筐体１２の表面に露出するように支持される。いくつかの実施形態では、システム１４は筐体１２内で支持される。例えば、画像センサ１８、画像処理モジュール２０、および圧縮モジュール２２が筐体１２内に収容される。記憶装置２４は、筐体１２内に取り付けられる。さらに、いくつかの実施形態では、記憶装置２４は、筐体１２の外面に取り付けられ、任意のタイプの周知のコネクタもしくはケーブルによってシステム１４の残りの部分に接続される。さらに、記憶装置２４は可撓ケーブルによって筐体１２に接続されるので、記憶装置２４は筐体１２とは別個に若干動くことができる。例えば、このような可撓ケーブル接続を使用して、記憶装置２４を使用者のベルトに装着することができるので、筐体１２の総重量を低減することができる。さらに、いくつかの実施形態では、筐体は、内部および筐体の外面に取り付けられる１つまたは複数の記憶装置２４を含む。さらに、筐体１２は、監視モジュール２６および再生モジュール２８を支持することもできる。さらに、いくつかの実施形態では、ディスプレイ３０は、筐体１２の外面に取り付けられるような構造にしてもよい。
【００５５】
光学ハードウェア１６は、画像センサ１８に到達した画像に焦点を合わせる構造である少なくとも１つのレンズを有するレンズ系の形にすることができる。光学ハードウェア１６は、任意で、可変ズーム、可変絞り、および可変焦点を提供するマルチレンズ系の形にすることができる。さらに、光学ハードウェア１６は、例えば、これに限定されないが、筐体１２によって支持され、複数の異なるタイプのレンズ系を受容する構造であるレンズソケットの形にしてもよく、光学ハードウェア１６は、さまざまなサイズのレンズ系（５０〜１００ｍｍ（Ｆ２．８）ズームレンズ、１８〜５０ｍｍ（Ｆ２．８）ズームレンズ、３００ｍｍ（Ｆ２．８）レンズ、１５ｍｍ（Ｆ２．８）レンズ、２５ｍｍ（Ｆ１．９）レンズ、３５ｍｍ（Ｆ１．９）レンズ、５０ｍｍ（Ｆ１．９）レンズ、８５ｍｍ（Ｆ１．９）レンズ、および／または任意の他のレンズを含む）を受容する構造であるソケットを含む。上述したように、光学ハードウェア１６は、取り付けられるレンズの種類に関係なく、画像センサ１８の感光面で像を結ぶことができる構造にすることができる。
【００５６】
画像センサ１８は、例えば、これらに限定されないが、ＣＣＤデバイス、ＣＭＯＳデバイス、Ｆｏｖｅｏｎ（登録商標）センサのような垂直積層型ＣＭＯＳデバイス、もしくはセンサ間で光を分割するプリズムを使用したマルチセンサアレイのような任意のタイプのビデオ検出装置としてもよい。いくつかの実施形態では、画像センサ１８は、約１２００万のフォトセルを有するＣＭＯＳデバイスを含むことができる。しかし、他のサイズのセンサを使用してもよい。いくつかの形態では、カメラ１０は、「２ｋ」（例えば、２０４８×１１５２ピクセル）、「４ｋ」（例えば、４０９６×２５４０ピクセル）、「４．５ｋ」水平解像度、「５ｋ」水平解像度（例えば、５１２０×２７００ピクセル）、「６ｋ」水平解像度（例えば、６１４４×３１６０ピクセル）もしくはそれ以上の解像度のビデオ（例えば、圧縮生ビデオ）を記録および／または出力するように構成されてもよい。いくつかの実施形態では、カメラは、少なくとも任意の上記解像度の範囲の水平解像度を有する圧縮生画像データを記録するように構成されてもよい。別の実施形態では、解像度は、少なくとも１つの上記値（もしくは上記値間の何らかの値）と約６．５ｋ、約７ｋ、約８ｋ、約９ｋ、もしくは約１０ｋ（もしくはこれらの間の何らかの値）との間の値である。本明細書で使用される場合、ｘｋ（例えば、上述の２ｋや４ｋ）の形で示されている用語では、「ｘ」の数はおおよその水平解像度を指している。したがって、「４ｋ」解像度は、約４０００以上の水平ピクセルに相当し、「２ｋ」は約２０００以上の水平ピクセルに相当する。現在市販されているハードウェアを使用すれば、センサは約０．５インチ（８ｍｍ）の小型サイズにすることができるが、約１．０インチ以上も可能である。さらに、画像センサ１８は、センサ１８の所定部分のみを選択的に出力することによりさまざまな解像度を実現することができるように構成されてもよい。例えば、センサ１８および／または画像処理モジュールは、ユーザが画像データ出力の解像度を確認することができるように構成されてもよい。
【００５７】
カメラ１０はさらに、センサ１８の出力をダウンサンプルし、その後、処理することによって、２ｋ、１０８０ｐ、７２０ｐ、もしくは任意の他の解像度のビデオ出力を生成するように構成されてもよい。例えば、センサ１８からの画像データを「ウィンドウ表示」することにより、出力画像のサイズを縮小して、読み出し速度をより速くすることができる。しかし、他のサイズのセンサを使用してもよい。さらに、カメラ１０は、センサ１８の出力をアップサンプルして、より高解像度のビデオ出力を生成するように構成されてもよい。
【００５８】
図１および図３を参照すると、いくつかの実施形態では、センサ１８はＢａｙｅｒパターンフィルタを含むことができる。そのため、センサ１８は、チップセット（図示せず）によって、画像センサ１８の個々のフォトセルによって検出された赤色、緑色、もしくは青色の光の大きさを表すデータを出力する。図３は、センサ１８のＢａｙｅｒパターン出力を概略的に示した図である。いくつかの実施形態では、例えば、図３に示されているように、Ｂａｙｅｒパターンフィルタは、赤色画素の数および青色画素の数の２倍の数の緑色画素を有する。画像センサ１８のチップセットを使用して、画像センサのそれぞれの画素の電荷を読み取って、周知のＲＧＢフォーマット出力の値のストリームを出力することができる。
【００５９】
さらに図４を参照すると、画像処理モジュール２０は、任意で、任意の周知の方法で画像センサ１８からデータストリームをフォーマットするように構成される。いくつかの実施形態では、画像処理モジュール２０は、緑色画像データ、赤色画像データ、および青色画像データを３つもしくは４つの別個のデータ編集に分割するように構成されてもよい。例えば、画像処理モジュール２０は、赤色データを１つの赤色データ要素に分割し、青色データを１つの青色データ要素に分割し、緑色データを１つの緑色データ要素に分割する。例えば、図４を参照すると、画像処理モジュール２０は、赤色画像データ処理モジュール３２と、青色画像データ処理モジュール３４と、緑色画像データ処理モジュール３６とを含むことができる。
【００６０】
しかし、上述したように、図３に示されているＢａｙｅｒパターンデータは、他の２つの色の数の２倍の数の緑色ピクセルを有する。図５は、青色データと赤色データが除去されて、元の緑色画像データのみを残したデータ成分を示した図である。
【００６１】
いくつかの実施形態では、カメラ１０は、緑色画像データのいくつかを削除もしくは省略するように構成されてもよい。例えば、いくつかの実施形態では、画像処理モジュール２０は、緑色画像データの総量が青色画像データおよび赤色画像データの量と同じになるように、緑色画像データの１／２を削除するように構成されてもよい。例えば、図６は、画像処理モジュール２０が緑色画像データの１／２を削除した後の残りのデータを示した図である。図６に示されている実施形態では、ｎ−３、ｎ−１、ｎ＋１、およびｎ＋３の行が削除されている。これは、削除することができる緑色画像データのパターンのほんの一例に過ぎない。緑色画像データの他のパターンおよび他の量が削除されてもよい。
【００６２】
いくつかの代替形態では、カメラ１０は、赤色画像データおよび青色画像データが緑色画像データに基づいて変換された後に、緑色画像データの１／２を削除するように構成されてもよい。この任意の技術については、緑色画像データ値の他の色の画像データ値からの減算の説明に沿って後述する。
【００６３】
任意で、画像処理モジュール２０は、緑色画像データを選択的に削除するように構成されてもよい。例えば、画像処理モジュール２０は、どの緑色画像データを削除すればよいかを選択的に決定するように構成された削除分析モジュール（図示せず）を含んでもよい。例えば、この削除モジュールは、ある行パターンを緑色画像データから削除することによりモアレ縞のようなエイリアシングアーチファクトもしくは他の視認可能なアーチファクトが発生したか否かを判断するように構成されてもよい。さらに、削除モジュールは、このようなアーチファクトが発生するリスクが少ない緑色画像データの削除パターンを選択するように構成されてもよい。例えば、削除モジュールは、画像センサ１８によって取り込まれた画像が複数の平行な横線を特徴とした画像特徴を含むと判断した場合に、交互の縦列の緑色画像データ削除パターンを選択するように構成されてもよい。この削除パターンは、画像内で検出された横線に平行な画像データの交互の線の削除パターンにより生じる恐れのあるモアレ縞のようなアーチファクトを低減もしくは除去することができる。
【００６４】
しかし、これは、削除モジュールによって使用できる画像特徴および削除パターンのタイプのほんの一例であり、非限定的な例である。削除モジュールはさらに、他の画像特徴を検出して、他の画像データ削除パターン、例えば、これに限定されないが、行を交互に削除するパターン、対角線を交互に削除するパターン、もしくは他のパターンを使用するように構成されてもよい。さらに、削除モジュールは、他の画像データ（例えば、赤色画像データおよび青色画像データもしくは使用されるセンサのタイプに応じて他の画像データ）の一部を削除するように構成されてもよい。
【００６５】
さらに、カメラ１０は、どの画像が削除されたかを示すデータフィールドを画像データに挿入するように構成されてもよい。例えば、これに限定されないが、カメラ１０は、ビデオクリップの各「フレーム」内でどのデータが削除されたかを示すデータフィールドを、記憶装置２４に保存されている任意のビデオクリップの先頭に挿入するように構成されてもよい。いくつかの実施形態では、カメラは、どの画像データが削除されたかを示すデータフィールドをセンサ１８によって取り込まれた各フレームに挿入するように構成されてもよい。例えば、いくつかの実施形態では、画像処理モジュール２０がある削除パターンで緑色画像データの１／２を削除するように構成される場合、データフィールドは画像データが削除されたか否かを示す１ビットデータフィールドと同じサイズにすることができる。画像処理モジュール２０は１つのパターンのみでデータを削除するように構成されるので、１ビットは、どのデータが削除されたかを示すのに十分なサイズである。
【００６６】
いくつかの実施形態では、上述したように、画像処理モジュール２０は、２つ以上のパターンで画像データを選択的に削除するように構成されてもよい。したがって、複数の異なる画像データ削除パターンのうちのどのパターンが使用されたかを示すのに十分な数の値を含む画像データ削除フィールドは、より大きなサイズになる可能性がある。このデータフィールドは、残りの画像データが対応する空間位置を決定するダウンストリームコンポーネントおよび／またはプロセスによって使用されてもよい。
【００６７】
いくつかの実施形態では、画像処理モジュールは、生緑色画像データ、例えば、図５に示されているデータの全てを保持するように構成されてもよい。このような実施形態では、画像処理モジュールは、１つまたは複数の緑色画像データ処理モジュールを含むことができる。
【００６８】
上述したように、周知のＢａｙｅｒパターンフィルタには、赤色画素の数および青色画素の数の２倍の数の緑色画素が存在する。すなわち、赤色画素はＢａｙｅｒパターンアレイ全体の２５％を構成し、青色画素はＢａｙｅｒパターンアレイの２５％に相当し、緑色画素はＢａｙｅｒパターンアレイの画素の５０％を構成する。したがって、いくつかの実施形態では、緑色画像データの全てが保持される場合、画像処理モジュール２０は、第２の緑色データ画像処理モジュール３８を含むことができる。そのため、第１の緑色データ画像処理モジュール３６は、緑色画素の半分を処理し、第２の緑色データ画像処理モジュール３８は、残りの緑色画素を処理することができる。しかし、本発明は、他のタイプのパターン、例えば、これに限定されないが、ＣＭＹおよびＲＧＢＷと共に使用されてもよい。
【００６９】
図７は、モジュール３２、モジュール３４、モジュール３６、およびモジュール３８（図４）によって処理される赤色データ成分、青色データ成分、および２つの緑色データ成分の概略図である。この形態は、これらのモジュールがほぼ同じ量のデータを処理しているので、これらのモジュール個々のサイズおよび構造がほぼ同じであることから、さらに利点となる。さらに、画像処理モジュール２０は、（モジュール３６およびモジュール３８の両方を使用して）緑色画像データの全てが処理されるモードと、緑色画像データの１／２が削除されるモード（モジュール３６およびモジュール３８の一方のみを使用する）との間で選択的に切り替えられる。しかし、他の構造を使用してもよい。
【００７０】
さらに、いくつかの実施形態では、画像処理モジュール２０は、他のモジュールを含み、および／または他のプロセス、例えば、これに限定されないが、ガンマ補正プロセス、ノイズ除去プロセスなどを実行するように構成されてもよい。
【００７１】
さらに、いくつかの実施形態では、画像処理モジュール２０は、青色画素および／または赤色画素の値から緑色画素の値を差し引くように構成されてもよい。そのため、いくつかの実施形態では、画像センサ１８によって特定の色が検出された場合、対応する赤色画素もしくは青色画素は０に減らされる。例えば、多くの写真には、広い面積の黒、白、またはグレー、あるいはグレーから赤色、もしくは青色にシフトされた色が存在する場合がある。したがって、画像センサ１８の対応ピクセルがグレーの領域を感知した場合、緑色、赤色、および青色の大きさはほぼ等しくなる。したがって、緑色値が赤色値および青色値から差し引かれた場合、赤色値および青色値は０もしくは０に近くなる。つまり、次の圧縮プロセスにおいて、黒色、白色、もしくはグレーの領域を感知したピクセルではより多くの０値が生成され、得られたデータはより圧縮しやすくなる。さらに、他の色の一方もしくは両方から緑色を差し引くことにより、他の理由から、得られた画像データがより圧縮しやすくなることもある。
【００７２】
この技術により、より高い有効圧縮比を実現し、さらに圧縮比と元の画像データのエントロピーとの関係により視覚的ロスレスの状態を保持することができる。例えば、画像のエントロピーは、画像内のランダムネスの程度に関係している。例えば、１つの色の画像データを他の色の画像データから差し引くことでランダムネスが低減され、ひいては、それらの色の画像データのエントロピーを低減することができ、その結果、データをロスが少なくなるように、より高い圧縮比で圧縮することができる。典型的には、画像は、ランダムな色値の集合ではない。むしろ、周辺画素間に、ある程度の相関性がある場合が多い。したがって、このような減算技術は、画素の相関性を使用して、より望ましい圧縮を実現することができる。圧縮量は、少なくとも一部は、画像内の元の情報のエントロピーによって決まる。
【００７３】
いくつかの実施形態では、赤色ピクセルもしくは青色ピクセルから差し引かれた大きさは、該赤色ピクセルもしくは青色ピクセルに隣接する緑色ピクセルから出力された値の大きさとすることができる。さらに、いくつかの実施形態では、赤色画素もしくは青色画素から差し引かれた緑色画素の大きさは、周囲の緑色画素の平均値から導かれてもよい。この技術について、以下でより詳細に説明する。しかし、他の技術を使用してもよい。
【００７４】
任意で、画像処理モジュール２０は、緑色画像データを他の色から選択的に差し引くように構成されてもよい。例えば、画像処理モジュール２０は、緑色画像データを他の色のいずれかの画像データの一部から差し引くことで、より望ましい圧縮率を実現できるか否かを決定するように構成されてもよい。この形態では、画像処理モジュール２０は、画像データのどの部分が修正されたか（例えば、緑色画像データ減算によって）、またどの部分がそのような修正が成されていないかを示すフラグを画像データに挿入するように構成されてもよい。このフラグを使用して、ダウンストリームデモザイク処理／再構築成分は、このデータフラグの状態に基づいて選択的に緑色画像値を他の色の画像データに再び足すことができる。
【００７５】
任意で、画像処理モジュール２０はさらに、赤色データおよび青色データの値を丸めるように構成されたデータ整理モジュール（図示せず）を含んでもよい。例えば、緑色の大きさを差し引いた後、赤色データもしくは青色データは０に近くなる（例えば、高解像度システムの場合、０〜２５５以上の大きさの８ビットスケールで１もしくは２の範囲内）。例えば、センサ１８は、０〜４０９５のスケールで赤色データ、青色データ、および緑色データを出力する１２ビットセンサとすることができる。丸めモジュールによるデータの丸めもしくはフィルタリングは、所望の効果を達成できるように調整されてもよい。例えば、丸め処理は、ロスレスな出力が望ましい場合にはより少ない桁数に丸められ、多少のロスもしくはロスのある出力が許容可能である場合にはより多い桁数に丸められる。何度か丸め処理を行って、もっと視覚的ロスレスな出力を生成するようにしてもよい。例えば、８ビットスケールでは、２もしくは３以下の絶対値を有する赤色データもしくは青色データを０に丸めて、さらに視覚的ロスレスな出力を生成することができる。さらに、１２ビットスケールでは、１０もしくは２０以下の絶対値を有する赤色データもしくは青色データを０に丸めて、さらに視覚的ロスレスな出力を生成することができる。
【００７６】
さらに、０に丸められ、もしくは他の値に丸められ、さらに視覚的ロスレスな出力を生成することができる値の大きさは、光学ハードウェア１６、画像センサ１８、画像センサの解像度、画像センサ１８の色解像度（ビット）、フィルタリングのタイプ、画像処理モジュール２０によって実行されるアンチエイリアシス技術もしくは他の技術、圧縮モジュール２２によって実行される圧縮技術、および／またはカメラ１０の他のパラメータもしくは特性などを含むシステムの構成によって決まる。
【００７７】
上述したように、いくつかの代替形態では、カメラ１０は、赤色画像データおよび青色画像データが緑色画像データに基づいて変換された後に、緑色画像データの１／２を削除するように構成されてもよい。例えば、これに限定されないが、処理モジュール２０は、周辺緑色データ値の大きさの平均値が赤色データ値および青色データ値から差し引かれた後に、緑色画像データの１／２を削除するように構成されてもよい。この緑色データの削減により、関連ハードウェアのスループット要件を低減することができる。さらに、図１４および図１６を参照しながらより詳細に後述するように、残りの緑色画像データを使用して赤色画像データおよび青色画像データを再構成することができる。
【００７８】
上述したように、カメラ１０はさらに、圧縮モジュール２２を含むことができる。圧縮モジュール２２は、別個のチップの形態にしてもよいし、ソフトウェアおよび別のプロセッサを使用して実装されてもよい。例えば、圧縮モジュール２２は、ＬＰＥＧ２０００規格に従う圧縮技術もしくは他の圧縮技術を実行する市販の圧縮チップの形態としてもよい。いくつかの実施形態では、画像処理モジュール２０および／または圧縮モジュール２２は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、これらの組み合わせなどで実装される。
【００７９】
圧縮モジュール２２は、画像処理モジュール２０からのデータ上で任意のタイプの圧縮プロセスを実行するように構成されてもよい。いくつかの実施形態では、圧縮モジュール２２は、画像処理モジュール２０によって実行された技術を利用した圧縮技術を実行する。例えば、上述したように、画像処理モジュール２０は、緑色データ値の大きさを差し引くことによって赤色データ値および青色データ値の大きさを小さくして、その結果、より多くの０の値および他の効果が得られるように構成されてもよい。さらに、画像処理モジュール２０は、画像データのエントロピーを使用する生データの操作を実行することができる。したがって、圧縮モジュール２２によって実行される圧縮技術は、０の文字列がより多く存在することにより、出力される圧縮データのサイズを低減することができるタイプの圧縮技術である。
【００８０】
さらに、圧縮モジュール２２は、画像処理モジュール２０からの画像データを圧縮して、視覚的ロスレスな出力を生成するように構成されてもよい。例えば、まず、圧縮モジュールは、例えば、これらに限定されないが、ＪＰＥＧ２０００、ＭｏｔｉｏｎＪＰＥＧ、任意のＤＣＴベースのコーデック、ＲＧＢ画像データを圧縮するように設計された任意のコーデック、Ｈ．２６４、ＭＰＥＧ４、Ｈｕｆｆｍａｎ、もしくは他の技術のような任意の周知の圧縮技術を適用するように構成されてもよい。
【００８１】
使用される圧縮技術のタイプに応じて、圧縮技術の種々のパラメータは、視覚的ロスレスな出力を生成するように設定可能である。例えば、上述の圧縮技術の多くは、さまざまな圧縮率に調整可能であり、解凍した時に得られた画像は、低い圧縮率にするほど高画質になり、高い圧縮率にするほど低画質になる。したがって、圧縮モジュールは、視覚的ロスレスな出力を生成するように画像データを圧縮するように構成されてもよいし、ユーザが視覚的ロスレスな出力を生成することができるように種々のパラメータを調整することができるように構成されてもよい。例えば、圧縮モジュール２２は、約６：１、７：１、８：１、もしくはそれ以上の圧縮比で画像データを圧縮するように構成されてもよい。いくつかの実施形態では、圧縮モジュール２２は、画像データを１２：１以上の比率に圧縮するように構成されてもよい。
【００８２】
さらに、圧縮モジュール２２は、圧縮モジュール２２によって実現される圧縮比をユーザが調整できるように構成されてもよい。例えば、カメラ１０は、圧縮モジュール２２に圧縮比を変更させるコマンドをユーザが入力できるユーザインターフェースを含むことができる。したがって、いくつかの実施形態では、カメラ１０は可変圧縮を行うことができる。
【００８３】
本明細書で使用される場合、「視覚的ロスレス」とは、同じ表示装置で元の（圧縮されていない）画像データと並べて比較した場合に、当業者が画像の目視検査のみでどちらの画像が元の画像であるかを妥当なレベルの正確さで判断できない出力を含むものとする。
【００８４】
さらに図１を参照すると、カメラ１０はさらに記憶装置２４を含むことができる。記憶装置は、例えば、これらに限定されないが、ハードディスク、フラッシュメモリ、もしくは任意のタイプのメモリデバイスのような任意のタイプのデジタルストレージの形態にしてもよい。いくつかの実施形態では、記憶装置２４のサイズは、１２メガピクセル解像度で少なくとも約３０分のビデオ、１２ビットカラー解像度、および６０フレーム毎秒に対応する圧縮モジュール２２からの画像データを保存するのに十分な大きさとすることができる。しかし、記憶装置２４は、任意のサイズを有することができる。
【００８５】
いくつかの実施形態では、記憶装置２４は、筐体１２の外面に取り付けられてもよい。さらに、いくつかの実施形態では、記憶装置２４は、例えば、これらに限定されないが、ＩＥＥＥ１３９４、ＵＳＢ２．０、ＩＤＥ、ＳＡＴＡなどの標準ＣＯＭポートを介してシステム１４の他の部品に接続されてもよい。さらに、いくつかの実施形態では、記憶装置２４は、ＲＡＩＤプロトコル下で動作する複数のハードドライブを備えてもよい。しかし、任意のタイプの記憶装置を使用してもよい。
【００８６】
さらに図１を参照すると、上述したように、いくつかの実施形態では、システムは、監視モジュール２６と、ユーザが操作時に画像センサ１８によって取り込まれたビデオ画像を見ることができる表示装置３０とを含むことができる。いくつかの実施形態では、画像処理モジュール２０は、解像度を落とした画像データを監視モジュール２６に出力するように構成されたサブサンプリングシステムを含むことができる。例えば、このようなサブサンプリングシステムは、２ｋ、１０８０ｐ、７２０ｐ、もしくは任意の他の解像度をサポートするためにビデオ画像データを出力するように構成されてもよい。いくつかの実施形態では、デモザイク処理に使用されるフィルタは、さらにダウンサンプリングフィルタリングを実行するように設計され、ダウンサンプリングとフィルタリングとが同時に実行されてもよい。監視モジュール２６は、画像処理モジュール２０からのデータに対して任意のタイプのデモザイク処理を実行するように構成されてもよい。その後、監視モジュール２６は、ディスプレイ３０にデモザイク処理された画像データを出力することができる。
【００８７】
ディスプレイ３０は、任意のタイプのモニタ装置とすることができる。例えば、これに限定されないが、ディスプレイ３０は、筐体１２によって支持される４インチＬＣＤパネルとすることができる。例えば、いくつかの実施形態では、ディスプレイ３０は、ユーザが筐体１２に対して任意の角度でディスプレイ３０を見ることができるように、ディスプレイ３０を筐体１２に対して任意の位置に調整することができるような構造である無限に調整可能なマウントに接続されてもよい。いくつかの実施形態では、ディスプレイ３０は、例えば、ＲＧＢもしくはＹＣＣフォーマットのビデオケーブルのような任意のタイプのビデオケーブルによって監視モジュールに接続されてもよい。
【００８８】
任意で、再生モジュール２８は、記憶装置２４からデータを受信して、画像データの解凍およびデモザイク処理を行って、その後、画像データをディスプレイ３０に出力するように構成されてもよい。いくつかの実施形態では、監視モジュール２６および再生モジュール２８は、中間のディスプレイコントローラ（図示せず）を介してディスプレイに接続されてもよい。そのため、ディスプレイ３０は、単一のコネクタによってディスプレイコントローラに接続される。ディスプレイコントローラは、監視モジュール２６もしくは再生モジュール２８のいずれかからのデータをディスプレイ３０に転送するように構成されてもよい。
【００８９】
図８は、カメラ１０による画像データの処理を示したフローチャート５０を含む。いくつかの実施形態では、フローチャート５０は、カメラ１０内の記憶装置２４もしくは別の記憶装置（図示せず）のようなメモリデバイスに記憶される制御ルーチンを表すことができる。さらに、中央処理ユニット（ＣＰＵ）（図示せず）は、制御ルーチンを実行するように構成される。フローチャート５０に対応する方法の以下の説明は、ビデオ画像データの単一フレームの処理に即して説明されている。したがって、技術は単一の静止画像の処理に適用できる。これらのプロセスは、例えば、１２より大きなフレームレート、および２０、２３．９８、２４、２５、２９．９７、３０、４７．９６．４８．５０、５９．９４、６０、１２０、２５０フレーム毎秒もしくはこれらのフレームレートの範囲の他のフレームレートもしくはそれ以上のフレームレートの連続ビデオの処理にも適用可能である。
【００９０】
さらに図８を参照すると、制御ルーチンは、操作ブロック５２で開始される。操作ブロック５２において、カメラ１０はセンサデータを取得することができる。例えば、図１を参照すると、Ｂａｙｅｒ  Ｓｅｎｓｏｒおよびチップセットを含むことができる画像センサ１８は、画像データを出力することができる。
【００９１】
例えば、これに限定されないが、図３を参照すると、画像センサは、受光面にＢａｙｅｒパターンフィルタを有するＣＭＯＳデバイスを備えることができる。したがって、光学ハードウェア１６からの焦点画像は、画像センサ１８のＣＭＯＳデバイス上のＢａｙｅｒパターンフィルタに焦点が合わせられる。図３は、ＣＭＯＳデバイス上のＢａｙｅｒパターンフィルタの配列によって作成されたＢａｙｅｒパターンの一例を示した図である。
【００９２】
図３では、列ｍはＢａｙｅｒパターンの左端から４列目であり、行ｎはＢａｙｅｒパターンの上から４行目となる。残りの列および行は、列ｍおよび行ｎに対して表示される。しかし、このレイアウトは、例示のために任意で選ばれたものに過ぎず、本明細書に開示されている実施形態もしくは本発明のいずれをも制限するものではない。
【００９３】
上述したように、周知のＢａｙｅｒパターンフィルタは青色画素および赤色画素の２倍の数の緑色画素を含む場合が多い。図５のパターンでは、ｎ−３、ｎ−１、ｎ＋１、およびｎ＋３の行には青色画素のみが現れる。ｎ−２、ｎ、ｎ＋２、およびｎ＋４の行には赤色画素のみが現れる。しかし、緑色画素は、赤色画素および青色画素が混ざった状態で全ての行および列に現れる。
【００９４】
したがって、操作ブロック５２では、画像センサ１８から出力された赤色、青色、緑色の画像データは、画像処理モジュール２０によって受信され、図７に示されているような別個の色データ成分に編成される。図７に示されているように、また図４に関して上述したように、画像処理モジュール２０は、赤色、青色、および緑色の画像データを４つの別個の成分に分割することができる。図７は、２つの緑色成分（緑色１および緑色２）と、青色成分と赤色成分とを示している。しかし、これは画像センサ１８からの画像データを処理する方法の一例に過ぎない。さらに、上述したように、画像処理モジュール２０は、任意で、緑色画像データの１／２を任意にもしくは選択的に削除することができる。
【００９５】
操作ブロック５２の後、フローチャート５０は操作ブロック５４に進むことができる。操作ブロック５４では、画像データがさらに処理される。例えば、任意で、得られたデータ（例えば、緑色１、緑色２、図９の青色画像データ、および図１０の赤色画像データ）のいずれか１つがさらに処理されてもよいし、もしくは全てがさらに処理されてもよい。
【００９６】
例えば、画像データは、他の方法でプレエンファシスされてもよいし、もしくは処理されてもよい。いくつかの実施形態では、画像データはより（数学的に）非線形になるように処理されてもよい。いくつかの圧縮アルゴリズムは、圧縮の前に画素上でこのような線形化処理を実行するのが有益である。しかし、他の技術を使用してもよい。例えば、基本的に強調を行わない線形曲線を用いて画像データを処理することができる。
【００９７】
例えば、画像データは、線形光センサデータを表す場合もあり、プリエンファシス曲線は、圧縮アルゴリズムを適用した時に、より暗い領域の細部を保持するように設計されてもよい。例えば、プレエンファシス機能は、例えば、対数曲線もしくは暗い画像値を明るい画像値より高く重み付けする他の適切な関数を適用することによって、明るい画像データ値に比べて暗い画像データ値をエンファシスするように設計される。場合によっては、プレエンファシス曲線は、ハイライトもしくは他の比較的明るい画像領域の精密度をある程度低下させると同時に、影もしくは他の暗い画像領域の細部を保持する場合がある。いくつかの実施形態では、操作ブロック５４は、関数ｙ＝ｘ∧０．５曲線を使用して、画像データを処理することができる。いくつかの実施形態では、この曲線は、画像データが、例えば、これに限定されないが、正規化された０〜１の範囲の浮動小数点データである場合に使用されてもよい。他の実施形態では、例えば、画像データが１２ビットデータである場合、画像は曲線ｙ＝（ｘ／４０９５）∧０．５を使用して処理されてもよい。さらに、画像データは、他の曲線、例えば、ｙ＝（ｘ＋ｃ）∧ｇを使用して処理されてもよく、この場合、０．０１＜ｇ＜１であり、ｃはオフセット値（いくつかの実施形態では０とすることができる）である。さらに、対数曲線を使用してもよい。例えば、ｙ＝Ａ＊ｌｏｇ（Ｂ＊ｘ＋Ｃ）の形態の曲線としてもよい。この場合、Ａ、Ｂ、およびＣは所望の結果が得られるように選択された定数である。特定の実施形態のプレエンファシス曲線は、画像データのビット深度を下げない。さらに、上述の曲線およびプロセスは、周知のＲｅｃ７０９ガンマ曲線で使用される技術と同様に、黒色付近の領域をより線形にすることができるように修正されてもよい。画像データにこれらの処理を施す際に、画像データの全てに対して同じ処理を施してもよいし、画像データの異なる色に対して異なる処理を施してもよい。しかし、これらは、画像データを処理するのに使用できる曲線例に過ぎず、他の曲線もしくは変換を使用してもよい。さらに、これらの処理技術は、上記のような数学関数を使用して、もしくはルックアップテーブル（ＬＵＴ）を使用して適用されてもよい。さらに、異なるタイプの画像データ、画像データの記録時に使用される異なるＩＳＯ設定、温度（ノイズレベルに影響を及ぼす可能性がある）などに対して、異なる処理、技術、もしくは変換を使用してもよい。
【００９８】
操作ブロック５４の後、フローチャート５０は操作ブロック５６に進むことができる。操作ブロック５６では、赤色画素および青色画素を変換することができる。例えば、上述したように、緑色画像データを青色画像データ成分および赤色画像データ成分それぞれから差し引くことができる。いくつかの実施形態では、赤色画像データ値もしくは青色画像データ値は、赤色画素もしくは青色画素に隣接する緑色画素の少なくとも１つの緑色画像データ値を差し引くことによって変換されてもよい。いくつかの実施形態では、複数の隣接緑色画素のデータ値の平均値が赤色画像データ値もしくは青色画像データ値から差し引かれてもよい。例えば、これらに限定されないが、２つ、３つ、４つ、もしくはそれ以上の緑色データ値の平均値が計算されて、緑色画素付近の赤色画素もしくは青色画素から差し引かれてもよい。
【００９９】
例えば、これに限定されないが、図３を参照すると、赤色画素の生出力Ｒｍ−２，ｎ−２（「ターゲット」ピクセルもしくは画素とも呼ばれる）は、４つの緑色画素Ｇｍ−２，ｎ−３、Ｇｍ−１，ｎ−２、Ｇｍ−３，ｎ−２およびＧｍ−２，ｎ−１によって囲まれている。したがって、赤色画素Ｒｍ−２，ｎ−２は、以下のように、ターゲット画素を囲む緑色画素の値の平均値を差し引くことによって変換される。
（１）Ｒｍ，ｎ＝Ｒｍ，ｎ−（Ｇｍ，ｎ−１＋Ｇｍ＋１，ｎ＋Ｇｍ，ｎ＋１＋Ｇｍー１，ｎ）／４
【０１００】
同様に、青色画素は、以下のように、青色ターゲット画素を囲む緑色画素の値の平均値を差し引くことによって同じように変換される。
（２）Ｂｍ＋１，ｎ＋１＝Ｂｍ＋１，ｎ＋１−（Ｇｍ＋１，ｎ＋Ｇｍ＋２，ｎ＋１＋Ｇｍ＋１，ｎ＋２＋Ｇｍ，ｎ＋１）／４
【０１０１】
図９は、元の青色生データＢｍ−１，ｎ−１（例えば、ターゲットピクセル）が変換された場合の青色データ成分を示した図であり、新しい値はＢ´ｍ−１，ｎ−１と表示される（成分の１つの値のみが埋められ、青色画素全てに対して同じ技術が使用される）。同様に、図１０は、変換された赤色データ成分を示した図であり、変換された赤色画素Ｒｍ−２，ｎ−２（例えば、ターゲットピクセル）はＲ´ｍ−２，ｎ−２と表示される。データ上で実行される数学的プロセスは、元の値の全てがこれらのプロセスを逆順に行うことによって得られるように完全に可逆的である。
【０１０２】
さらに図８を参照すると、操作ブロック５６の後、フローチャート５０は操作ブロック５８に進むことができる。操作ブロック５８では、得られたデータ（生である、もしくはほぼ生である）は、任意の周知の圧縮アルゴリズムであって、種々の実施態様では、非可逆圧縮アルゴリズム（例えば、少なくとも３：１、４：１、５：１、６：１、７：１、８：１、９：１、１０：１、１１：１、もしくは１２：１、またはそれ以上の圧縮比を実現可能な圧縮アルゴリズム）である圧縮アルゴリズムを使用してさらに圧縮される。例えば、圧縮モジュール２２（図１）は、上記のような圧縮アルゴリズムを実行するように構成されてもよい。圧縮後、圧縮された生データは、記憶装置２４（図１）に保存されてもよい。特定の実施形態によれば、本明細書において圧縮画像データと共に使用される用語「生」は、モザイク処理された（例えば、Ｂａｙｅｒパターンに従って、もしくは何らかの他のカラーフィルタアレイに従ってモザイク処理された）状態であるので、圧縮前にデモザイク処理操作が施されていない状態である。種々の実施態様によれば、用語「生」は、圧縮前に、例えば、圧縮前のデモザイク処理（あるいは「カラー補間」と呼ばれることが多い）、色修正（あるいは「色補正」もしくは「カラーマトリクス処理」と呼ばれることが多い）、色調処理（例えば、色調曲線、コントラスト強調の適用）、ガンマ処理（あるいは「ガンマ修正」と呼ばれることが多い）の操作の１つまたは複数のいずれの組み合わせも施されていない画像データを指すことができる。
【０１０３】
種々の実施形態では、図８のフローチャート５０はさらに、１つまたは複数のノイズ除去操作ブロックおよび／またはノイズ低減操作ブロックを含んでもよい。例えば、ノイズ除去操作ブロックは、操作ブロック５６の変換の後に含まれてもよい。例えば、ノイズ除去ステップは、１つのピクセルもしくは画素のノイズ抑制のために単一の画像フレームが使用される空間的ノイズ除去のようなノイズ除去技術を含んでもよい。ノイズ補正のために複数の画像フレームを使用する時間的ノイズ除去方法、例えば、動き適応方法、準動き適応方法、もしくは動き補正方法を使用してもよい。また、画像もしくはビデオ信号からノイズを除去するのに他のノイズ除去方法を使用してもよい。種々の例のノイズ除去技術は、米国仮出願第６１／７６４，８２１号（´８２１号）および米国特許第８，２３７，８３０号（´８３０号）に詳細に示されており、これらの特許の内容全体を参照によって本願明細書に引用したものとする。
【０１０４】
いくつかの実施形態では、ノイズ除去段階は、操作ブロック５８の圧縮の前に行われてもよい。圧縮の前にデータからノイズを除去するのは、圧縮プロセスの有効性を大幅に改善することができるので、有利であると言える。いくつかの実施形態では、ノイズ除去は、操作ブロック５８の圧縮プロセスの一部として行われてもよい。
【０１０５】
種々の実施形態では、ノイズ除去段階は、画像データ変換プロセス内の多くの時点において行われてもよい。例えば、ノイズ除去は、操作ブロック５２の後に、変換前の画像センサからの生データに適用されてもよいし、もしくは操作ブロック５６の変換後のＢａｙｅｒパターン（もしくは他のモザイク処理）データに適用されてもよい。いくつかの実施形態では、ノイズ除去は、操作ブロック５４で行われるデータのプレエンファシスの前もしくは後に適用されてもよい。注目すべきは、プレエンファシス前のデータのノイズ除去は、知覚的に線形のデータ上でより効果的にノイズ除去することができるので有利であると言える。さらに、例示的な実施形態では、緑色画像データは、操作ブロック５６の前にノイズ除去されることによって、操作ブロック５６における赤色画素および青色画素の変換プロセス時のノイズを最小限に抑えることができる。
【０１０６】
図８Ａは、参照番号５０´で示されたフローチャート５０の変更形態を示したものである。フローチャート５０に関して上述したステップのいくつかは、フローチャート５０´の対応するステップのいくつかと同様もしくは同一であるので、同じ参照番号で示されている。
【０１０７】
図８Ａ示されているように、フローチャート５０´は、いくつかの実施形態では、任意で操作ブロック５４を省略することができる。いくつかの実施形態では、フローチャート５０´はさらに、画像データにルックアップテーブルが適用される操作ブロック５７を含むことができる。例えば、図１１の曲線で表されている任意のルックアップテーブルは、さらに圧縮を向上させるのに使用されてもよい。いくつかの実施形態では、図１１のルックアップテーブルは、緑色画素のみに使用される。他の実施形態では、ルックアップテーブルはさらに、赤色画素および青色画素に使用されてもよい。同じルックアップテーブルを３つの異なる色に使用してもよいし、それぞれの色が独自のルックアップテーブルを有してもよい。さらに、図１１の曲線で表されている処理以外の処理が適用されてもよい。
【０１０８】
さらに、図８に関して上述したように、図８Ａのフローチャート５０´に追加のノイズ除去操作が加えられてもよい。種々のノイズ除去およびノイズ低減技術の例は、特許文献´８２１号および´８３０号に示されており、これらの特許の内容全体を参照によって本願明細書に引用したものとする。
【０１０９】
図８および図８Ａに関して上述したように画像データを処理することによって、画像センサ１８からの画像データを圧縮比６：１もしくはそれ以上で圧縮生画像データに圧縮することができ、視覚的ロスレスな状態を保持できることがわかった。さらに、画像データは（例えば、緑色画像データを差し引くことによって）変換されても、その変換は可逆的である。また、特定の実施態様によれば、圧縮された画像データは生のままである。例えば、圧縮生データは、ユーザが望む任意のプロセスを使用して、解凍かつガンマ処理、色修正、色調処理および／またはデモザイク処理が施されてもよい。
【０１１０】
例えば、図１２を参照すると、記憶装置２４に保存されているデータは、解凍およびデモザイク処理されてもよい。任意で、カメラ１０は、フローチャート６０で示されている方法を実行するように構成されてもよい。例えば、これに限定されないが、再生モジュール２８は、フローチャート６０で示されている方法を実行するように構成されてもよい。しかし、ユーザは、記憶装置２４からのデータを別のワークステーションに転送して、フローチャート６０のステップおよび／または操作のいずれかもしくは全てを適用することもできる。
【０１１１】
さらに図１２を参照すると、フローチャート６０は操作ブロック６２から始まり、記憶装置２４からのデータが解凍される。例えば、操作ブロック６２のデータの解凍は、操作ブロック５８（図８）で実行された圧縮アルゴリズムの逆順で行われる。操作ブロック６２の後、フローチャート６０は操作ブロック６４に進むことができる。
【０１１２】
操作ブロック６４では、操作ブロック５６（図８）で実行されたプロセスが逆順で行われる。例えば、図１１の曲線の逆もしくは図８および図８Ａの操作ブロック５６に関して上述した他の関数の逆が、画像データに適用されてもよい。操作ブロック６４の後、フローチャート６０はステップ６６に進むことができる。
【０１１３】
操作ブロック６６では、緑色画素がデモザイク処理される。例えば、上述したように、データ成分緑色１および／または緑色２（図７）からの全ての値が記憶装置２４に保存されてもよい。例えば、図５を参照すると、データ成分緑色１、緑色２からの緑色画像データは、画像センサ１８によって適用された元のＢａｙｅｒパターンに従って配列されてもよい。緑色データは、その後、例えば、線形補間、双線形補間などの任意の周知の技術によってデモザイク処理されてもよい。
【０１１４】
図１３は、生の緑色画像データの全てからデモザイク処理された緑色画像データのレイアウト例を示した図である。Ｇｘで表されている緑色画素は、元の生（解凍された）画像データを示しており、「ＤＧｘ」で表されている画素は、デモザイク処理によって元のデータから導出された画素を示している。この名称は、他の色のデモザイク処理についての以降の説明で使用される。図１４は、元の緑色画像データの１／２の画像データからデモザイク処理された緑色画像データの画像データの配置例を示した図である。
【０１１５】
さらに図１２を参照すると、操作ブロック６６の後、フローチャート６０は操作ブロック６８に進むことができる。操作ブロック６８では、デモザイク処理された緑色画像データがさらに処理される。例えば、これに限定されないが、ノイズ低減技術が緑色画像データに適用されてもよい。図８に関して上述したように、種々のノイズ除去およびノイズ低減技術の例は、特許文献´８２１号および´８３０号に示されており、これらの特許の内容全体を参照によって本願明細書に引用したものとする。しかし、アンチエイリアシス処理技術のような任意の他の画像処理技術が緑色画像データに適用されてもよい。操作ブロック６８の後、フローチャート６０は操作ブロック７０に進むことができる。
【０１１６】
操作ブロック７０では、赤色画像データおよび青色画像データがデモザイク処理される。例えば、まず、図９の青色画像データが元のＢａｙｅｒパターン（図１５）に従って、再配列されてもよい。図１６に示されているように、周辺画素は、例えば、線形補間、双線形補間などの任意の周知のデモザイク処理技術を使用して、既存の青色画像データからデモザイク処理されてもよい。デモザイク処理ステップの結果、図１６に示されているように、ピクセルごとに青色画像データが存在する形になる。しかし、この青色画像データは、図９の修正青色画像データに基づいて、すなわち、緑色画像データ値が差し引かれた青色画像データ値に基づいて、デモザイク処理されたものである。
【０１１７】
操作ブロック７０はさらに、赤色画像データのデモザイク処理プロセスを含んでもよい。例えば、図１０からの赤色画像データは、元のＢａｙｅｒパターンに従って再配列され、例えば、線形補間、双線形補間などの任意の周知のデモザイク処理プロセスによってさらにデモザイク処理されてもよい。
【０１１８】
操作ブロック７０の後、フローチャートは操作ブロック７２に進むことができる。操作ブロック７２では、デモザイク処理された赤色画像データおよび青色画像データが、デモザイク処理された緑色画像データから再構成される。
【０１１９】
いくつかの実施形態では、赤色画素および青色画素それぞれは、一致する緑色画素（同じ列「ｍ」および行「ｎ」の位置にある緑色画素）の緑色値を足すことによって再構成されてもよい。例えば、デモザイク処理後、青色画像データは、青色画素値ＤＢｍ−２，ｎ−２を含む。図３の元のＢａｙｅｒパターンはこの位置に青色画素を含まないので、この青色値ＤＢｍ−２，ｎ−２は、例えば、画素Ｂｍ−３，ｎ−３、Ｂｍ−１，ｎ−３、Ｂｍ−３，ｎ−１、およびＢｍ−１，ｎ−１のうちのいずれか１つからの青色値に基づいた上述のデモザイク処理プロセスによって、もしくは任意の他の技術または他の青色画素によって導出されたものである。上述したように、これらの値は、操作ブロック５４（図８）で修正された値であり、したがって、画像センサ１８によって検出された元の青色画像データとは一致しない。つまり、平均緑値がこれらの値それぞれから差し引かれたものである。したがって、得られた青色画像データＤＢｍ−２，ｎ−２はさらに、緑色画像データが差し引かれた青色データを示している。一実施形態では、デモザイク処理された緑色画像データ画素ＤＧｍ−２，ｎ−２を青色画像値ＤＢｍ−２，ｎ−２に足すことにより、再構成青色画像データ値が得られる。
【０１２０】
いくつかの実施形態では、任意で、青色および／または赤色画像データは、デモザイク処理の前に、最初に、再構成されてもよい。例えば、変換青い色画像データＢ´ｍ−１，ｎ−１は、最初に、周囲の緑色画素の平均値を足すことによって再構成されてもよい。このことにより、元の青色画像データＢｍ−１，ｎ−１が得られる、もしくは再計算される。このプロセスは、青色画像データの全てにおいて実行されてもよい。その後、青色画像データは、任意の周知のデモザイク処理技術によってさらにデモザイク処理されてもよい。赤色画像データも同じように、もしくは同様の方法で、処理されてもよい。
【０１２１】
図１２Ａは、参照番号６０´で示されたフローチャート６０の変更形態を示したものである。フローチャート６０に関して上述したステップのいくつかは、フローチャート６０´の対応するステップのいくつかと同様もしくは同一であるので、同じ参照番号で示されている。
【０１２２】
図１２Ａに示されているように、フローチャート６０´は、操作ブロック６２の後に操作ブロック６８´を含むことができる。操作ブロック６８´では、画像データ上でノイズ低減技術が実行される。例えば、これに限定されないが、ノイズ低減技術が緑色画像データに適用されてもよい。図８に関して上述したように、種々のノイズ除去およびノイズ低減技術の例は、特許文献´８２１号および´８３０号に示されており、これらの特許の内容全体を参照によって本願明細書に引用したものとする。しかし、アンチエイリアシス処理技術のような任意の他の画像処理技術が緑色画像データに適用されてもよい。操作ブロック６８´の後、フローチャートは操作ブロック７０´に進むことができる。
【０１２３】
操作ブロック７０´では、画像データがデモザイク処理される。操作ブロック６６および操作ブロック７０に関して上述した説明では、緑色、赤色、および青色の画像データは、２段階でデモザイク処理される。しかし、このフローチャート６０´では、画像データの３色全てのデモザイク処理は、１つのステップで表されているが、このデモザイク処理プロセスに上述の同じデモザイク処理技術を使用してもよい。操作ブロック７０´の後、フローチャートは、赤色画像データおよび青色画像データを再構成することができる操作ブロック７２に進み、そして、逆ルックアップテーブルが適用される操作ブロック６４に進むことができる。
【０１２４】
フローチャート７０またはフローチャート７０´のいずれかに従って、もしくは任意の他の適切なプロセスに従って、画像データが解凍されて処理された後、画像データはデモザイク処理画像データとしてさらに処理される。
【０１２５】
赤色画像データおよび青色画像データを再構成する前に緑色画像データをデモザイクすることによって、さらに確実な利点が得られる。例えば、上述したように、人の目は緑色の光により敏感である。緑色画像データのデモザイクおよび処理は、人の目がより敏感に反応する緑色画像値を最適化する。したがって、次の赤色画像データおよび青色画像データの再構成は、緑色画像データの処理の影響を受けることになる。
【０１２６】
さらに、Ｂａｙｅｒパターンは、赤色画素および青色画素の２倍の数の緑色画素を有する。したがって、緑色データの全てが保持される実施形態では、緑色画素の画像データ量は赤色画素もしくは青色画素のいずれかと比べて２倍となる。したがって、デモザイク処理技術、フィルタ、および他の画像処理技術により、より望ましくデモザイクされた、鮮明になった、もしくはそれ以外の方法でフィルタリングされた画像が得られる。赤色画像データおよび青色画像データを再構成およびデモザイク処理するために、これらのデモザイク処理された緑色画像データ値を使用することで、高解像度の元の緑色データに関連した利益を赤色画素および青色画素の処理、再構成、およびデモザイク処理に生かすことができる。そのため、得られた画像はさらに改善される。
【０１２７】
さらに、上述したように、緑色チャネルデータを青色チャネルと赤色チャネルそれぞれから差し引くことにより、視覚的ロスがほとんどない、もしくは全くないように画像データの圧縮率を高めることができる。種々の実施形態によれば、赤色チャネルおよび青色チャネルの色および／または強度は緑色チャネルの色および／または強度と相関性があるので、この有利な圧縮率向上は、少なくとも部分的に可能である。したがって、赤色チャネルデータおよび／または青色チャネルデータから緑色チャネルデータを差し引くことで、色データおよび／または強度データの一部の相関除去を行って圧縮率を高めることができる。
緑色平均値減算
【０１２８】
再び図１および図４を参照すると、画像処理モジュール２０は、例えば、緑色１に基づいて緑色２画像データを修正することによって、もしくはその逆の形で修正する、および／または緑色画像データに基づいて赤色画像データおよび青色画像データを修正することによって、緑色画像データに基づいて画像データを修正するように構成されてもよい。例えば、画像処理モジュール２０は、緑色ピクセルの近傍もしくは「カーネル」から平均緑色値を計算するように構成されてもよい。例えば、種々の実施形態では、画像処理モジュール２０は、対象となる現在のピクセルに近いもしくは隣接する複数の緑色ピクセルを決定することができる。これらの決定された緑色ピクセルは、緑色ピクセルのカーネルとされる。ターゲットピクセルに隣接する緑色ピクセル（例えば、ターゲットピクセルに関連したカーネル）は、ターゲットピクセルの上下、横、および／または対角線上に位置する緑色ピクセルを含んでもよい。例えば、ターゲットピクセルに隣接する緑色ピクセルは、ターゲットピクセルに物理的に最も近い緑色ピクセルのいくつかもしくは全てを含んでもよい。
【０１２９】
場合によっては、計算された緑色値は、ターゲットピクセルと空間的に同じ位置関係にある、もしくは空間的相関性がある。例えば、緑色計算値を生成するために、いくつかの他の適切なタイプのアルゴリズムを使用して、ターゲットピクセルに対して互いに対向する少なくとも２つのピクセルの値の平均値が求められてよいし、少なくとも２つのピクセルの値が組み合わせられてもよい。例えば、少なくとも２つのピクセルは、ターゲットピクセルに対して対角線上に対向する位置にあるピクセル、ターゲットピクセルの上下にあるピクセル、ターゲットピクセルの左右にあるピクセル、もしくはそれらの組み合わせを含んでもよい。
【０１３０】
種々の実施態様では、ターゲットピクセルから離れた位置にある緑色ピクセルを使用して、緑色計算値を生成してもよい（例えば、緑色平均値を計算する）。緑色計算値を使用してＧＡＳ（緑色平均値減算）を実行し、ターゲットピクセルに対して計算された緑色平均値がターゲットピクセルから差し引かれてもよい。例えば、ＧＡＳにおいて、緑色平均値が赤色／青色データパスおよび／または一方の緑色データパスのピクセルから差し引かれてもよい。
【０１３１】
例えば、画像処理モジュール２０は、任意の特定のピクセル（例えば、ターゲットピクセル）に対する緑色平均値を含むことができるピクセル（例えば、欠陥補正およびノイズ低減されたピクセル）のカーネルの４ピクセル平均値を計算してもよい。平均値が求められる隣接緑色ピクセル（もしくは緑色ピクセルのカーネル）は、偶数行が処理されているのか、もしくは奇数行が処理されているのか、さらに、赤色ピクセルがターゲットピクセルであるのか、青色ピクセルがターゲットピクセルであるのか、もしくは緑色ピクセルがターゲットピクセルであるのかに基づいて選択されてもよい。例えば、再び図３を参照すると、ターゲットピクセルが赤色ピクセルＲｍ，ｎである場合、４つの隣接ピクセルは、Ｇｍ，ｎ−１、Ｇｍ＋１，ｎ、Ｇｍ，ｎ＋１、およびＧｍ−１，ｎを含んでもよい。同様に、ターゲットピクセルが青色ピクセルＢｍ−１，ｎ−１である場合、４つの隣接ピクセルは、Ｇｍ−１，ｎ−２、Ｇｍ，ｎ−１、Ｇｍ−１，ｎ、およびＧｍ−２，ｎ−１を含んでもよい。上述の例それぞれにおいて、ターゲットピクセルが赤色ピクセルもしくは青色ピクセルである場合、４つの隣接ピクセルは、ターゲットピクセルに直接隣接した緑色ピクセル、例えば、赤色ピクセル／青色ピクセルの上下および左右すぐ隣りのピクセルを含んでもよい。
【０１３２】
図１７を参照すると、種々の実施形態の緑色ターゲットピクセルに対する隣接ピクセルもしくはカーネルのピクセルの選択の一例が示されている。図示されているように、また上述したように、画像データのそれぞれの交互の行は、緑色１チャネルもしくは緑色２チャネルの画像データ／ピクセルを含んでもよい。上述したように、種々の実施形態では、例えば、緑色２データ上でＧＡＳを実行するために、緑色１データに基づいて緑色２データを差し引く（もしくは実施形態に応じて、その逆）、もしくはそれ以外の方法で修正するのが有利である。例えば、いくつかの実施形態では、さらに以下で説明するように、緑色１データのカーネルの平均値が緑色２データから差し引かれてもよい（もしくはその逆にしてもよい）。一例として、画像処理モジュール２０は、緑色２データの所与のピクセルに対して、緑色１データの欠陥補正およびノイズ低減されたピクセルの４ピクセル平均値を計算する構造にしてもよい。種々の実施形態では、センサの構造に応じて、緑色平均値は、偶数行の緑色データもしくは奇数行の緑色データに基づいて計算されてもよい。Ｂａｙｅｒパターン画像データもしくは他の適切なモザイク画像データの場合、４つの隣接ピクセルは、２つの緑色チャネルのうちの一方に対して選択されてもよい。一実施形態では、レジスタは、赤色ライン（例え、偶数ライン）上の緑色を基準として使用するのか、もしくは青色行（例えば、奇数ライン）上の緑色を基準として使用するのかを選択することができる。現在の緑色２の値から緑色１のカーネルの値を差し引いて、その残差を符号化することによって、緑色１チャネルは、緑色２チャネルのプレディクタとして効果的に使用される。
【０１３３】
一実施形態では、ターゲットピクセルが緑色２ピクセルＧｍ−１，ｎ（１８０）である場合、４つの隣接する緑色１ピクセルは、Ｇｍ−２，ｎ−１、Ｇｍ，ｎ−１、Ｇｍ，ｎ＋１、およびＧｍ−２，ｎ＋１（それぞれ１８１、１８２、１８３、および１８４）を含んでもよい。この例では、Ｂａｙｅｒパターン画像データでは、ターゲットピクセルが緑色ピクセルである場合に、４つの最も近い隣接ピクセルをカーネルとして使用して、ターゲットピクセルの対角線上で直接隣接した（例えば、直接隣接した、対角線上で隣接した、空間的に隣接した）他のチャネル（例えば、緑色１チャネル対緑色２チャネル）の緑色ピクセル、例えば、緑色ターゲットピクセルの対角線上の対向するピクセルを含んでもよい。一実施形態では、対角線上で隣接した２つの緑色ピクセルのみ（例えば、ピクセル１８１とピクセル１８３、ピクセル１８４とピクセル１８２）がカーネルとして使用される。いずれの場合も（すなわち、対角線上で対向する２つの隣接ピクセルが使用される場合、または対角線上の４つ全ての隣接ピクセルが使用される場合）、計算に使用されるピクセルとターゲットピクセルとは、ある程度、空間に同じ位置関係にあり、空間的相関性があるので、より望ましい結果、例えば、映画の用途に適した結果が得られる。このことにより、１つの緑色ピクセルのみが計算に使用される場合に、もしくは緑色ピクセルの片側のピクセルのみが計算に使用される（例えば、ピクセル１８１とピクセル１８４のみが使用されるか、もしくはピクセル１８２とピクセル１８３のみが使用される実施形態のような）場合に発生する恐れのある色の境界線上のエッジ誇張の発生もしくは他の望ましくないアーチファクトを低減および除去することができる。いくつかの代替形態では、１つの緑色ピクセルのみが計算に使用される、もしくはターゲットピクセルの片側のピクセルのみが使用される。
【０１３４】
種々の実施形態では、上述したように、緑色平均値（もしくは、いくつかの他の適切なアルゴリズムに従って計算された緑色値）は、ターゲットピクセルから離れた位置にある緑色ピクセルのカーネルに基づいて算出されてもよい。再び図１７を参照すると、緑色２ターゲットピクセル１８０の場合、上述したように、緑色２ピクセル１８０から第１の距離に位置する緑色１ピクセルのカーネルを選択することは、緑色２ピクセル１８０を囲み、３つのピクセルのエッジ長さを有する第１の概念的正方形内に含まれる緑色１ピクセル全てを含むと考えられる。この第１の概念的正方形は、緑色１ピクセルＧｍ−２，ｎ−１、Ｇｍ，ｎ−１、Ｇｍ，ｎ＋１、Ｇｍ−２，ｎ＋１（それぞれ１８１、１８２、１８３、および１８４）を含む。同様に、緑色２ピクセル１８０からさらに離れた第２の距離に位置する緑色１ピクセルのカーネルを選択することは、緑色２ピクセル１８０を囲み、７つのピクセルのエッジ長さを有する第２の概念的正方形内に含まれる緑色１ピクセル全てを含むと考えられる。この第２の概念的正方形は、第１の概念的正方形内の緑色１ピクセル以外に、緑色１ピクセルＧｍ−２，ｎ−３、Ｇｍ，ｎ−３、Ｇｍ＋２，ｎ−３、Ｇｍ＋２，ｎ−１、Ｇｍ＋２，ｎ＋１、Ｇｍ＋２，ｎ＋３、Ｇｍ，ｎ＋３、Ｇｍ−２，ｎ＋３と、図示されていない（図示された場合には、列ｍ−４に存在することになる）４つの追加の緑色１ピクセルとを含む。この第２の概念的正方形は、追加の緑色１ピクセルを含む緑色２ターゲットピクセルを囲む２番目に大きな正方形である。種々の実施形態では、上述したのと同様に、緑色２ターゲットピクセルを囲む第２の概念的正方形内の緑色１ピクセルの任意の組み合わせがカーネルとして選択されてもよい。例えば、一実施形態では、ターゲットピクセルから一方の対角線もしくは両方の対角線に沿って位置する緑色１ピクセルがカーネルとして使用されてもよい。上述したように、緑色２ターゲットピクセルに隣接する緑色１ピクセル（もしくはその逆）の選択カーネルの緑色平均値が算出されてもよい。この値は、緑色２ターゲットピクセルの値から差し引かれて、残差が決定され、その残差が符号化されてもよい。したがって、緑色１チャネルは、緑色２チャネルのプレディクタとして効果的に使用される。
【０１３５】
同様に、種々の実施形態では、赤色および／または青色のターゲットピクセルに対する緑色平均値は、（ターゲットピクセルに直接隣接した緑色ピクセルでなく、もしくはそれ以外に）ターゲットピクセルからさらに離れた位置にある隣接緑色ピクセルに基づいて算出されてもよい。例えば、再び図３を参照すると、ターゲットピクセルが赤色ピクセルＲｍ，ｎである場合、緑色平均値は、例えば、緑色ピクセルＧｍ＋１，ｎ−２、Ｇｍ＋２，ｎ−１、Ｇｍ＋２，ｎ＋１、Ｇｍ＋１，ｎ＋２、Ｇｍ−１，ｎ＋２、Ｇｍ−２，ｎ＋１、Ｇｍ−２，ｎ−１、および／またはＧｍ−１，ｎ−２の任意の組み合わせのみ、もしくは上述の緑色ピクセルに加えた任意の組み合わせに基づいて算出されてもよい。場合によっては、ターゲットピクセルからさらに離れた追加の緑色ピクセル（例えば、Ｇｍ＋３，ｎ、Ｇｍ−３，ｎ、Ｇｍ，ｎ−３、Ｇｍ，ｎ＋３）が使用されてもよい。同様に、ターゲットピクセルが青色ピクセルＢｍ−１，ｎ−１である場合、緑色平均値は、例えば、緑色ピクセルＧｍ，ｎ−３、Ｇｍ＋１，ｎ−２、Ｇｍ＋１，ｎ、Ｇｍ，ｎ＋１、Ｇｍ−２，ｎ＋１、Ｇｍ−３，ｎ、Ｇｍ−３，ｎ−２、および／またはＧｍ−２，ｎ−３の任意の組み合わせのみ、もしくは上述の緑色ピクセルに加えた任意組み合わせに基づいて算出されてもよい。場合によっては、ターゲットピクセルからさらに離れた追加の緑色ピクセルが使用されてもよい。
【０１３６】
種々の実施形態では、任意の特定のターゲットピクセルに対して隣接緑色ピクセルが決定されると、（特に）図９および図１０に関して上述したように、そのターゲットピクセルに対して緑色平均値が決定される。例えば、隣接ピクセルの平均値が算出され、その後、ターゲットピクセルの値から差し引かれてもよい。隣接ピクセルの緑色平均値を決定して、その平均値をターゲットピクセルから差し引くプロセスを、緑色平均値減算（ＧＡＳ）と呼ぶ。
【０１３７】
上述したように、種々の実施形態では、緑色データ修正（例えば、ＧＡＳ）は、赤色／青色データの両方および緑色２（もしくは緑色１）データにおいて実行されてもよい。図１８は、種々の実施形態による、図１に示されているシステムと共に使用される画像データ変換技術を示したフローチャート１７０である。フローチャート１７０は、カメラ１０内の記憶装置２４もしくは別の記憶装置のようなメモリデバイスに記憶される制御ルーチンを表すことができる。さらに、中央処理ユニット（ＣＰＵ）は、制御ルーチンを実行するように構成されてもよい。フローチャート１７０は、それより多い、もしくはそれより少ないブロックを含んでもよく、および／またはブロックは図１８に示されているのとは異なる順序で並べられてもよい。フローチャート１７０の特定の態様は、上述した図８および図８Ａのフローチャート５０および５０´と同様である。したがって、フローチャート１７０に関する特定の部分は、必要に応じて、図８および図８Ａに関して上述した説明の中で示されている。例えば、図１８には示されていないが、画像処理装置２０は、上述したように、データをプレエンファシスすることができる。プレエンファシスは、いくつかの実施形態では、ブロック１７６の赤色画素、青色画素、および／または緑色２画素の変換前に、および／またはブロック１７４の緑色平均値の決定前に行われる。いくつかの他の実施態様では、プレエンファシスは、ブロック１７４およびブロック１７６操作の後であるが、ブロック１７８の圧縮アルゴリズム適用の前に行われる。
【０１３８】
図１８を参照すると、ブロック１７２において、カメラ１０によってセンサデータが取得される。ブロック１７４において、緑色データ修正に使用する緑色値（例えば、緑色平均値）が、上述したように、赤色、青色、および／または緑色２のピクセルに対して決定および／または算出される。緑色計算値は、緑色１データおよび／または緑色１データと緑色２データに基づいて算出されてもよい。例えば、一実施形態では、赤色ピクセル／青色ピクセルに対するＧＡＳは、上述したように、緑色１ピクセルと緑色２ピクセルに基づいて行われてもよい。さらに、緑色２ピクセルに対するＧＡＳは、緑色１ピクセルに基づいて行われてもよい。あるいは、一実施形態では、赤色ピクセル／青色ピクセルに対するＧＡＳは、１つの緑色チャネル、例えば、緑色１に基づいて行われてもよい。種々の実施形態では、緑色チャネルデータは、本明細書に示されているように、ＧＡＳの前および／または後に、ノイズ除去および／またはデモザイク処理されてもよい。
【０１３９】
ブロック１７６では、上述したように、赤色ピクセル、青色ピクセル、および／または緑色２ピクセルが変換される。特に、一実施形態では、算出された緑色平均値が赤色、青色、および／または緑色２のピクセルから差し引かれてもよい。種々の実施形態では、赤色ピクセル／青色ピクセルもしくは緑色２ピクセルが最初に変換されてもよい。例えば、一実施形態では、任意の上述の方法に従って、緑色１および緑色２のピクセル値に基づいて赤色ピクセル／青色ピクセルが最初に変換される。その後、緑色２ピクセル値は、緑色１ピクセル値に基づいてＧＡＳによって変換されてもよい。別の実施形態では、緑色１ピクセル値は、任意の順序でおよび／または同時に赤色ピクセル値／青色ピクセル値と緑色２ピクセル値を変換するのに使用されてもよい。一実施形態では、緑色１ピクセル値もしくは緑色１ピクセル値と緑色２ピクセル値との任意の組み合わせ（例えば、デモザイク処理された緑色ピクセル値）を使用して、赤色ピクセル／青色ピクセルを変換してもよい。ブロック１７８では、上述したように、ＧＡＳが実行された赤色チャネル、青色チャネル、および／または緑色チャネルのデータが圧縮される。（例えば、緑色画像データの減算によって）画像データが変換されても、変換は可逆的である。さらに、特定の実施形態の圧縮画像データは、圧縮生画像データである。例えば、圧縮生データがモザイク処理される。さらに、種々の実施形態では、圧縮生データは、ユーザが望む任意のプロセスを使用して、解凍され、その後、ガンマ処理、色修正、色調処理および／またはデモザイク処理が施されてもよい。
【０１４０】
一実施形態では、ＧＡＳは、（上述したような）緑色２データ／ピクセルに対してではなく、緑色１データ／ピクセルに対して実行されてもよい。一実施形態では、カメラ１０は、緑色１データおよび／または緑色２データのいずれかに対して実行されるＧＡＳをサポートすることができる。種々の実施形態では、他のブロックがフローチャート１７０に含まれてもよい。例えば、実行される他の機能の中で特に、図示されているように、フローチャート１７０は、画像データが（例えば、図８のブロック５４と同じように）プレエンファシスされるデータブロック、および／または（図８Ａのブロック５７と同じように）ルックアップテーブルが適用されるデータブロックを含んでもよい。
【０１４１】
上述したように、赤色チャネル／青色チャネルの他に、緑色チャネルデータに対してＧＡＳを実行することにより、視覚的ロスがほとんどない、もしくは全くないように画像データの圧縮率をさらに高めることができる。種々の実施形態では、第１の緑色チャネルは第２の緑色チャネルを予測するのに使用され、第１の緑色チャネルと第２の緑色チャネルは互いに空間的相関性があるので、このさらなる圧縮率向上は、有利には、少なくとも部分的に可能である。したがって、一実施形態では、第１の緑色チャネルデータを第２の緑色チャネルデータから差し引くことにより、少なくとも部分的に緑色画像データの空間的相関除去が行われ（さらに、エントロピーが低減され、圧縮率が高められて）、その差もしくは残差が符号化されてもよい。
Ｂａｙｅｒ境界におけるＧＡＳ
【０１４２】
種々の実施形態では、ＧＡＳは、例えば、Ｂａｙｅｒパターンカラーフィルタアレイに従ってモザイク処理された画像データのようなモザイク処理画像データのさまざまなエッジにあるピクセルに対して実行されてもよい。図１９は、Ｂａｙｅｒパターンのエッジの緑色ピクセルの隣接ピクセルを決定する一例を示した図である。図１９では、緑色２ピクセルＧ２０，１はＢａｙｅｒパターンの第１の列にあり、したがって、ピクセルＧ２０，１の左に他の緑色ピクセルは存在しない（例えば、破線のピクセルは仮想ピクセルであってよい）。ピクセルＧ２０，１に対する隣接ピクセルの決定は、さまざまな方法で行われてもよい。例えば、一実施形態では、ＧＡＳ（もしくは他の緑色データ修正）は、２つの隣接ピクセルＧ１１，０およびＧ１１，２の値に基づいて実行されてもよい。有利にカメラ内で実施しやすい別の実施形態では、ピクセルＧ１１，０およびＧ１１，２それぞれは、図１９に示されているように、Ｇ１１，０＿仮想およびＧ１１，２＿仮想（破線で示されている）によって仮想空間上にミラーリングされてもよい。この実施形態では、ＧＡＳは、ピクセルＧ１１，０、Ｇ１１，２、Ｇ１１，０＿仮想、Ｇ１１，２＿仮想の値に基づいて実行される。ピクセルの仮想空間上のミラーリングは、ハードウェアデバイスおよび／またはハードウェアプロセッサによって実行されるソフトウェア命令において実現されてもよい。
【０１４３】
種々の実施形態では、Ｂａｙｅｒパターンのエッジにおける緑色平均値を計算するためのピクセル値のミラーリングは、同様にして、赤色／青色ピクセルおよび第１の行、最終行、第１の列、および／または最終列のピクセルに対して実行されてもよい。例えば、以下の表１では、
・Ｂａｙｅｒパターンの第１の行を処理する場合には、緑色１＿００に対して緑色１＿０１がコピー／ミラーリングされ、緑色１＿１０に対して緑色１＿１１がコピー／ミラーリングされる。
・Ｂａｙｅｒパターンの最終行を処理する場合には、緑色１＿０１に対して緑色１＿００がコピー／ミラーリングされ、緑色１＿１１に対して緑色１＿１０がコピー／ミラーリングされる。
・Ｂａｙｅｒの第１の列を処理する場合には、緑色１＿００に対して緑色１＿１０がコピー／ミラーリングされ、緑色１＿０１に対して緑色１＿１１がコピー／ミラーリングされる。
・Ｂａｙｅｒの最終列を処理する場合には、緑色１＿１０に対して緑色１＿００がコピー／ミラーリングされ、緑色１＿１１に対して緑色１＿０１がコピー／ミラーリングされる。
【表１】
2016508700.tif 000003
【０１４４】
いくつかの実施形態では、画像データにプレエンファシス関数が適用された後に（例えば、図８のブロック５４の後に）、緑色平均値減算が赤色／青色データパスおよび／または緑色２データに適用されてもよい。いくつかの実施形態では、緑色データパスからの緑色平均値を使用して赤色／青色データパスにおいて緑色平均値減算を実行するので、ＧＡＳの後に、緑色チャネルデータおよび赤色／青色チャネルデータが同期される。
ＧＡＳ計算
【０１４５】
一実施形態では、画像データは、１６ビット精度で取り込まれ、処理され、保存されてもよい。例えば、画像センサ１８および画像処理モジュール２０（図１に示されている）は、１６ビット画像データを取り込み、処理することができる。種々の実施形態では、画像センサ１８および画像処理モジュール２０は、例えば、少なくとも１２ビット、１３ビット、１４ビット、１５ビット、もしくは１６ビットもしくはそれ以上の画像データのような映画の用途に適した画像データを取り込んで、処理することができるが、場合によっては、低ビット深度（例えば、少なくとも１０ビットもしくは少なくとも１１ビット画像データ）が採用されてもよい。１６ビット精度にすることにより、赤色データ、青色データ、および緑色データ（例えば、ピクセルごとの色の強度データ）のスケールが０〜６５，５３５である画像データの取り込みおよび保存が可能になる。したがって、赤色データパス／青色データパスおよび緑色２データパスにおける緑色平均値減算は、まず、ＧｒｅｅｎＡｖｅｒａｇｅを決定するために（上述したように）隣接する緑色ピクセルの平均値を計算することによって行われてもよい。例えば、緑色１平均値の計算は、（緑色１＿００＋緑色１＿０１＋緑色１＿１０＋緑色１＿１１）＞＞２として定義される。この場合、「＞＞２」は２回の演算による左シフト（４による除算になる）を指す。その後、減算が行われて、ターゲットピクセル値から平均値が差し引かれてもよい。一実施形態では、減算の後、得られた値は、以下のように、（２による除算を実行するために）１ビットだけ左シフトされてもよい。
ＲｅｄＢｌｕｅ＿ＧＡＳ［１５：０］＝（ＲｅｄＢｌｕｅ［１５：０］−ＧｒｅｅｎＡｖｅｒａｇｅ［１５：０］＋２Λ１６）／２
Ｇｒｅｅｎ２＿ＧＡＳ［１５：０］＝（Ｇｒｅｅｎ２［１５：０］−Ｇｒｅｅｎ１Ａｖｅｒａｇｅ［１５：０］＋２Λ１６）／２
【０１４６】
一実施形態では、ＲｅｄＢｌｕｅ＿ＧＡＳおよびＧｒｅｅｎ２＿ＧＡＳで２による除算を行うことにより、ＧＡＳデータは修正されていない緑色１データ（例えば、緑色１データ）と同じダイナミックレンジになる。除算は、１ビットごとの論理シフトとして実行されてもよく、特定の実施態様では、このステップの際に、２分の１のビット精度損失が発生する。一実施形態では、２分の１のビット精度損失により、有利には、画像データの処理がより速くなり、帯域幅要件が低減される。しかし、いくつかの実施形態では、ＧＡＳ計算は、精度損失が全くないように実施されてもよい。例えば、追加バッファビットを処理パイプラインに足して、ＲｅｄＢｌｕｅ＿ＧＡＳおよびＧｒｅｅｎ２＿ＧＡＳとしてもよいし、および／またはＲｅｄＢｌｕｅ＿ＧＡＳおよびＧｒｅｅｎ２＿ＧＡＳを２で割らなくてもよい。
【０１４７】
いくつかの実施形態では、ＲｅｄＢｌｕｅ＿ＧＡＳ値および／またはＧｒｅｅｎ２＿ＧＡＳ値は、上述の技術（例えば、図８および図８Ａのブロック５６に関して説明されている技術および図９および図１０で図示され説明されている技術）のうちの１つを使用して計算される。
【０１４８】
種々の実施形態では、逆の緑色データ修正（緑色平均値減算の場合、本明細書ではＤｅ−ＧＡＳとする）を使用して、センサデータパスの上流側で実行された緑色データ修正変換の作用を逆転させてもよい。図２０は、種々の実施形態に従って画像データをＤｅ−ＧＡＳするために図１のシステムと共に使用される制御ルーチンのフローチャート２００を示している。フローチャート２００は、カメラ１０内の記憶装置２４もしくは別の記憶装置のようなメモリデバイスに記憶される制御ルーチンを表すことができる。さらに、中央処理ユニット（ＣＰＵ）は、制御ルーチンを実行するように構成されてもよい。フローチャート２００は、それより多い、もしくはそれより少ないブロックを含んでもよく、および／またはブロックは図２０に示されているのとは異なる順序で並べられてもよい。フローチャート２００の特定の態様は、上述した図１２および図１２Ａのフローチャート６０および６０´と同様である。したがって、フローチャート２００に関する特定の部分は、必要に応じて、図１２および図１２Ａに関して上述した説明の中で示されている。
【０１４９】
ブロック２０２では、圧縮されＧＡＳ計算された画像データに解凍アルゴリズム（例えば、フローチャート６０のブロック６２と同様）が適用される。ブロック２０４では、例えば、緑色１画像データおよび／または緑色２画像データに基づいて、緑色平均値が計算される。例えば、ＧＡＳが緑色１画像データに適用されていない実施形態では、上述したように、緑色２ピクセルに隣接する緑色１ピクセルが決定されて、平均値が計算される。ブロック２０６では、緑色２ピクセルは、計算された緑色１平均値に基づいて再構成される。例えば、緑色１平均値が再び緑色２ピクセルデータに足されてもよい。ブロック２０８では、赤色ピクセル／青色ピクセルは、計算された緑色１平均値および／または計算された緑色１平均値と緑色２平均値に基づいて再構成される。ブロック２０９では、再構成された画像データは、（上述したように）フィルタリングおよび／またはノイズ除去される。
【０１５０】
種々の実施形態では、さらに別のブロックがフローチャート２００に含まれてもよい。例えば、緑色１画像データおよび／または緑色１と緑色２の画像データがデモザイク処理されてもよいし、および／または赤色画像データ、青色画像データ、および／または緑色画像データを再構成する前に、赤色／青色画像データがデモザイク処理されてもよい。別の実施例では、フィルタリングおよび／またはノイズ除去は、フローチャート２００のどの時点にでも（例えば、図１２および図１２Ａに示されているような時点）画像データに適用されてもよい。
【０１５１】
ＧＡＳプロセスの逆順を実行するサブシステム例が図２１に示されている。図２１のサブシステムは、実施態様に応じて、カメラ（例えば、再生モジュール２６内）に常駐してもよいし、別個のコンピューティングデバイス内で実行するソフトウェア（および／またはハードウェア）に常駐してもよい。図２１に示されるように、サブシステムは、入力マルチプレクサ２１０で、センサデータパス（例えば、取り込み画像データのライブビューイングのための監視機能の一部として、取り込みモード時の「フレームレート変換」として示されている）から、および／または再生パス（例えば、再生モード時）からの入力を受信することができる。ＲｅｄＢｌｕｅ＿ＤｅＧＡＳの場合には赤色ピクセルおよび青色ピクセルに緑色平均値を再び足すことによって、またＧｒｅｅｎ２＿ＤｅＧＡＳの場合には緑色２ピクセルに緑色１平均値を再び足すことによって、緑色平均値減算の逆算が行われてもよい、もしくは、画像データがＤｅ−ＧＡＳされてもよい。一実施形態では、Ｄｅ−ＧＡＳプロセスは、緑色平均値が画像ピクセルデータから差し引かれるのではなく画像ピクセルデータに足される場合を除いて、緑色平均値減算と同様である。例えば、緑色画像データは、バッファ２１１に渡されて、その後、緑色平均値計算ユニット２１２に渡されてもよい。緑色平均値計算ユニット２１２は、上述したように、緑色１の値および／または緑色２の値に基づいて、Ｄｅ−ＧＡＳ計算ユニット２１３に緑色平均値を出力することができる。さらに、赤色／青色画像データは、バッファ２１４に渡されて、その後、Ｄｅ−ＧＡＳ計算ユニット２１３に渡されてもよい。Ｄｅ−ＧＡＳ計算ユニット２１３は、赤色／青色画像データの再構成値を計算して出力することができ、緑色平均値計算ユニット２１２は、緑色画像データの再構成値を出力することができる。
【０１５２】
一実施形態では、Ｄｅ−ＧＡＳの演算式は、以下の通りである。
ＲｅｄＢｌｕｅ＿ＤｅＧＡＳ［１６：０］＝ＲｅｄＢｌｕｅ＿ＧＡＳ［１６：０］＊２＋Ｇｒｅｅｎ１Ａｖｅｒａｇｅ［１６：０］−２Λ１６
Ｇｒｅｅｎ２＿ＤｅＧＡＳ［１６：０］＝Ｇｒｅｅｎ２＿ＧＡＳ［１６：０］＊２＋Ｇｒｅｅｎ１Ａｖｅｒａｇｅ［１６：０］−２Λ１６
【０１５３】
種々の実施形態では、記録／監視の前処理におけるＲＡＷパスはＧＡＳデータに作用することができるが、別のＲＧＢパス（図示せず）は処理のために非ＧＡＳデータを利用することができる。
センサフリップ
【０１５４】
いくつかの実施形態では、デフォルトＢａｙｅｒパターンは、赤色ピクセルがフレームの第１のラインを占めている場合である。特定の実施形態では、用語「センサフリップ」は、Ｂａｙｅｒパターンにおいて青色ピクセルがフレームの第１のラインを占める場合を指す。これが発生した場合、ＧＡＳおよびＤｅ−ＧＡＳのアルゴリズムは変化する。例えば、所与の赤色ピクセルもしくは青色ピクセルに対して、４つの隣接する緑色ピクセルの位置は、上述したように、２つのＢａｙｅｒパターンでは異なる場合がある。
【０１５５】
種々の実施形態によれば、センサフリップモードを実現するのに追加のソフトウェアは必要でなくてもよい。センサフリップは、デモザイク処理ブロックのレジスタＢａｙｅｒプログラミングを使用することによって、自動的に決定されてもよい。そのため、追加のプログラミングは必要でない。
別の実施形態
【０１５６】
種々の実施形態によれば、上述した赤色チャネル／青色チャネルおよび緑色チャネルにおいて実行される緑色平均値除算により、有利には、画像情報の損失がほとんどない、もしくは全くないように、得られた画像データの圧縮率を大幅に高めることができる。例えば、上述したように、生画像データ上でＧＡＳを実行することにより、非可逆的に（例えば、少なくとも３：１、４：１、５：１、６：１、７：１、８：１、９：１、１０：１、１１：１、１２：１、１３：１、１４：１、１５：１、１６：１、１７：１、１８：１もしくはそれ以上の圧縮比で）、視覚的ロスがほとんどない、もしくは全くないように、生画像データを処理、圧縮、および／または保存することができ、この場合、画像データは、解凍および再生した時に、視覚的ロスレスもしくはほぼ視覚的ロスレスなデータとなる。一実施形態では、赤色データおよび青色データ上での緑色データの修正以外の緑色データの修正を含む緑色データ修正（例えば、ＧＡＳ）のシステムおよび方法により、（緑色画像チャネルのＧＡＳされない場合の可逆圧縮効率に比べて）圧縮効率が２倍より大きくなる。
【０１５７】
したがって、一実施形態によれば、ビデオカメラは、可搬型筐体と、筐体によって支承され、集光する構造であるレンズアセンブリとを備えることができる。感光装置は、収束された光を、少なくとも約２３フレーム毎秒のフレームレートで、少なくとも２ｋ（もしくは、実施形態に応じて少なくとも４ｋ）の解像度を有する生画像データに変換するように構成されてもよい。カメラはさらに、メモリデバイスと、非可逆圧縮（例えば、少なくとも２：１、３：１、４：１、もしくは５：１の圧縮比）を使用して生画像データを圧縮し、圧縮生画像データをメモリデバイスに保存して、ほぼ視覚的ロスレスな状態で、少なくとも約２３フレーム毎秒のフレームレートで保持する構造である画像処理システムとを含むことができる。
【０１５８】
さらに別の実施形態によれば、ビデオカメラは、ユーザがカメラのビデオ記録操作をしている時に筐体の少なくとも１つの動きの程度に対する向きをコントロールすることができる構造の少なくとも１つのハンドルを有する可搬型筐体を備えることができる。レンズアセンブリは、筐体によって支承され、筐体内部に配置された面に集光する構造である少なくとも１つのレンズを備えることができる。感光装置は、収束された光を、少なくとも約２３フレーム毎秒のフレームレートで、少なくとも２ｋ（もしくは、いくつかの実施形態では、少なくとも４ｋ）の水平解像度を有する生画像データに変換するように構成されてもよい。メモリデバイスは、ビデオ画像データを保存するように構成されてもよい。画像処理システムは、少なくとも６：１の圧縮比を使用して生画像データを圧縮し、メモリデバイスに保存して、ほぼ視覚的ロスレスな状態で、少なくとも約２３フレーム毎秒のフレームレートで保持するように構成されてもよい。
【０１５９】
実施形態に応じて、本明細書で示した任意のアルゴリズム、方法、もしくはプロセスの特定の動作、イベント、もしくは機能は、異なる順序で実行されてもよく、追加され、組み合わされ、もしくは全て削除されてもよい（例えば、アルゴリズムを実施するために、説明した全ての動作もしくはイベントが必要であるとは限らない）。さらに、特定の実施形態では、動作もしくはイベントは、順にではなく、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサもしくはプロセッサコアもしくは他の並列アーキテクチャによって同時に行われてもよい。
【０１６０】
本明細書で使用されている条件語句、特に、「することができる」「してもよい」「する場合がある」「例えば」などの語句は、特に指定のない限り、もしくは使用されている文脈内でそれ以外の意味で理解されない限り、一般的に、特定の実施形態は、他の実施形態は含まないが、特定の特徴、要素、および／または状態を含むことを意味するものとする。したがって、このような条件語句は、一般的に、特徴、要素、および／または状態は１つまたは複数の実施形態に何らかの形で必要であるということ、もしくは１つまたは複数の実施形態は、著者による記載もしくは指示の有無に関係なく、これらの特徴、要素、および／または状態が任意の特定の実施形態に含まれるのか、もしくは実行されるのかを決定する論理を必然的に含むということを意味するものではない。語句「備える」「含む」「有する」などは、同義語であり、包括的な意味で変更可能な形で使用され、追加の要素、特徴、動作、操作などを排除するものではない。さらに、語句「もしくは」は、包括的な意味（排他的な意味ではなく）で使用され、例えば、要素のリストを接続するのに使用される場合には、「もしくは」はリスト内の要素の１つ、要素のいくつか、もしくは要素の全てを指すものとする。さらに、冠詞「１つの」は、特に指定のない限り、「１つまたは複数」もしくは「少なくとも１つ」の意味であると解釈すべきである。
【０１６１】
「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」のような接続語句は、特に指定のない限り、使用されている文脈内でそれ以外の意味で理解されない限り、一般的に、アイテム、用語などがＸ、Ｙ、もしくはＺのいずれかであることを意味する。したがって、このような接続語句は、一般的に、特定の実施形態では、少なくとも１つのＸ、少なくとも１つのＹ、および少なくとも１つのＺがそれぞれ存在する必要があることを意味することは意図されない。
【０１６２】
上述の詳細な説明では、種々の実施形態に適用される新奇な特徴が図示、説明、および指摘されているが、示されている装置もしくはアルゴリズムの形態および細部の種々の省略、置換、および変更が本開示の精神から逸脱せずになされてもよいことは理解できるであろう。したがって、上述の説明は、任意の特定の特徴、特性、ステップ、モジュール、もしくはブロックが必要である、もしくは必須であるということを意味するものではない。当然、いくつかの特徴は他の特徴とは別に使用もしくは実行されてもよいので、本明細書で開示されているプロセスは、本明細書内で示されている特徴および利点の全てを有するとは限らない形態の中で具現化されてもよい。保護範囲は、上述の説明ではなく、添付の請求項によって定義される。
【図１】
2016508700.tif 000004
【図２】
2016508700.tif 000005
【図３】
2016508700.tif 000006
【図４】
2016508700.tif 000007
【図５】
2016508700.tif 000008
【図６】
2016508700.tif 000009
【図７】
2016508700.tif 000010
【図８】
2016508700.tif 000011
【図８Ａ】
2016508700.tif 000012
【図９】
2016508700.tif 000013
【図１０】
2016508700.tif 000014
【図１１】
2016508700.tif 000015
【図１２】
2016508700.tif 000016
【図１２Ａ】
2016508700.tif 000017
【図１３】
2016508700.tif 000018
【図１４】
2016508700.tif 000019
【図１５】
2016508700.tif 000020
【図１６】
2016508700.tif 000021
【図１７】
2016508700.tif 000022
【図１８】
2016508700.tif 000023
【図１９】
2016508700.tif 000024
【図２０】
2016508700.tif 000025
【図２１】
2016508700.tif 000026
【国際調査報告】
2016508700.tif 000027
2016508700.tif 000028