(57)【要約】【課題】超解像度イメージプロセシングを実行する方法及びその方法を利用してイメージプロセシングを実行する装置を提供する。【解決手段】本発明によるイメージングデバイスは、入力イメージに対する各々の値をキャプチャするように構成されたピクセルのセットを有するアレイと、前記キャプチャされた値から前記入力イメージに関する追加値を計算するように構成されたプロセッサと、前記キャプチャされた値及び前記追加値を格納する１つ以上のメモリと、を有し、前記キャプチャされた値は、前記キャプチャされた値がキャプチャされた各々のピクセルのピクセル中心点に対応し、前記追加値の少なくとも一部は、何らかの前記ピクセル中心点とは異なる追加中心点と対応する。【選択図】図４
2015088192.tif 000002
【特許請求の範囲】
【請求項１】
入力イメージに対する各々の値をキャプチャするように構成されたピクセルのセットを有するアレイと、
前記キャプチャされた値から前記入力イメージに関する追加値を計算するように構成されたプロセッサと、
前記キャプチャされた値及び前記追加値を格納する１つ以上のメモリと、を有し、
前記キャプチャされた値は、前記キャプチャされた値がキャプチャされた各々のピクセルのピクセル中心点に対応し、
前記追加値の少なくとも一部は、何らかの前記ピクセル中心点とは異なる追加中心点と対応することを特徴とするイメージングデバイス。
【請求項２】
前記追加値は、格納される時、前記キャプチャされた値とさらに併合される（ｍｅｒｇｅｄ）ことを特徴とする請求項１に記載のイメージングデバイス。
【請求項３】
実質的に同一のタイルは、前記ピクセル中心点から定義され、
前記タイルの中で特定なタイルの内部にある前記追加中心点の中の１つと対応する１つ以上の前記追加値は、前記特定タイルの内部の前記キャプチャされた値の中の１つと前記特定タイルの外部の前記キャプチャされた値の中の１つから計算されることを特徴とする請求項１に記載のイメージングデバイス。
【請求項４】
前記キャプチャされた値の数と前記追加値の数との合計は、前記アレイにある前記ピクセルの数よりさらに大きいことを特徴とする請求項１に記載のイメージングデバイス。
【請求項５】
前記アレイの前記ピクセルは少なくとも下部レイヤー及び前記下部レイヤー上に垂直に積層された（ｓｔａｃｋｅｄ）上部レイヤーに配列され、
前記ピクセル中心点は、前記上部レイヤーにある前記ピクセルに対するピクセル中心点と前記下部レイヤーにあるピクセルの前記上部レイヤー平面上へのプロジェクション（ｐｒｏｊｅｃｔｉｏｎ）に対するピクセル中心点との併合として定義されることを特徴とする請求項１に記載のイメージングデバイス。
【請求項６】
前記キャプチャされた値及び前記追加値の全てから構成された出力イメージをディスプレイするように構成されたディスプレイをさらに有することを特徴とする請求項１または５に記載のイメージングデバイス。
【請求項７】
前記追加値は、前記キャプチャされた値と共にデモザイク（ｄｅｍｏｓａｉｋ）され、
前記出力イメージは、前記共にデモザイクされたものから構成されることを特徴とする請求項６に記載のイメージングデバイス。
【請求項８】
前記追加値は、フィルタ関数を利用して計算されることを特徴とする請求項１に記載のイメージングデバイス。
【請求項９】
前記フィルタ関数は、
基準イメージに対する入力テスト値を受信する段階と、
前記フィルタ関数のパラメーターに対する暫定値（ｔｅｎｔａｔｉｖｅ  ｖａｌｕｅ）を選択する段階と、
前記暫定値を利用して前記入力テスト値から前記基準イメージに関する追加テスト値を計算する段階と、
前記パラメーター値を調整する段階と、を含む演算を引き起こす動作を実行するプロセッサによってトレーニング（ｔｒａｉｎｉｎｇ）されることを特徴とする請求項８に記載のイメージングデバイス。
【請求項１０】
前記入力テスト値は、テストピクセルアレイを前記基準イメージに露出することによって決定されることを特徴とする請求項９に記載のイメージングデバイス。
【請求項１１】
前記入力テスト値は、前記基準イメージへの露出に応じる前記ピクセルの期待反応（ｅｘｐｅｃｔｅｄ  ｒｅｓｐｏｎｓｅ）を計算することによって、決定されることを特徴とする請求項９に記載のイメージングデバイス。
【請求項１２】
前記フィルタ関数のパラメーターは、前記フィルタの大きさ（ｓｉｚｅ）及び前記フィルタの重み係数（ｗｅｉｇｈｔ  ｃｏｅｆｆｉｃｉｅｎｔ）のいずれか１つであることを特徴とする請求項９に記載のイメージングデバイス。
【請求項１３】
前記基準イメージのターゲットバーション（ｔａｒｇｅｔ  ｖｅｒｓｉｏｎ）は、前記入力テスト値及び前記追加テスト値から構成された出力テストイメージと比較され、
前記パラメーター値は、前記比較に基づいて調整されることを特徴とする請求項９に記載のイメージングデバイス。
【請求項１４】
前記追加テスト値は、前記入力テスト値と共にデモザイクされ、
前記出力テストイメージは、前記共にデモザイクされたものから構成されることを特徴とする請求項１３に記載のイメージングデバイス。
【請求項１５】
追加イメージ演算が前記基準イメージのターゲットバーションを誘導するために前記基準イメージに対して実行されることを特徴とする請求項１３に記載のイメージングデバイス。
【請求項１６】
前記ピクセル中心点は、ピクセルピッチ（ｐｉｔｃｈ）によって特定方向に沿って分布され、
前記追加中心点の少なくとも一部は、前記ピクセルピッチとは異なる構造ピッチ（ｃｏｎｓｔｒｕｃｔｉｏｎ  ｐｉｔｃｈ）により特定方向に沿って分布されることを特徴とする請求項１に記載のイメージングデバイス。
【請求項１７】
プロセッサ及び前記プロセッサと結合された非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記憶媒体を含むコンピューターにおいて、
前記記憶媒体は、１つ以上のプログラムを格納し、前記プロセッサによって前記１つ以上のプログラムが実行される場合、
入力イメージに対するキャプチャされた値を受信する段階と、
前記キャプチャされた値から前記入力イメージに対する追加値を計算する段階と、
前記キャプチャされた値及び前記追加値を１つ以上のメモリに格納させる段階と、が実行されることを特徴とするコンピューター。
【請求項１８】
入力イメージに対してキャプチャされた値を受信する段階と、
前記キャプチャされた値から前記入力イメージに関する追加値を計算する段階と、
前記キャプチャされた値及び前記追加値を１つ以上のメモリに格納させる段階と、を含み、
前記キャプチャされた値は、前記値がキャプチャされた各々のピクセルのピクセル中心点に対応し、
前記追加値の少なくとも一部は、前記ピクセル中心点と異なる追加中心点に対応することを特徴とするイメージングデバイスの動作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はイメージプロセシングに関し、より詳細には超解像度イメージプロセシングを実行するイメージングデバイス及びその動作方法並びにコンピューターに関する。
【背景技術】
【０００２】
現在のイメージングデバイスはイメージをキャプチャするためにピクセルを使用する。ピクセルは入力イメージを複数の成分に分割し、そしてイメージの成分に対する値をキャプチャする。イメージに対するこのような値は短い露出時間の後にピクセル当たり電子数のような、多様な技術によってキャプチャされる。出力イメージは一般的にキャプチャされた値から、カラー又は黒白により構成される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｂｒｉｃｅ  Ｃｈａｉｘ  ｄｅ  Ｌａｖａｒｅｎｅ，  Ｄａｖｉｄ  Ａｌｌｅｙｓｓｏｎ，  Ｊｅａｎｎｙ  Ｈeｒａｕｌｔ：  Ｐｒａｃｔｉｃａｌ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ  ｏｆ  ＬＭＭＳＥ  ｄｅｍｏｓａｉｃｉｎｇ  ｕｓｉｎｇ  ｌｕｍｉｎａｎｃｅ  ａｎｄ  ｃｈｒｏｍｉｎａｎｃｅ  ｓｐａｃｅｓ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  １０７（１−２）：３−１３（２００７）
【非特許文献２】Ａｌｌｅｙｓｓｏｎ，Ｄ．，Ｃｈａｉｘ  ｄｅ  Ｌａｖａｒｅｎｅ，Ｂ．，Ｓｕｓｓｔｒｕｎｋ，Ｓ．，Ｈeｒａｕｌｔ，Ｊ．，Ｓｅｐ．２００８．  Ｌｉｎｅａｒ  Ｍｉｎｉｍｕｍ  Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ  Ｄｅｍｏｓａｉｃｋｉｎｇ．  ＣＲＣ  Ｐｒｅｓｓ，  Ｃｈ．８，ｐｐ．２１３−２３７
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、超解像度イメージプロセシングを実行する方法及びその方法を利用してイメージプロセシングを実行する装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するためになされた本発明によるイメージングデバイスは、入力イメージに対する各々の値をキャプチャするように構成されたピクセルのセットを有するアレイと、前記キャプチャされた値から前記入力イメージに関する追加値を計算するように構成されたプロセッサと、前記キャプチャされた値及び前記追加値を格納する１つ以上のメモリと、を有し、前記キャプチャされた値は、前記キャプチャされた値がキャプチャされた各々のピクセルのピクセル中心点に対応し、前記追加値の少なくとも一部は、何らかの前記ピクセル中心点とは異なる追加中心点と対応することを特徴とする。
【０００６】
前記追加値は、格納される時、前記キャプチャされた値とさらに併合される（ｍｅｒｇｅｄ）ことが好ましい。
実質的に同一のタイルは、前記ピクセル中心点から定義され、前記タイルの中で特定なタイルの内部にある前記追加中心点の中の１つと対応する１つ以上の前記追加値は、前記特定タイルの内部の前記キャプチャされた値の中の１つと前記特定タイルの外部の前記キャプチャされた値の中の１つから計算されることが好ましい。
前記キャプチャされた値の数と前記追加値の数との合計は、前記アレイにある前記ピクセルの数よりさらに大きいことが好ましい。
【０００７】
前記アレイの前記ピクセルは少なくとも下部レイヤー及び前記下部レイヤー上に垂直に積層された（ｓｔａｃｋｅｄ）上部レイヤーに配列され、前記ピクセル中心点は、前記上部レイヤーにある前記ピクセルに対するピクセル中心点と前記下部レイヤーにあるピクセルの前記上部レイヤー平面上へのプロジェクション（ｐｒｏｊｅｃｔｉｏｎ）に対するピクセル中心点との併合として定義されることが好ましい。
前記キャプチャされた値及び前記追加値の全てから構成された出力イメージをディスプレイするように構成されたディスプレイをさらに有することが好ましい。
前記追加値は、前記キャプチャされた値と共にデモザイク（ｄｅｍｏｓａｉｋ）され、前記出力イメージは、前記共にデモザイクされたものから構成されることが好ましい。
【０００８】
前記追加値は、フィルタ関数を利用して計算されることが好ましい。
前記フィルタ関数は、基準イメージに対する入力テスト値を受信する段階と、前記フィルタ関数のパラメーターに対する暫定値（ｔｅｎｔａｔｉｖｅ  ｖａｌｕｅ）を選択する段階と、前記暫定値を利用して前記入力テスト値から前記基準イメージに関する追加テスト値を計算する段階と、前記パラメーター値を調整する段階と、を含む演算を引き起こす動作を実行するプロセッサによってトレーニング（ｔｒａｉｎｉｎｇ）されることが好ましい。
前記入力テスト値は、テストピクセルアレイを前記基準イメージに露出することによって決定されることが好ましい。
前記入力テスト値は、前記基準イメージへの露出に応じる前記ピクセルの期待反応（ｅｘｐｅｃｔｅｄ  ｒｅｓｐｏｎｓｅ）を計算することによって、決定されることが好ましい。
【０００９】
前記フィルタ関数のパラメーターは、前記フィルタの大きさ（ｓｉｚｅ）及び前記フィルタの重み係数（ｗｅｉｇｈｔ  ｃｏｅｆｆｉｃｉｅｎｔ）のいずれか１つであることが好ましい。
前記基準イメージのターゲットバーション（ｔａｒｇｅｔ  ｖｅｒｓｉｏｎ）は、前記入力テスト値及び前記追加テスト値から構成された出力テストイメージと比較され、前記パラメーター値は、前記比較に基づいて調整されることが好ましい。
前記追加テスト値は、前記入力テスト値と共にデモザイクされ、前記出力テストイメージは、前記共にデモザイクされたものから構成されることが好ましい。
追加イメージ演算が前記基準イメージのターゲットバーションを誘導するために前記基準イメージに対して実行されることが好ましい。
前記ピクセル中心点は、ピクセルピッチ（ｐｉｔｃｈ）によって特定方向に沿って分布され、前記追加中心点の少なくとも一部は、前記ピクセルピッチとは異なる構造ピッチ（ｃｏｎｓｔｒｕｃｔｉｏｎ  ｐｉｔｃｈ）により特定方向に沿って分布されることが好ましい。
【００１０】
上記目的を達成するためになされた本発明によるコンピューターはプロセッサ及び前記プロセッサと結合された非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記憶媒体を含み、前記記憶媒体は、１つ以上のプログラムを格納し、前記プロセッサによって前記１つ以上のプログラムが実行される場合、入力イメージに対するキャプチャされた値を受信する段階と、前記キャプチャされた値から前記入力イメージに対する追加値を計算する段階と、前記キャプチャされた値及び前記追加値を１つ以上のメモリに格納させる段階と、が実行されることを特徴とする。
【００１１】
上記目的を達成するためになされた本発明によるイメージングデバイスの動作方法は、入力イメージに対してキャプチャされた値を受信する段階と、前記キャプチャされた値から前記入力イメージに関する追加値を計算する段階と、前記キャプチャされた値及び前記追加値を１つ以上のメモリに格納させる段階と、を含み、前記キャプチャされた値は、前記値がキャプチャされた各々のピクセルのピクセル中心点に対応し、前記追加値の少なくとも一部は、前記ピクセル中心点と異なる追加中心点に対応することを特徴とする。
【発明の効果】
【００１２】
本発明に係るイメージングデバイス及びその動作方法、並びにコンピューターによれば、物理ピクセルによって入力イメージの成分をキャプチャした値よりさらに多い数の値を生成し、生成された値を利用して出力イメージを構成することによって、超解像度イメージを生成することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態によるイメージングデバイスのブロックダイヤグラムである。
【図２】本発明の実施形態による、追加値の計算のために追加的なサンプル選択位置を有するサンプルピクセルアレイのダイヤグラムである。
【図３】本発明の実施形態によるコンピューターのダイヤグラムである。
【図４】本発明の実施形態による方法を説明するためのフローチャートである。
【図５】図２のピクセルアレイの実施形態による可能である単一レイヤーセンサーのタイルのダイヤグラムである。
【図６】本発明の実施形態による可能である２レイヤー積層されたセンサーのタイル対のダイヤグラムである。
【図７】本発明の実施形態による可能である３レイヤー積層されたセンサーの４タイルのダイヤグラムである。
【図８】本発明の実施形態による２レイヤーオフセット積層されたセンサーアレイ部のダイヤグラムである。
【図９】回転された実施形態による２レイヤーオフセット積層されたセンサーアレイ部のダイヤグラムである。
【図１０】本発明の実施形態による３レイヤーオフセット積層されたセンサーアレイ部のダイヤグラムである。
【図１１】回転された実施形態による３レイヤーオフセット積層されたセンサーアレイ部のダイヤグラムである。
【図１２】本発明の実施形態による３レイヤーオフセット積層されたセンサーアレイ部のダイヤグラムである。
【図１３】本発明の実施形態によるイメージングアレイを使用する、イメージングデバイスのためのコントローラ基盤システムを示した図面である。
【図１４】本発明の実施形態による、物理的に２レイヤーオフセット積層されたセンサーアレイ部のダイヤグラムである。
【図１５】本発明の実施形態による物理的サンプルイメージ構造グリッド部分のダイヤグラムである。
【図１６】本発明の実施形態によるサンプルイメージ構造グリッド部分のダイヤグラムである。
【図１７】単一レイヤーセンサーアレイ部を示し、本発明の実施形態による追加値のための追加中心点を配置するためのサンプルタイルをさらに確認するダイヤグラムである。
【図１８】３レイヤー積層されたセンサーアレイ部を示し、本発明の実施形態による追加値に対する追加中心点を配置するためのサンプルタイルをさらに確認するダイヤグラムである。
【図１９】２レイヤー積層されたセンサーアレイ部を示し、本発明の実施形態による追加値に対する追加中心点を配置するためのサンプルタイルをさらに確認するダイヤグラムである。
【図２０】２レイヤー積層されたオフセットセンサーアレイ部を示し、本発明の実施形態による追加値に対する追加中心点を配置するためのサンプルタイルをさらに確認するダイヤグラムである。
【図２１】本発明の実施形態による図２０のアレイ部からイメージ構造グリッドへの行程（ｊｏｕｒｎｅｙ）を示す順次ダイヤグラムである。
【図２２】本発明の実施形態による、図１４のアレイ部の追加中心点に対する追加値を計算するためにキャプチャされた値を集めることを示す順次ダイヤグラムである。
【図２３】本発明の実施形態による、図１４のアレイ部の他の追加中心点に対する追加値を計算するためにキャプチャされた値を集めることを示す順次ダイヤグラムである。
【図２４】本発明の実施形態によるＲ、Ｇ、Ｂイメージ値を計算するために使用される方程式を示す図面である。
【図２５】本発明の実施形態による輝度及び色度イメージ値を計算するために使用される方程式を示す図面である。
【図２６】本発明の実施形態による輝度及び色度イメージ値を計算するために使用される方程式を示す図面である。
【図２７】本発明の実施形態による輝度及び色度イメージ値を計算するために使用される方程式を示す図面である。
【図２８】本発明の実施形態による輝度及び色度イメージ値を計算するために使用される方程式を示す図面である。
【図２９】本発明の実施形態によるフィルタトレーニング動作を説明するためのダイヤグラムである。
【図３０】本発明の実施形態によるフィルタトレーニング方法を説明するためのフローチャートである。
【図３１】本発明の実施形態によるＲＧＢ値と共に直接的にフィルタをトレーニングするのに使用される方程式を示す図面である。
【図３２】先の実施形態による輝度及び色度値によってフィルタをトレーニングするのに使用される方程式を示す図面である。
【図３３】先の実施形態による輝度及び色度値によってフィルタをトレーニングするのに使用される方程式を示す図面である。
【図３４】先の実施形態による輝度及び色度値によってフィルタをトレーニングするのに使用される方程式を示す図面である。
【図３５】先の実施形態による輝度及び色度値によってフィルタをトレーニングするのに使用される方程式を示す図面である。
【図３６】本発明の実施形態によるイメージ演算を示すダイヤグラムである。
【図３７】本発明の実施形態による入力イメージから出力イメージへのリサイジングを示すダイヤグラムである。
【図３８】本発明の実施形態による追加的な合成イメージ演算を示すダイヤグラムである。
【図３９】本発明の実施形態による特定合成イメージ演算を示すダイヤグラムである。
【発明を実施するための形態】
【００１４】
上述したように、本説明は特定タイプのイメージプロセシングを実行できるデバイス及びその動作方法、並びにコンピューターに関する。以下、本発明の実施形態に対して図面を参照しながらより詳細に説明する。
【００１５】
図１は本発明の実施形態によるイメージングデバイス１００のブロックダイヤグラムである。イメージングデバイス１００はケーシング１０２を有する。ＬＥＤのような、光源（ｌｉｇｈｔ  ｓｏｕｒｃｅ）１０５がケーシング１０２に提供される。また、開口部ＯＰがケーシング１０２に提供される。さらに必須ではないが、レンズＬＮが開口部ＯＰに選択的に提供される。
また、イメージングデバイス１００は実施形態によるピクセルアレイ１１０を有する。ピクセルアレイ１１０は開口部ＯＰを通じて光を受信するように構成されて、イメージングデバイス１００が物体ＯＢＪ、人、又は景色のイメージをキャプチャできるようにする。しばしば、イメージキャプチャは光源１０５によって補助される。
【００１６】
図１から確認できるように、ピクセルアレイ１１０と開口部ＯＰとは名目の視界（ｎｏｍｉｎａｌ  Ｆｉｅｌｄ  ｏｆ  Ｖｉｅｗ、ＦＯＶ−Ｎ）を定義する。もちろん、図１はそれらを２次元に示したが、視界ＦＯＶ−Ｎと物体ＯＢＪとは３次元である。また、レンズＬＮが実際に提供されれば、その結果として発生する実際の視界（ａｃｔｕａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）は名目の視界ＦＯＶ−Ｎと異なる。イメージングデバイス１００は画像化される物体ＯＢＪ、人又は景色が実際の視界範囲内に持ってこられるように整列される。
ピクセルアレイ１１０のピクセルはイメージの成分（ｅｌｅｍｅｎｔｓ）をキャプチャすることができる。多くの実施形態で、ピクセルアレイ１１０はピクセルの２次元アレイを有する。アレイは行（ｒｏｗ）と列（ｃｏｌｕｍｎ）とで構成される。
【００１７】
イメージングデバイス１００はピクセルによってキャプチャされた成分からイメージを表現することができる。また、イメージングデバイス１００は表現されたイメージ、又はそれのバーション（ｖｅｒｓｉｏｎ）をディスプレイできるスクリーン又はタッチスクリーンを含むディスプレイ１８０を選択的に含む。
イメージングデバイス１００はピクセルアレイ１１０の動作とイメージングデバイス１００の他の構成要素をコントロールするためのコントローラ１２０をさらに含む。コントローラ１２０は選択的にピクセルアレイ１１０と共に、そして恐らくイメージングデバイス１００の他の構成要素と共に一体に形成されてもよい。
【００１８】
イメージングデバイス１００は実施形態による入力イメージをプロセシングするためのイメージプロセッサ１２５をさらに含む。より詳細には、イメージプロセッサ１２５が出力イメージを構成する値を生成するために、入力イメージのピクセルアレイ１１０のピクセルによってキャプチャされた値を処理する。イメージプロセッサ１２５は選択的にコントローラ１２０、ピクセルアレイ１１０、及び／又はイメージングデバイス１００の他の構成要素と一体に形成されてもよい。
イメージングデバイス１００はメモリ１４０を選択的に含む。メモリ１４０は入力イメージの各々の成分、即ちアレイのピクセルによってキャプチャされた値を格納する。メモリ１４０は出力イメージの形態（ａｓｐｅｃｔ）、例えば実施形態によって出力画像化するために計算された値を格納する。
【００１９】
図２は本発明の実施形態による、追加値の計算のために追加的なサンプル選択位置を有するサンプルピクセルアレイ２１０のダイヤグラムである。ピクセルアレイ２１０は複数のピクセル２３２を有するが、説明を簡単にするために一部分のピクセルのみを示した。ピクセル２３２は無機物（ｉｎｏｒｇａｎｉｃ  ｍａｔｅｒｉａｌ）及び／又は有機物（ｏｒｇａｎｉｃ  ｍａｔｅｒｉａｌ）から形成される。
ピクセル２３２は正方形として図示したが、それは単なる描写のためのものである。実際には、ピクセル２３２は他の形状でもよく、そしてそれらの感光領域（ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ  ａｒｅａ）は全体ピクセル領域よりさらに小さいこともある。したがって、ピクセル２３２の感光領域を１つに合わせると、ピクセルアレイ２１０の全体領域を必ずカバーするものではない。事実、一部実施形態で、ピクセル２３２の感光領域の間で画像化された入力イメージの成分は画像化されないこともあり、これはそのような成分に対する値がキャプチャされないことを意味する。
【００２０】
ピクセル２３２は行２２２と列２２４に沿って直角パターンに配列されるが、これは単なる例示的なものであり、これに限定されるものではない。本明細書の下記で他の例を図示するように、ピクセルを配列する多数のパターンがある。
図２で、単なる１つのピクセル２３２のレイヤーを示したが、この場合に限定される必要はない。本明細書の下記で他の例を図示するように、２以上のピクセルのレイヤーのような積層される多数のレイヤーであってもよい。そのようなレイヤーの対（ｐａｉｒ）は、中間レイヤー（ｉｎｔｅｒｖｅｎｉｎｇ  ｌａｙｅｒ）の存在に関わらず、一般的に下部レイヤーと、その下部レイヤーの上に垂直に積層された上部レイヤーとして特定される。
【００２１】
また、ピクセル中心点２３６は多数のピクセルに対して定義され得る。より詳細には、ピクセル中心点２３６はピクセル２３２の感光領域の中心にあるように、適切に、望ましくは一貫した方式に定義される。仮にフォト−サイト（ｐｈｏｔｏ−ｓｉｔｅ）と称されるこのような感光領域が、例えば正方形であれば、その中心は感光領域の２つの対角線の交差点に位置される。出力イメージ構成の数学的な目的のために、複数のピクセル２３２によってキャプチャされた値は、それらがキャプチャされた各々のピクセル２３２のピクセル中心点２３６に対応する。
また、図２で、追加中心点２３９がさらに選択されることもあり得る。図２の例で、図示した追加中心点２３９のいずれも行２２２と列２２４の交差点に位置しないが、それが必須なことではない。
【００２２】
上述したように、実施形態で、複数のキャプチャされた値の他に、複数の追加値が出力イメージのために計算される。そのような追加値は追加中心点２３９に対応する。追加中心点２３９が行２２２と列２２４との交差点に位置しないので、このような追加値はピクセル２３２の中の１つによってキャプチャされない入力イメージの追加成分のためのものである。したがって、追加値の中の１つが実施形態によって入力イメージのために計算される場合、その追加値は物理ピクセル２３２によって入力イメージのためにキャプチャされた値以外に最終出力イメージを構成するのを助けるように使用される。
【００２３】
図２でピクセル中心点２３６はドット（ｆｕｌｌ  ｄｏｔ）で図示し、一方で追加中心点２３９は円（ｃｉｒｃｌｅ）で異なるように図示した。この差異はピクセル中心点２３６はピクセル２３２によってキャプチャされた値に対して定義される一方、追加中心点２３９は計算された追加値に対して定義されることを想起させるための意図である。したがって、出力イメージはドットがある位置に対する値と、そしてまた円がある位置に対する値とを有する。
【００２４】
図２の例を超えて、１つ以上の選択された追加中心点２３９がピクセル中心点２３６の中の１つと一致し得る。このようなことは、例えば不良ピクセル（ｂａｄ  ｐｉｘｅｌ）を訂正するのに役に立つ。
上述したように、実施形態によれば、追加中心点と一致する追加値が計算される。このような計算のより詳細な例を以下で説明する。計算はイメージプロセッサ１２５のような、イメージプロセッサによって実行される。代わりとして、計算はコンピューターによって実行されてもよい。以下にその例を説明する。
【００２５】
図３は本発明の実施形態によるコンピューター３１０のダイヤグラムである。コンピューター３１０は１つ以上の入力イメージを受信し、そして出力イメージを発生させる実施形態である。入力イメージはビデオ又は動画（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ）の入力イメージに関連されなくともよく、又は関連されてもよい。
コンピューター３１０は論理回路網（ｌｏｇｉｃ  ｃｉｒｃｕｉｔｒｙ）を含む１つ以上のデバイスによって具現されてもよい。コンピューター３１０は独立されたデバイス又は汎用コンピューターのようなコンピューター、又は１つ以上の追加的な機能を有するデバイスの一部であってもよい。論理回路網は汎用又はマイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、等のような専用のためにプログラム可能なマイクロプロセッサ３２０を含む。
【００２６】
また、論理回路網はメモリ３３０のような記憶媒体を含む。そのような媒体は揮発性メモリ、不揮発性メモリ（ＮＶＭ）、ＲＯＭ（ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、磁気ディスク記憶媒体（ｍａｇｎｅｔｉｃ  ｄｉｓｋ  ｓｔｏｒａｇｅ  ｍｅｄｉａ）、光学記憶媒体（ｏｐｔｉｃａｌ  ｓｔｏｒａｇｅ  ｍｅｄｉａ）、スマートカード、フラッシュメモリデバイス等を含むが、これに限定されるものではない。このような記憶媒体の中でいずれか１つは非一時的コンピューター読出し可能媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ−ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）である。
【００２７】
このような記憶媒体は、個別的に又は他のものとの組合せによって、それに対するデータ３３４を格納することができる。その上に、このような記憶媒体はプロセッサ３２０が読み出すことができ、そして実行できるプログラム３３２を格納する。より具体的には、プログラム３３２はプロセッサ３２０が読み出したことに基づいて実行するように、コード形態の命令を含む。実行は物理量の物理的操作によってなされ、そして結果的にその実行は機能、プロセス、実行される動作（ａｃｔｉｏｎ）及び／又は方法となるか、及び／又はプロセッサ３２０を実行させ、そのプロセッサ３２０は他のデバイス又は構成要素（ｃｏｍｐｏｎｅｎｔ）又はブロックがそのような機能、プロセッサ、動作及び／又は方法を実行させるようにする。
【００２８】
図１に戻って、仮にメモリ１４０が実際に提供されれば、１つ以上のメモリである。１つ以上のメモリは以後のエクスポート（ｅｘｐｏｒｔ）又はディスプレイのために、キャプチャされた値及び追加値を格納するように構成され得る。値のセットの全て（ｂｏｔｈ  ｓｅｔｓ  ｏｆ  ｖａｌｕｅｓ）は１つの（ａ  ｓｉｎｇｌｅ）出力イメージに寄与（ｃｏｎｔｒｉｂｕｔｅ）するように利用される。したがって、実施形態で、キャプチャされた値の数と追加値の数との合計はアレイにあるピクセルの数よりさらに大きい。それはキャプチャされた値の数は一般的にピクセルの数と同一であるが、追加値がさらに多いデータを提供するためである。
【００２９】
一部の実施形態で、追加値は格納される時、キャプチャされた値とさらに併合（ｍｅｒｇｅ）される。本明細書の目的のために、この併合は追加値が出力イメージに対するそれらの位置にしたがって均等に実行されたエクスポート（ｅｘｐｏｒｔ）又はディスプレイのためにキャプチャされた値と混じっていることを意味し、そしてそれが互に異なるメモリ又は互に異なるメモリセクションに格納されないことを意味する。
その上、仮にディスプレイ１８０が提供されれば、入力イメージから、出力イメージをディスプレイするように構成され得る。出力イメージはピクセルによってキャプチャされた値、そして追加的に計算された値から構成され得る。
【００３０】
本明細書で記述されたデバイス及び／又はシステムは本明細書で記述されたような機能、プロセス及び／又は方法を実行する。方法及びアルゴリズムは以下で説明する。このような方法及びアルゴリズムは所定の特定な論理デバイス又は他の装置（ａｐｐａｒａｔｕｓ）と本質的に連関されなければならないことではない。むしろ、それは汎用コンピューター、特定な目的のコンピューター、マイクロプロセッサ、等のような計算機（ｃｏｍｐｕｔｉｎｇ  ｍａｃｈｉｎｅ）を使用するためのプログラムによって便利に具現される。
【００３１】
しばしば、単なる便利性のために、プログラムをソフトウェアとしても認知された、相互に連結された多様な別個のソフトウェアモジュール又は構成として個別的に、そして統合的に具現及び説明することが望ましい。しかし、これは必須なことではなく、モジュールが不明確な境界を有しても、１つのプログラムとして同等に集合された（ａｇｇｒｅｇａｔｅｄ）場合もあり得る。一部の例で、ソフトウェアはファームウェアと称されるミックス（ｍｉｘ）として、ハードウェアと結合される。
【００３２】
本発明の詳細な説明は少なくとも１つのコンピューター読出し可能媒体の内部にプログラム動作のフローチャート、ディスプレイイメージ、アルゴリズム、及び記号的（ｓｙｍｂｏｌｉｃ）表現を含む。経済性は１セット（ａ  ｓｉｎｇｌｅ  ｓｅｔ）のフローチャートがプログラムと方法との全てを記述するのに使用されることによって達成される。したがって、フローチャートがボックスの観点で方法を説明する間に、それらはまた同時にプログラムを説明する。
その方法を以下で説明する。
【００３３】
図４は本発明の実施形態による方法を説明するためのフローチャート４００を示す。フローチャート４００の方法はまた本明細書で説明する実施形態によって実施できる。
段階Ｓ４１０によると、キャプチャされた値を受信する。キャプチャされた複数の値は入力イメージの各々の成分（ｅｌｅｍｅｎｔｓ）の値であり、ピクセルによってキャプチャされたものである。キャプチャされた値はその値がキャプチャされたピクセル各々のピクセル中心点に対応する。
次の段階Ｓ４３０によると、追加値を受信する。追加値はキャプチャされた値から計算される。追加値は追加中心点に対応する。追加成分の少なくとも一部はピクセル中心点とは異なってもよい。即ち、それとは一致しない。
【００３４】
したがって、出力イメージはキャプチャされた値及び計算された値から構成され得る。出力イメージで、キャプチャされた値はピクセル中心点に対応し、そして追加値は追加中心点に対応する。
その他の、選択的な段階Ｓ４４０によると、キャプチャされた値及び追加値を格納させるようにする（ｃａｕｓｅ）。格納は１つ以上のメモリに行われる。
その他の、選択的な段階Ｓ４５０によると、出力イメージはディスプレイされるか、又はディスプレイさせるようにする。出力イメージはキャプチャされた値及び追加値から構成される。
【００３５】
図２に戻って、ピクセル２３２は黒白、又はカラーである。もし、ピクセルが黒白であれば、各ピクセルは他のピクセルと類似になる。もしピクセル２３２がカラーであれば、それは例えば、赤緑青（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）、又はカラーピクセルの他の組合せである。そのような組合せで動作する場合、ピクセルはその隣のピクセルと異なる。そのような組合せで動作することができるピクセルの最小限のグループはタイル（ｔｉｌｅ）と称される。ピクセルアレイは実質的に類似であるか、或いは実質的に同一のタイルで作られたことと看做される。
値をキャプチャできるピクセルアレイの例、及び実施形態によって計算できる追加値のための例を以下で説明する。ここで、また、タイルの例も表示する。
【００３６】
図５は図２のピクセルアレイの実施形態による可能である単一レイヤーセンサー（ｓｉｎｇｌｅ−ｌａｙｅｒ  ｓｅｎｓｏｒ）のタイル５１１のダイヤグラムである。タイル５１１は２つのＧピクセル、１つのＢピクセル、及び１つのＲピクセルを含み、全てベイヤーパターン（Ｂａｙｅｒ  ｐａｔｔｅｒｎ）に整列される。ピクセルは複数のドットで図示された複数のピクセル中心点５３６を有する。タイル５１１のピクセルは出力イメージを構成するための数学的な目的のために、ピクセル中心点５３６に対応する。
タイル５１１のピクセルは入力イメージに対する値をキャプチャする。さらに、実施形態において、入力イメージに関する追加値が計算される。このような追加値は出力イメージを構成するための数学的な目的のために、追加中心点５３９に対応する。図５から確認できるように、そのような追加中心点はタイル５１１の他の所でも定義されることができる。
【００３７】
図６は本発明の実施形態による可能である２レイヤー積層されたセンサーのタイル対（ｐａｉｒ）６１１のダイヤグラムである。タイル対６１１は可能な２レイヤーピクセルの実施形態のタイルの対である。上部レイヤーはグリーン（ｇｒｅｅｎ）ピクセル６４５を有する。下部レイヤーはブルー（ｂｌｕｅ）ピクセル６４４とレッド（ｒｅｄ）ピクセル６４７を交互に有し、したがってベイヤーパターンを効率的に生成する。タイル対６１１のタイルは下にブルーピクセル６４４及びレッドピクセル６４７を有する２つの任意のグリーンピクセル６４５の組合せから作られる。それで、単一タイルは水平に上端の２つのピクセルや、左側の２つのピクセル等である。
【００３８】
図６で、複数のピクセル中心点６３６が図示される。グリーンピクセル６４５のピクセル中心点６３６はその下にあるピクセルの中心点と同一である。即ち、上部アレイにあるピクセルの感光領域の中心点は下部アレイにあるピクセルの感光領域の中心点と垂直方向に整列される。
タイル対６１１のタイルは入力イメージに対する値をキャプチャする。さらに、実施形態で、追加値が入力イメージに関して計算される。このような追加値は出力イメージの構成のための数学的な目的のために、追加中心点６３９に対応することができる。図示した複数の追加中心点６３９の中でいずれか１つに対して、アレイにあるさらに多いタイルも、概ねすべてのタイルを参照して追加値が計算され得る。
【００３９】
図７は本発明の実施形態による可能である３レイヤー積層されたセンサーの４つのタイル７１１のダイヤグラムである。上部レイヤーはグリーンピクセル７４５、中間レイヤーはブルーピクセル７４４、及び下部レイヤーはレッドピクセル７４７を有する。このようなセンサーはベイヤーパターンを形成することができない。図７のタイルは任意のグリーンピクセル７４５、及びそのグリーンピクセル下のピクセルから作られる。
図７で、複数のピクセル中心点７３６が図示される。ピクセル中心点７３６はグリーンピクセル７４５の中心点とその下にあるピクセルの中心点が同一である。これは本実施形態でレイヤーがオフセット無しで再積層（ａｇａｉｎ  ｓｔａｃｋｅｄ）されたためである。
【００４０】
タイル７１１のピクセルは入力イメージに対する値をキャプチャする。さらに、実施形態で、追加値が入力イメージに関して計算され得る。追加値は出力イメージを構成するための数学的な目的のために、複数の追加中心点７３９と対応することができる。図示された追加中心点７３９の中でいずれか１つに対して、アレイにあるさらに多いタイル、概ねすべてのタイルを参照して追加値が計算され得る。
【００４１】
先の２つの例では積層されたレイヤーが使用されたが、ピクセルはオフセットを有しない。他の実施形態はそれの光受容体領域（ｐｈｏｔｏｒｅｃｅｐｔｏｒａｒｅａ）が相互に対してオフセットを有する積層されたピクセルを有してもよい。そのような場合、ピクセル中心点は２つのレイヤーの平面（ｐｌａｎｅ）を垂直に併合することによって定義することができる。さらに分析的には、ピクセル中心点は上部レイヤーにあるピクセルに対する中心点と、下部アレイにあるピクセルの上部アレイ平面上へのプロジェクション（ｐｒｏｊｅｃｔｉｏｎ）に対する中心点の併合として定義され得る。もちろん、そのようなプロジェクションは幾何学的な意味で垂直に意図されたものである。その例を以下で説明する。
【００４２】
図８は本発明の実施形態による２レイヤーオフセット積層されたセンサーアレイ部８１１のダイヤグラムである。アレイ部８１１はグリーンピクセル８４５の上部レイヤー、及びレッドピクセル８４７とブルーピクセル８４４とが交互に配列された下部レイヤーを含む。アレイ部８１１のピクセルはドットで図示された、複数のピクセル中心点８３６を有する。ピクセル中心点８３６はキャプチャされた値の位置に対応する。
ダイヤグラムの平面（ｐｌａｎｅ）は下部レイヤー及び上部レイヤーの平面を縮小（ｃｏｌｌａｐｓｅ）するために、複数のピクセル中心点８３６はそれが上部レイヤー又は下部レイヤーのピクセルによって寄与（ｃｏｎｔｒｉｂｕｔｅ）されたか否かに関わらず、同一の平面にある。
【００４３】
上部レイヤーのピクセル８４５の中心点は行８２２及び列８２４に沿って配置される。行８２２は、垂直ピクセルピッチ（ｐｉｔｃｈ）と称されるそれらの間の距離８６２を有する。列８２４は、水平ピクセルピッチであると称されるそれらの間の距離８８４を有する。本実施形態で、垂直ピクセルピッチと水平ピクセルピッチとは同一であるが、これに限定されない。
下部レイヤーのピクセル８４７及び８４４の中心点は行８５２及び列８５４に沿って配置される。多くの実施形態で、下部レイヤーの行は垂直ピクセルピッチと類似なそれらの間の距離を有し、そして下部レイヤーの列は水平ピクセルピッチと類似なそれらの間の距離を有する。
【００４４】
図８の特定な例で、水平ピクセルピッチ及び垂直ピクセルピッチはＰＴＣとして同一である。また、寸法（ｄｉｍｅｎｓｉｏｎ、ＰＴＣ）はピクセルピッチとも称される。下部レイヤーは上部レイヤーと垂直方向にＰＴＣ／２と同じ距離８６３、及び水平方向にＰＴＣ／２と同じ距離８８５によるオフセットを有する。
アレイ部８１１のピクセルは入力イメージに対する値をキャプチャする。加えて、実施形態で、追加値が入力イメージに関して計算され得る。追加値は出力イメージを構成するための数学的な目的のために、追加中心点８３９に対応する。図示された追加中心点８３９の中で任意の１つに対して、追加値がアレイにあるさらに多いタイルを参照し、さらに概ねすべてのタイルを参照して同一の位置に対して計算され得る。
【００４５】
図９は回転された実施形態による２レイヤーオフセット積層されたセンサーアレイ部９１１のダイヤグラムである。アレイ部９１１はグリーンピクセル９４５の上部レイヤーと、レッドピクセル９４７とブルーピクセル９４４とが交互に配置された下部レイヤーを含む。
図９で、ピクセル中心点は図面を簡単にするために、特に示していない。仮に表示するとすれば、このような中心点は行９２２及び列９２４に沿って配列される。さらに、特に示さないが、追加中心点が下部レイヤーにあるピクセルの中心点で定義され得る。このような中心点は行９５２及び列９５４に沿って配列され得る。
【００４６】
図９で、ピクセルの長方形境界は水平及び垂直から４５°回転されたラインを定義する。仮にそのような回転されたラインに沿ってピクセルピッチＰＴＣが測定されれば、行９２２、９５２及び列９２４、９５４に沿って測定された有効ピクセルピッチとは異なる。行９２２の間のピッチ９６２、及び列９２４の間のピッチ９６４はＰＴＣ＊ＳＱＲＴ（２）と同一である。そして、オフセット９６３、９６５はＰＴＣ／ＳＱＲＴ（２）と同一である。
アレイ部９１１のピクセルは入力イメージに対する値をキャプチャする。さらに、実施形態で、追加値が入力イメージに関して計算され得る。追加値は上述したように、１つ以上のタイルに対する追加中心点９３９に対応することができる。
【００４７】
図１０は本発明の実施形態による３レイヤーオフセット積層されたセンサーアレイ部１０１１のダイヤグラムである。アレイ部１０１１はグリーンピクセル１０４５の上部アレイと、ブルーピクセル１０４４の中間レイヤー及びレッドピクセル１０４７の下部レイヤーとを含む。
図１０で、グリーンピクセル１０４５の中心点は行１０２２及び列１０２４に沿って配列される。距離１０６２と距離１０６４とはピッチＰＴＣと同一である。ブルーピクセル１０４４はオフセット無しでレッドピクセル１０４７上に積層される。しかし、ブルーピクセル１０４４は行１０５２及び列１０５４に沿って配列される。ブルーピクセル１０４４の行及び列は行１０２２及び列１０２４から垂直及び水平にＰＴＣ／２のオフセットを有する。
アレイ部１０１１のピクセルは入力イメージに対する値をキャプチャする。さらに、実施形態で、追加値が入力イメージに関して計算される。追加値は上述したように、１つ以上のタイルに対する追加中心点１０３９に対応することができる。
【００４８】
図１１は回転された実施形態による３レイヤーオフセット積層されたセンサーアレイ部１１１１のダイヤグラムである。アレイ部１１１１はグリーンピクセル１１４５の上部レイヤーと、ブルーピクセル１１４４の中間レイヤー及びレッドピクセル１１４７の下部レイヤーとを含む。アレイ部１１１１は４５°に回転されたことを除いてはアレイ部１０１１と類似なデザインを有することと認識される。
アレイ部１１１１のピクセルは入力イメージに対する値をキャプチャする。さらに、実施形態で、追加値は上述したように、１つ以上のタイルに対する追加中心点１１３９に対応する。
【００４９】
図１２は本発明の実施形態による３レイヤーオフセット積層されたセンサーアレイ部１２１１のダイヤグラムである。アレイ部１２１１はグリーンピクセル１２４５の上部アレイと、ブルーピクセル１２４４の中間アレイ及びレッドピクセル１２４７の下部アレイとを含む。
図１２で、グリーンピクセル１２４５の中心点は行１２２２及び列１２２４に沿って配列される。距離１２６２と距離１２６４とはピッチＰＴＣと同一である。中間レイヤーは上部レイヤーから垂直及び水平に距離１２６５である、ＰＴＣ／３と同一距離のオフセットを有する。下部レイヤーは中間レイヤーから垂直及び水平に距離１２６６である、ＰＴＣ／３と同一距離のオフセットを有する。
【００５０】
アレイ部１２１１のピクセルは入力イメージに対する値をキャプチャする。さらに、実施形態で、追加値が入力イメージに関して計算され得る。追加値は上述したように、１つ以上のタイルに対する追加中心点１２３９に対応することができる。
上記の説明は多様な可能である実施形態を示す。追加値を計算する方法の詳細な説明の前に、全体的なイメージングシステムを先に説明する。
【００５１】
図１３は本発明の実施形態によるイメージングアレイを使用する、イメージングデバイスのためのコントローラ基盤システム（ｃｏｎｔｒｏｌｌｅｒ−ｂａｓｅｄ  ｓｙｓｔｅｍ）１３００を示した図面である。システム１３００は図１のイメージングデバイスに対するものである。
コントローラ基盤システム１３００は実施形態によるイメージセンサー１３１０を含む。これはピクセルアレイとして上記で示した。
【００５２】
コントローラ基盤システム１３００はコンピューターシステム、イメージングデバイス、カメラシステム、スキャナー、マシンビジョンシステム（ｍａｃｈｉｎｅ  ｖｉｓｉｏｎ  ｓｙｓｔｅｍ）、自動車ナビゲーションシステム、スマート電話機、ビデオ電話機、個人用携帯端末機ＰＤＡ、モバイルコンピューター、監視システム、オートフォーカスシステム、星追跡システム、動き探知システム、イメージ安定化システム、高解像度テレビのためのデータ圧縮システム、等であるが、これに限定されない。
コントローラ基盤システム１３００は実施形態によるコントローラ１３２０をさらに含む。コントローラ１３２０は図１のコントローラ１２０である。コントローラ１３２０は中央処理装置（ＣＰＵ）、デジタル信号プロセッサ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、プログラム可能論理素子ＰＬＤ等である。
【００５３】
一部実施形態で、コントローラ１３２０はバス１３３０を通じて、イメージセンサー１３１０と通信する。一部実施形態で、コントローラ１３２０は１つの集積回路にイメージセンサー１３１０と共に結合されてもよい。コントローラ１３２０は技術分野で通常の知識を有する者によって理解できる、出力端子から制御信号を伝送すること、等を通じてイメージセンサー１３１０を制御し、動作させる。
コントローラ１３２０はコントローラ基盤システム１３００にある他のデバイスと通信することができる。そのような他のデバイスの中で１つはＲＡＭ又はＲＯＭ、又はその組合せであるメモリ１３４０である。メモリ１３４０はコントローラ１３２０によって読み出し、実行される命令（ｉｎｓｔｒｕｃｔｉｏｎ）を格納するように構成され得る。メモリ１３４０は短期（ｓｈｏｒｔ  ｔｅｒｍ）及び長期（ｌｏｎｇ  ｔｅｒｍ）の両方のために、イメージセンサー１３１０によってキャプチャされたイメージを格納するように構成される。
【００５４】
コントローラ基盤システム１３００は実施形態による入力イメージをプロセシングするための、イメージプロセッサ１３２５をさらに含む。イメージプロセッサ１３２５は図１のイメージプロセッサ１２５である。一部実施形態で、イメージプロセッサ１３２５はバスを通じて、イメージセンサー１３１０と通信する。
そのような他のデバイスのその他の１つはコンパクトディスク（ＣＤ）、サムドライブ（ｔｈｕｍｂ  ｄｒｉｖｅ）、等である外部ドライブ１３５０である。そのようなデバイスのその他の１つはキーパッド、キーボード、及びディスプレイのような、使用者のための入力／出力（Ｉ／Ｏ）デバイスである。メモリ１３４０はＩ／Ｏデバイス１３６０を通じて使用者にアクセスできるユーザーデータを格納するように構成され得る。
【００５５】
追加的なそのようなデバイスはインターフェイス１３７０である。コントローラ基盤システム１３００は通信ネットワークにデータを伝送するか、或いは通信ネットワークからデータを受信するためにインターフェイス１３７０を使用することができる。伝送は、例えばケーブルやＵＳＢインターフェイスのようなワイヤ（ｗｉｒｅ）を通じて行われる。代わりとして、通信ネットワークは無線であってもよい。そして、インターフェイス１３７０は無線であり、例えばアンテナ、無線トランシーバー（ｔｒａｎｓｃｅｉｖｅｒ）等を含むことができる。通信インターフェイスプロトコルはＣＤＭＡ、ＧＳＭ（登録商標）、ＮＡＤＣ、Ｅ−ＴＤＭＡ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、Ｗｉ−Ｆｉ（登録商標）、ブルートゥース（登録商標）、ＤＥＣＴ、無線ＵＳＢ、フラッシュ−ＯＦＤＭ、ＩＥＥＥ８０２．２０、ＧＰＲＳ、ｉＢｕｒｓｔ、ＷｉＢｒｏ、ＷｉＭＡＸ（登録商標）、ＷｉＭＡＸ−Ａｄｖａｎｃｅｄ、ＵＭＴＳ−ＴＤＤ、ＨＳＰＡ、ＥＶＤＯ、ＬＴＥ−Ａｄｖａｎｃｅｄ、ＭＭＤＳ、等のような通信システムのプロトコルである。
【００５６】
そのようなデバイスのその他の１つはディスプレイ１３８０である。ディスプレイ１３８０は図１のディスプレイ１８０である。ディスプレイ１３８０は恐らくイメージングパラメーター等を調整してそのデバイスを整列するのを助けられるように、使用者にイメージセンサー１３１０によって受信された暫定イメージ（ｔｅｎａｔｉｖｅ  ｉｍａｇｅ）を表示させることができる。
以下で実施形態による計算（ｃｏｍｐｕｔａｔｉｏｎ）をサンプルアレイに対してより詳細に説明する。実施形態による計算は他のアレイに対しても同様に可能である。下記の説明は物理的な考察から始めて、だんだんさらに抽象的であり数学的な考察に進行する。
【００５７】
図１４は本発明の実施形態による、物理的に２レイヤーオフセット積層されたセンサーアレイ部１４１４のダイヤグラムである。アレイ部１４１４の特殊な場合がアレイ部８１１であることを認識できる。より詳細には、アレイ部１４１４はピクセルの上部レイヤー及びピクセルの下部レイヤーを含む。
アレイ部１４１４のピクセルはドットで表示されたピクセル中心点１４３６を有する。ピクセル中心点１４３６はキャプチャされた値の位置に対応することができる。ピクセル中心点１４３６は、それが上部レイヤー又は下部レイヤーのピクセルによって寄与されたか否かに関わらず、図面上の同一の平面にある。
【００５８】
アレイ部１４１４のピクセルは入力イメージに対する値をキャプチャする。さらに、実施形態で、１つ以上の追加値が入力イメージに関して計算される。図１４で、追加中心点１４３９は有利に選択された位置、即ち上部ピクセルレイヤーの行１４２２の中の１つと下部ピクセルレイヤーの列１４５４の中の１つとが交差するところに図示した。単なる１つの追加中心点１４３９を図示したが、さらに多い追加中心点を上述した交差点で選択することができる。追加値は出力イメージを構成するための数学的な目的のために、１つ以上の追加中心点１４３９に対応することができる。
【００５９】
行程（ｊｏｕｒｎｅｙ）の開始点として、アレイ部１４１４はまたピクセルレイヤー位置グリッド（ｐｉｘｅｌ  ｌａｙｅｒ  ｌｏｃａｔｉｏｎ  ｇｒｉｄ）と称され、上部グリッドと下部グリッドとから作られる。上部レイヤーにあるピクセルの中心点は行１４２２及び列１４２４に沿って配置されて上部グリッドを構成する。行１４２２は与えられた距離１４６２の垂直ピクセルピッチを有する。列１４２４は与えられた距離１４８４の水平ピクセルピッチを有する。本実施形態で、垂直ピッチ及び水平ピッチはＰＴＣと同一である。
下部レイヤーにあるピクセルの中心点は行１４５２及び列１４５４に沿って配置される。したがって、このような行及び列は下部グリッドを構成する。図８の実施形態で、下部レイヤーの行及び列は上部レイヤーにあるそれと同一のピッチＰＴＣを有する。下部レイヤーは上部レイヤーから垂直にＰＴＣ／２と同じ距離１４６３、及び水平にＰＴＣ／２と同じ距離１４８５のオフセットを有する。
【００６０】
図１５は本発明の実施形態による物理サンプリンググリッド部（ｐｏｒｔｉｏｎ  ｏｆ  ｐｈｙｓｉｃａｌ  ｓａｍｐｌｉｎｇ  ｇｒｉｄ）１５１５のダイヤグラムである。グリッド部１５１５は単なる図１４のピクセルレイヤー位置グリッドの行及び列にピクセル中心点１４３６を加えて（ｐｌｕｓ）作られる。
図１４の上部グリッドは図１４の下部グリッド上に重ね（ｓｕｐｅｒｉｍｐｏｓｅｄ）、そして上部グリッド及び下部グリッドは図１５にある１つの平面に縮小（ｃｏｌｌａｐｓｅ）され、併合されることが分かる。したがって、グリッド部１５１５はキャプチャされた値を提供する、アレイのすべての物理サンプリングフォト−サイト（ｐｈｏｔｏ−ｓｉｔｅ）の位置を示す。
図１５で、追加中心点１４３９に対応できる、追加値が入力イメージに関して計算される。図１４のアレイの選択は以下で説明するさらに多いそのような点を許容する。
【００６１】
図１６は本発明の実施形態によるサンプルイメージ構造グリッド部（ｓａｍｐｌｅ  ｉｍａｇｅ  ｃｏｎｓｔｒｕｃｔｉｏｎ  ｇｒｉｄ  ｐｏｒｔｉｏｎ）１６１６のダイヤグラムである。グリッド部１６１６は使用される追加中心点と共に、図１５のそれと同一である、物理的サンプルイメージ構造グリッドから作られる。追加中心点１６３９は図１５の物理的サンプルイメージ構造グリッド部下部レイヤー（ｐｈｙｓｉｃａｌ  ｓａｍｐｌｅ  ｉｍａｇｅ  ｃｏｎｓｔｒｕｃｔｉｏｎ  ｇｒｉｄ  ｐｏｒｔｉｏｎ  ｌｏｗｅｒ  ｌａｙｅｒ）の有利な空間（ａｄｖａｎｔａｇｅｏｕｓ  ｓｐａｃｅ）で図１４の追加中心点１４３９をコピーして生成されたものであることが認識できる。
【００６２】
このように、サンプルイメージ構造グリッド部１６１６で行と列とのすべての交差点は最終イメージのための値に寄与する。ピクセル中心点１４３６に対応する値は入力イメージに対してキャプチャされた値であり、そして追加中心点１６３９に対応する値は入力イメージに関して追加に計算された値である。
図１６のすべての交差点が最終イメージのための値に寄与するため、有効ピッチの数がさらに小さいことを分かる。しかし、これをより理解しやすくするために、タイルがどのようにして定義されているかに対し以下により詳細に説明する。
【００６３】
タイルは垂直次元、及び／又は水平次元及び／又は深さの次元に互いに隣接することができるピクセルのグループである。さらに、タイルのピクセルは最小限の数（ｍｉｎｉｍｕｍ  ｉｎ  ｎｕｍｂｅｒ）である。その上に、グループに獲得された、タイルのピクセルはアレイ内でのそれらの位置に関わらず、概ね同一の特性（ｐｒｏｐｅｒｔｙ）を有する。タイルの定義は互に異なるカラーのピクセルがあり、それが組合せで動作することが予想される場合に使用される。しばしば、タイルのピクセルをモザイクとして取扱うデモザイキング（ｄｅｍｏｓａｉｃｋｉｎｇ）と称されるプロセスがこの組合せに適用される。このような概念（ｃｏｎｃｅｐｔ）を考慮すれば分かるように、タイルはまたピクセル中心点から定義されることもある。
【００６４】
一部実施形態で、各タイルに対して、追加中心点がタイルと共に複製される。下記の例で追加中心点をタイル内部に図示するが、そのようなことが必須なことではない。
一部実施形態で、追加中心点に対応する追加値がキャプチャされた値と共にデモザイクされる。出力イメージは共にデモザイクされたもの（ｊｏｉｎｔ  ｄｅｍｏｓａｉｃｋｉｎｇ）から構成され得る。
そのようなタイルの例を以下で説明する。このような例示を通じて、他の実施形態で、２以上の追加中心点が各タイルに対して定義できることを認識しなければならない。
【００６５】
図１７は単一レイヤーセンサーアレイ部１７１１を示し、本発明の実施形態による追加値のための追加中心点を配置するためのサンプルタイルをさらに確認するダイヤグラムである。アレイ部１７１１は図５と同一のベイヤーパターンである。サンプルタイルは図面符号１７８０である。サンプル追加中心点１７３９はタイル１７８０の内部に表示した。
【００６６】
図１８は３レイヤー積層されたセンサーアレイ部１８１１を示し、本発明の実施形態による追加値に対する追加中心点を配置するためのサンプルタイルをさらに確認するダイヤグラムである。アレイ部１８１１は同一のタイプのピクセルを有する、図７と同一のパターンである。サンプルタイルは単なる深さの次元（ｄｅｐｔｈ  ｄｉｍｅｎｓｉｏｎ）方向に隣接する３つのピクセルである図面符号１８８０である。サンプル追加中心点１８３９はタイル１８８０の内部に表示した。
【００６７】
図１９は２レイヤー積層されたセンサーアレイ部１９１１を示し、本発明の実施形態による追加値に対する追加中心点を配置するためのサンプルタイルをさらに確認するダイヤグラムである。アレイ部１９１１は同一のタイプのピクセルを有する、図６と同一のパターンである。サンプルタイル１９８０は幅（ｗｉｄｔｈ）及び深さの次元方向に隣接する４つのピクセルである図面符号１９８０である。２つのサンプル追加中心点１９３９はタイル１９８０の内部に表示した。
【００６８】
図２０は２レイヤー積層されたオフセットセンサーアレイ部２０１１を示し、本発明の実施形態による追加値に対する追加中心点を配置するためのサンプルタイルをさらに確認するダイヤグラムである。アレイ部２０１１は同一のタイプのピクセルを有する図８と同一のパターンである。サンプルタイルはオフセットを有する幅及び深さの次元方向に隣接する４つのピクセルである図面符号２０８０である。サンプル追加中心点２０３９はタイル２０８０の内部に表示した。さらに多くのそのような追加中心点が可能である。例を以下で説明する。
【００６９】
図２１は本発明の実施形態による図２０のアレイ部からイメージ構造グリッドへの行程（ｊｏｕｒｎｅｙ）を示す順次ダイヤグラムである。アレイ部２０１１は指定されたタイル２０８０と共に、図２０から繰り返される。
アレイ部２０１１から下に移動すると、タイル２０８０のピクセルのみがアレイ部２０１１から分離されて示される。さらに、追加値が計算される位置２１４０が表示される。このような位置２１４０の中で一部に対して、基本（ｕｎｄｅｒｌｙｉｎｇ）カラーピクセルから１つのカラーのキャプチャされた値が既に存在することに注目しなければならない。位置２１４０に対する疑問符が埋め込まれた六角形は追加値が計算され得るところを示すための手段（ｖｅｈｉｃｌｅ）である。
【００７０】
タイル２０８０からさらに下に移動すると、イメージ構造グリッド２１１６が図示される。ポイントＰ１、Ｐ２、…、Ｐ８がグリッド２１１６の交差点に図示される。このようなすべてのポイントＰ１、Ｐ２、…、Ｐ８は追加中心点２１３９であり、したがって、円２１３９を含むように図示した。それに対応する追加値が計算される。
【００７１】
さらに、ポイントＰ１、Ｐ３、Ｐ６、Ｐ８はまたピクセル中心点である、したがって、ドット２１３６を含むように図示した。基本ピクセルからキャプチャされた値はその各々に対応する。ポイントＰ１、Ｐ３、Ｐ６、Ｐ８はドット２１３６と円２１３９との全てを含むことを確認することができる。キャプチャされた値にも拘らず、他のカラーに対するもののように、追加値がこのようなポイントに対して計算される。
実施形態によって、追加値の計算のために、１つ以上のフィルタ関数が使用される。例を以下で説明する。説明が進行するにしたがって、フィルタ関数はフィルタパラメーターを有し、そしてフィルタパラメーターに対する他の値が使用されることを確認できる。
【００７２】
図２２は本発明の実施形態による、図１４のアレイ部の追加中心点に対する追加値を計算するためにキャプチャされた値を集めることを示す順次ダイヤグラムを示す。アレイ部１４１４は図１４から繰り返される。アレイ部１４１４の内部で、ピクセル中心点２２３６が指定される。その上に、追加値がピクセル中心点２２３６に対して計算される。また、ピクセル中心点２２３６は追加中心点２２３９としても指定される。
実施形態によれば、追加値が追加中心点２２３９を囲むキャプチャされた値のカーネル（ｋｅｒｎｅｌ）から計算される。したがって、カーネル２２７７は追加値の計算のために使用されるキャプチャされた値を囲む追加中心点周辺で定義される。また、カーネル２２７７がキャプチャされた値が無いポイント２２３７のようなポイントを囲むことが確認できる。
【００７３】
アレイ部１４１４から下に移動すると、位置セット（ｌｏｃａｔｉｏｎ  ｓｅｔ）２２８２がカーネル２２７７に対して表示される。位置セット２２８２はピクセル中心点Ｑ１、Ｑ２、…、Ｑ１３に対してキャプチャされた値を含む。ピクセル中心点Ｑ１、Ｑ２、…、Ｑ１３は列挙された位置に対応する。位置セット２２８２はキャプチャされた値を有しないポイント２２３７のようなポイントに対するヌル（ｎｕｌｌ）値２２３０をさらに含む。それは追加値が計算される時、無視されるか、又は０（ｚｅｒｏ）に設定される。
【００７４】
上述したように、図２２のプロセスは追加中心点２２３９で追加値を計算するために意図されたものである。プロセスは図２１のタイル２０８０に対するイメージ構造グリッド２１１６で図示したように、タイルの追加中心点で追加値を計算するために繰り返される必要がある。また、位置セット２２８２はカーネル及び／又はベクトルＨｐとして考えられる。このような脈絡で、追加中心点２２３９はまた固有フィルタ位置（ｕｎｉｑｕｅ  ｆｉｌｔｅｒ  ｌｏｃａｔｉｏｎ、ｐ）として定義され、そして位置セット２２８２はタイル（ｉ、ｊ）、及びレイヤー（ｌ）の内部の構造位置（ｐ）を中心に、カーネル内部の位置を示す。
【００７５】
例えば、位置セット２２８２の中央位置Ｑ７はイメージ構成グリッド２１１６のポイントＰ６に対して適用され、そしてその後、ポイントＰ８に対して適用される。また、それは追加タイル２０８０の内部の追加中心点Ｐ６に対応する追加値がポイントＰ３での値のような、タイル２０８０の内部でキャプチャされた値の中の１つと、そしてポイントＰ２の上の値のような、特定タイルの外部でキャプチャされた値の中の１つとから計算されるところの例である。
【００７６】
図２３は本発明の実施形態による、図１４のアレイ部の他の追加中心点に対する追加値を計算するためにキャプチャされた値を集めることを示す順次ダイヤグラムを示す。アレイ部１４１４は図１４から繰り返される。アレイ部１４１４の内部で、ピクセル中心点２３３６が指定される。キャプチャされた値はピクセル中心点２３３６に対応する。また、追加中心点２３３９に対応される追加値が計算される。それと異なり、追加中心点２３３９はどの軸の交差点にも存在しなく、そして先のダイヤグラムでのポイント２２３９の多くの対称性（ｓｙｍｍｅｔｒｙ）を享有（ｅｎｊｏｙ）しない。
【００７７】
実施形態によれば、カーネル２３７７は追加値の計算のために使用されるキャプチャされた値を囲む追加中心点２３３９周辺で定義される。また上述したように、カーネル２３７７はまた図２３で特に指定されない、キャプチャされた値を有しないポイントを囲む。
アレイ部１４１４から下に移動すると、位置セット２３８２がカーネル２３７７に対して図示される。位置セット２３８２はピクセル中心点Ｓ１、Ｓ２、…、Ｓ１３に対してキャプチャされた値を含む。ピクセル中心点Ｓ１、Ｓ２、…、Ｓ１２は列挙された位置に対応する。また、ポイント２３３９が図示される。
【００７８】
上記から、一部フィルタパラメーターを理解することができる。第１に、フィルタパラメーターは、即ちフィルタの大きさであるカーネル２２７７、２３７７の大きさである。良好な値（ｇｏｏｄ  ｖａｌｕｅ）は５×５乃至７×７である。長方形状のカーネルのための良好な値はフィルタが追加中心点周辺で均一に重み付けられるように、奇数×同じ奇数を使用することである。もちろん、実施形態によるカーネルは必ず長方形状である必要はない。
第２に、フィルタパラメーターは、例えばカーネル内のそれらの位置に依存する、互に異なるキャプチャされた値を掛けられる重み付け係数（ｗｅｉｇｈｔ  ｃｏｅｆｆｉｃｉｅｎｔｓ）である。
【００７９】
実施形態による追加値に対するより詳細な計算方法を以下で説明する。このような追加値は所定の適切な色空間（ｃｏｌｏｒ  ｓｐａｃｅ）に換算され得る。実施形態はレッド−ホワイト−ブルー色空間、ＲＧＢ色空間、及び輝度−色度（ｌｕｍｉｎａｎｃｅ−ｃｈｒｏｍｉｎａｎｃｅ）色空間を含むことができる。さらに多くの特定な例を以下で説明する。
【００８０】
図２４は本発明の実施形態によるＲ、Ｇ、Ｂイメージ値計算するために使用される方程式を示す。このような方程式が、上述した重み付け係数によって特別に重み付けられたピクセルのキャプチャされた値を合計することによる、２次元で適用された、線型コンボリューション（ｌｉｎｅａｒ  ｃｏｎｖｏｌｕｔｉｏｎ）のプロセスを示すことが分かる。コンボリューションは構造位置を囲んだ周辺にある。
図２４の方程式で、添字ｌはピクセルセンサーアレイのレイヤーの数である。コンボリューションはすべてのレイヤー（ｌ）に対する合計である。
各タイルＴは識別添字Ｔ（ｉ、ｊ）を有し、そしてコンボリューションは各タイル（ｉ、ｊ）内部の位置ｐに対して実行される。ベクトルＸ（ｉ、ｊ、ｐ、ｌ）はタイルＴ（ｉ、ｊ）、タイル内（ｉｎｔｒａ−ｔｉｌｅ）の位置ｐ、及びレイヤーｌでカーネルの内部でキャプチャされた値を意味する。
【００８１】
また、重み付け値としても認知された、重み付け係数がベクトルフィルタＨによって与えられる。レイヤーｌ、タイル内の構造位置ｐ、及びカラーの各組合せ当たり１つである複数のフィルタＨがある。レッド、グリーン、ブルーカラーに対して、このようなフィルタはＨ（ｐ、ｌ）Ｒ、Ｈ（ｐ、ｌ）Ｇ、及びＨ（ｐ、ｌ）Ｂである。このような各フィルタは前述した７×７のような適切な大きさである。
したがって、Ｒ、Ｇ、Ｂに対する値は図２４から計算される。提供されるキャプチャされた値が無いので、カーネルＨの内部の位置と物理ピクセルが存在しないところに対応する位置が無視できることが分かる。無視は計算からそのようなものを排除し、適切な重み付け係数を０（ｚｅｒｏ）に調整すること等によって具現される。
代案的な計算が輝度−色度（ｌｕｍｉｎａｎｃｅ−ｃｈｒｏｍｉｎａｎｃｅ）色空間を使用して実行され得る。仮にこれが使用されれば、それはＲ、Ｇ、Ｂにさらに変換されることであり、この場合、上述した直接的なＲ、Ｇ、Ｂ計算に比べて少ない計算を必要とする。特定な実施形態について以下で説明する。
【００８２】
図２５は本発明の実施形態による輝度及び色度イメージ値を計算するために使用される方程式を示す図面であり、追加値に対する輝度Ｙ（ｉ、ｊ、ｐ）を推定するための方程式を示す。輝度の種類（ｎａｔｕｒｅ）によって与えられた、７×７のような、さらに大きい方であるＨ（ｐ、ｌ）Ｙと称される他のフィルタが使用され得る。さらに、合算がすべてのレイヤーｌに対して実行される。
【００８３】
図２６は本発明の実施形態による輝度及び色度イメージ値を計算するために使用される方程式を示す図面であり、色差（ｃｏｌｏｒ  ｄｉｆｆｅｒｅｎｃｅ）Ｃ（ｉ、ｊ、ｐ、ｌ）を推定するための方程式を示す。色差はキャプチャされるか、又はセンシングされた値と、図２５の輝度計算によって誘導されたものとの間の差である。
【００８４】
図２７は本発明の実施形態による輝度及び色度イメージ値を計算するために使用される方程式を示す図面であり、Ｒ、Ｇ、Ｂカラーの各々に対する色度値（ｃｈｒｏｍｉｎａｎｃｅ  ｖａｌｕｅ）Ｃ（ｉ、ｊ、ｐ）Ｒ、Ｃ（ｉ、ｊ、ｐ）Ｇ、及びＣ（ｉ、ｊ、ｐ）Ｂを推定するための方程式を示す。推定は図２６の方程式で推定された色差を使用する。５×５のような、さらに小さい方のＨ（ｐ、ｌ）ＣＲ、Ｈ（ｐ、ｌ）ＣＧ、及びＨ（ｐ、ｌ）ＣＢと称される他のフィルタが使用され得る。
【００８５】
図２８は本発明の実施形態による輝度及び色度イメージ値を計算するために使用される方程式を示す図面であり、図２４のそれらのような、ＲＧＢ値を推定するための方程式を示す。しかし、図２８で、ＲＧＢ値は図２５の輝度値と図２７での色度の差異から再構成される。
もちろん、上述した演算は１つ以上のフィルタ関数、又はそのフィルタが計算に対して知られていることを想定する。実施形態によれば、フィルタがそれらのパラメーターに対する良好な値を決定するために先にトレーニング（ｔｒａｉｎｉｎｇ）される。トレーニングされたフィルタはその後準備されたデバイスに対して使用される。その例を以下で説明する。
【００８６】
図２９は本発明の実施形態によるフィルタトレーニング動作を説明するためのダイヤグラム２６００である。基準イメージ２６１０が選択され、そしてソース（ｓｏｕｒｃｅ）として取り扱われる。基準イメージ２６１０は全てが自然の場面及び人工（ｍａｎ−ｍａｄｅ）の場面である、典型的な場面のコレクションから選択される。望ましい実施形態で、選択されたイメージでの場面のタイプの頻度（ｆｒｅｑｕｅｎｃｙ）は、カメラのような、イメージングデバイス１００の代表使用者によってキャプチャされた場面のそのようなタイプの頻度を反映する。
ターゲットイメージ２６１２は、多くの可能である誘導方法の中の１つの実施形態によって選択された基準イメージ２６１０から誘導され得る。そのような誘導方法のサンプルアルゴリズムについて本明細書で後述する。
【００８７】
ターゲットイメージ２６１２は基準イメージ（ｒｅｆｅｒｅｎｃｅ  ｉｍａｇｅ）２６１０のターゲットバーション（ｔａｒｇｅｔ  ｖｅｒｓｉｏｎ）として考えられ、またターゲット基準イメージとも称される。ターゲットイメージ２６１２は実施形態によって構成された基準イメージ２６１０を有するために要求される方法に対応する。
ＲＧＢ値２６１４のセットは基準イメージ２６１０に関して知られている。実施形態によるプロセスをシミュレーションするプロセス２６３５によれば、出力テストイメージ２６４０は値２６１４のセットから、そしてフィルタ関数のパラメーターに対する暫定値を使用して構成される。プロセス２６３５は追加値の計算と、デモザイキングを含む。追加テスト値は入力テスト値と共にデモザイクされ得る。出力テストイメージ２６４０はデモザイクされたもの（ｊｏｉｎｔ  ｄｅｍｏｓａｉｃｋｉｎｇ）から構成され得る。
【００８８】
出力テストイメージ２６４０はターゲットイメージ２６１２とそれがどのぐらい近いか、即ちそれがどのぐらいよく一致するかを確認するために比較される。プロセスはそれが満足するぐらい近くなるまで、他のパラメーター値を使用して、何回も繰り返される。この方法で、フィルタは構成された出力テストイメージ２６４０とターゲットイメージ２６１２との間の差である誤差を最小化するためにトレーニングされるか、又は学習される。誤差を最小化するためのサンプルアルゴリズムについて本明細書で後述する。
一部実施形態で、入力テスト値はテストアレイを基準イメージに実際に露出することによって定められ、したがってイメージをキャプチャすることができる。基準イメージはテストチャート（ｃｈａｒｔ）上にプリントされた場面である。望ましくは、場面のイメージは過露出（ｏｖｅｒｅｘｐｏｓｅ）されなく、そして低い雑音（ｎｏｉｓｅ）を有する。
【００８９】
このような場合、ターゲットイメージ２６１２は基準イメージ２６１０をキャプチャされたイメージにできるだけ正確に整列し、テストピクセルアレイに存在し得る幾何学的な歪曲を予測することによって獲得され得る。その後、ターゲットイメージ２６１２が計算され得る。
他の実施形態で、入力テスト値は基準イメージに露出することによるピクセルの期待反応を計算することによって決定され得る。これは多様な方法によって具現することができる。
【００９０】
そのような方法の１つは点像分布関数（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ、ＰＳＦ）を決定することである。ＰＳＦはテストピクセルアレイに対して測定され得る。代わりとして、変調伝達関数（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ、ＭＴＦ）がＰＳＦを獲得するために測定され得る。もし測定ができなければ、ＰＳＦはレンズパラメーター及び認知されたか、又は恐らくシステムシミュレーションによって獲得された、ターゲットセンサーＰＳＦを使用して例示的に推測され得る。
【００９１】
そのような場合、ターゲットイメージ２６１２は構造グリッド上での期待反応を計算することによってシミュレーションされ得る。例えば、自然の場面の高解像度ビットマップイメージは基準イメージとして獲得され、これはキャプチャされた場面の忠実な線型表現である。雑音が小さく、ＲＧＢ値が抜けた（ｃｌｉｐｐｅｄ）過露出された（ｏｖｅｒｅｘｐｏｓｅｄ）領域が少ないか、又は無く、そして過剰なシャープニング（ｏｖｅｒ−ｓｈａｒｐｅｎｉｎｇ）を無くすことができる。
【００９２】
仮にイメージがガンマ補正されたら、逆ガンマ変換（ｒｅｖｅｒｓｅ  ｇａｍｍａ  ｔｒａｓｆｏｒｍ）を適用することによって線形化することができる。その上、逆色補正（ｒｅｖｅｒｓｅ  ｃｏｌｏｒ  ｃｏｒｒｅｃｔｉｏｎ）を適用することができ、これはイメージの色空間に対応する。物理フォト−サイトでの期待反応を計算することができる。これは以前段階で獲得したＰＳＦを適用することによって達成することができる。ターゲットイメージ２６１２を獲得するために、望む反応はイメージ構造グリッド上にデモザイキングをしたあと、計算される。
【００９３】
図３０は本発明の実施形態によるフィルタトレーニング方法を説明するためのフローチャート２７００を示す。また、フローチャート２７００の方法は上述した実施形態によって実施されもよい。あるいは、１つ以上のフィルタ関数が動作（ａｃｔｉｏｎ）を実行する個別的なプロセッサによってトレーニングされてもよい。このような動作は結果的に以下のような段階（ｏｐｅｒａｔｉｏｎ）になる。
段階Ｓ２７１０において、入力テスト値を基準イメージのために受信する。基準イメージは基準イメージ２６１０であり、入力テスト値はセット２６１４である。入力テスト値は多様な方法に決定され得る。
【００９４】
次の段階Ｓ２７２０において、暫定値をフィルタ関数のパラメーターのために選択する。仮に段階Ｓ２７２０が最初に実行される場合、値は暫定的に設定されることによって選択される。仮に段階Ｓ２７２０が順次的に実行される場合、値は暫定的に設定されたものから調整される。調整は誤差決定の観点で段階Ｓ２７５０に追加される。
次の段階Ｓ２７３０において、追加テスト値を基準イメージに関する入力テスト値から計算する。追加テスト値は段階Ｓ２７２０の暫定値が実行された最後を利用して計算することができる。加えて、デモザイキングが上述した内容にしたがって実行され得る。
【００９５】
段階Ｓ２７５０において、基準イメージのターゲットバーションと出力テストイメージとを比較する。出力テストイメージは入力テスト値及び段階Ｓ２７３０からの追加テスト値から構成され得る。比較はそれがどの程度一致（ｍａｔｃｈｉｎｇ）するかを確認するために実行される。上述したように、マッチングの程度は誤差としての差異を数量化し、その後、誤差を最小化するための試行をすることによって決定される。仮にマッチングが満足でなければ、段階Ｓ２７３０の実行が続けられ、パラメーター値が比較結果に基づいてさらに調整される。
誤差を最小化するための実施形態を以下で説明する。
【００９６】
図３１は本発明の実施形態によるＲＧＢ値と共に直接的にフィルタをトレーニングするのに使用される方程式を示す図面である。このような場合、トレーニングは直接的なＲＧＢ構造に対するものである。
方程式２８１０は線型方程式の過剰決定システム（ｏｖｅｒ−ｄｅｔｅｒｍｉｎｅｄ  ｓｙｓｔｅｍ）である。トレーニングは方程式２８１０の誤差の最小化を伴う。Ｒ＊、Ｇ＊、Ｂ＊の値はターゲットイメージからの値である。Ｈ’のような、プライム符号（ｐｒｉｍｅ）と共に図示されたベクトルはＨのような、プライム符号が無いベクトルからのトランスポーズ（ｔｒａｎｓｐｏｓｅ）ベクトルである。
【００９７】
方程式２８１０が有する問題は、関心がある未知数が分析的に与えられないＨ’であることである。問題は方程式２８１０の各式のシノプティック表現（ｓｙｎｏｐｔｉｃ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）として方程式２８２０を記述することによって解決される。次に、方程式２８３０はＡの値に対して方程式２８２０を解くための方法を表示する。方程式２８３０の形態はＨ’に対する方程式２８１０を解くために利用される。
代わりとして、トレーニングは輝度色度を先に計算する実施形態により、少ない計算で解決される。以下では図２５−図２８を参照して既に示した概念を使用する。
【００９８】
図３２、図３３、図３４、図３５は先の実施形態による輝度及び色度値によってフィルタをトレーニングするのに使用される方程式を示す図面である。図３２の方程式は少なくともターゲット基準イメージに対する、輝度の値を与える。図３３の方程式は輝度フィルタのトランスポーズ（Ｈ’（ｐ、ｌ）Ｙ）を含む過制約された問題（ｏｖｅｒ−ｃｏｎｓｔｒａｉｎｅｄ  ｐｒｏｂｌｅｍ）を示す。輝度フィルタＨ（ｐ、ｌ）Ｙはフィルタトレーニングのために解くことができる。解くことは最小平均２乗誤差（ｌｅａｓｔ  ｍｅａｎ  ｓｑｕａｒｅ  ｅｒｒｏｒ）のような、数値的な方法を使用して実行される。
【００９９】
その後、色度フィルタＨ（ｐ、ｌ）ＣＲ、Ｈ（ｐ、ｌ）ＣＧ及びＨ（ｐ、ｌ）ＣＢがフィルタトレーニングのために解かれる。図３４の方程式は図２５、図２６、及び図２８のそれと同様である。図３４の方程式は図３１の方程式２８１０のように同一の過制約された問題を示し、そして同様に解くことができる。
追加イメージ演算について以下で説明する。
【０１００】
図３６は本発明の実施形態によるイメージ演算を示すダイヤグラムである。入力イメージ３０１４は、後に出力イメージ３０４０を作る１つ以上の演算３０７０を経る（ｕｎｄｅｒｇｏ）。多くのそのような演算が実施形態によって可能である。例えばイメージはデモザイクされると共に、リサイズ（ｒｅｓｉｚｅ）される。例を以下で説明する。
【０１０１】
図３７は本発明の実施形態による入力イメージから出力イメージへのリサイジングを示すダイヤグラムである。図８のアレイ部８１１の一部であるアレイ部３１１１を示す。また、アレイ部３１１１はユニットタイル２０８０、水平ピクセルピッチ８８４、及び水平ピクセルピッチ８８４の大きさの半分である水平オフセット距離８８５を示す。
リサイジング演算３１７０によれば、イメージは新しいサンプルイメージ構造グリッド３１１６にリサイズされ得る。イメージ構造グリッド３１１６は新しい行３１７２及び列３１７４の交差点にドットで表示された位置を定義する。このような新しい行及び列は、構造ピッチと称されるイメージ構造グリッド３１１６のそれ自身のピッチを提供する。構造ピッチはピクセルピッチと異なる。仮にリサイズになれば、イメージ構造グリッド３１１６は同一の方法で物理ピクセルにそれ以上マッピング（ｍａｐｐｉｎｇ）されない。
【０１０２】
より詳細には、グリッド部３１１１でピクセル中心点はピクセルピッチ８８４に対応して、特定方向に沿って分布される。図３７で特定方向は水平方向であるが、垂直方向にも同様に説明される。さらに、イメージ構造グリッド３１１６で、追加中心点の中で少なくとも一部は構造ピッチに対応する特定方向に沿って分布される。ここで、特定方向が水平方向であれば、水平方向にある構造ピッチ３１９４は物理的サンプリンググリッドピッチ８８５より大きい。これはピクセルピッチ８８４と称されるピッチ８８５の２倍の大きさを構造ピッチ３１９４の２倍の大きさと対照する、対照表示（ｃｏｎｔｒａｓｔｉｎｇ  ｉｎｄｉｃａｔｉｏｎ）３１１３によって表示される。
【０１０３】
図３７の例で、リサイズされたタイル（ｒｅｓｉｚｅｄ  ｔｉｌｅ）及び基礎リサイズされたタイル（ｅｌｅｍｅｎｔａｒｙ  ｒｅｓｉｚｅｄ  ｔｉｌｅ）と称される新しいユニットタイル３１８０を示した。リサイズされたタイル３１８０がタイル２０８０から定義されるのではなく、物理ピクセルフォト−サイトに対して構造グリッド３１１６上で固有に配置された最小限の位置から定義されることに注目しなければならない。タイル３１８０はドットで表示された、計算される必要があるフィルタ値に対する、９つのそのような位置を有する。図面を簡単にするために、９つの中で単なる４つの位置Ｓ１、Ｓ６、Ｓ８、Ｓ９が指定される。
【０１０４】
入力イメージから出力イメージへの拡張は、水平物理ピッチによって分けられた水平構造ピッチの、水平スケール比（ｒａｔｉｏ）の観点と、そして垂直物理ピッチによって分けられた垂直構造ピッチの、垂直スケール比の観点で数量化され得る。総スケール比は水平スケール比ｘ垂直スケールの比である。総スケール比のようなサンプルは約１．５倍（１．５ｘ）である。
事実、リサイジングの実施形態で、水平及び垂直方向に同時に拡大及び縮小があり得る。実施形態の特定な場合で、拡大は追加値がキャプチャされた値の間で計算できるので、優位性がある。一部実施形態で、出力イメージは、約２０％である限界解像度での増加と一致させるように、リサイズされ得る。
【０１０５】
図３７のそのような実施形態で、イメージ構造グリッド３１１６は各位置でグリーンピクセルフォト−サイトが存在し、総スケール比が出力イメージでのサンプルの数／入力イメージでのグリーンピクセルの数と一致するように選択され得る。したがって、２メガピクセルカメラは１．５の総スケール比を有し、３メガピクセルカメラのイメージを持続的に効率的に作ることができる。技術分野で通常の知識を有する者は与えられた任意のイメージ構造グリッドで、構造ピッチのいずれの追加的な選択がリサイジングのために有利であるかを決定することができる。
【０１０６】
また、各フィルタ位置に対して、カーネルは各固有フィルタ位置に対して以前したように定義されなければならない。イメージ構造グリッド３１１６上のフィルタカーネルは、イメージ構造グリッド３１１６上の各構造位置の周辺で定義される。値が追加中心点２３３９によって図２３で表示されたように、例えば物理的ピクセルグリッドに無いカーネル位置に対して計算されなければならないことを分かる。カーネルＨの内部のフィルタ係数位置が列挙される。物理ピクセル中心が表示されない位置での係数は無視されるか、又は０に設定される。
【０１０７】
カーネルの大きさはリサイズが適用される場合、さらに大きくなる。さらに大きい大きさはカラーエイリアシング（ｃｏｌｏｒ  ａｌｉａｓｉｎｇ）を防止するために、リサイズ無しで元のカーネルの大きさにマッチするための試行の結果である。例えば、仮に水平及び垂直に２ｘの縮小が適用された場合、リサイズを有する新しいカーネルの大きさは水平及び垂直に２ｘ以上のフォト−サイトサンプルをカバーすることができる。アルゴリズムの残りは前述したものと同一である。
【０１０８】
追加的なイメージ演算が、図３６のリサイジング演算に対して適用されたような、上述した演算と共に単一演算として選択的に具現され得る。そのような追加イメージ演算は色補正（ｃｏｌｏｒ  ｃｏｒｒｅｃｔｉｏｎ）、雑音除去（ｄｅｎｏｉｓｅ）及びシャープニング（ｓｈａｒｐｅｎｉｎｇ）を含む。このような追加イメージ演算はまた色空間の変換（ｃｏｌｏｒ  ｓｐａｃｅ  ｃｏｎｖｅｒｓｉｏｎ）、例えばＲＧＢからの線型変換、又はその逆（ｒｅｖｅｒｓｅ）によってＹＵＶを出力することによる色空間変換を含む。また、このような追加イメージ演算はピクセルが欠落した場合、サンプルが再構成されたところでの、不良ピクセル補正を含む。不良ピクセル補正は適切にトレーニングされたカーネルを使用して実行され得る。サンプル実施形態を以下で説明する。
【０１０９】
実施形態で、フィルタが一度具現されれば、フィルタはこのような追加的な演算に対する個別的なプロセシング段階を含むための必要性を有利に除去できるフィルタを使用する単一演算としてのこのような追加的な演算をさらに具現する。事実、このような追加的な演算は既に具現されたフィルタの値の変化として具現され得る。さらに、そのようなことはイメージングデバイス１００のような、イメージングデバイスの特定構成要素（ｃｏｍｐｏｎｅｎｔ）に対してカスタマイズすることができる。
【０１１０】
図３８は本発明の実施形態による追加的な合成イメージ演算を示すダイヤグラムであり、図２９に示したものと同様に、実施形態によるフィルタトレーニング動作を説明するためのダイヤグラム３２００である。基準イメージ２６１０と同様に、基準イメージ３２１０が選択される。
ターゲットイメージ３２１２は選択された基準イメージ３２１０から誘導（ｄｅｒｉｖｅ）される。ターゲットイメージ３２１２はまた基準イメージ３２１０のターゲットバーションとして考えられる。ターゲットイメージ３２１２は実施形態によって構成された基準イメージ３２１０を有するために要求される方法に対応する。
【０１１１】
誘導は２つの部分から構成され得る。最初の誘導は本明細書の前の部分で説明したものと同一である。誘導はターゲットイメージ３２１２を誘導するために、１つ以上の望む追加イメージ演算３２８８を基準イメージ３２１０に適用することを含む。追加イメージ演算３２８８はカラー補正、雑音除去、シャープニング、色空間変換、不良ピクセル補正、リサイズ等の中で１つ以上を含むことができる。
実施形態によるプロセスをシミュレーションするプロセス３２３５によれば、出力テストイメージ３２４０は値３２１４のセットから、そしてフィルタ関数のパラメーターに対する暫定値を使用することから構成される。プロセス３２３５はプロセス２６２５と同様、追加テスト値を計算することとデモザイキングを含むことができる。
【０１１２】
その次の出力テストイメージ３２４０はターゲットイメージ３２１２とどのぐらい近いかを確認するためにターゲットイメージ３２１２と比較される。プロセスは互に異なるパラメーター値を使用してそれが満足できるほど近くなるまで何回も繰り返される。前記のようなこの方法は、フィルタが構成された出力テストイメージ３２４０とターゲットイメージ３２１２との間の誤差を最小化することによって、トレーニングされるか、又は学習される。したがって、プロセス３２３５の内部のフィルタはまた望む追加イメージ演算３２８８を実行するためにトレーニングされる。
【０１１３】
カスタマイゼーション（ｃｕｓｔｏｍｉｚａｔｉｏｎ）が実施形態による追加イメージ演算３２８８にさらに追加される。例えば、構造（ｃｏｎｓｔｒｕｃｔｉｏｎ）対（ｖｓ．）ピクセルアレイ位置、レンズズーム位置、フォーカス位置に対するカスタマイゼーションである。カスタマイゼーションは生産されたカメラモジュール各々の校正（ｃａｌｉｂｒａｔｉｏｎ）を目的とするためのものである。
【０１１４】
そのようなカメラモジュールはテストアレイを提供することができる。カメラＰＳＦ／ＭＴＦはピクセルアレイ位置（中心又は周辺）、レンズズーム及びフォーカスポーション（ｐｏｔｉｏｎ）、個別的なモジュール特性等に対して変わる。このようなカスタマイゼーションはこのようなＰＳＦ／ＭＴＦ変化を考慮し、補償することによって、さらによい品質のイメージを獲得するのを援助する。フィルタの１セットのみが最終イメージのために毎度に適用されることもあるが、フィルタの追加セットが各構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）に対してトレーニングされることもある。
【０１１５】
追加イメージ演算３２８８が実施形態によって追加に使用されてもよい。フィルタは他のカラー構成（ｃｏｎｆｉｇｕｒａｔｉｏｎ）にも使用できるようにトレーニングされる。このような他のカラー構成は黒白（ｍｏｎｏｃｈｒｏｍｅ）、ＲＧＢＷ（ＲＧＢ＋ｗｈｉｔｅ）、等のような３カラーチャンネル以外のシナリオを含むことができる。
カラー補正がデモザイキング（及びシャープニング）と共に組合されることもあるが、場合によってはカラー補正が非線形プロセシングを要求することが問題である。そのため、カラー補正はしばしばデモザイキングと共に実行されることができない。シャープニングがカラー補正の以後に適用される場合、シャープニングはデモザイキングから切り離され（ｄｉｓｊｏｉｎｔ）、さらに多くの段階が要求されることもある。
【０１１６】
図３９は本発明の実施形態による特定合成イメージ演算を示すダイヤグラムである。ジョイントデモザイキング及びシャープニング（ｓｈａｒｐｅｎｉｎｇ）信号演算３３０５が入力イメージ３３１０に対して適用される。その結果の中で１つはＲＧＢ値を含む再構成されたイメージ３３４０であり、その他の１つはシャープニング信号の大きさを示すＳ値を含むシャープニング信号３３８２である。より詳細には、フィルタが各位置に対して追加される。このフィルタはシャープニング信号に対する（模擬された（ｓｉｍｕｌａｔｅｄ））ターゲットイメージを提供することによって、シャープニング信号を発生させるようにトレーニングされることもある。シャープニング信号はこの実施形態でシャープニングされたイメージを獲得するための色補正以後にイメージに追加される。その後、色補正演算３３４２が再構成されたイメージ３３４０に適用され、そしてその後にシャープニング演算３３８４は再構成されたイメージ３３４０が最終出力イメージ３３８６になるようにシャープニング信号３３８２を適用する。
【０１１７】
上述した方法において、各演算は発生できる上述されたことを実行するか、又は発生するように引き起こす積極的な段階（ａｆｆｉｒｍａｔｉｖｅ  ｓｔｅｐ）として実行され得る。そのような行為又は発生するように引き起こすことは全体システム又はデバイス、又は単なるそれの１つ以上の構成要素によって実行され得る。その上、演算の順序は図示されたものに限定されなく、他の実施形態による他の順序とすることも可能である。さらに、特定実施形態で、新しい演算が追加されるか、個別的な演算が修正されるか、又は削除され得る。例えば、追加された演算は他のシステム、デバイス、又は方法を本質的に説明する間に言及されたことから由来されることもある。
【０１１８】
本説明は１つ以上の例示を含むが、それが発明がどのように実施されなければならないかを限定するものではない。その上、発明の例示又は実施形態は説明されたことにしたがって実施されるか、又は異なって実施され、そして他の現在又は未来の技術と共に実施されてもよい。
本明細書に述べた何らかの先行技術に対する参照がどの国で本先行技術が共通の一般的な知識の一部を形成することと認められるか、又は暗示するものとして認められてはならない。
【０１１９】
技術分野で通常の知識を有する者は全体として獲得できる本説明の観点で本発明を実施することができる。詳細な説明は徹底な理解を提供するために含まれている。他の例示で、広く公知された側面は本発明を不要に曖昧にしないようにするために省略される。
他の実施形態は本明細書で説明された例示、実施形態を含む特徴の組合せ及び下位の組合せを含む。例示及び実施形態は、説明された実施形態とは異なる順序に特徴を提供するか、或いは適用することと、一実施形態で個別的な特徴を取出すること及びそのような特徴を他の実施形態に挿入することと、実施形態から１つ以上の特徴を除去することと、又は実施形態から特徴を除去し、そして他の実施形態で取出された特徴を追加することの全て、そのような組合せ及び下位の組合せと結合された特徴の長所を提供することと均等である。
本発明の請求項は新規であり、進歩したことと看做される、構成要素、特徴及び段階又は動作の特定組合及び下位の組合せを定義する。他の組合せ及び下位の組合せに対する追加請求項が本明細書又は関連された文書に提示され得る。
【符号の説明】
【０１２０】
１００    イメージングデバイス
１０２    ケーシング
１０５    光源
１１０、２１０    ピクセルアレイ
１２０、１３２０    コントローラ
１２５、１３２５    イメージプロセッサ
１４０、１３４０    メモリ
１８０、１３８０    ディスプレイ
２３２    ピクセル
３１０    コンピューター
３２０    プロセッサ
３３０    メモリ
３３２    プログラム
３３４    データ
【図１】
2015088192.tif 000003
【図２】
2015088192.tif 000004
【図３】
2015088192.tif 000005
【図４】
2015088192.tif 000006
【図５】
2015088192.tif 000007
【図６】
2015088192.tif 000008
【図７】
2015088192.tif 000009
【図８】
2015088192.tif 000010
【図９】
2015088192.tif 000011
【図１０】
2015088192.tif 000012
【図１１】
2015088192.tif 000013
【図１２】
2015088192.tif 000014
【図１３】
2015088192.tif 000015
【図１４】
2015088192.tif 000016
【図１５】
2015088192.tif 000017
【図１６】
2015088192.tif 000018
【図１７】
2015088192.tif 000019
【図１８】
2015088192.tif 000020
【図１９】
2015088192.tif 000021
【図２０】
2015088192.tif 000022
【図２１】
2015088192.tif 000023
【図２２】
2015088192.tif 000024
【図２３】
2015088192.tif 000025
【図２４】
2015088192.tif 000026
【図２５】
2015088192.tif 000027
【図２６】
2015088192.tif 000028
【図２７】
2015088192.tif 000029
【図２８】
2015088192.tif 000030
【図２９】
2015088192.tif 000031
【図３０】
2015088192.tif 000032
【図３１】
2015088192.tif 000033
【図３２】
2015088192.tif 000034
【図３３】
2015088192.tif 000035
【図３４】
2015088192.tif 000036
【図３５】
2015088192.tif 000037
【図３６】
2015088192.tif 000038
【図３７】
2015088192.tif 000039
【図３８】
2015088192.tif 000040
【図３９】
2015088192.tif 000041