(57)【要約】符号化ローリングシャッタの方法およびシステムを提供する。いくつかの実施形態により、イメージセンサの画素配列における各行の読出しタイミングおよび露光時間を制御し、そうすることによってシーンの３次元時空間値を柔軟にサンプリングし、一枚の取り込まれた画像内でモーション情報およびダイナミックレンジ情報を効果的に符号化するサブ画像を取り込む方法およびシステムを提供する。
2013509820.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素行を持つ画素配列を有するイメージセンサにおいて検出されたシーンの画像を読取る方法であって、該方法は、
前記画素配列における前記複数の行の各々をシーンの画像に露光するステップと、
前記画素配列における行の第１サブセットを読出して、前記画像から第１サブ画像を抽出するステップと、
前記画素配列における行の第２サブセットを読出して、前記画像から第２サブ画像を抽出するステップとを含み、
前記画素配列における行の前記第１サブセットは、前記画素配列における行の前記第２サブセットとは異なる
方法。
【請求項２】
請求項１に記載の方法において、前記画像から抽出された前記第１サブ画像および前記第２サブ画像を含む複数のサブ画像は、前記画素配列における前記複数の行の間に均一に分配される方法。
【請求項３】
請求項１に記載の方法において、スローモーションの復元、前記画像からのスキューの実質的な除去、および前記画像からのモーションボケの実質的な除去の内の少なくとも一つのために、前記第１サブ画像と前記第２サブ画像との間のオプティカルフローを推定するステップをさらに含む方法。
【請求項４】
請求項３に記載の方法において、前記推定されたオプティカルフローに少なくとも部分的に基づいて、前記第１サブ画像と前記第２サブ画像との間に補間される中間画像を決定するステップをさらに含み、スキューは中間画像において実質的に除去される方法。
【請求項５】
請求項４に記載の方法において、前記第１サブ画像、前記中間画像および前記第２サブ画像を結合してスローモーション補間映像を作成するステップをさらに含む方法。
【請求項６】
請求項３に記載の方法において、前記推定されたオプティカルフローが、前記イメージセンサと関連する情報に対応し、該方法は、
モーション情報に少なくとも部分的に基づいて前記画像の点広がり関数を推定するステップと、
前記推定された点広がり関数を適用して、前記第１サブ画像および前記第２サブ画像の内の少なくとも１つから生成される出力画像を向上させて、前記出力画像のモーションボケを実質的に除去するステップとをさらに含む
方法。
【請求項７】
複数の画素行を持つ画素配列を有するイメージセンサにおいて検出されたシーンの画像を読取る方法であって、前記複数の行は特定の行と、前記画素配列において該特定の行よりも高い行と、前記画像配列において該特定の行よりも低い行とを含み、該方法は、
前記画素配列において読出し時間を制御し、前記画像から複数のサブ画像を抽出するための符号化パターンを受信するステップと、
前記画素配列における前記複数の行の各々を前記シーンの前記画像に露光するステップと、
前記複数の行の前記特定の行を読出すステップであって、該特定の行はサブ画像の数に基づいた読出しのために選択されるステップと、
前記特定の行の読出しの後に、より高い行の第１セットを読出すステップと、
前記より高い行の第１セットの読出しの後に、前記より低い行を読出すステップであって、該より低い行は、前記サブ画像の数に基づいた読出しのために選択されるステップと、
前記より低い行の読出しの後に、より高い行の第２セットを読出すステップとを含む
方法。
【請求項８】
請求項７に記載の方法において、前記符号化パターンは、前記複数の行の各々を前記複数のサブ画像の内の一つに割当て、前記複数のサブ画像は、前記画素配列における前記複数の行の間で均一に分配される方法。
【請求項９】
請求項７に記載の方法において、前記複数のサブ画像の各々において画素値を補間して、フル解像度を有する補間画像を取得するステップをさらに含む方法。
【請求項１０】
請求項７に記載の方法において、前記抽出された複数のサブ画像を結合してスローモーション補間映像を作成するステップをさらに含む方法。
【請求項１１】
複数の画素行を持つ画素配列を有するイメージセンサにおいて検出されたシーンの画像を読取る方法であって、該方法は、
前記複数の行の第１行の第１露光時間および前記複数の行の第２行の第２露光時間を制御するステップであって、前記第１露光時間は前記第２露光時間とは異なるように制御するステップと、
前記第１行および前記第２行を読出すステップとを含む
方法。
【請求項１２】
請求項１１に記載の方法において、前記第１行の第１露光時間と前記第２行の第２露光時間の内の少なくとも一つの最適露光時間を決定するステップをさらに含む方法。
【請求項１３】
請求項１１に記載の方法において、
前記シーンの第１画像を取得するステップと、
シーンの放射輝度に少なくとも部分的に基づいて、前記画素配列における前記複数の行の各々の最適露光時間を決定するステップと、
前記シーンの第２画像を取得するステップであって、前記画素配列における前記複数の行の第１行の第１露光時間および前記画素配列における前記複数の行の第２行の第２露光時間は、その行の前記決定された最適露光時間に少なくとも部分的に基づいて調整されるステップとをさらに含む
方法。
【請求項１４】
請求項１３に記載の方法において、前記画素配列における前記複数の行の各々に適用される、前記決定された最適露光時間に関する前記シーンの前記第２画像の画素値を正規化するステップをさらに含む方法。
【請求項１５】
請求項１１に記載の方法において、前記画素配列における前記複数の行の読出し時間を制御するステップをさらに含む方法。
【請求項１６】
請求項１５に記載の方法において、前記制御された読出し時間および前記制御された露光時間を使って、前記画像から複数のサブ画像を抽出するステップをさらに含み、前記複数のサブ画像は前記画素配列における前記複数の行の間で均一に分配される方法。
【請求項１７】
請求項１６に記載の方法において、前記画像から抽出された前記複数のサブ画像を結合してハイダイナミックレンジ画像を合成するステップをさらに含む方法。
【請求項１８】
請求項１６に記載の方法において、２つ以上の前記複数のサブ画像を使ってモーションボケを補償するステップをさらに含む方法。
【請求項１９】
請求項１６に記載の方法において、
前記複数のサブ画像の第１サブ画像と第２サブ画像との間のオプティカルフローを推定するステップと、
前記推定されたオプティカルフローに少なくとも部分的に基づいてモーション情報を決定するステップと、
前記決定されたモーション情報を適用して、前記画像から抽出された前記複数のサブ画像を結合することによって合成されたハイダイナミックレンジ画像を向上させ、該ハイダイナミックレンジ画像からモーションボケを実質的に除去するステップとをさらに含む
方法。
【請求項２０】
請求項１９に記載の方法において、
前記決定されたモーション情報を前記複数のサブ画像の各々に漸進的に適用して、前記複数のサブ画像の各々からモーションボケを実質的に除去するステップと、
前記複数のサブ画像を結合してハイダイナミックレンジ画像を合成するステップとをさらに含む
方法。
【請求項２１】
複数の画素行を持つ画素配列を有するイメージセンサにおいて検出されたシーンの画像を読取る方法であって、該方法は、
複数の露光時間および複数の読出し時間を制御する符号化パターンを受信するステップであって、
該複数の露光時間の各々および該複数の読出し時間の各々は、前記画素配列における前記複数の行の内の一つと関連するステップと、
前記受信された符号化パターンにより、前記画素配列における前記複数の行の各々を前記シーンの前記画像に露光するステップと、
前記受信された符号化パターンにより、前記画素配列における前記複数の行を読出して各画素の画素値を取得するステップと、
前記画素配列において隣接する行からの画素値に基づいて、各画素の経時的な推定画素値を再構成するステップと、
前記再構成された推定画素値を使って映像を構成するステップであって、該構成された映像においてスキューが実質的に除去されるステップとを含む
方法。
【請求項２２】
請求項２１に記載の方法において、前記符号化パターンを使って、前記画素配列における前記複数の行に前記複数の露光時間と前記複数の読出し時間をランダムに割当てるステップをさらに含む方法。
【請求項２３】
請求項２１に記載の方法において、
前記複数の露光時間に関して前記シーンの前記画像の画素値を正規化するステップであって、該正規化された画素値の各々は、１セットのサンプリングされたボクセルに対応するステップと、
複数のボクセルの探索によって、サンプリングされたボクセルのマッチングセットを見つけるステップと、
前記１セットのサンプリングされたボクセルと前記サンプリングされたボクセルのマッチングセットとの間に追加ボクセルを補間するステップと、
少なくとも前記１セットのサンプリングされたボクセルと、前記サンプリングされたボクセルのマッチングセットと補間された追加ボクセルとを使って、推定ボリュームを決定するステップと、
各画素を経時的に再構成することによって、前記推定ボリュームに少なくとも部分的に基づいて映像を作成するステップとをさらに含む
方法。
【請求項２４】
請求項２３に記載の方法において、
前記隣接する行のプリセット数を受信するステップと、
前記推定ボリュームに少なくとも部分的に基づいて、前記隣接する行のプリセット数を調整するステップとをさらに含む
方法。
【請求項２５】
請求項２３に記載の方法において、探索、補間および決定を繰り返して別の推定ボリュームを作成するステップをさらに含む方法。
【請求項２６】
シーンの画像を読取るシステムであって、該システムは、
複数の行を持つ画素配列を有するイメージセンサと
少なくとも一つのコントローラであって、該コントローラは、
前記画素配列における前記複数の行の各々を前記シーンの前記画像に露光し、
前記画素配列における前記行の第１サブセットを読出して前記画像から第１サブ画像を抽出し、
前記画素配列における前記行の第２サブセットを読出して前記画像から第２サブ画像を抽出し、前記画素配列における前記行の第１サブセットは前記画素配列における前記行の第２サブセットとは異なるコントローラとを備える
システム。
【請求項２７】
請求項２６に記載のシステムにおいて、前記画像から抽出された前記第１サブ画像および前記第２サブ画像を含む複数のサブ画像は、前記画素配列における前記複数の行の間に均一に分配されるシステム。
【請求項２８】
請求項２６に記載のシステムにおいて、前記少なくとも一つのコントローラは、スローモーションの復元、前記画像からのスキューの実質的な除去、および前記画像からのモーションボケの実質的な除去の内の少なくとも一つのために、前記第１サブ画像と前記第２サブ画像との間のオプティカルフローを推定するようにさらに構成されるシステム。
【請求項２９】
請求項２８に記載のシステムにおいて、前記少なくとも一つのコントローラは、前記推定されたオプティカルフローに少なくとも部分的に基づいて、前記第１サブ画像と前記第２サブ画像との間に補間される中間画像を決定し、スキューは前記中間画像において実質的に除去されるように構成されるシステム。
【請求項３０】
請求項２９に記載のシステムにおいて、前記少なくとも一つのコントローラは、前記第１サブ画像、前記中間画像および前記第２サブ画像を結合してスローモーション補間映像を作成するようにさらに構成されるシステム。
【請求項３１】
請求項２８に記載のシステムにおいて、
前記推定されたオプティカルフローは、前記イメージセンサと関連するモーション情報に対応し、
前記少なくとも一つのコントローラは、前記モーション情報に少なくとも部分的に基づいて前記画像の点広がり関数を推定し、前記推定された点広がり関数を適用して前記第１サブ画像および前記第２サブ画像の内の少なくとも一つから生成される出力画像を向上させ、そうすることによって前記出力画像のモーションボケを実質的に除去するようにさらに構成される
システム。
【請求項３２】
シーンの画像を読取るシステムであって、該システムは、
複数の画素行を持つ画素配列を有するイメージセンサであって、前記複数の行は、特定の行、画素配列において該特定の行よりも高い行および画素配列において該特定の行よりも低い行を含むイメージセンサと、
少なくとも一つのコントローラであって、該コントローラは、
前記画素配列の読出し時間を制御し、前記画像から複数のサブ画像を抽出するための符号化パターンを受信し、
前記画素配列における前記複数の行の各々を前記シーンの前記画像に露光し、
前記複数の行の前記特定の行を読出し、該特定の行は前記サブ画像の数に基づいて読出すために選択され、
前記特定の行の読出しの後に、より高い行の第１セットを読出し、
前記より高い行の第１セットの読出しの後に、前記より低い行を読出し、該より低い行は前記サブ画像の数に基づいて読出すために選択され、
前記より低い行の読出しの後に、より高い行の第２セットを読出すコントローラとを備える
システム。
【請求項３３】
請求項３２に記載のシステムにおいて、前記符号化パターンは、前記複数の行の各々を前記複数のサブ画像の内の一つに割当て、前記複数のサブ画像は前記画素配列における前記複数の行の間に均一に分配されるシステム。
【請求項３４】
請求項３２に記載のシステムにおいて、前記少なくとも一つのコントローラは、画素値を前記複数のサブ画像の各々に補間して、フル解像度を有する補間画像を取得するようにさらに構成されるシステム。
【請求項３５】
請求項３２に記載のシステムにおいて、前記少なくとも一つのコントローラは、前記複数の抽出されたサブ画像を結合してスローモーション補間映像を作成するようにさらに構成されるシステム。
【請求項３６】
シーンの画像を読取るシステムであって、該システムは、
複数の行を持つ画素配列を有するイメージセンサと
少なくとも一つのコントローラであって、該コントローラは、
前記複数の行の第１行の第１露光時間および前記複数の行の第２行の第２露光時間を制御し、前記第１露光時間は前記第２露光時間と異なるように制御され、
前記第１行および前記第２行を読出すコントローラとを備える
システム。
【請求項３７】
請求項３６に記載のシステムにおいて、前記少なくとも一つのコントローラは、前記第１行の前記第１露光時間および前記第２行の前記第２露光時間の内の少なくとも一つの最適露光時間を決定するようにさらに構成されるシステム。
【請求項３８】
請求項３６に記載のシステムにおいて、前記少なくとも一つのコントローラは、
前記シーンの第１画像を取得し、
シーンの放射輝度に少なくとも部分的に基づいて、前記画素配列における前記複数の行の各々の最適露光時間を決定し、
前記シーンの第２画像を取得し、前記画素配列における前記複数の行の第１行の第１露
光時間および前記画素配列における前記複数の行の第２行の第２露光時間は、その行の前記決定された最適露光時間に少なくとも部分的に基づいて調整されるようにさらに構成される
システム。
【請求項３９】
請求項３８に記載のシステムにおいて、前記少なくとも一つのコントローラは、前記画素配列における前記複数の行の各々に適用される前記決定された最適露光時間に関して、前記シーンの前記第２画像の画素値を正規化するようにさらに構成されるシステム。
【請求項４０】
請求項３６に記載のシステムにおいて、前記少なくとも一つのコントローラは、前記画素配列における前記複数の行の読出し時間を制御するようにさらに構成されるシステム。
【請求項４１】
請求項４０に記載のシステムにおいて、前記少なくとも一つのコントローラは、前記制御された読出し時間および前記制御された露光時間を使って、前記画像から複数のサブ画像を抽出するようにさらに構成され、前記複数のサブ画像は前記画素配列における前記複数の行の間で均一に分配されるシステム。
【請求項４２】
請求項４１に記載のシステムにおいて、前記少なくとも一つのコントローラは、前記画像から抽出された前記複数のサブ画像を結合してハイダイナミックレンジ画像を合成するようにさらに構成されるシステム。
【請求項４３】
請求項４１に記載のシステムにおいて、前記少なくとも一つのコントローラは、前記複数のサブ画像の内の２つ以上を使ってモーションボケを補正するようにさらに構成されるシステム。
【請求項４４】
請求項４１に記載のシステムにおいて、前記少なくとも一つのコントローラは、
前記複数のサブ画像の第１サブ画像と第２サブ画像との間のオプティカルフローを推定し、
前記推定されたオプティカルフローに少なくとも部分的に基づいてモーション情報を決定し、
前記決定されたモーション情報を適用して、前記画像から抽出された前記複数のサブ画像を結合することによって合成されたハイダイナミックレンジ画像を向上させ、そうすることによって前記ハイダイナミックレンジ画像からモーションボケを実質的に除去するようにさらに構成される
システム。
【請求項４５】
請求項４４に記載のシステムにおいて、
前記少なくとも一つのコントローラは、
前記複数のサブ画像の各々に前記決定されたモーション情報を漸進的に適用して、前記複数のサブ画像の各々からモーションボケを実質的に除去し、
前記複数のサブ画像を結合してハイダイナミックレンジ画像を合成するようにさらに構成される
システム。
【請求項４６】
シーンの画像を読取るシステムであって、該システムは、
複数の行を持つ画素配列を有するイメージセンサと
少なくとも一つのコントローラであって、該コントローラは、
複数の露光時間および複数の読出し時間を制御する符号化パターンを受信し、前記複数の露光時間の各々および前記複数の読出し時間の各々は、前記画素配列における前記複数の行の内の一つに関連し、
前記画素配列における前記複数の行の各々を、前記受信された符号化パターンによって前記シーンの前記画像に露光し、
前記受信された符号化パターンによって前記画素配列における前記複数の行を読出して各画素の画素値を取得し、
前記画素配列における隣接する行からの画素値に基づいて、経時的な各画素の推定画素値を再構成し、
前記再構成された推定画素値を使って映像を構成し、該構成された映像ではスキューが実質的に低減されるコントローラとを備える
システム。
【請求項４７】
請求項４６に記載のシステムにおいて、前記少なくとも一つのコントローラは、前記符号化パターンを使って、前記画素配列における前記複数の行に前記複数の露光時間および前記複数の読出し時間をランダムに割当てるようにさらに構成されるシステム。
【請求項４８】
請求項４６に記載のシステムにおいて、
前記少なくとも一つのコントローラは、
前記複数の露光時間に関して前記シーンの前記画像の画素値を正規化し、該正規化された画素値の各々は、１セットのサンプリングされたボクセルに対応し、
複数のボクセルの探索によって、サンプリングされたボクセルのマッチングセットを見つけ、
前記１セットのサンプリングされたボクセルと前記サンプリングされたボクセルのマッチングセットとの間に追加ボクセルを補間し、
少なくとも前記１セットのサンプリングされたボクセルと、前記サンプリングされたボクセルのマッチングセットと補間された追加ボクセルとを使って推定ボリュームを決定し、
各画素を経時的に再構成することによって、前記推定ボリュームに少なくとも部分的に基づいて映像を作成するようにさらに構成される
システム。
【請求項４９】
請求項４８に記載のシステムにおいて、
前記少なくとも一つのコントローラは、
前記隣接する行のプリセット数を受信し、
前記推定されたボリュームに少なくとも部分的に基づいて、前記隣接する行のプリセット数を調整するようにさらに構成される
システム。
【請求項５０】
請求項４８に記載のシステムにおいて、前記少なくとも一つのコントローラは、探索、補間および決定を繰り返して別の推定ボリュームを作成するようにさらに構成されるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２００９年１０月２８日に出願された米国特許仮出願番号第６１／２５５，８０２号の優先権を主張するものであり、その全体の内容を本明細書に参照として援用する。
【０００２】
［著作権表示］
本特許文献の開示の一部は、著作権保護を受ける内容を含んでいる。著作権者は、特許商標庁の特許ファイルまたは記録に出ている限り、特許文献または特許開示の何人による複写複製に対しても異論を唱えないが、その他の場合においては全ての著作権を保有する。
【０００３】
開示された主題は、物理的な被写体またはシーンの画像における符号化ローリングシャッタの方法およびシステムに関する。より具体的には、開示された主題は、イメージセンサにおける画素配列の異なる行の読出しタイミングおよび／または露光を制御して、種々の用途におけるシーンの見えの３次元時空間ボリュームを柔軟にサンプリングすることに関する。
【背景技術】
【０００４】
デジタルカメラ、デジタルカムコーダおよびその他の撮像装置は、電荷結合デバイス（ＣＣＤ：ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ）イメージセンサまたは相補型金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｅｔａｒｙ  ｍｅｔａｌ−ｏｘｉｄｅ  ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどのイメージセンサを一般的に含んでいる。これら２つのタイプのイメージセンサにおいて、ＣＭＯＳイメージセンサは、デジタルスチルカメラおよびビデオカメラ、携帯カメラ、監視カメラ、ウェブカメラなどの種々の撮像装置において、ＣＣＤイメージセンサよりも頻繁に使用されている。この成長は、プログラマブル信号処理回路などの電子装置を簡単にオンチップ集積するＣＭＯＳイメージセンサの能力に少なくとも部分的に基づくものであり、これによって多くの用途にとって重要である低コスト、低電力消費および高速読出しの特徴が提供される。
【０００５】
図１はＣＭＯＳイメージセンサ１００の説明図を示す。図に示す様に、イメージセンサ１００は、各行に４つの画素を持つ画素行を有する４×４画素配列１０５およびアドレスジェネレータ１１０を含む。ＣＭＯＳイメージセンサ１００は、特定の行の全ての画素をラインメモリに読込み、データを並行に処理するカラム並列読出し回路を含む。ＣＭＯＳイメージセンサ１００を使用して、画素行が順次露光され、画素配列１０５の画素行は、画素配列１０５の最上行から最下行へと一行ずつ読出される。
【０００６】
より具体的には、図１および図２に示す様に、アドレスジェネレータ１１０は、全ての行を順次走査し、行アドレスデコーダ１１５への行リセット（ＲＳＴ）信号および行選択（ＳＥＬ）信号を生成するシフトレジスタである。各画素行の露光は、アドレス行デコーダから送信される行リセット信号および行選択信号（例えば、画素配列１０５における第１画素行へのＲＳＴ＿１およびＳＥＬ＿１）によって制御される。行リセット信号を受信すると、各画素行は感光性になり、行選択信号を受信すると、光子の収集を停止し、データの読出しを始める。読出し回路の行は一つしかないので、異なる行の読出しタイミングは重複することはない。これを図３で更に説明する。図３は、時間をｘ軸に、そして行をｙ軸とした説明図を示している。図に示す様に、露光時間３２０(Δｔｅ）は各行に固定され、読出し時間３３０(Δｔｒ）は画素配列の最上行から画素配列の最下行まで線形に変位する。画像が特定の行の画素に同時に撮像し、隣接する行の間では同時に撮像しないこの手法は、通常「ローリングシャッタ」と呼ばれている。
【０００７】
ローリングシャッタおよび、特にローリングシャッタにおける行方向の露光ズレ（ｅｘｐｏｓｕｒｅ  ｄｉｓｃｒｅｐａｎｃｙ）は、画像品質に悪影響をもたらすと考えられている。ローリングシャッタは、異なる行の画素を異なる時に露光する。このことにより、物理的被写体またはシーンの画像には、スキュー、幾何学的歪みおよびその他の画像の乱れ（ａｒｔｉｖａｃｔｓ）が頻繁に生じる。ローリングシャッタの影響は、図４に示す様に、動いている被写体の画像において特に顕著である。ローリングシャッタによって生じる、動いている電車の画像におけるスキュー又は歪みを説明するために縦線４１０を入れている。
【０００８】
グローバルシャッタなどの種々の手法は、ローリングシャッタの限界に対処しようとしている。グローバルシャッタを実行する撮像装置は、イメージセンサの各行の各画素を同時に露光して、画像を同時に撮像する。グローバルシャッタにおいて、各画素の読出し時間および露光の長さは同じである。しかしながら、これらの進歩にもかかわらず、グローバルシャッタおよびその他のシャッタ手法は１次元機能のままである。これらの手法はどれも、ある次元、すなわち時間次元を越えていない。
【０００９】
従って、当該技術分野では、コンピュテーショナルフォトグラフィ（計算写真学）およびその他の用途のために、ローリングシャッタを有利に利用する手法が必要である。また当該技術分野では、シーンの３次元時空間ボリュームの２次元サンプリングにシャッタ機構を拡大する手法も必要である。
【００１０】
従って、従来技術のこれらの欠点やその他の欠点を克服する、画像の符号化読出しの方法およびシステムを提供することが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
符号化ローリングシャッタの方法およびシステムを提供する。
【課題を解決するための手段】
【００１２】
いくつかの実施形態において、イメージセンサにおける画像配列の各行の読出しタイミングおよび露光の長さを制御し、それによってシーンの３次元時空間値を柔軟にサンプリングし、一枚の撮像画像内でモーション情報およびダイナミックレンジ情報を効果的に符号化するサブ画像を取込む機構が提供される。行リセット信号および行選択信号を順次送出する代わりに、信号は符号化パターンを使って送信することができる。これは本明細書において「符号化ローリングシャッタ」または「符号化シャッタ」と呼ぶことがある。
【００１３】
いくつかの実施形態において、読出しタイミングは、図７に示されるインターレース方式の読出しパターンのような、インターレースされた読出しパターンを提供することによって制御することができる。この場合、一フレームの全体的な読出し時間は複数のサブ画像（Ｋ）に均一に分割される。あるいは、読出しタイミングは、図１２Ａおよび１２Ｂに示す千鳥状の読出しパターンの様な、千鳥状読出しパターンを提供することによって制御することができる。この場合、一フレームの全体的な読出し時間は複数のサブ画像（Ｋ）に均一に分割され、Ｋに隣接する行内の読出しの順序は逆になる。
【００１４】
いくつかの実施形態において、読出しタイミングの制御のために付加的または代替的に、露光時間を制御する機構が提供される。本明細書に記載する様に、画素配列における各行の最適な露光を決定することができる。画素配列における各行の最適な露光が決定された、例示的な符号化露光パターンを図１４に示す。
【００１５】
符号化パターン（例えば、インターレース方式の読出しパターン、千鳥状読出しパターン、符号化露光パターンおよび／またはこれらの任意の適切な組み合わせ）を使ってイメージセンサにおいて複数の行の各々を露光すると、モーションおよび／またはダイナミックレンジを符号化する一枚の画像が撮像される。この画像から、複数のサブ画像が読出され得、または画素配列における行の異なるサブセットから抽出され得る。単一の撮像画像内に符号化された複数のサブ画像および／またはその他の情報は、オプティカルフローの決定、スキューのない画像、スローモーション映像、ハイダイナミックレンジ（ＨＤＲ）画像などの生成に使用することができる。
【００１６】
これらの符号化ローリングシャッタ機構は、アドレスジェネレータ１１０などの制御ユニットのロジックを修正し、さらなるハードウェアの修正を行わずに、イメージセンサ（図１に示すようなイメージセンサ）で実現することができる。より具体的には、アドレスジェネレータのロジックは、該ロジックが、符号化読出しおよび露光のための特定の行リセットパターンおよび行選択パターンを生成するように実現することができる。あるいは、イメージセンサを修正するために、外部フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）を使用することができる。
【００１７】
これらの機構はスキュー補正、動いている被写体の画像におけるスローモーションの復元（ｒｅｃｏｖｅｒｉｎｇ  ｓｌｏｗ  ｍｏｔｉｏｎ）、高速写真およびハイダイナミックレンジ（ＨＤＲ）撮影などの種々の用途に使用することができることに留意されたい。例えば、これらの機構は、高速写真の時間次元でのサンプリングを向上させるために使用することができる。別の例では、符号化ローリングシャッタ機構はオプティカルフローの推定に使用することができ、これは動いている被写体の画像のスローモーションの復元、スキューのない画像の生成、または手振れによる画像のモーションボケの除去に有用である。またさらに別の例では、これらの機構は、一枚の撮像画像からハイダイナミックレンジ画像を取り込むための読出しタイミングおよび露光時間の制御に使用することができる。さらなる例では、これらの機構は読出しタイミングおよび露光時間を制御して、一枚の撮像画像からスキューのない映像を復元するために使用することができる。
【００１８】
種々の実施形態による、複数の画素行を持つ画素配列を有するイメージセンサで検出されたシーンの画像を読取る方法を提供する。該方法は、画素配列における複数の行の各々をシーンの画像に露光するステップと、画素配列における行の第１サブセットを読出して、画像から第１サブ画像を抽出するステップと、画素配列における行の第２サブセットを読出して、画像から第２サブ画像を抽出するステップとを含み、画素配列における行の第１サブセットは、画素配列における行の第２サブセットとは異なる。
【００１９】
いくつかの実施形態において、画素配列における行の第１サブセットおよび画素配列における行の第２サブセットは、画素配列における複数の行の間に均一に分配されていることに留意されたい。
【００２０】
いくつかの実施形態において、第１サブ画像と第２サブ画像の間のオプティカルフローを、スローモーションの復元、画像からのスキューの実質的な除去、および画像からのモーションボケの実質的な除去の内の少なくとも一つのために、推定することができる。例えば、第１サブ画像と第２サブ画像との間に補間される中間画像は、推定されたオプティカルフローに少なくとも部分的に基づいて決定することができ、この場合、スキューは中間画像内で実質的に除去される。別の例では、第１サブ画像、中間画像および第２サブ画像を結合してスローモーション補間映像を作成することができる。推定されたオプティカルフローがイメージセンサに関連するモーション情報に対応する、またさらに別の例では、画像の点広がり関数をモーション情報に少なくとも部分的に基づいて推定し、第１サブ画像および第２サブ画像の内の少なくとも１つから生成された出力画像を向上させるために適用して、出力画像からモーションボケを実質的に除去することができる。
【００２１】
種々の実施形態による、複数の画素行を持つ画素配列を有するイメージセンサにおいて検出されたシーンの画像を読取る方法を提供する。この場合、複数の行は特定の行、画素配列において該特定の行よりも高い行および画素配列において該特定の行よりも低い行を含んでいる。該方法は、画素配列内の読出し時間の制御および画像から複数のサブ画像の抽出のために符号化パターンを受信するステップと、画素配列における複数の行の各々をシーンの画像に露光するステップと、複数の行の内の特定の行を読出すステップであって該特定の行はサブ画像の数に基づいて読出しのために選択されるステップと、該特定の行の読出しの後により高い行の第１セットを読出すステップと、該より高い行の第１セットの読出しの後により低い行を読出すステップであって該より低い行はサブ画像の数に基づいて読出しのために選択されるステップと、該より低い行の読出しの後により高い行の第２セットを読出すステップとを含む。
【００２２】
種々の実施形態による、複数の画素行を持つ画素配列を有するイメージセンサにおいて検出されたシーンの画像を読取る方法を提供する。該方法は、複数の行の第１行の第１露光時間および複数の行の第２行の第２露光時間を制御するステップであって第１露光時間は第２露光時間とは異なるように制御されるステップと、第１行と第２行を読出すステップとを含む。
【００２３】
いくつかの実施形態において、第１行の第１露光時間および第２行の第２露光時間の内の少なくとも一つの最適露光時間を決定することができる。例えば、シーンの第１画像を（例えば、従来の自動露光を使って）得ることができ、この場合、画素配列における複数の行の各々の最適露光時間は、シーンの放射輝度に少なくとも部分的に基づいて決定することができ、シーンの第２画像を得ることができ、この場合、画素配列における複数の行の内の第１行の第１露光時間および画素配列における複数の行の内の第２行の第２露光時間は、その行に対して決定された最適露光時間に少なくとも部分的に基づいて調整される。さらに、いくつかの実施形態において、第２画像の画素値は、画素配列における複数の行の各々に適用される決定された最適露光時間に関して正規化することができる。
【００２４】
いくつかの実施形態において、制御された読出し時間および制御された露光時間を使って、複数のサブ画像を画像から抽出することができ、この場合、複数のサブ画像は画素配列における複数の行の間に均一に分配される。
【００２５】
いくつかの実施形態において、画像から抽出される複数のサブ画像を結合してハイダイナミックレンジ画像を合成することができる。
【００２６】
いくつかの実施形態において、２つ以上の複数のサブ画像を使用および／または比較して、モーションボケを補正することができる。例えば、複数のサブ画像の第１サブ画像と第２サブ画像との間のオプティカルフローを推定することができる。モーション情報（例えばブレカーネル）は、推定されたオプティカルフローに少なくとも部分的に基づいて決定することができ、決定されたモーション情報を、画像から抽出された複数のサブ画像を結合することによって合成したハイダイナミックレンジ画像を向上させるために適用し、そうすることによって、ハイダイナミックレンジ画像からモーションボケを実質的に除去することができる。
【００２７】
いくつかの実施形態において、決定されたモーション情報を複数のサブ画像の各々に漸進的に適用し、複数のサブ画像を結合させてハイダイナミックレンジ画像を合成する前に、複数のサブ画像の各々からモーションボケを実質的に除去する。
【００２８】
種々の実施形態による、複数の画素行を持つ画素配列を有するイメージセンサで検出されたシーンの画像を読取る方法を提供する。該方法は、複数の露光時間および複数の読出し時間を制御する符号化パターンを受信するステップであって複数の露光時間の各々および複数の読出し時間の各々は画素配列における複数の行の内の一つと関連するステップと、受信した符号化パターンに従って画素配列における複数の行の各々をシーンの画像に露光するステップと、受信した符号化パターンに従って画素配列における複数の行を読出し、各画素の画素値を得るステップと、画素配列における隣接する行からの画素値に基づいて経時的に各画素の推定画素値を再構成するステップと、再構成された推定画素値を使って映像を構成するステップであって構成された映像ではスキューが実質的に低減されるステップとを含む。
【００２９】
いくつかの実施形態において、符号化パターンは、複数の露光時間および複数の読出し時間を画素配列における複数の行にランダムに割当てる。
【００３０】
種々の実施形態による、シーンの画像を読取るシステムを提供する。該システムは、複数の行を持つ画素配列を有するイメージセンサと、少なくとも一つのコントローラであって、該コントローラは、画素配列における複数の行の各々をシーンの画像に露光し、画素配列における行の第１サブセットを読出して画像から第１サブ画像を抽出し、画素配列における行の第２サブセットを読出して画像から第２サブ画像を抽出し、この場合、画素配列における行の第１サブセットは画素配列における行の第２サブセットとは異なるコントローラとを備える。
【００３１】
種々の実施形態による、シーンの画像を読取るシステムを提供する。該システムは、複数の画素行を持つ画素配列を有するイメージセンサであって、該複数の行は、特定の行と、画素配列において該特定の行よりも高い行と、画素配列において該特定の行よりも低い行とを含むイメージセンサと、少なくとも一つのコントローラであって、該コントローラは、画素配列において読出し時間を制御し、画像から複数のサブ画像を抽出するための符号化パターンを受信し、画像配列における複数の行の各々をシーンの画像に露光し、複数の行の特定の行を読出し、この場合、該特定の行はサブ画像の数に基づいて読出しのために選択されたものであり、該特定の行の読出しの後により高い行の第１セットを読出し、該より高い行の第１セットの読出しの後により低い行を読出し、この場合、該より低い行はサブ画像の数に基づいて読出しのために選択されたものであり、該より低い行の読出しの後により高い行の第２セットを読出すコントローラとを備える。
【００３２】
種々の実施形態による、シーンの画像を読取るシステムを提供する。該システムは、複数の行を持つ画素配列を有するイメージセンサと、少なくとも一つのコントローラであって、該コントローラは、複数の行の第１行の第１露光時間および複数の行の第２行の第２露光時間を制御し、この場合、該第１露光時間は該第２露光時間と異なるように制御され、第１行および第２行を読出すコントローラとを備える。
【００３３】
種々の実施形態による、シーンの画像を読取るシステムを提供する。該システムは、複数の行を持つ画素配列を有するイメージセンサと、少なくとも一つのコントローラであって、該コントローラは、複数の露光時間および複数の読出し時間を制御する符号化パターンを受信し、該複数の露光時間の各々および該複数の読出し時間の各々は、画素配列における複数の行の内の１つと関連し、受信した符号化パターンに従って、画素配列における複数の行の各々をシーンの画像に露光し、受信した符号化パターンに従って画素配列における複数の行を読出して各画素の画素値を取得し、画素配列の隣接する行からの画素値に基づいて経時的な各画素の推定画素値を再構成し、該再構成された推定画素値を使って映像を構成し、該構成された映像においてスキューが実質的に低減されるコントローラとを備える。
【図面の簡単な説明】
【００３４】
【図１】ＣＭＯＳイメージセンサの概略図である。
【図２】図１のＣＭＯＳイメージセンサの画素配列における特定の画素の概略図である。
【図３】露光時間が各行に固定され、読出し時間が画素配列における最上行から画素配列における最下行へ直線的にシフトする、従来のローリングシャッタの図である。
【図４】図３に示す従来のローリングシャッタ機構を実現したイメージセンサから生成された画像の例である。
【図５】読出しタイミングおよび露光時間が開示の主題のいくつかの実施形態に従って制御することができる、符号化ローリングシャッタ機構の図である。
【図６】従来のローリングシャッタの割当ての図である。
【図７】開示された主題のいくつかの実施形態による、一フレームの読出し時間を多数のサブ画像に均一に分配することのできる、インターレース読出しパターンの図である。
【図８】開示された主題のいくつかの実施形態による、図７のインターレースされた読出しパターンを使って取得された入力画像および２つのサブ画像の例である。
【図９】開示された主題のいくつかの実施形態による、取得されたサブ画像から中間画像を補間し、スキューのない画像を決定する図である。
【図１０】開示された主題のいくつかの実施形態による、２つのサブ画像間の決定されたオプティカルフローの例である。
【図１１】開示された主題のいくつかの実施形態による、取得されたサブ画像から補間されたスキューのない画像の例である。
【図１２Ａ】開示された主題の実施形態による一フレームの読出し時間は多数のサブ画像に均一に分配され、読出しの順序は逆である千鳥状読出しパターンの図である。
【図１２Ｂ】開示された主題の実施形態による一フレームの読出し時間は多数のサブ画像に均一に分配され、読出しの順序は逆である千鳥状読出しパターンの図である。
【図１３】開示された主題のいくつかの実施形態による、図１２Ｂの千鳥状読出しパターンを使って得られた入力画像と３つのサブ画像の例である。
【図１４】開示された主題のいくつかの実施形態による、画素配列における異なる行の符号化された露光パターンの図である。
【図１５】開示された主題のいくつかの実施形態による、画素配列における各行の最適露光を決定する工程を示す。
【図１６】開示された主題のいくつかの実施形態による、露光過度、露光不足、または適度な露光の程度を説明するために使用されるメンバーシップ関数を含む図である。
【図１７】開示された主題のいくつかの実施形態による、図１４および図１５に記載された従来の自動露光および適応型行方向自動露光機構を使って取得された画像例である。
【図１８】開示された主題のいくつかの実施形態による、飽和および暗領域のノイズが適応型行方向自動露光機構の使用に応じて実質的に抑制されることを示す画像例である。
【図１９】開示された主題のいくつかの実施形態による、ハイダイナミックレンジ合成の千鳥状読出しおよび複数の露光符号化ならびにハイダイナミックレンジ合成の取得およびサブ画像に符号化された情報からのモーションボケ除去工程の図である。
【図２０】開示された主題のいくつかの実施形態による、図１９の符号化パターンを使って取得された入力画像、複数のサブ画像、推定オプティカルフロー図、ブレカーネルおよび出力画像の例である。
【図２１】開示された主題のいくつかの実施形態による、ハイダイナミックレンジ合成のためにインターレースされた読出しおよび複数の露光符号化の代替図である。
【図２２】本開示された主題のいくつかの実施形態による、一枚の撮像画像からスキューのない映像を復元するための符号化ローリングシャッタの図である。
【図２３】開示された主題のいくつかの実施形態による、ボクセルおよび各画素の経時的な見えを再構成するためのマッチングボクセル探索の図である。
【図２４】開示された主題のいくつかの実施形態による、一枚の撮像画像から復元されたスキューのない映像の特定の時点における複数のスライス画像（slices）の例である。
【図２５】開示された主題のいくつかの実施形態による、一枚の取り込まれた画像からスキューのない映像を復元するために中間露光を実現する符号化ローリングシャッタの図である。
【発明を実施するための形態】
【００３５】
種々の実施形態に応じて、符号化シャッタの機構を提供する。いくつかの実施形態において、イメージセンサにおける画素配列の各行の読出しタイミングおよび露光時間を制御し、そうすることによってシーンの３次元時空間値を柔軟にサンプリングし、一枚の撮像画像内において、モーション情報およびダイナミックレンジ情報を効果的に符号化するサブ画像を取り込む機構を提供する。行リセット信号および行選択信号を順次送出する代わりに、信号は符号化パターンを使って送信することができる。
【００３６】
いくつかの実施形態において、読出しタイミングは、一フレームの全体的な読出し時間が複数のサブ画像（Ｋ）に均一に分割される、図７に示すインターレースされた読出しパターンのようなインターレースされた読出しパターンを提供することによって制御することができる。あるいは、読出しタイミングは、一フレームの全体的な読出し時間が複数のサブ画像（Ｋ）に均一に分割され、Ｋに隣接する行内における読出しの順序が逆になる、
図１２Ａおよび図１２Ｂに示す千鳥状読出しパターンのような千鳥状読出しパターンを提供することによって制御することができる。
【００３７】
いくつかの実施形態において、追加的または代替的に読出しタイミングを制御するために、露光時間を制御する機構を提供する。本明細書に記載する様に、画素配列における各行の最適な露光を決定することができる。画素配列における各行の最適露光が決定された、例示的な符号化露光パターンを図１４に示す。
【００３８】
符号化パターン（例えば、インターレースされた読出しパターン、千鳥状読出しパターン、符号化露光パターンおよび／またはこれらの任意の適切な組み合わせ）を使用してイメージセンサにおいて複数の行の各々を露光すると、モーションおよび／またはダイナミックレンジを符号化する一枚の画像が撮像される。この画像から複数のサブ画像を読出すか、または、画素配列における行の異なるサブセットから抽出することができる。複数のサブ画像および／または一枚の撮像画像に符号化されたその他の情報は、オプティカルフローの決定、スキューのない画像の生成、スローモーション映像の生成、ハイダイナミックレンジ（ＨＤＲ）画像の生成などに使用することができる。
【００３９】
これらの符号化ローリングシャッタ機構は、アドレスジェネレータ１１０などの制御ユニットのロジックを修正することにより、そしてさらなるハードウェアの修正を行わずに、イメージセンサ（図１に示すイメージセンサなど）で実現することができる。より具体的には、アドレスジェネレータのロジックは、それが符号化された読出しおよび露光のための特定の行リセットパターンおよび行選択パターンを生成するように実現することができる。あるいは、外部フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を使用してイメージセンサを修正することができる。
【００４０】
これらの機構は、スキュー補正、動いている被写体の画像におけるスローモーションの復元、高速写真およびハイダイナミックレンジ（ＨＤＲ）合成などの種々の用途で使用することができることに留意されたい。例えば、これらの機構は、高速写真の時間次元でのサンプリングを改善するために使用することができる。別の例では、符号化ローリングシャッタ機構はオプティカルフローの推定に使用することができ、これは動いている被写体の画像におけるスローモーションの復元、スキューのない画像の生成または手振れによる画像内のモーションボケの除去に有用である。また別の例では、これらの機構は一枚の取り込まれた画像からハイダイナミックレンジ画像を取り込むために、読出しタイミングおよび露光時間の制御に使用することができる。またさらなる例では、これらの機構は、読出しタイミングおよび露光時間を制御して一枚の取り込まれた画像からスキューのない映像を復元するために使用することができる。
【００４１】
図３に戻って、従来のローリングシャッタにおいて、リセット時間、読出し時間および露光時間はそれぞれΔｔｓ（エリア３１０）、Δｔｒ（エリア３２０）、Δｔｅ（エリア３３０）で表わされることに留意されたい。Ｍ個の行を持つイメージセンサにおいて、ｙ番目の行（ｙは１行とＭ行の間である）のリセットタイミングは関数ｔｓ（ｙ)で表すことができ、読出しタイミングは関数ｔｒ（ｙ）で表わすことができる。図３に示す従来のローリングシャッタにおいて、リセット時間、読出し時間および露光時間は、イメージセンサにおける各行で同じであるが、直線的にシフトする。リセットタイミング関数ｔｓ（ｙ)は行リセット信号の立ち上がりエッジ、すなわち直線３４０で示されている。同様に、読出しタイミング関数ｔｒ（ｙ）は、行読出し信号の立ち下がりエッジ、すなわち直線３５０で示されている。従って、従来のローリングシャッタにおいて、ｔｒ（ｙ）＝ｙΔｔｒおよびｔｓ（ｙ)＝ｔｒ（ｙ）−Δｔｅ −Δｔｒ−Δｔｓである。
【００４２】
開示された主題のいくつかの実施形態によれば、リセットタイミングｔｓ（ｙ)および読出しタイミングｔｒ（ｙ）はアドレスジェネレータによって制御することができる。従って、アドレスジェネレータは露光時間Δｔｅも制御することができる。例えば、図５はイメージセンサにおける異なる行の読出しタイミングおよび露光時間を、アドレスジェネレータを用いて制御する説明図である。図５に示す様に、５１０，５２０，５３０および５４０の各行の読出しタイミングと露光時間は異なっていることに留意されたい。
【００４３】
イメージセンサにおける行の読出しタイミングおよび露光時間を制御することにより、シーンの３次元時空間ボリュームを一枚の２次元画像にサンプリングするための、より大きな柔軟性が提供されることに留意されたい。
これを説明するために、Ｅ（ｘ，ｙ，ｔ）は時間ｔにおけるシーン点（ｘ、ｙ）の放射輝度を、そしてＳ（ｘ，ｙ，ｔ）はカメラのシャッタ関数を表わすものとする。撮像画像Ｉ（ｘ、ｙ）はよって下記の様に表わすことができる。
【数１】
2013509820.tif 000003
【００４４】
読出しタイミングｔｒ（ｙ）も露光時間Δｔｅも行固有とすることができるので、本明細書に記載する符号化ローリングシャッタ機構はシャッタ関数Ｓ（ｘ，ｙ，ｔ）を２次元に拡大する。すなわち、符号化ローリングシャッタのシャッタ関数は、時間および画像の行インデックスの関数である。これは時間の１次元関数のみの従来のローリングシャッタおよびその他のシャッタ機構とは異なることに留意されたい。
【００４５】
先に述べた様に、読出し回路は一行なので、異なる行の読出しタイミングは重複することがない。これによって読出しタイミングｔｒ（ｙ）には制限が課せられる。より具体的には、Ｍ行を持つイメージセンサにおいて、一フレームの全体的な読出し時間はＭΔｔｒである。各読出しタイミングパターンは、Ｍ行に対するＭケの読出しタイミングスロットの１対１の割当てに対応する。従来のローリングシャッタの割当てを図６に示す。図に示す様に、各行の読出し時間は、画素の最上行から画素の最下行へと直線的にシフトする。
【００４６】
いくつかの実施形態によれば、これらの符号化ローリングシャッタ機構は、複数の行において読出しタイミングｔｒ（ｙ）を制御することにより、時間次元のより良いサンプリングを行うために使用することができる。例えば、いくつかの実施形態では、図７に示す様なインターレースされた読出しパターンを使用することができる。あるいは、図１２Ａおよび／または図１２Ｂに示す様な千鳥状読出しパターンを使用することができる。読出し回路は１行なので、図７に示すインターレースされた読出しパターンおよび図１２Ａ、図１２Ｂに示す千鳥状読出しパターンにおける異なる行への読出しタイミングは重複しないことに留意されたい。
【００４７】
図７は、本開示された主題のいくつかの実施形態によるインターレースされた読出しパターンの説明例である。インターレースされた読出しパターンにおいて、一フレームの全体的な読出し時間はＫサブ画像に均一に分配することができる。一枚の撮像画像に符号化される各サブ画像はＭ／Ｋ行を有し、一方で水平方向にフル解像度を保っている。図７のインターレースされた読出しパターンに示す様に、全体的な読出し時間は２つのサブ画像（Ｋ＝２）に均一に分配され、各サブ画像は６行の画素配列を含んでいる。これは図９にも示しており、図９では、インターレースされた読出しパターンを使って、一枚の撮像画像から２つのサブ画像Ｉ１およびＩ２(それぞれ直線９１０および９２０で表わされる)が読出されている。より具体的には、各サブ画像は画素配列における行のサブセットと関連している（例えば、第１サブ画像は行の第１サブセットと関連し、第２サブ画像は行の第２サブセットと関連している）。
【００４８】
本明細書の図７およびその他の図は、２つのサブ画像Ｉ１およびＩ２がインターレースされた読出しパターンを使って一枚の撮像画像から読出されることを示しているが、撮像画像からは任意の適切な数のＫサブ画像を読出すことができることに留意されたい。
【００４９】
インターレースされた読出しパターンに関しては、ｙ番目の行の読出しタイミングｔｒ（ｙ）を以下の様に表わすことができる。
【数２】
2013509820.tif 000004
ここで、イメージセンサは全体でＭ行を有し、
2013509820.tif 000005
は床関数である。
【００５０】
いくつかの実施形態において、インターレースされた読出しパターンは、スキュー補償および高速写真に使用することができる。より具体的には、図１のアドレスジェネレータ１１０のようなアドレスジェネレータは、インターレースされた読出しパターンを画素配列に送って、一枚の画像を撮像でき、この場合、単一の撮像画像から得られたサブ画像において、フレームレートは実質的に増大され、スキューは実質的に低減される。
【００５１】
サブ画像のスキューに関しては、各サブ画像の最上行と最下行との間のタイムラグはＭΔｔｒ／Ｋであり、ここでＭはイメージセンサにおける行の総数であり、Δｔｒは読出し時間であり、Ｋはサブ画像の数であることに留意されたい。上述の様に、従来のローリングシャッタに関しては、一フレームの最上行と最下行との間のタイムラグはＭΔｔｒである。よって、これらのサブ画像内のスキューは、従来のローリングシャッタにおけるスキューの１／Ｋ倍である。従って、Ｋサブ画像内のスキューは、従来のローリングシャッタを使用して取り込まれた画像のスキューよりも実質的に低減される。
【００５２】
さらに、２つの連続するサブ画像間のタイムラグもＭΔｔｒ／Ｋに低減されることに留意されたい。このように、フレームレートは得られたサブ画像の間でＫ倍に増大する。従って、Ｋサブ画像内のフレームレートは、従来のローリングシャッタを使って取り込まれた画像のフレームレートから実質的に増大する。
【００５３】
図７のインターレースされた読出しパターンを使って得られたサブ画像の説明例を図８に示す。図に示す様に、サブ画像８２０および８３０は、インターレースされた読出しパターンを使ってイメージセンサから取得された、単一の撮像画像８１０から読出されるか、または抽出される。サブ画像８２０および８３０のスキューは、従来のローリングシャッタを使った図４に示す画像と比較して、実質的に低減されることに留意されたい。
【００５４】
キュービック補間または任意のその他の適切な手法は、サブ画像８２０および８３０をフル解像度に垂直にリサイズするために使用することができることに留意されたい。例えば、解像度６４０×４８０（Ｍ＝４８０，Ｋ＝２）の撮像した入力画像において、撮像された入力画像から読出された各サブ画像の解像度は６４０×２４０である。尚、インターレースされた読出しパターンを使うと、水平方向のフル解像度が保たれることに留意されたい。各サブ画像は補間によって６４０×４８０、すなわちフル解像度にリサイズすることができる。補間された画像は、サブ画像Ｉ１およびＩ２に関して、それぞれ実線９１０および９２０(図９)で表わされ、ここで円は入力符号化画像（例えば図８の画像８１０）からサンプリングされた点を表わしている。
【００５５】
いくつかの実施形態において、抽出されたサブ画像はオプティカルフローの推定に使用することができる。上述の様に、キュービック補間または任意のその他の適切な補間手法は、２つのサブ画像Ｉ１およびＩ２をフル解像度（図９の実線９１０および９２０で示す）に垂直にリサイズするために使用される。オプティカルフローｕ０は２つのサブ画像の間で決定することができる。例えば、オプティカルフローは、２つのサブ画像の間の輝度パターンのモーションに基づいて決定することができる。別の例では、フローベクトルを２つのサブ画像における特定の点の位置を比較することによって決定することができる。図１０は２つのサブ画像間の決定されたオプティカルフローの例を示す。推定されたオプティカルフローは、例えば、スローモーションの復元、画像からのスキュー除去、および／または手振れによるモーションボケの画像からの除去のために使用することができる。
【００５６】
決定されたオプティカルフローを使うと、斜線エリア９３０内および補間サブ画像（Ｉ１およびＩ２）間の中間画像を、双方向補間を使って決定することができる。例えば、いくつかの実施形態において、中間画像は下記の方程式を使って決定することができる。
【数３】
2013509820.tif 000006
ここで、０≦ｗ≦１であり、ｐ＝（ｘ、ｙ）は一画素を表し、そしてｕｗ（ｐ）はｕｗ（ｐ＋ｗｕ０（ｐ）)＝ｕ０（ｐ）と計算される、前方に曲がったオプティカルフローである。例えば、図９に示す様に、直線９４０は中間画像Ｉｗ＝０．５を示し、該中間画像は２つのサブ画像の双方向補間を使って復元することができる。
推定されたオプティカルフローに少なくとも部分的に基づいて計算された補間中間画像１１１０の例を図１１に示す。
【００５７】
いくつかの実施形態において、スキューのない画像は得られたサブ画像から補間することができる。図９に示す様に、直線９５０は補間されたスキューのない画像
【数４】
2013509820.tif 000007
を示している。これは、ｗ＝１−（ｙ−１）／（Ｍ−１）のように、上述の方程式に示すスカラｗをベクトルと交換することによって行うことができる。図８の入力画像８１０から生成されたスキューのない画像１１２０の例も図１１に示す。スキューのない画像１１２０は、図４に示すスキューが実質的に補償されたものであることに留意されたい。
【００５８】
開示された主題のスキュー補正機能を説明するために、図１１は、グランドトルース画像と、インターレースされた読出しパターンを使って得られた補間画像１１１０および１１２０との間の違いを説明する画像１１３０および１１４０も含んでいる。特に、画像１１３０および１１４０は、補間画像１１１０および１１２０と、グランドトルース画像との間の計算された誤差を示しており、ここで、画像１１３０および１１４０のより明るい部分は、大きな誤差、すなわちグラウンドトルース画像との差異を有するエリアを特定している。画像１１１０（Ｉｗ＝０．５）のスキューは図４に示すスキューよりも実質的に低減されており、画像１１２０はほぼスキューがないことに留意されたい。スキューのない画像１１２０内の小さな誤差は、例えば、オプティカルフロー推定中の遮蔽によって生じることがある。
【００５９】
スキューの補正に加えて、いくつかの実施形態において、単一の撮像画像から読出されたサブ画像は、図７のインターレースされた読出しパターンまたは任意のその他の適切なインターレースされた読出しパターンおよび／または１つまたは複数の補間画像を使って結合し、単一の撮像画像に符号化された情報から、スローモーション補間映像を作成することができる。つまり、高速写真に関しては、２つ以上のサブ画像をフル解像度にリサイズして、スローモーション映像（例えば、走っている人の補間画像、割れる風船のリサイズされたサブ画像など）を作成するために配置することができる。例えば、解像度１２８０×１０００を有する単一の画像を撮像し、８つのサブ画像（Ｋ＝８）を有するインターレースされた読出しパターンを使用すると、出力映像は、各々が１２８０×１２５の解像度を持つ８つのサブ画像を含むことができる。別の例では、この８つのサブ画像をフル解像度に垂直にリサイズして、出力映像の生成のために配置することができる。
【００６０】
手振れによるモーションボケは写真撮影にはよく見られる問題であることに留意されたい。カメラのシャッターボタンを押すだけでカメラ自身が振れ、あいにくぼけた画像になってしまう。こういったデジタルカメラの多くのコンパクトな形状や小型レンズは、手振れの問題を増やすばかりである。
【００６１】
いくつかの実施形態において、サブ画像およびサブ画像からの推定オプティカルフローは、手振れまたは任意のその他の適切なモーションによって生じるモーションボケを除去する（本明細書において「モーションボケ除去」と呼ぶことがある）ために使用することができる。上述の様に、キュービック補間または任意のその他の適切な補間手法は、２つのサブ画像Ｉ１およびＩ２をフル解像度（例えば図８参照のこと）に垂直にリサイズするために使用することができる。オプティカルフローｕ０はそれから２つのサブ画像（例えば図１０参照のこと）の間で決定または推定することができ、この場合、オプティカルフローはサブ画像の間でモーション情報を符号化することができる。推定されたオプティカルフローを使うと、点広がり関数（ＰＳＦ）などのボケ推定を計算することができる。例えば、空間モーションおよび／または動いているカメラの速度を表わす点広がり関数（ＰＳＦ）を計算することができる。従って、出力画像は、計算された点広がり関数を出力画像（例えば、補間サブ画像、補間サブ画像の組み合わせなど）に適用させることによって向上されるおよび／または実質的にボケを除去することができる。
【００６２】
あるいは、いくつかの実施形態によれば、イメージセンサの読出しタイミングは、図１２Ａおよび図１２Ｂに示す千鳥状読出しパターンのような千鳥状読出しパターンを実現することによって制御することができる。図１２Ａおよび図１２Ｂの千鳥状読出しパターンに示す様に、一フレームの全体的な読出し時間は、複数のサブ画像（Ｋ）に均一に分割される。また図に示す様に、千鳥状読出しパターンは、Ｋに隣接する行毎に読出しの順序を逆にする。上述のインターレースされた読出しパターンと同様に、Ｋサブ画像を一枚の符号化画像から抽出することができる。この場合、各サブ画像はＭ／Ｋ行を有する。
【００６３】
より詳細な例において、図１２Ａは、２つのサブ画像（Ｋ＝２）が単一の撮像画像から抽出され、該２つのサブ画像が１２行の画素配列の行の間で均一に分配されていることを示している。同様に、図１２Ｂは、単一の撮像画像から８つのサブ画像が抽出されることを示している。８つのサブ画像は画素配列における行の間に均一に分配されていることに留意されたい。しかしながら、千鳥状読出しパターンを使って取り込まれた画像から任意の適切な数のＫサブ画像を読出すことができる。
【００６４】
千鳥状読出しパターンに関して、ｙ番目の行の読出しタイミングｔｒ（ｙ）は下記の様に表わすことができる。
【数５】
2013509820.tif 000008
【００６５】
千鳥状の読出しの各サブ画像内のタイムラグは（Ｍ−Ｋ＋１）Δｔｒであることに留意されたい。
【００６６】
また、２つの連続するサブ画像間のタイムラグはΔｔｒであり、これは従来のローリングシャッタを使って達成されるフレームレートよりも実質的に高いフレームレートであることに留意されたい。読出し時間Δｔｒは通常約１５×１０−６秒、すなわち１５マイクロ秒から約４０×１０−６、すなわち４０マイクロ秒の間である。従って、千鳥状の読出しを使用するイメージセンサは、疾走する弾丸、破裂する風船、着地する足などといった速度重視のイベントにおける超高速写真に使用することができる。
【００６７】
図１３は、超高速写真用途の図１２Ｂの千鳥状読出しを使った例を示している。図に示す様に、一枚の画像１３１０は千鳥状読出しパターンを使って撮像される。一枚の画像１３１０から、図１２Ｂに示す千鳥状読出しパターンを使って８つのサブ画像が抽出される。８つのサブ画像の内、３つのサブ画像１３２０、１３３０および１３４０を図１３、すなわちサブ画像Ｉ１、サブ画像Ｉ４およびサブ画像Ｉ８に示す。単一の撮像画像から取得されたサブ画像における実質的に高いフレームレートのため、これらのサブ画像は足が地面に着地する正確な瞬間を撮像するために使用することができる。さらにいくつかの実施形態において、サブ画像Ｉ１からＩ８は、短期間（例えば一フレーム時間内の８つのサブ画像）の滑らかなモーション映像を提供するために配置させることができる。
【００６８】
一般に、ハイダイナミックレンジ（ＨＤＲ）合成は一般に、異なる露光で撮られた特定のシーンの複数の画像または特別に設計されたイメージセンサおよび／またはハードウェアの何れかを必要とする。異なる露光で特定のシーンの複数の画像を取り込むには、ゴーストおよび／またはモーションボケを回避するために、静止シーンおよび安定したカメラが必要である。一方で特別に設計されたイメージセンサは高価である。従って、これらのことによって、ハイダイナミックレンジ合成は一般に、特に消費者向け携帯カメラにとっては不便または非実用的なものとなっている。
【００６９】
いくつかの実施形態によれば、ハイダイナミックレンジ画像は、画素配列における各行の露光時間Δｔｅ（ｙ）を制御することによって、単一の撮像画像から取得することができる。さらに本明細書に記載する様に、画素配列における各行の読出しタイミングΔｔｒ（ｙ）および露光時間Δｔｅ（ｙ）を制御することにより、モーションボケが実質的に除去されたハイダイナミックレンジ画像を単一の撮像画像から取得することができる。
【００７０】
図１４は、開示の主題のいくつかの実施形態による、画素配列における異なる行の符号化された露光の例を示している。符号化された行方向露光Δｔｅ（ｙ）は、ハイダイナミックレンジ合成の上述の問題を緩和するために使用することができる。シーンの放射輝度のダイナミックレンジは、各行における露光の適応的な設定または複数の露光の１つの画像へのインターレースの何れかによって、より適切に取り込むことができる。このことにより、特定のシーンの複数の画像撮影が回避され、手振れによるゴーストおよびモーションボケを効果的に低減することができる。
【００７１】
いくつかの実施形態において、画素配列における各行の最適露光は、図１５に示す工程１５００を使って決定する（本明細書において、「適応型行方向自動露光」と呼ぶこともある）ことができる。図に示す様に、シーンの一時画像（例えば、物理的被写体）は、１５１０において撮像素子を使って撮像する。この一時画像は、例えば、撮像素子の自動露光（ＡＥ）機能を使って撮像することができる。
【００７２】
一時画像の撮像に応じて、１５２０において、画素配列における各行に対する最適露光を決定することができる。一般に、特定の行の最適露光は、露光過剰および露光不足画素の数を行内で最小限に抑え、一方でかなりの量の画素が適切に露光されるように決定することができる。図１６に示す様に、３つのメンバーシップ関数、すなわちμｓ（ｉ）、μｄ（ｉ）およびμｇ（ｉ）は、強度ｉに関して、露光過剰すなわち飽和(μｓ（ｉ）)、露光不足(μｄ（ｉ）)または適切な露光（μｇ（ｉ））の程度を表わすために使用することができる。シーン放射輝度は、Ｌ＝Ｉ０（１＋ｓμｓ（Ｉ０))によって決定することができ、ここでｓ?０は飽和領域におけるシーン放射輝度を推定するために使用されるスケールファクタであり、Ｉ０は一時画像である。
【００７３】
シーン放射輝度は、情報が記録されていない飽和領域以外の何れの領域においても測定することができることに留意されたい。また、スケールファクタｓの小さな値は、従来の自動露光アルゴリズムに対応することにも留意されたい。
【００７４】
従って、ｙ番目の行の最適露光Δｔｅ（ｙ）は、下記の方程式を最大化することによって求めることができる。
【数６】
2013509820.tif 000009
ここで、μ（ｉ）は下記の様に定めることができる。
【数７】
2013509820.tif 000010
本式は、重量λｄおよびλｇならびに露光調整ΔｔｌおよびΔｔｕの上限および下限を含んでいる。
【００７５】
図１５に戻って、上述の方程式を最大化し、画素配列における各行（例えば、図１４に示す符号化された適応型行方向自動露光パターン）の露光時間を修正することによって各行の最適露光を決定すると、第２画像が撮像される。この場合、１５３０において、画素配列における各行は、シーン放射輝度の最善の取り込みのために調整されている。
【００７６】
いくつかの実施形態において、１５４０で、第２画像（Ｉｃ）を正規化して最終出力画像（Ｉｒ）を生成することができる。例えば、
いくつかの実施形態において、第２画像は、行方向露光Δｔｅ（ｙ）によって第２画像を分割することによって正規化することができる。従って、下記の様になる。
【数８】
2013509820.tif 000011
【００７７】
図１５の工程１５００を使って取得した画像と露光の説明例を図１７および図１８に示す。画像１７１０は従来の自動露光を使って取得した画像を示す。従来の自動露光による領域１７１２および１７１８の飽和ならびに暗領域１７１４、１７１６および１７２０のノイズに留意されたい。画像１７３０は、行方向露光１７３２を使って取得した、符号化された画像（Ｉｃ)の例を示しており、行方向露光は画像１７３０と並べて表示されている。画像１７３０を正規化すると、画像１７４０は最終出力画像Ｉｒとなる。これらの出力画像は行方向露光１７３２によって分割することによって正規化される。図１８は、画像１７１０からの領域１７１２〜１７２０および画像１７４０からの領域１７４２〜１７５０の拡大版を表示している。図に示す様に、適応型行方向自動露光はより高品質な画像を生成し、この場合、飽和（例えば、領域１７１２，１７１８，１７４２および１７４８に示される雲と文字)および暗領域（例えば、領域１７１４，１７１６，１７２０，１７４４，１７４６および１７５０の像およびおもちゃ）のノイズは実質的に抑制されている。
【００７８】
上述の適応型行方向自動露光機構は、画像処理をほぼまたは全く必要としないことに留意されたい。しかしながら、いくつかの実施形態においては、ノイズ除去などの追加の後処理を行うことができる。例えば、露光パターンから派生することのある垂直方向に沿ったノイズ増幅が考えられる。別の例では、ダイナミックレンジが水平方向に支配的に広がるシーン（例えば、外から見られている暗室）に関しては、適応型行方向自動露光機構は、撮像装置を元の状態に戻して(revert)従来の自動露光機能を使用することができる。
【００７９】
いくつかの実施形態において、先に説明した符号化読出しパターンとともに、上述の適応型行方向自動露光手法を使って、単一の画像からハイダイナミックレンジ画像を取得することができる。符号化読出しパターンとともに、画素配列における各行の最適露光を決定するために適応型行方向自動露光を使用すると、複数の露光を単一の撮像画像に符号化することができ、手振れによるボケを除去するために、平面カメラモーションを推定することができる。
【００８０】
図１９は、いくつかの実施形態による、ハイダイナミックレンジ合成のために符号化された千鳥状の読出しおよび複数の露光を示している。図に示す様に、イメージセンサの画素配列は、３つのサブ画像（Ｋ＝３）および３つの露光、すなわち、Δｔｅ１,Δｔｅ２およびΔｔｅ３の千鳥状の読出しで符号化することができる。従って、単一の入力画像（Ｉｃ）から３つのサブ画像Ｉ１,Ｉ２およびＩ３を抽出することができる。これらのサブ画像は、キュービック補間または任意のその他の適切な補間手法を使って、フル解像度に垂直にリサイズすることができる。
【００８１】
これらのサブ画像(Ｉ１,Ｉ２およびＩ３)は、ハイダイナミックレンジ画像を合成するために使用することができる。例えば、静止シーン／カメラに関しては、複数の露光のサブ画像を結合することによって、出力ハイダイナミックレンジ画像を生成することができる。
【００８２】
さらにいくつかの実施形態において、符号化パターン１９００の使用によって取得されるこれらのサブ画像(Ｉ１,Ｉ２およびＩ３)は、ハイダイナミックレンジの合成および工程フロー１９５０に示す様な手振れによるモーションボケの除去に使用することができる。例えば、手振れによるモーションボケは、写真撮影においてよくある問題であり、携帯デジタルカメラのコンパクトな形状や小型レンズは、手振れの問題を増やすばかりである。携帯デジタルカメラに関しては、手振れによって生じる画像のモーションボケは、特に長い露光時間では避けられないものである。従って手振れが問題となっているいくつかの実施形態において、オプティカルフローをサブ画像の間で決定して、手振れに対処することができる。
【００８３】
サブ画像は千鳥状の読出しを使って得ることができるので、サブ画像間のタイムラグは小さいことに留意されたい。従って、手振れの速さは一般にサブ画像内において同じである。また、一フレーム時間内において、手振れによるモーション量は小さく、平面モーションとして近似させることができることに留意されたい。
【００８４】
いくつかの実施形態において、異なるタイミングでサンプリングされたサブ画像およびサブ画像から推定されたオプティカルフローは、工程１９５０に示す様に、手振れまたは任意のその他の適切なモーションによって生じるモーションボケを除去するために使用することができる。モーションベクトル
【数９】
2013509820.tif 000012
は、推定オプティカルフロー
【数１０】
2013509820.tif 000013
によって、サブ画像Ｉ１およびＩ２から推定することができる。モーションベクトルはブラーカーネルの決定に使用することができる。より具体的には、２つの合成画像Ｉ１AＩ２およびＩ１AＩ２AＩ３のボケを除去することにより、リンギングを効果的に抑制することができる。この場合、演算子Aは、画像が最初にモーションベクトル
2013509820.tif 000014
と中央寄せ(center-aligned)され、それから加算されることを意味している。２つのボケ除去された画像は下記の様に表わすことができる。
【数１１】
2013509820.tif 000015
【数１２】
2013509820.tif 000016
従って、出力ボケ除去されたハイダイナミックレンジ（ＨＤＲ）画像は下記の様に計算することができる。
【数１３】
2013509820.tif 000017
【００８５】
最適露光比Δｔｅ３ :Δｔｅ２ :Δｔｅ１(例えば、８Δｔｅ３:２Δｔｅ２: Δｔｅ１)は、所望の拡大されたダイナミックレンジおよびモーションボケ除去によるノイズ増幅に少なくとも部分的に基づいて決定することができることに留意されたい。例えば、より大きなΔｔｅ３:Δｔｅ１露光比はより大きな拡大ダイナミックレンジを提供するが、モーションボケ除去中のノイズを増幅することもある。
【００８６】
図１９の千鳥状の読出しおよび複数の露光の符号化１９００を使って取得された、符号化入力画像、サブ画像および出力ハイダイナミックレンジ画像の説明例を図２０に示す。画像２０１０は、図１９の符号化パターン１９００によって生成された入力画像Ｉ（Ｉｃ）である。画像２０２０、２０３０および２０４０は、入力画像２０１０から抽出されたサブ画像(Ｉ１,Ｉ２およびＩ３)である。各サブ画像２０２０、２０３０および２０４０は、ダイナミックレンジを拡大するための異なる露光時間を有していることに留意されたい。しかしながら、この特定のシーンに関しては、各サブ画像は、暗くてノイズがあり、ボケおよび／または飽和した部分があることに留意されたい。例えば、サブ画像２０２０および２０３０は、サブ画像２０４０よりも短い露光時間を持っているので、サブ画像２０２０および２０３０は、サブ画像２０４０よりも大きなノイズを持っている。一方で、サブ画像２０４０の露光時間は長いので、サブ画像２０４０の一部は飽和し、モーションボケを呈している。サブ画像２０２０および２０３０を使用すると、オプティカルフロー２０５０を推定することができ、ブラーカーネルおよびボケ除去された画像を２０６０において取得することができる。手振れによって生じるモーションボケを除去するためにサブ画像を使用して複数の露光のサブ画像を結合すると、ハイダイナミックレンジ出力画像２０７０を復元することができる。ハイダイナミックレンジ画像２０７０は、従来のローリングシャッタを使って取得された画像よりも実質的に高品質であり、何れかのサブ画像のみの場合よりも実質的に高品質であることに留意されたい。従って、より大きなダイナミックレンジが保たれ、手振れによるモーションボケは効果的に除去される。
【００８７】
図１９は、ハイダイナミックレンジ画像を取得するために千鳥状の読出しおよび複数の露光符号化を使用していることを示しているが、任意の適切な符号化シャッタパターンを使用することができることに留意されたい。例えば、図２１はハイダイナミックレンジ合成の別の符号化パターンを示している。図１９に示すパターン１９００とは異なり、パターン２１００はハイダイナミックレンジ合成のためのインターレースされた読出しおよび複数の露光の符号化を示している。具体的には、符号化パターン２１００を使用するイメージセンサは、３つのサブ画像(Ｉ１,Ｉ２およびＩ３)および２つの異なる露光Δｔｅ１、Δｔｅ２を取得する。尚、サブ画像Ｉ１およびＩ２の露光時間は同じであることに留意されたい。同様に、オプティカルフローは、サブ画像間のタイムラグが小さいので、サブ画像Ｉ１およびＩ２から推定することができる。よって、推定されたオプティカルフローは、サブ画像Ｉ１およびＩ２よりも長い露光時間を有するサブ画像Ｉ３からモーションボケを除去するために使用することができる。
【００８８】
インターレースされた読出しパターンに関連して上述した様に、符号化パターン２１００を使って取得されたサブ画像は、従来のローリングシャッタを使って取得された画像よりもスキューが実質的に低減されていることに留意されたい。従って、図２１の符号化パターン２１００は、動いている被写体のハイダイナミックレンジ合成に使用することができる。
【００８９】
いくつかの実施形態により、単一の撮像画像からスキューのない映像を復元することのできる、露光時間および読出し時間を制御する機構を提供する。一般に、１次元信号として、一画素（ｘ、ｙ）の時間ｔの経過によるシーン輝度をモデリングすると、撮像画像内の対応する画素強度は、露光パターンを有するこの１次元信号の線形射影となる。従って、ランダムに符号化された露光パターンを使用して、
時空間ボリューム（例えばスキューのない映像）を、信号勾配にスパース性を利用することによって、単一の撮像画像から再構成することができる。
【００９０】
より詳細な例において、スキューのない映像は、圧縮センシング技術を使って、単一の撮像画像から復元することができる。圧縮センシング技術は、シャノンのサンプリング定理などのその他の技術によって要求されるものよりもはるかに少ないサンプルからスパース信号を再構成する手法を提供する。上述の様に、撮像画像Ｉ（ｘ、ｙ）は、時空間ボリュームＥ（ｘ，ｙ，ｔ）の線積分測定として示すことができる。従って、シャッタ関数Ｓ（ｘ，ｙ，ｔ）を制御することにより、単一の画像から、隣接する行内でいくつかの測定を得て、時空間ボリュームＥ（ｘ，ｙ，ｔ）を復元することができる。
【００９１】
１つの時間フレームＥ（ｘ，ｙ，ｔ）内の特定の画素（ｘ、ｙ）の経時的な見えを考慮０≦ｔ≦ＭΔｔｒであり、これは、下記の様にＰ要素ベクトルに離散化することができる。
すると、
【数１４】
2013509820.tif 000018
図２２の符号化パターン２２００に示す様に、単一の撮像画像からｘを再構成するために、垂直方向の画像解像度がトレードオフされ、Ｋに隣接する行から複数の測定が得られる。このことは通常、見えは特定の局所内では類似すると仮定されることに留意されたい。再構成はスライディングウィンドウ内のＫ行毎に行うことができる。
【００９２】
ｂが入力画像ＩにおいてＫに隣接する画素の強度を意味する場合、ｂは下記の様に表わすことができる。
【数１５】
2013509820.tif 000019
従って、Ａｘ＝ｂとなり、ここでＡは符号化パターンを表わすＫ×Ｐマトリクスである。
【００９３】
単一の撮像画像からスキューのない映像を復元する工程は、例えば、ブロックマッチングおよびリニア補間を使って、最初の推定Ｅ０を取得することによって始まる。より詳細な例において、入力画像は、露光によって、Ｉｎ（ｘ、ｙ）＝Ｉ（ｘ、ｙ）／Δｔｅ（ｙ）となるように分割することによって正規化される。正規化された画像（Ｉｎ）における各画素（ｘ、ｙ）は、初期推定Ｅ０（ｘ、ｙ、ｔ）の１セットのサンプリングされたボクセルに対応し、ここで、ｔｓ（ｙ）?ｔ?ｔｒ（ｙ）である。これらのサンプリングされたボクセルは、初期推定Ｅ０の一部を埋めるために使用することができる。
【００９４】
図２３は、開示された主題のいくつかの実施形態による、サンプリングされたボクセルを示している。ボクセル２３１０（ｖ１＝（ｘ１,ｙ１,ｔ１)）のような各々のサンプリングされたボクセルに関して、その他のサンプリングされたボクセルによって探索を行い、ボクセル２３２０（ｖ２＝（ｘ２,ｙ２,ｔ２)）のような適切なマッチングボクセルを見つける。マッチングボクセルは誤差が最小限になるように選択することができることに留意されたい。例えば、１つの適切な手法において、誤差は|Ｎｘ（ｖ１）−Ｎｘ（ｖ２）|と示すことができ、ここでＮｘ（ｖ）はｘ方向におけるボクセルｖの隣接を意味している。最小誤差がプリセット閾値または所定閾値よりも大きい場合、適切なマッチングボクセルは見つからない。各々のマッチングボクセルの組に関しては、マッチングボクセルの組の間のボクセルは、図２３の補間されたボクセル２３３０によって示すように、補間することができる。
【００９５】
いくつかの実施形態において、特定のボクセルは複数回補間することができる。特定のボクセルが複数回補間される場合、そのボクセルの値は、最小マッチング誤差のマッチングした組から計算された結果に設定することができる。これは初期推定Ｅ０の大部分を埋める。残りのボクセルは対応する列で、正規化された画像（Ｉｎ（ｘ、ｙ））内の値に初期化することができる。
【００９６】
初期推定Ｅ０はその後経時的に、画素の放射輝度の勾配にスパース性を利用することによって(by exploiting the sparsity in the gradient of the pixel’s radiance)、各画素の時間的に変化する見えｘを再構成するために使用することができる。
【数１６】
2013509820.tif 000020
ここで、|ｘ′|は経時的なｘの勾配のＬ−１水準であり、λは重量パラメータであり、ｘ０はＥ０内の対応する信号である。初期推定を使った最適化は複数回（例えば２回）実行することができる。１回目の反復の出力は、異なる行のＫの値を適応的に調整するために使用することができる。復元された見えにおいて経時的に大きなばらつきを持つ行に関しては、Ｋ値を下げたり上げたりすることができることに留意されたい。調整は、Ｋ値の間の予め計算された、または定められたマッピング、経時的な見えのばらつき、および再構成誤差に基づいて行われる。複数の反復は継続的に行うことができ、そしていくつかの実施形態においては、最終出力を生成する前にメディアンフィルタを適用することができる。
【００９７】
図２４は、スキューのない映像の特定の時点における複数のスライス画像の例を示す。画像２４１０は、従来のローリングシャッタを使って撮った、動いているトラックの画像を示している。先にも記載した様に、画像２４１０には多くのスキューが示されている。画像２４３０は、符号化パターン２４２０を使って取得された符号化入力画像を示す。いくつかの実施形態において、符号化パターン２４２０は、ランダムに符号化された露光パターンを含むことができる。上述の手法を使って、スキューのない映像が、入力画像２４３０から、信号勾配にスパース性を利用することによって再構成される。画像２４４０、２４５０、２４６０および２４７０は、特定の時点における再構成されたスキューのない映像からのスライス画像を示している。スキューのない映像からの画像の各々は、従来のローリングシャッタを使って取得された画像２４１０と比較すると、実質的に低減されたスキューを示していることに留意されたい。
【００９８】
いくつかの実施形態において、ＣＭＯＳイメージセンサにフレームバッファが利用できる場合、各画素に間欠露光を実現することができ、この場合、図２５に示す様に、各画素は一フレームの間に複数の行選択信号および行リセット信号を受信することができる。符号化パターン２５００に示す様に、間欠露光により、圧縮センシングを介して、より複雑な符合化パターンを再構成に使用することができ、いくつかの実施形態においてはより良い再構成結果を達成することができる。動いているオプション(moving option)の幾何学的歪みなどの幾何学的スキューの補正に加え、提案する符号化パターンは、制御不可能なフラッシュによって生じる部分的な露光などの測光(photometric)スキューの補償に使用することができる。
【００９９】
いくつかの実施形態において、符号化機構に関連して使用されるハードウェアは、画像取り込み装置を含むことができる。画像取り込み装置には、携帯カメラ、ビデオカメラまたはレコーダ、コンピュータカメラ、スキャナ、携帯電話、携帯情報端末、閉鎖回路テレビカメラ、防犯カメラ、インターネットプロトコルカメラなどの画像および／または映像を取り込むための任意の適切な装置がある。
【０１００】
画像取り込み装置は、図１に示すイメージセンサのようなイメージセンサを含み得る。図に示す様に、イメージセンサ１００は、複数の画素行を有する画素配列１０５およびアドレスジェネレータ１１０を含んでいる。符号化ローリングシャッタ機構は、図１のＣＭＯＳイメージセンサ内のアドレスジェネレータ１１０のような制御ユニットのロジックを修正することにより、そしてさらなるハードウェアの修正を行わずに実現することができる。より具体的には、アドレスジェネレータのロジックは、それが符号化読出しおよび露光のために特定の行リセットパターンおよび行選択パターンを生成するように実現することができる。あるいは、イメージセンサを修正するために外部フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を使用することができる。
【０１０１】
いくつかの実施形態において、ハードウェアは画像処理装置を含むこともできる。画像処理装置は、本明細書に記載する画像および画像関連データを処理することのできる、任意の適切な装置であってもよい。例えば、画像処理装置は、コンピュータなどの汎用装置またはクライアントなどの特殊目的装置、サーバ、画像取り込み装置（カメラ、ビデオレコーダ、スキャナ、携帯電話、形態情報端末など）であってもよい。これらの汎用または特殊目的装置はどれもプロセッサ（マイクロプロセッサ、デジタルシグナルプロセッサ、コントローラなど）、メモリ、通信インターフェース、ディスプレイコントローラ、入力装置などの任意の適切なコンポーネントを含むことができる。
【０１０２】
いくつかの実施形態において、ハードウェアは画像メモリも含むことができる。画像メモリは、メモリ（たとえば不揮発メモリ）、外部装置へのインターフェース（サムドライブ、メモリスティック、ネットワークサーバまたはその他の記憶装置またはターゲット装置）、ディスクドライブ、ネットワークドライブ、データベース、サーバなどの画像を記憶する任意の適切な装置であってもよい。
【０１０３】
いくつかの実施形態において、本明細書に記載する工程を実行するための命令を保存するために、任意の適切なコンピュータ読取り可能媒体を使用することができる。例えば、いくつかの実施形態において、コンピュータ読取り可能媒体は、一時的または非一時的であってもよい。例えば、非一時的コンピュータ読取り可能媒体は、磁気媒体（ハードディスク、フロッピーディスクなど）、光学式媒体（コンパクトディスク、デジタルビデオディスク、ブルーレイディスクなど）、半導体媒体（フラッシュメモリ、電気的プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）など）、伝送中に瞬時的でない、すなわち永続的な画像イメージを欠かない任意の適切な媒体(any suitable media that is not fleeting or devoid of any semblance of permanence during transmission)、および／または任意の適切な有形媒体を含むことができる。別の例として、一時的なコンピュータ可読媒体は、ネットワーク、ワイヤ、導体、光ファイバ、回路、伝送中に瞬時的な、または永続的な画像イメージを欠く任意の適切な媒体(any suitable media that is not fleeting or devoid of any semblance of permanence during transmission)、および／または任意の適切な無形媒体に信号を含めることができる。
【０１０４】
従って、画像の符号化読出しの方法およびシステムが提供される。
【０１０５】
上述の例示的実施形態において本発明を説明してきたが、本開示は一例にすぎず、本発明の主旨および範囲から逸脱することなく、本発明の実現に関する詳細に関して多くの変更を行うことができ、本発明は下記の請求項によってのみ制限されると理解されよう。本開示の実施形態の特徴は、種々の方法による組み合わせや再編成が可能である。
【図４】
2013509820.tif 000021
【図８】
2013509820.tif 000022
【図１０】
2013509820.tif 000023
【図１１】
2013509820.tif 000024
【図１３】
2013509820.tif 000025
【図１７】
2013509820.tif 000026
【図２０】
2013509820.tif 000027
【図２４】
2013509820.tif 000028
【図１】
2013509820.tif 000029
【図２】
2013509820.tif 000030
【図３】
2013509820.tif 000031
【図５】
2013509820.tif 000032
【図６】
2013509820.tif 000033
【図７】
2013509820.tif 000034
【図９】
2013509820.tif 000035
【図１２Ａ】
2013509820.tif 000036
【図１２Ｂ】
2013509820.tif 000037
【図１４】
2013509820.tif 000038
【図１５】
2013509820.tif 000039
【図１６】
2013509820.tif 000040
【図１８】
2013509820.tif 000041
【図１９】
2013509820.tif 000042
【図２１】
2013509820.tif 000043
【図２２】
2013509820.tif 000044
【図２３】
2013509820.tif 000045
【図２５】
2013509820.tif 000046
【国際調査報告】
2013509820.tif 000047