(57)【要約】      （修正有）【課題】フラッシュによって照らされた一組の画像を取得する方法及び装置を提供する。【解決手段】電子撮像装置は、フレーム領域を形成する複数の感光セルを有し、フレーム領域は複数のフレームサブ領域の各々を露光継続時間の間だけ露光するように構成され、フレームサブ領域のうちの一部の露光がフレーム領域の露光の総時間中の異なる時間に行われるアレイコントローラと、撮像されるシーンをフラッシュ持続時間の間だけ照らすフラッシュユニットと、撮像されるシーンをフレームサブ領域のフラッシュ持続時間とに応じて決定されるフラッシュ時間遅延で照らすようにフラッシュユニットを起動する起動部と、シーンの一組のフレームを取得し、フレーム内でのフラッシュイベントの発生時点がフレーム間で時間的にシフトする画像データ取得ユニットと、取得フレームのフレームサブ領域から一連の画像を構築する画像再構成ユニットとを有する。【選択図】図６
2015119483.tif 000002
【特許請求の範囲】
【請求項１】
電子撮像装置とシーンを照らすフラッシュユニットとを用いてシーンの一連の画像を取得する方法であって、前記撮像装置は、フレーム領域を形成するアレイに配列された複数の感光セルを有し、前記フレーム領域は複数のフレームサブ領域で構成され、各フレームサブ領域は前記感光セルのサブセットに相当し、感光セルの各サブセットは或る露光継続時間を有し、前記複数のフレームサブ領域のうちの少なくとも一部の露光が、前記フレーム領域の露光の総時間中の異なる時間に行われ、当該方法は、
撮像される前記シーンを複数のフラッシュイベントで照らし、
前記シーンの一組のフレームを取得し、且つ
各画像が複数のフレームサブ領域から構築される一連の画像を構築する
ことを有し、
連続するフラッシュイベント間の時間間隔が、フレームの開始に対するフラッシュイベントの発生時点をフレーム間で時間的にシフトさせるように設定され、前記時間間隔は、感光セルのサブセットの前記露光継続時間と前記フラッシュイベントの持続時間との和より大きく、あるいは等しく設定される、
方法。
【請求項２】
各フレームサブ領域は、前記アレイの１つのラインの感光セルに相当し、前記アレイの露光は、ライン毎に順に実行される、請求項１に記載の方法。
【請求項３】
前記フラッシュイベントは、感光素子の各サブセットが１フレームのキャプチャ中に１つのフラッシュイベントによって照らされるように時間を決められる、請求項１又は２に記載の方法。
【請求項４】
各画像が、少なくとも２つの取得フレームのフレームサブ領域から構築される、請求項１乃至３の何れか一項に記載の方法。
【請求項５】
前記一連の画像の各画像が、連続するフレームのうちの同一のフラッシュイベントによって照らされたフレームサブ領域を集め直して、再構成された画像を形成することによって形成される、請求項１乃至４の何れか一項に記載の方法。
【請求項６】
２つの連続するフレームの間で、同一のフラッシュイベントが共有されているフレームサブ領域を特定し、前記再構成された画像を形成するために、該フレームサブ領域に、重み付けられた明るさ強度を適用すること、を有する請求項５に記載の方法。
【請求項７】
前記フラッシュイベントの前記持続時間は、フレームサブ領域の前記露光継続時間の一部であって：
露光継続時間＝ｎ×フラッシュ持続時間
ただし、ｎは０より大きい整数
となるように決定される、請求項１乃至６の何れか一項に記載の方法。
【請求項８】
前記フラッシュイベントの前記持続時間はフレーム間で変化し、それに従って前記フラッシュイベントの前記時間間隔がフレーム間で調整される、請求項１乃至７の何れか一項に記載の方法。
【請求項９】
フレーム領域を形成するアレイに配列された複数の感光セルを有する電子撮像装置であって、前記フレーム領域は複数のフレームサブ領域で構成され、各フレームサブ領域は感光セルのサブセットに相当し、当該装置は、
前記複数のフレームサブ領域の各々を露光継続時間の間だけ露光するように構成されたアレイコントローラであり、前記複数のフレームサブ領域のうちの少なくとも一部の露光が、前記フレーム領域の露光の総時間中の異なる時間に行われる、アレイコントローラと、
撮像されるシーンをフラッシュ持続時間の間だけ照らすフラッシュユニットと、
撮像される前記シーンを複数のフラッシュイベントで照らすように前記フラッシュユニットを起動する起動部であり、連続するフラッシュイベント間の時間間隔が、感光セルのサブセットの前記露光継続時間と前記フラッシュイベントの前記持続時間との和より大きく、あるいは等しく設定される、起動部と、
前記シーンの一組のフレームを取得する画像データ取得ユニットであり、フレームの開始に対するフラッシュイベントの発生時点がフレーム間で時間的にシフトされる、画像データ取得ユニットと、
取得フレームの前記フレームサブ領域から一連の画像を構築する画像再構成ユニットと
を有する、装置。
【請求項１０】
前記フラッシュイベントは、感光素子の各サブセットが１フレームのキャプチャ中に一度のみフラッシュされるように時間を決められる、請求項９に記載の装置。
【請求項１１】
各画像が、少なくとも２つの取得フレームのフレームサブ領域から構築される、請求項９又は１０に記載の装置。
【請求項１２】
前記一連の画像の各画像が、連続するフレームのうちの同一のフラッシュイベントによって照らされたフレームサブ領域を集め直して、再構成された画像を形成することによって形成される、請求項９乃至１１の何れか一項に記載の装置。
【請求項１３】
前記画像再構成ユニットは、２つの連続するフレームの間で、同一のフラッシュイベントが共有されているフレームサブ領域を特定し、前記再構成された画像を形成するために、該フレームサブ領域に、重み付けられた明るさ強度を適用する、ように構成されている、請求項１２に記載の装置。
【請求項１４】
前記アレイコントローラ及び前記起動部の動作を同期化させるクロック、を更に有する請求項９乃至１３の何れか一項に記載の装置。
【請求項１５】
プログラム可能な装置用のコンピュータプログラムであって、前記プログラム可能な装置にロードされて実行されるときに請求項１乃至８の何れか一項に記載の方法を実行する一連の命令を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フラッシュによって照らされた一連の画像を取得する方法及び装置に関する。特に、他を排するものではないが、本発明は、ローリングシャッターを備えたカメラにおいてフラッシュを制御する方法及び装置に関する。
【背景技術】
【０００２】
デジタルイメージセンサに基づく撮像装置は、光学像をキャプチャして、それを電子信号に変換することによって動作する。このような装置は、静止画、及び／又はしばしばフレームと称される一連の画像で構成される動画をキャプチャすることができる。デジタルイメージセンサは典型的に、アレイ状のロウ（行）及びカラム（列）に配列された感光セル（しばしばフォトサイトと称される）を含んでいる。撮像装置で使用される感光セルは、例えば電荷結合デバイス（ＣＣＤ）テクノロジ又は相補型金属酸化膜半導体（ＣＭＯＳ）テクノロジなど、光子を電子に変換することが可能な半導体技術に基づくことが多い。このような撮像センサ装置は、業務用映画スタジオカメラから消費者装置まで及ぶ広範な用途を有する。消費者装置は、例えばビデオカメラなどの専用撮像装置と、例えば携帯電話、スマートフォン、携帯情報端末（ＰＤＡ）、及びポータブルコンピュータ（タブレットコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、及びこれらに類するものを含む）などの、内臓カメラ機能を備えた個人向け電子装置とを含む。
【０００３】
ＣＣＤテクノロジに基づく撮像装置は典型的に、画像データのフレームをキャプチャするために感光セルのアレイ全体が同時に露光されるグローバルシャッター技術を採用している。一方、ＣＭＯＳテクノロジに基づく撮像装置は典型的に、フレームをキャプチャするために“ローリングシャッター”技術を採用している。この所謂“ローリングシャッター”技術においては、センサアレイのスキャンライン（走査線）（例えば、ロウ又はカラム）の各々が異なる時間に露光され、感光セルからの読み出しがラインごとに（例えば、センサアレイの一番上のロウからセンサアレイの一番下のロウまで）順に実行される。そして、感光セルのライン群からの読み出し結果が、単一の画像を形成するように共に結合される。
【０００４】
撮像される被写体が、撮像装置に対して不動である、あるいは全てのラインの処理時間に関してゆっくりと移動しているとき、ローリングシャッターは画質への有意な影響を有しない。照明条件が処理時間に関して一定である場合もやはり、ローリングシャッターは画質への有意な影響を有しない。しかしながら、被写体が高速に移動している且つ／或いは照明条件が画像全体の取得中に変化する状況では、その影響は、取得される画像の品質にとって有害なものとなり得る。
【０００５】
画像キャプチャにおいては、しばしばフラッシュが使用され、シーンのフレームがキャプチャされている間に可視光のバースト又はパルスでシーンを照らすことによって画質が向上される。しかしながら、ローリングシャッターを備えた撮像装置においては、ライン毎に処理する技術に起因して、フラッシュは画質に悪影響を及ぼし得る。実際、フラッシュの持続時間（典型的に、何十μｓから何百１００μｓの程度）はフレームの処理時間（典型的に、何十ｍｓ程度）と比較して短いものであり得るので、異なるラインのセンサが有意に異なるように露光されることになる。この露光の差異は、取得される画像の品質を害する例えば部分照明などの影響、及び例えばスキュー型効果などの画像歪みをもたらす。この画質障害は、例えばスキュー効果などの画像アーチファクトにつながる高速移動物のフレームキャプチャの場合に更に悪化され得る。
【０００６】
本発明は、以上のことを念頭に置いて考え出されたものである。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
フラッシュによって照らされた一組の画像を取得する方法及び装置が提供される。
【課題を解決するための手段】
【０００８】
本発明の第１の態様によれば、電子撮像装置とシーンを照らすフラッシュユニットとを用いてシーンの一連の画像を取得する方法が提供され、撮像装置は、フレーム領域を形成するアレイに配列された複数の感光セルを有し、フレーム領域は複数のフレームサブ領域で構成され、各フレームサブ領域は感光セルのサブセット（部分集合）に相当し、感光セルの各サブセットは或る露光継続時間を有し、フレームサブ領域のうちの少なくとも一部の露光が、フレーム領域の露光の総時間中の異なる時間に行われ、当該方法は、
感光セルのサブセットの露光継続時間とフラッシュイベントの持続時間とに従って設定されるフラッシュイベント遅延で、撮像されるシーンを照らすようにフラッシュユニットを起動し、
シーンの一組のフレームを取得し、このとき、フレーム内でのフラッシュイベントの発生時点がフレーム間で時間的にシフトし、且つ
各画像が取得フレームのフレームサブ領域から構築される一連の画像を構築する
ことを有する。
【０００９】
このようにフラッシュ照明を制御することはライン内（イントラライン）歪みの問題を除去する助けとなることができ、故に、画質が向上される。感光セルはフォトサイトとし得る。
【００１０】
一実施形態において、フラッシュイベント遅延は、感光セルのサブセットの露光継続時間とフラッシュイベントの持続時間との和より大きく、あるいは等しくされる。
【００１１】
特定の一実施形態において、フラッシュイベント遅延は、感光セルのサブセットの露光継続時間とフラッシュイベントの持続時間との和に等しい。
【００１２】
好ましくは、各フレームサブ領域は、アレイの１つのラインの感光セルに相当し、アレイの露光は、ライン毎に順に実行される。ラインは、感光セルのロウ又は感光セルのカラムに相当し得る。
【００１３】
一実施形態において、フラッシュイベントは、感光素子の各サブセットが１フレームのキャプチャ中に１つのフラッシュイベントによって照らされるように時間を決められる。
【００１４】
一実施形態において、フラッシュイベントは、各フレームが少なくとも１つのフラッシュイベントによって照らされるように時間を決められる。
【００１５】
一実施形態において、一連の画像の各画像は、連続するフレームのうちの同一のフラッシュイベントによって照らされたフレームサブ領域を集め直して、再構成された画像を形成することによって形成される。再構成された画像は、故に、異なるキャプチャフレームのフレームサブ領域を含み得る。
【００１６】
一実施形態において、この方法は、２つの連続するフレームの間で、同一のフラッシュイベントが共有されているフレームサブ領域を特定し、これらのフレームサブ領域に、再構成された画像を形成するために、重み付けられた明るさ強度を適用することを有する。
【００１７】
一実施形態において、フラッシュイベントの持続時間は、フレームサブ領域の露光継続時間の一部であって：
露光継続時間＝ｎ×フラッシュ持続時間
ただし、ｎは０より大きい整数
となるように決定される。
【００１８】
一実施形態において、フラッシュイベントの持続時間はフレーム間で変化し、それに従ってフラッシュ遅延がフレーム間で調整される。
【００１９】
本発明の第２の態様によれば、フレーム領域を形成するアレイに配列された複数の感光セルを有する電子撮像装置が提供され、フレーム領域は複数のフレームサブ領域で構成され、各フレームサブ領域は感光セルのサブセット（部分集合）に相当し、当該装置は、
フレームサブ領域の各々を露光継続時間の間だけ露光するように構成されたアレイコントローラであり、フレームサブ領域のうちの少なくとも一部の露光が、フレーム領域の露光の総時間中の異なる時間に行われる、アレイコントローラと、
撮像されるシーンをフラッシュ持続時間の間だけ照らすフラッシュユニットと、
フレームサブ領域の露光継続時間とフラッシュ持続時間とに応じて決定されるフラッシュイベント遅延で、撮像されるシーンを照らすようにフラッシュユニットを起動する起動部と、
シーンの一組のフレームを取得する画像データ取得ユニットであり、フレーム内でのフラッシュイベントの発生時点がフレーム間で時間的にシフトする、画像データ取得ユニットと、
取得フレームの前記フレームサブ領域から一連の画像を構築する画像再構成ユニットと
を有する。
【００２０】
一実施形態において、フラッシュイベント遅延は、フレームサブ領域の露光継続時間とフラッシュイベントの持続時間との和より大きく、あるいは等しくされる。好ましくは、フラッシュイベント遅延は、フレームサブ領域の露光継続時間とフラッシュイベントの持続時間との和に等しい。
【００２１】
一実施形態において、フラッシュイベントは、フレームサブ領域に相当する感光素子の各サブセットが１フレームのキャプチャ中に一度のみフラッシュされるように時間を決められる。
【００２２】
一実施形態において、一連の画像の各画像は、連続するフレームのうちの同一のフラッシュイベントによって照らされたフレームサブ領域を集め直して、再構成された画像を形成することによって形成される。
【００２３】
一実施形態において、画像再構成ユニットは、２つの連続するフレームの間で、同一のフラッシュイベントが共有されているフレームサブ領域を特定し、これらのフレームサブ領域に、再構成された画像を形成するために、重み付けられた明るさ強度を適用するように構成される。
【００２４】
一実施形態において、この装置は、アレイコントローラの動作と起動部の動作とを同期化させるクロックを有する。
【００２５】
本発明の更なる一態様は、フレームの取得中にフレームの各スキャンラインが１つのフラッシュイベントのみによって照らされるように、フラッシュユニットを制御する方法又は装置に関する。好ましくは、フラッシュイベント遅延が、感光セルのサブセットの露光継続時間とフラッシュイベントの持続時間との和より大きく、あるいは等しくされる。フラッシュイベントは、各フレーム内で少なくとも１つのフラッシュイベントが発生するように時間を決められる。
【００２６】
本発明の更なる一態様は、電子撮像装置用のフラッシュ制御装置を提供し、電子撮像装置は、フレーム領域を形成するアレイに配列された複数の感光セルを有し、フレーム領域は複数のフレームサブ領域で構成され、各フレームサブ領域は、感光セルのサブセット（部分集合）に相当するとともに露光継続時間の間だけ露光され、フレームサブ領域のうちの少なくとも一部の露光が、フレーム領域の露光の総時間中の異なる時間に行われ、当該フラッシュ制御装置は、撮像されるシーンを複数のフラッシュイベントで照らすようにフラッシュユニットを起動する起動部を有し、連続するフラッシュイベント間の時間間隔が、フレームの開始に対するフラッシュイベントの発生時点をフレーム間で時間的にシフトさせるように設定され、この時間間隔は、感光セルのサブセットの露光継続時間とフラッシュイベントの持続時間との和より大きく、あるいは等しくされる。
【００２７】
本発明の更なる一態様は、電子撮像装置のフラッシュユニットを制御する方法を提供し、電子撮像装置は、フレーム領域を形成するアレイに配列された複数の感光セルを有し、フレーム領域は複数のフレームサブ領域で構成され、各フレームサブ領域は、感光セルのサブセット（部分集合）に相当するとともに露光継続時間の間だけ露光され、フレームサブ領域のうちの少なくとも一部の露光が、フレーム領域の露光の総時間中の異なる時間に行われ、当該方法は、撮像されるシーンを複数のフラッシュイベントで照らすようにフラッシュユニットを動作させることを有し、連続するフラッシュイベント間の時間間隔が、フレームの開始に対するフラッシュイベントの発生時点をフレーム間で時間的にシフトさせるように設定され、連続するフラッシュイベント間のこの時間間隔は、感光セルのサブセットの露光継続時間とフラッシュイベントの持続時間との和より大きく、あるいは等しくされる。
【００２８】
本発明に従ったこれらの方法のうちの少なくとも一部は、コンピュータにより実行され得る。従って、本発明は、全体としてハードウェアの実施形態、全体としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、等々を含む）、又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態を取ることができ、これらの全てがここでは概して、“回路”、“モジュール”又は“システム”として参照される。また、本発明は、コンピュータ使用可能なプログラムコードを媒体内に具現化した何らかの有形表現媒体にて具現化されるコンピュータプログラムプロダクトの形態を取り得る。
【００２９】
本発明はソフトウェアにて実装されることができるので、本発明は、何らかの好適なキャリア媒体上でプログラム可能な装置に提供されるコンピュータ読み取り可能コードとして具現化されることができる。有形のキャリア媒体は、例えばフロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、又は半導体メモリデバイスなどの記憶媒体を有し得る。一時的なキャリア媒体は、例えば、電気信号、電子信号、光信号、音響信号、磁気信号、又は、マイクロ波信号若しくはＲＥ信号などといった電磁信号、などの信号を含み得る。
【図面の簡単な説明】
【００３０】
以下の図を含む図面を参照して、単に例として、本発明の実施形態を説明する。
【図１】本発明の少なくとも１つの実施形態による電子撮像装置の構成要素を例示するブロック図である。
【図２】本発明の一実施形態によるイメージセンサアレイを示す模式図である。
【図３】ローリングシャッター技術の例を図式的に表す図である。
【図４】フラッシュを用いたローリングシャッター技術の一例を図式的に表す図である。
【図５】図４のプロセスを用いて取得された画像の一例である。
【図６】本発明の一実施形態によるフラッシュを用いたローリングシャッター技術の一例を図式的に表す図である。
【図７】同じフラッシュイベントに属する画像サブ領域が特定される本発明の一実施形態によるフラッシュを用いたローリングシャッター技術の一例を図式的に表す図である。
【図８】本発明の一実施形態による連続取得フレームの一例である。
【図９】本発明の一実施形態による再構成画像の一例である。
【図１０】本発明の実施形態にて適用され得るガンマ補正関数の例を示す図である。
【図１１】本発明の実施形態により適用される画像処理のステップ群を例示する図である。
【図１２】本発明の一実施形態によるフラッシュを用いたローリングシャッター技術の一例を図式的に表す図である。
【図１３】本発明の一実施形態によるフラッシュを用いたローリングシャッター技術の他の一例を図式的に表す図である。
【図１４】本発明の一実施形態による一連の画像を取得する方法のステップ群を例示するフローチャートである。
【発明を実施するための形態】
【００３１】
図１は、本発明の一実施形態による電子撮像装置の構成要素を例示する簡略化した機能ブロック図である。電子撮像装置は、一連のフレームをキャプチャする例えばビデオカメラ又は業務用スタジオカメラなどの専用カメラであってもよいし、例えば携帯電話、スマートフォン、携帯情報端末（ＰＤＡ）又はポータブルコンピュータ（例えば、タブレットコンピュータ、ラップトップコンピュータ、若しくはノートブックコンピュータなど）などの多機能電子装置の撮像モジュールであってもよい。
【００３２】
電子撮像装置１００は、シーンからの光をキャプチャ（捕捉）するイメージセンサアレイ１１０と、光をセンサアレイ１１０へと導くレンズ１１２と、センサアレイ１１０からの信号を処理する信号処理ユニット１１５と、処理された信号から画像を再構成する画像処理ユニット１２５と、キャプチャすべきシーンを照らすフラッシュユニット１２０と、フラッシュユニット１２０のパラメータを制御するフラッシュコントローラ１３０と、シーンからの光へのセンサアレイ１１０のフォトサイトの露光時間を制御するアレイコントローラ１４０と、様々なモジュールのタイミングの同期化を提供するために使用され得るクロック１５０とを有している。認識されるように、本発明の特定の実施形態において、フラッシュコントローラ１３０及びアレイコントローラ１４０は同期化されない。他の実施形態においては、フラッシュイベントの発生時間とライン群の露光時間との間のタイミング精度を高めるために、フラッシュコントローラ１３０及びアレイコントローラ１４０は同期化される。
【００３３】
認識されるように、撮像装置は、キャプチャされる画像の充実を提供するため、例えば変動絞り、ズーム機構、又はオートフォーカス機構など、必要に応じての更なる要素を備え得る。
【００３４】
センサアレイ１１０は、図２に示すようにＮ行及びＭ列の２次元アレイ状に配列された一組の感光セル（フォトサイト）１１１で構成される。２次元アレイ１１０のフォトサイト１１１群は、レンダリングされる画像の画像領域の画素群に相当する。レンダリングされる画像の各画素は、フォトサイト１１１のうちの１つ又は複数に対応し得る。各フォトサイトは、この例示的な実施形態において、ＣＭＯＳイメージセンサである。ＣＭＯＳ型フォトサイト１１１に光が当たるとき、フォトサイト１１１は、捕捉した到来光の量に比例する電荷を帯びる。そして、電荷信号が、信号処理ユニット１１５によって処理され、例えば、電荷信号が、画素読み取り値を与える電圧信号へと変換され得る。実行される信号処理は、信号の増幅と、アナログ信号のデジタル信号への変換とを含み得る。単一のフォトサイト１１１の露光の期間は、入射光によって形成される電荷をフォトサイトが積分する期間に対応する。実際には、露光期間又は積分時間は、フォトサイトに含まれている以前の電荷がアレイコントローラ１４０のリセット機能によってゼロにリセットされるフォトサイトのリセットと、読み取り機能によってフォトサイトから電荷が読み取られるときの終了との間の時間に相当する。フラッシュユニット１２０は、撮像すべきシーンを照らす例えば１つ以上のＬＥＤ又はキセノン型ライトなどの光源を含んでいる。フラッシュコントローラ１３０は、フラッシュの発生頻度、フラッシュバーストの持続時間、及び／又はフラッシュバーストの強度若しくは振幅を含め、フラッシュ１２０のパラメータを制御する。アレイコントローラ１４０は、イメージセンサアレイ１１０へのリセット、積分、及び読み取りのコマンドを含め、撮像装置１００の構成要素に信号伝達される様々なコマンドを生成する。リセット、積分、及び読み取りの動作は、例えばロウ毎など、一度にイメージアレイの１ラインに対して実行され、すなわち、１ラインの全てのフォトサイトが一緒にリセットされ、読み取られる。信号処理ユニット１１５は、ライン毎に到来光への露光に応答してフォトサイト１１１から読み取られた信号を処理する。処理された信号から、画像処理ユニット１２５によって、画像が再構成される。実際には、カメラの露光時間は、キャプチャされるフレームの１ラインの露光期間に相当する。
【００３５】
図３の（Ａ）及び（Ｂ）は、それぞれ３６０°及び１８０°のシャッター値に関して、ロウ毎の処理の例を図式的に示している。電荷収集のためのロウの露光は、アレイコントローラ１４０によって制御されるリセット機能Ｒを用いて、ロウを１つずつリセットすることによって開始される。例えば、図３（Ａ）を参照するに、フレーム１の第１のロウのフォトサイトは、時点ＴＲ１でリセットされ、光誘起電荷の捕捉のため時間ＴＩ１の間だけ露光され、そして、このロウの各画素センサの総電荷が時点ＴＲＥ１で読み出され、フレーム１の第２のロウのフォトサイトは、時点ＴＲ２でリセットされ、時間ＴＩ２の間だけ露光され、そして、時点ＴＲＥ２で読み取られ、フレーム１の最後のロウは、時点ＴＲＮでリセットされ、時間ＴＩＮの間だけ露光され、そして、時点ＴＲＥＮで読み取られる。２つの連続するロウのリセット機能の間の時間は、ロウ処理遅延ＲＰとして参照される。ロウ処理遅延ＲＰはまた、２つの連続するロウの読み取り機能の間の時間にも相当する。
【００３６】
図３の（Ａ）及び（Ｂ）に示されるように、ロウ群は異なる時点でリセットされるので、到来する光に対する露光が行われる実時間はイメージセンサアレイ１１０のロウ毎に異なる。例えば、ロウ１の露光期間とロウ２の露光期間には重なりが存在するが、ロウ１の露光期間ＥｘｐＬは、ロウＮの露光期間が始まる時までに終了している。故に、異なるスキャンラインの露光は、総フレーム露光時間ＥｘｐＦ中の異なる時間に行われる。感光センサのアレイに対応する画像領域の、このロウ毎の処理は、ローリングシャッターと呼ばれている。
【００３７】
図４は、フラッシュイベント発生間にフラッシュ時間遅延ＦＤＩｙを持って光るフラッシュの、ローリングシャッターとの併用を図式的に示している。この例において、フラッシュ時間遅延ＦＤＩｙは１つのロウの露光時間ＥｘｐＬに一致しており、故に、フラッシュイベントは、フレーム毎にフレーム内の同じ時点でフラッシュ持続時間ＦＩＤだけシーンを照らしており、すなわち、フレーム取得の開始とフラッシュ発生の時点との間の時間遅延ＳＬは、フレーム間で変化していない。図示のように、一連のフレーム（フレームのシーケンス）のうちの最初にキャプチャされるフレームは、フレームの下側のロウ群の露光期間の間にフラッシュイベント（Ｆｌａｓｈ）によって照らされており、フレームの上側のロウ群はそれらそれぞれの先立つ露光期間中にフラッシュイベントによって照らされていない。このシーケンスのうちの３番目のフレームでは、フレームの中央領域の幾つかのロウが、それらそれぞれの露光期間中に、時点ＴＦ１及びＴＦ２で二度の別個のフラッシュ照射を受けている。また、これら中央のロウのうちの一部は、一度のフラッシュイベントの間に部分的にフラフラッシュされ、すなわち、それと同じフラッシュイベントのフラッシュ持続時間ＦＩＤの全体にわたってフラッシュされているわけではない。シーケンスのうちの先行フレーム及び後続フレームでも同じ結果が生じている。時点ＴＦ１とＴＦ２との間の撮像シーン内の如何なる動きも、取得される画像内に、ライン内（イントラライン）の時間歪み及びライン間（インターライン）の時間歪みを含む時間的な歪みをもたらし得る。
【００３８】
図５は、回転している換気扇の羽根（ブレード）のキャプチャ画像である。このキャプチャ画像は、イントラライン及びインターラインの時間歪み効果を含む時間的な歪み効果の例を提示するものである。イントラライン歪みは、斜線領域内のキャプチャスキャンラインに存在している。換気扇の動いている羽根が歪んでいる。インターライン効果は、矢印によって指し示されている。
【００３９】
本発明の実施形態においては、このような問題を解決するよう、フラッシュイベントのタイミングが制御される。特に、フレーム間でフレーム内でのフラッシュイベントの発生時点に時間シフトＳが存在するよう、フラッシュイベント間のフラッシュ時間遅延（ＦＤＩｙ）（ここではフラッシュイベント遅延（ＦＤＩｙ）と称する）が、ライン露光時間（ＥｘｐＬ）に等しくならないように設定される。本発明の一部の特定の実施形態において、フレーム内でのフラッシュイベントの発生時点がフレームからフレームへと時間的にシフトされるように、カメラ露光時間（すなわち、ラインの露光の継続時間（ＥｘｐＬ））とフラッシュイベントの持続時間とを考慮に入れて、フラッシュイベント遅延（ストロボスコープが使用される場合には、ストロボスコープイベント遅延とも称する）が決定される。フラッシュコントローラ１３０は、この時間シフトに従ったフラッシュイベント遅延でフラッシュを起動させるように構成される。特定の一実施形態において、フラッシュイベント遅延は：
遅延フラッシュ≧カメラ露光継続時間＋フラッシュ持続時間      （１）
であるように、ラインの露光の継続時間とフラッシュイベントの持続時間との和に基づく。
【００４０】
特定の一実施形態において、フラッシュイベント遅延は：
遅延フラッシュ＝カメラ露光継続時間＋フラッシュ持続時間      （２）
であるように、ラインの露光の継続時間とフラッシュイベントの持続時間との和に基づく。
【００４１】
例えば、スキャンラインの露光継続時間が、５０Ｈｚのカメラ周波数に相当する２０ｍｓであり、且つフラッシュイベントの持続時間が２ｍｓである場合、カメラのフラッシュイベント同士の間のフラッシュイベント遅延（ＦＤＩｙ）は２２ｍｓになり、すなわち、フラッシュ周波数は４５．４５Ｈｚになる。
【００４２】
本発明の一実施形態によるフラッシュ制御手順の一例を、図６に図式的に示す。この特定の実施形態において、フラッシュイベント遅延ＦＤＩｙは、ラインの露光の継続時間ＥｘｐＬとフラッシュイベントの持続時間ＦＩＤとの和に設定されている。この例において、第１のフラッシュイベントＦ１の開始は、第１のフレーム中のフォトサイト１１１の最後のロウＮの露光の開始の時点に生じている。図６に描かれるように、同じフラッシュイベントＦ１が、第１のフレーム及び第２のフレームの間のイメージセンサアレイの最初のロウの露光中に生じており、すなわち、このフラッシュイベントのフラッシュ持続時間ＦＩＤは、第１のフレームにおける或るラインのフォトサイト１１１の露光の末端と、それに続く第２のフレームにおける同じラインのフォトサイト１１１の露光の先頭とに及んでいる。フレーム１に続くフレーム２において、第２のフラッシュイベントＦ２が、時間シフトＳだけ異なるフレーム内の相対時間で（この例では、最後のラインのフォトサイト１１１の露光が開始した後に）生じている。この例において、時間シフトＳは、フラッシュイベント持続時間ＦＩＤに実質的に等しい。各フラッシュイベントがフラッシュ持続時間ＦＩＤを有する。見て取れるように、フレームのシーケンスのキャプチャ中、フラッシュは、１つのフレーム取得時間内に同じロウのフォトサイト１１１を二度は照らしておらず、すなわち、１フレーム中に取得される画像の各ラインは、そのフレーム中に単一のフラッシュイベントの発生を有する。結果として、イントラライン歪みが防止される。
【００４３】
そして、動画シーケンスのキャプチャフレームに対する後処理が、画像処理ユニット１２５によって実行されて、キャプチャフレームシーケンスのスキャンラインから読み出されたデータから一組の画像が再構成される。同一のフラッシュイベントを共有する画像領域から画像を再構成することができるよう、連続したキャプチャフレームのうちの、同一のフラッシュイベントを共有する画像領域が特定される。画像の再構成において、動画フレームシーケンスのうちの時間的に一致して１つのフラッシュイベントを共有するライン群が、１つの画像を形成するように集め直される。例えば、図６において、同じハッチングパターンによって指し示される１つのフラッシュイベント発生の周りの各画像領域は全て、同一のフラッシュイベントによって照らされたスキャンラインを表している。同じフラッシュイベントの発生を有するライン群を集め直すことは、時間歪み効果が最小化された画像を得ることを可能にする。
【００４４】
図６に例示したキャプチャフレームの動画シーケンスでは、再構成画像の出力周波数はフラッシュの周波数に等しい。例えば、露光時間が、５０Ｈｚのカメラ周波数に相当する２０ｍｓであり、且つフラッシュ持続時間が２ｍｓである場合、カメラのフラッシュイベント間のフラッシュイベント遅延が２２ｍｓになる（すなわち、フラッシュ周波数は４５．４５Ｈｚになる）とともに、出力シーケンスが、４５．４５Ｈｚのフラッシュ周波数に一致する周波数でレンダリングされることになる。
【００４５】
図７は、２つの連続したフレームのうちの単一のフラッシュイベントに対応する画像領域を例示している。点線は、イメージセンサアレイのラインに関して、単一のフラッシュイベント発生の開始境界及び終了境界を規定している。ハッチングされた領域では、この単一フラッシュイベントからの照明が、２つの連続したフレームに分散されている。従って、画像再構成において、再構成される画像は、この画像領域に対応する双方のフレームのラインから、これらの重複ラインに好適な重み関数を適用することによって組み立て直される。使用される重み関数は、使用されるカメラ及び照明条件に応じて決定され得る。
【００４６】
図８は、回転している換気扇ブレードのシーンのキャプチャフレームを示している。同一フラッシュイベント発生Ｔに対応するフレームｎ及び連続するフレームｎ＋１のラインが、図８（Ａ）に示されている。図８Ｂは、１つのフラッシュイベント発生Ｔに基づく再構成画像を形成するために、フレームｎからのラインとフレームｎ＋１から取得されるラインとが、どのように集め直されるかを例示している。フレームｎ＋１の上側のラインが、フレームｎの下側のラインとともに集め直されて、再組立て画像ｎ’が形成される。単一のフラッシュイベントに対応するフレームｎ及びｎ＋１のラインから再構成された画像ｎ’の例を図９に示す。第１及び第２のフレームからの重複ラインに重み関数が適用されている。
【００４７】
本発明の特定の一実施形態において、同一フラッシュイベントを共有する連続したフレームのラインから画像を組み立て直すために、ＡｖｉＳｙｎｔｈフィルタが使用される。このフィルタに、本発明の一実施形態に従って決定された周波数で起動されるフラッシュを用いてキャプチャされた動画シーケンスの連続したフレームが入力される。このフィルタは、同一フラッシュイベントを共有する２つの連続したフレームを通読して、最も低い光強度を有するライン、すなわち、キャプチャフレームのうち、そのキャプチャフレームと少なくとも１つの隣接後続フレームとで同一フラッシュイベントが供給されてラインを特定する。そのようなラインが特定されると、出力画像の再構成が実行される。最も低い光強度を有するとして特定されたラインは、同一フラッシュイベントを共有するこれら連続フレームの残りのラインとは異なるように処理される。例えば、図８の取得フレームを参照するに、画像ｎ’の部分を形成するよう、フレームｎの下側のラインがフレームｎ＋１の上側のラインと組み立て直される。最も低い光強度を有する各フレーム内のライン（これは、フラッシュイベントの持続期間が２つのフレーム間で共有されているラインに対応する）が特定される。そして、特定された最も低い光強度のラインに関して、画像ｎ’の残りの部分が再構成される。これは、双方のフレームの特定されたラインに好適な重み付けを適用して、再構成画像ｎ’の残部（これは、図８の例では、画像ｎ’の中央のライン群である）のための単一組の重み付けられたラインを形成することによる。
【００４８】
なお、画像がロー（未加工）空間にある場合、重み関数は線形であると云い得る。これが意味することは、ガンマ補正が適用されている場合には、再組立てを実行する前に画像を線形空間に変換し直し、再組立て後の画像にガンマ補正を再適用すべきであるということである。このような状況で中央領域が２つのフレーム間で重複する場合、フレームｉ−１及びフレームｉの画素のカラー値の単純加算で十分である。
【００４９】
ソースフレームにおいては、論理的に、第１のフレームでは一方向に、そして第二のフレームでは別の一方向に勾配が存在する。勾配は、画像を出力するために採用されるガンマＬＵＴ（ルックアップテーブル）に大きく依存する。
【００５０】
図１０（Ａ）は、ガンマ２．２及びガンマ０．４５である線形ガンマ関数を図式的に表すものである。ガンマ関数が線形である場合、再構成は２つのフレームの画素の単純加算である。何らかのガンマ補正が存在している場合、画像再構成に先立ってガンマ補正の解除が適用される。一例として、Ｓｏｎｙ社のＦ６５ビューワソフトウェアは、（線形ガンマではないが）ガンマに関する幾つかの出力オプションを提供している。一例として、ガンマ２．２が選択されている場合、画像を線形空間に置くために、画像を組み立て直す前にガンマ０．４５が適用される。
【００５１】
例示的な画像再組立てのステップ群を図１１に示す。ステップＳ１１０１にて、同一フラッシュイベントを共有する連続したフレームが提供される。これらのフレームにはガンマ２．２補正関数が適用されている。ステップＳ１１０２にて、ガンマ２．２補正されたフレームが、ガンマ０．４５補正関数を適用することによって線形ガンマ空間に変換される。先述のように組み換えられた画像を形成するよう、変換されたフレームのラインが組み換えられ、そして、ステップＳ１１０３にて、ガンマ２．２補正が適用されて、組み立て直されたガンマ２．２画像が形成される。
【００５２】
図６は、１つのフラッシュイベントが２つのみの連続フレームを照らす一具体例を示しているが、認識されるように、本発明の他の実施形態においては、例えば図１２に例示するように、１つのフラッシュイベントが３つ以上の連続フレームで共有されてもよい。第１のキャプチャフレーム内で、最後のラインの露光の末端でフラッシュイベントが発生し、第２の連続したフレームにおいて、同一のフラッシュイベントがこの第２の連続フレームの全てのラインに共通である場合、同一のフラッシュイベントが、第３の連続したフレームの最初の方のラインで共有されて、これら３つの連続したフレームから単一の画像が再構成され得る。図１２において、ハッチングされた領域は、１つの画像を形成するように組み替えられるべきフラッシュイベントＦ１２に関連したライン群を特定している。これらのラインは、フレームｎ−１の最後のライン群と、フレームｎの全てのラインと、フレームｎ＋１の最初のライン群とを含んでいる。２つの連続フレームのラインに関して説明した画像再構成の方法が、組み換え画像の重複画像領域のラインに重み付けを適用するようにして適用され得る。
【００５３】
本発明の一部の実施形態において、１つのフラッシュイベントが３つ以上のキャプチャフレームと関連付けられるのを回避するため、フラッシュのパルス又はバーストの持続時間は、ライン露光時間の一部であって：
露光時間＝ｎ×フラッシュ持続時間
ただし、ｎは０より大きい整数
となるように決定される。
【００５４】
フラッシュイベント持続時間がこのように設定される場合、各フレームにおいて、フラッシュイベントの終了がキャプチャフレームの最後のラインの露光の終了時に起こる。
【００５５】
図６は、フラッシュイベントの持続時間がフレーム間で変化しない一具体例を示しているが、本発明の他の実施形態においては、フラッシュイベントの持続時間が１つのフレームから別の１つのフレームへと変化して、フラッシュイベント発生間のフラッシュイベント遅延がそれに従って変化することになってもよい。例えば、図１３を参照するに、第２のフラッシュバーストの持続時間ＦＩＤ２が、第１のフラッシュバーストの持続時間ＦＩＤ１より長くなっている。フラッシュバーストの持続時間は、フレームキャプチャ中に異なる照明条件を提供するためにフレーム間で異なり得る。フラッシュイベント間のフラッシュ時間遅延は、式（１）又は（２）に従ってフラッシュの持続時間に依存するので、フラッシュ時間遅延はそれに従って変化することになる。故に、フラッシュイベントＦＩ１とＦＩ２との間の時間遅延ＦＤＩｙ１は、フラッシュイベントＦＩ２とＦＩ３との間の時間遅延ＦＤＩｙ２より短い。従って、フラッシュ条件の変化への動的な適応が提供される。
【００５６】
図１４は、本発明の１つ以上の実施形態による、フラッシュによって照らされた一連の画像を取得する方法のステップ群を例示するフローチャートである。Ｓ１４０１にて、フラッシュ動作のタイミングをカメラ露光時間とフラッシュの持続時間とに従って：
遅延フラッシュ≧カメラ露光継続時間＋フラッシュ持続時間）
であるように設定する。
【００５７】
ステップＳ１４０２にて、決定されたフラッシュタイミングに従って、シーンを照らすようにフラッシュを起動して、シーンの一組のフレームを取得する。ステップＳ１４０３にて、取得した連続するフレームを処理して、これらのフレームのうちの同一フラッシュイベントに関連する領域を決定する。ステップＳ１４０４にて、低い光強度を有する連続フレーム内のラインを特定することで、特定フレーム領域からの画像の再構成のためにステップＳ１４０５で重み関数が適用されることになる領域を特定する。ステップＳ１４０６にて、重み付けられたフレーム領域を含んだ特定されたフレーム領域を組み合わせて、単一のフラッシュイベントに関連する再構成画像を形成する。一連の画像が、このようにして形成され、ステップＳ１４０７にて、決定されたフレームイベント遅延に依存した周波数でレンダリングされる。
【００５８】
ここに記載された本発明の実施形態は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号にて実装され得る。単一の実装形態の文脈でのみ説明されている（例えば、方法としてのみ説明されている）としても、記載された機能の実装はその他の形態（例えば、装置又はプログラム）でも行われ得る。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにて実装され得る。方法は例えば、プロセッサなどの装置にて実行され得る。プロセッサとは、一般に、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能ロジックデバイスを含む処理装置を意味する。プロセッサはまた、例えばコンピュータ、タブレット、携帯電話、可搬式／携帯情報端末（“ＰＤＡ”）、及びエンドユーザ間での情報の通信を支援するその他の装置などの通信装置を含む。
【００５９】
図１のモジュールは機能ユニットに対応するものであり、これらは、区別可能な物理的ユニットに関係してもよいし、関係しなくてもよい。例えば、これらのモジュール又はこれらの一部は、特有の部品又は回路へと結合されてもよいし、あるいはソフトウェア機能に相当してもよい。また、認識されるように、一部のモジュールは潜在的に、別々の複数の物理的エンティティで構成され得る。
【００６０】
本原理に係る“１つの実施形態”若しくは“一実施形態”又は“１つの実装形態”若しくは“一実装形態”、並びにその他のこれらのバリエーションへの言及が意味するのは、その実施形態に関して記載される特定の機構、構造及び特徴などが、本原理に係る少なくとも１つの実施形態に含まれるということである。故に、“１つの実施形態において”若しくは“一実施形態において”又は“１つの実装形態において”若しくは“一実装形態において”なる言い回し、並びにその他のバリエーションが、本明細書を通して様々な箇所に現れることは、必ずしも、全てが同一の実施形態に言及しているというわけではない。
【００６１】
また、本願又はその請求項は、様々な情報断片（ピース）を“決定する”ことに言及していることがある。情報を決定することは、例えば、情報を推定する、情報を計算する、情報を予測する、又は情報をメモリから取り出すなどのうちの１つ以上を含み得る。
【００６２】
また、本願又はその請求項は、様々な情報断片を“受信する”ことに言及していることがある。受信するとは、“アクセスする”と同様に、広い用語を意図したものである。情報を受信することは、例えば、情報にアクセスする、又は情報を取り出す（例えば、メモリから）などのうちの１つ以上を含み得る。また、“受信する”ことは典型的に、例えば、情報を格納する、情報を処理する、情報を送信する、情報を移動させる、情報を複製する、情報を消去する、情報を計算する、情報を決定する、情報を予測する、又は情報を推定するなどの操作において、何らかの形で伴われるものである。
【００６３】
当業者には明らかなように、実行することは、例えば格納あるいは伝送され得る情報を搬送するようにフォーマット化された多様な信号を生成し得る。この情報は、例えば、方法を実行するための命令、又は記載した実装のうちの１つによって生成されるデータを含み得る。
【００６４】
以上にて、具体的な実施形態を参照して本発明を説明したが、本発明は、これらの具体的な実施形態に限定されるものではなく、当業者には、本発明の範囲内での変更が明らかになる。
【００６５】
例えば、以上の例は、ＣＭＯＳテクノロジに基づくデジタル撮像装置に関して記載されているが、認識されるように、本発明は、如何なる光捕捉テクノロジに適用されてもよい。
【００６６】
以上の例示の実施形態は、添付の請求項によってのみ決定される本発明の範囲を限定するものではなく、単なる例として与えられたものであるが、以上の例示の実施形態を参照することで、当業者には、数多くの更なる変更及び変形が自ずと示唆される。特に、異なる実施形態からの異なる機構は適宜に入れ替えられ得る。
【図１】
2015119483.tif 000003
【図２】
2015119483.tif 000004
【図３】
2015119483.tif 000005
【図４】
2015119483.tif 000006
【図５】
2015119483.tif 000007
【図６】
2015119483.tif 000008
【図７】
2015119483.tif 000009
【図８】
2015119483.tif 000010
【図９】
2015119483.tif 000011
【図１０】
2015119483.tif 000012
【図１１】
2015119483.tif 000013
【図１２】
2015119483.tif 000014
【図１３】
2015119483.tif 000015
【図１４】
2015119483.tif 000016
【外国語明細書】
2015119483000001.pdf