(57)【要約】【課題】  高解像度の静止画像を取り込むモードと、低解像度のビデオ・データを取り込むモードの切り替えを必要とすることなく、静止画像データとビデオ・データを実質的に同時に生成すること。【解決手段】  露出ウィンドウおよび露出ウィンドウ内の露出期間中に入射光を受け取る少なくとも１つのセンサを備える。少なくとも１つのセンサは、実質的に露出期間の終わりに第１組の画素を出力し、実質的に露出ウィンドウの終わりに第２組の画素を出力するように動作可能である。コントローラは、第１組の画素のうちの少なくともいくつかをビニングするように動作可能であり、コントローラは、ビニングされた画素からのビデオ・データを生成し、第２組の画素のうちの少なくともいくつかから静止画像データを生成する。   【選択図】図４
2004180317.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像と静止画像を取り込む方法であって、
少なくとも１つのセンサを、第１の期間、画像を生成する入射光に露出させる段階と、
前記第１の期間の終わりの前に、前記露出された少なくとも１つのセンサから、画像を表すビデオ・データを生成する段階と、
前記露出された少なくとも１つのセンサから、前記画像を表す静止画像データを生成する段階とを有する方法。
【請求項２】
前記ビデオ・データを生成する段階が、
前記第１の期間中に終わる第２の期間の後で、前記少なくとも１つのセンサから画素を読み出す段階と、
前記生成された画素の少なくともいくつかをビニングする段階と、
前記ビニングされた画素を使って前記ビデオ・データを生成する段階とを含む請求項１に記載の方法。
【請求項３】
前記静止画像データを生成する前記段階が、
実質的に前記第１の期間の終わりに、前記露出された少なくとも１つのセンサから画素を読み出す段階と、
実質的に前記第１の期間の終わりに、前記露出された少なくとも１つのセンサから読み出された画素のうちの少なくともいくつかから前記静止画像データを生成する段階とを含む請求項２に記載の方法。
【請求項４】
前記静止画像データを生成する段階の後で、前記少なくとも１つのセンサが別の画像を取り込むために動作可能なように前記少なくとも１つのセンサをリセットする段階をさらに有する請求項１に記載の方法。
【請求項５】
前記少なくとも１つのセンサが、少なくとも１つのＣＭＯＳセンサを含む請求項１に記載の方法。
【請求項６】
前記ビデオ・データを生成する段階が、前記第１の所定の期間の終わりの前に、前記ビデオ・データを非破壊的に出力する段階を含む請求項１に記載の方法。
【請求項７】
静止画像データとビデオ・データを実質的に同時に取り込むように動作可能な撮像システム１００であって、  
画像を生成する入射光を取り込む光学システム１３０と、  
前記入射光を受け取り、かつ露出ウィンドウ３１０内で前記画像を表す前記静止画像データと前記ビデオ・データを実質的に同時に生成する少なくとも１つのセンサを含む集積回路１０と、
前記静止画像データと前記ビデオ・データの生成を制御する信号を前記集積回路１０に送るコントローラ１２２とを具備する撮像システム１００。
【請求項８】
前記集積回路１０が、前記ビデオ・データを生成するために画素のビニングを実行するように動作可能であり、前記ビニングが、前記露出ウィンドウ３１０よりも短い露出期間中に、前記入射光に露出されている少なくとも１つのセンサから生成された画素に実行される請求項７に記載の撮像装置。
【請求項９】
前記集積回路１０が、前記静止画像データの画素を読み出す前に前記ビデオ・データの画素を非破壊的に読み出すように動作可能である請求項８に記載の撮像装置。
【請求項１０】
前記少なくとも１つのセンサが、少なくとも１つのＣＭＯＳセンサである請求項９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
ディジタル・カメラがますます一般的になり、技術の進歩によってディジタル・カメラは高解像度静止画像だけでなくビデオ・データも取り込む機能を持つようになった。ディジタル・カメラは、画素部で画像（例えば、物体や場面、風景）を取り込み、その物体、場面または景色を表す電子信号を生成する。
【背景技術】
【０００２】
画像取り込み媒体として感光フィルムを使用する従来のフィルム・カメラと異なり、ディジタル・カメラは、一般に、１つまたは複数の電荷結合素子（ＣＣＤ）集積回路チップを使用する。ＣＣＤチップは、被写体から反射した光を受け取り、その反射光を取り込み画像を表すディジタル信号に変換するように構成されている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
そのような多くのディジタル・カメラは、高解像度の静止画像（例えば、一般に、２１０万画素以上）を取り込む第１の取り込みモードと、低解像度のビデオ・データ（例えば、一般に３０万画素以下）を取り込む第２の取り込みモードで動作することができる。この２つの動作モードのために、ビデオ画像と高解像度静止画像の両方を取り込みたいユーザは、モードを切り替えなければならず、その結果撮影を失敗することが多い。
【０００４】
２つのモードは、様々な理由で利用される。第２の取り込みモードにおいて、ディジタル・カメラは、例えば、通常は低解像度で毎秒複数の静止画像（例えば、３０フレーム／秒）を取り込めて、これは、結果的にビデオ・データになる。ディジタル・カメラは、第１の取り込みモードの動作で、高解像度静止画像を取り込むことができる。そのような静止画像は高解像度であるため、第２のモードで取り込んだビデオ画像の速度で処理することはできない。したがって、他のモードが使用される。
【課題を解決するための手段】
【０００５】
１つの実施形態によれば、ビデオと静止画像を取り込む方法が、少なくとも１つのセンサを、第１の期間、画像を生成する入射光に露出させる段階と、第１の期間の終わりの前に、露出された少なくとも１つのセンサから、画像を表すビデオ・データを生成する段階と、露出された少なくとも１つのセンサから、画像を表す静止画像データを生成する段階とを有する。
【０００６】
もう１つの実施形態によれば、撮像装置は、静止画像データとビデオ・データを同時に取り込むように動作可能である。撮像装置は、画像を生成する入射光を取り込む光学システムと、入射光を受け取り、露出ウィンドウ内で静止画像データとビデオ・データを実質的に同時に生成する少なくとも１つのセンサを含む集積回路とを備える。撮像装置は、また、静止画像データとビデオ・データの生成を制御する信号を集積回路に送るコントローラを備える。
【０００７】
さらにもう１つの実施形態によれば、集積回路は、静止画像データとビデオ・データを実質的に同時に生成するように動作可能である。集積回路は、露出ウィンドウおよび露出ウィンドウ内の露出期間中に入射光を受け取る少なくとも１つのセンサを備える。少なくとも１つのセンサは、実質的に露出期間の終わりに第１組の画素を出力し、実質的に露出ウィンドウの終わりに第２組の画素を出力するように動作可能である。コントローラは、第１組の画素のうちの少なくともいくつかをビニングするように動作可能であり、コントローラは、ビニングされた画素からのビデオ・データを生成し、第２組の画素のうちの少なくともいくつかから静止画像データを生成する。
【０００８】
さらにもう１つの実施形態によれば、撮像装置は、少なくとも１つのセンサを第１の期間、画像を生成する入射光に露出させるための手段と、第１の期間の終わりの前に、露出された少なくとも１つのセンサから、画像を表すビデオ・データを生成するための手段と、露出された少なくとも１つのセンサから、画像を表す静止画像データを生成するための手段とを有する。
【発明を実施するための最良の形態】
【０００９】
図１は、実施形態による撮像システム１００のブロック図である。この撮像システム１００は、マルチモード画像データを取り込み、処理あるいは使用することができるディジタル・カメラ、ビデオ一体型カメラ、または任意の画像装置のような撮像装置に利用することができる。撮像システム１００は、画像を表す入射光を集積回路１０上の受光センサに導く光学システム１３０を含む。センサには、例えば、非破壊読出しができる相補形金属酸化物（ＣＭＯＳ）センサや他のセンサがある。
【００１０】
ＣＣＤセンサは、電荷を蓄積し転送する装置である。電荷は、読み出しの瞬間（すなわち、電荷が転送されるとき）に画素に当たっている光の強度を表す。電荷は、ＣＣＤセンサから１回しか転送することができない（すなわち、破壊読出し）。その代わりに、例えばＣＭＯＳセンサは、画像データを何度も読み出すことができる。すなわち、ＣＭＯＳセンサはリセットされるまで、画像データをＣＭＯＳセンサから出力し、画像データを記憶し続けることができる。したがって、ＣＭＯＳセンサ・アレイは、非破壊読出しが可能であり、それにより、システム１００は、後で詳細に説明するように、ビデオ画像と静止画像をほぼ同時に取り込むことができる。
【００１１】
システム・コントローラ１２２は、集積回路１０上のセンサによる画像の取り込みを制御するタイミング信号を集積回路１０に送ることができる。システム・コントローラ１２２には、例えば、１つまたは複数のプロセッサ、ＡＳＩＣなどの処理回路、あるいはこれらの組み合せがある。
【００１２】
集積回路１０は、バッファ１１４に出力されるディジタル画像データ（例えば、ビデオおよび／または静止画像）を生成する。集積回路１０は、ビニング（binning）を実行することができる。当技術分野で知られているように、ビニングは、画素の加算を含み、暗い画像を明るくして画質を改善することができる。
【００１３】
１つの実施形態によれば、システム１００は、マルチモードの画像データ・ストリームを生成するためにビデオ・データと静止画像データを同時に取り込むように動作可能である。ビデオ・データは、例えば、低解像度の静止画像（例えば、ビデオ・フレーム）のストリームを含み、静止画像データは、一般にビデオ・データよりも高い解像度を有する静止画像を含む。
【００１４】
一実施形態によると、システム・コントローラ１２２は、バッファ１１４（例えば、先入れ先出しバッファ）からマルチモードの画像データ・ストリームを取り出し、そのマルチモードの画像データ・ストリームを、局部記憶装置１２８および／または通信インタフェース１２４に出力する。システム・コントローラ１２２は、例えばシャッタ作動や他のイベントを含むユーザ・イベントが検出されない限り、マルチモード・ストリームから静止画像データをフィルタリングすることができる。ユーザ・イベントが検出された場合は、バッファ１１４から取り出した静止画像データを、局部記憶装置１２８および／または通信インタフェース１２４に送ることができる。バッファ１１４は、例えば、マルチモード・ストリームから少なくとも３秒の画像データを記憶する。しかしながら、バッファ・サイズは、システム１００の要件により、これよりも大きくても小さくてもよい。さらに、バッファ１１４を使用することによって、ユーザが撮影に失敗しないように、検出したユーザ・イベントに対応する静止画像データ（例えば、検出したユーザ・イベントの前後１．５秒の静止画像データ）を取り出すことができる。例えば、シャッタがユーザによって作動される。システム・コントローラ１２２は、シャッタ作動の前後１．５秒の静止画像データをバッファ１１４から受け取る。次に、ユーザは、静止画像データから所望の静止画像を選択することができる。したがって、静止画像データは、ユーザによって要求されたときだけ記憶され、これにより、システム１００内の限られた記憶容量が節約され、ユーザが撮影に失敗するのを防ぐために十分な量の静止画像データを記憶することができる。
【００１５】
画像データの外部処理システムへの伝送は、通信インタフェース１２４を使って行うことができる。例えば、ディジタル・カメラのとき、システム１００は、ユニバーサル・シリアル・バス（USB）や電気電子学会（IEEE）1394仕様（1995）などのコンピュータ周辺バス規格を実現する通信インタフェースを含むことができる。局部記憶装置１２８は、不揮発性の種類（例えば、取り外し式メモリ・カード、回転磁気ディスク装置、またはディジタル画像データを永久記憶する他の適切なメモリ装置）でよい。
【００１６】
図示していないが、システム１００は、例えば、記憶または送信のために集積回路１０によって生成されたセンサ信号に基づいてディジタル画像データを作成する機能を含む様々な機能を実行するハードワイヤード・ロジックおよび／またはプログラムド・プロセッサを含む画像処理回路を含む。後処理には、例えば、効果処理（例えば、フェード、デゾルブ、オーバーレイなど）や圧縮がある。実施形態の説明を無駄に不明瞭にしないように、周知の構造、インタフェースおよびプロセスの他の例は、詳細に示していない。
【００１７】
１つの実施形態によれば、図２は、少なくとも１つのＣＭＯＳセンサ・アレイ１２、コントローラ・ユニット１６、および入力／出力（Ｉ／Ｏ）ポート１８を有するチップ上のＣＭＯＳプロセスによって形成された集積回路１０を示す。センサ・アレイ１２は、例えば図１の光学システム１３０によって生成された画像から、検出素子に当たっている光強度の大きさを検出する格子状の個別ＣＭＯＳ光検出画素（図示せず）を含むことができる。センサ・アレイ１２は、検出素子上の光強度の大きさを表すアナログ信号を、アナログ信号接続バス２０に沿って、コントローラ１６に出力するように構成されている。構成によって、アレイ１２内のセンサ素子からのアナログ信号は、例えば並列に同時に出力されてもよく、直列に１つづつ出力されてもよく、列ごとまたは行ごとに出力されてもよい。
【００１８】
コントローラ・ユニット１６は、センサ・アレイ１２から受け取ったアナログ信号をディジタル信号に変換するための図示しないアナログ・ディジタル（Ａ／Ｄ）回路を含む。さらに、コントローラ・ユニット１６は、受け取った信号を処理する回路を含む。ディジタル信号は、出力のために、ディジタル・バス・ライン２２に沿ってディジタル入出力ポート１８に送られる。コントローラ・ユニット１６は、構成によって、例えばパターン認識操作、フィルタリング操作、フーリエ変換操作などを含む種々様々な画像処理操作のうちの１つを実行することができる。得られたディジタル信号は、回路１０からディジタル入出力ポート１８を介して出力される。コントローラ・ユニット１６から出力されたディジタル信号出力の内容およびフォーマットは、実施形態により異なることがある。
【００１９】
１つの実施形態によれば、集積回路１０は、画素ビニングを実行し複数回露出を使用することによって静止画像データとビデオ・データを同時に取り込むことができる。集積回路１０には、例えば、ビニングを実行することができる既知のＣＭＯＳ集積回路がある。例えば、FOVEONは、ビニング機能を備えたＣＭＯＳ回路を提供する。当技術分野で知られているように、ビニングは、暗い画像を明るくして画像品質を改善する画素の加算を含む。
【００２０】
システム１００は、高解像度静止画像とビデオを実質的に同時に取り込むために露出ウィンドウとビニング技術を使用する。図３は、１つの実施形態による複数の露出ウィンドウ３１０、３２０および３３０を示す。露出ウィンドウ３１０内で、ビニングは、回路１０（例えば、ファームウェアを実行する集積回路１０内のコントローラ１６）によって、ビデオ信号フレーム取り込みの始まり３１２から短縮された所定の露出時間の終わり３１４まで（例えば、１／９０秒）実行される。実質的に露出ウィンドウ３１０内のポイント３１４において、露出ウィンドウ３１０の終わり３１６の前に、ビデオ・フレームが回路１０によって生成される。露出ウィンドウの終わり３１６で、ディジタル静止画像が読み出される（例えば、１／３０秒〜１／２４秒の範囲。１／３０秒と１／２４秒を含む）。次に、センサ・アレイ１１２がリセットされ、例えば露出ウィンドウ３２０、３３０の間ビデオ・フレームと静止画像を引き続き取り込むことができる。
【００２１】
露出ウィンドウ３２０と３３０は、実質的に、露出ウィンドウ３１０と類似している。また、ビニングが実行されない場合（例えば、静止画像が生成されないとき）は、露出ウィンドウの終わりまで読み出しは行われない。さらに、集積回路１０には、例えば、露出ウィンドウの終わりの前に非破壊読出しを実行するように動作可能な装置（例えば、ＣＭＯＳ集積回路）がある。
【００２２】
図４は、１つの実施形態によりビデオ画像と静止画像を同時に取り込む方法４００の流れ図である。段階４１０で、システム１００は、撮像装置が取り込み画像のビニングを実行できるように、ビニング・モードに設定される。段階４２０で、システム１００は、例えば露出ウィンドウ３１０が始まるとき、回路１０が入射光に露出されビデオ・フレームを取り込み始める。この段階と段階４１０は、ユーザによって開始することができる。
【００２３】
段階４３０で、露出ウィンドウ内で所定の期間、回路１０によって生成された画素（すなわち、光検出画素によって生成されたデータ）にビニングが実行される。段階４４０で、実質的に所定期間の終わりに、ビデオ・フレームなどのビデオ・データが、回路１０によって出力される。画素は、例えば、図２の回路１０のＣＭＯＳセンサ・アレイ１２によって生成される。
【００２４】
段階４５０で、実質的に露出ウィンドウの終わりに、回路１０から静止画像データが出力される。例えば、所定の期間の終わりに、ビニングは中止される。ＣＭＯＳセンサ・アレイ１２は、静止画像データを生成するために、実質的に露出ウィンドウの終わりに、再び画素を出力する。段階４６０で、回路１０内のセンサ・アレイ１２が、さらにビデオ・フレームおよび／または静止画像を取り込むためにリセットされる。段階４２０〜４６０を繰り返して、ビデオ画像と静止画像を取り込み続けることができる。
【００２５】
方法４００のこの実施形態の趣旨および範囲から逸脱することなく、方法４００に多くの代替、修正および変形が行われることは、当業者に明らかであろう。例えば、段階４２０〜４３０ならびに段階４４０〜４５０を実質的に同時に実行することができる。以上その他の変形例は、当業者には明らかであろう。
【図面の簡単な説明】
【００２６】
【図１】実施形態による撮像システムを示す図。
【図２】実施形態による図１の撮像システムに示した集積回路撮像装置の図。
【図３】実施形態による複数の露出ウィンドウを示す図。
【図４】実施形態により静止画像とビデオを取り込む例示的な方法のフローチャート。
【符号の説明】
【００２７】
１０  集積回路
１２  センサ
１００  撮像システム
１２２  コントローラ
１３０  光学システム
３１０  露出ウィンドウ  
【図１】
2004180317.tif 000003
【図２】
2004180317.tif 000004
【図３】
2004180317.tif 000005
【図４】
2004180317.tif 000006