(57)【要約】【課題】複数のビデオ・ストリームを生成して、記憶する、改良された装置および方法を提供する。【解決手段】デジタル撮像装置は、単一の画像センサ・アレイから複数のビデオ・ストリームを生成し、記憶する。記憶されたビデオ・ストリームは、複合ビデオ表示を作成するために、ビデオ編集ソフトウェアを用いて後処理され得る。【選択図】図４
2004282739.tif 000002
【特許請求の範囲】
【請求項１】
デジタル・ビデオを取り込む画像センサ・アレイと、
前記画像センサ・アレイの第１の領域を第１の解像度でサンプリングして、第１のビデオ・ストリームを生成し、前記画像センサ・アレイの、前記第１の領域とは異なる第２の領域を第２の解像度でサンプリングして、第２のビデオ・ストリームを生成するように構成されたサンプリング・ロジックと、
前記第１のビデオ・ストリームと前記第２のビデオ・ストリームを記憶するメモリと、
を備えているデジタル撮像装置。
【請求項２】
デジタル撮像装置にデジタル・ビデオを取り込む方法であって、
画像センサ・アレイの第１の領域を第１の解像度でサンプリングして、第１のビデオ・ストリームを生成するステップと、
前記画像センサ・アレイの、前記第１の領域とは異なる第２の領域を第２の解像度でサンプリングして、第２のビデオ・ストリームを生成するステップと、
前記第１のビデオ・ストリームと前記第２のビデオ・ストリームをメモリに記憶するステップと、
を含む方法。
【請求項３】
ビデオ編集ソフトウェアを用いて、前記第１のビデオ・ストリームと前記第２のビデオ・ストリームを後処理するステップをさらに含む、請求項２に記載の方法。
【請求項４】
前記ビデオ編集ソフトウェアが、前記第１のビデオ・ストリームと前記第２のビデオ・ストリームを自動的に組み合わせて、第３のビデオ・ストリームを生成する、請求項３に記載の方法。
【請求項５】
前記第３のビデオ・ストリームが、ピクチャ・イン・ピクチャ、分割画面、および、オートフェードのうちの少なくとも１つを組み入れている、請求項４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にデジタル画像に関し、特に、デジタル・スチール・カメラとデジタル・ビデオ・カメラに関する。
【背景技術】
【０００２】
デジタル・ビデオ・カメラと、ビデオ・モードを持つデジタル・スチール・カメラは両方とも、編集が容易であって、しかも要望があればＤＶＤなどの光メディアに記憶させることができる単一のデジタル・ビデオ・ストリームを生成する。いくつかの装置はまた、差し込みされる第２のビューを、さらに大きい背景ビューに埋め込むピクチャ・イン・ピクチャ（ＰＩＰ）モードで動作することもできる。いくつかの装置では、このようなＰＩＰモードでビデオを録画することが、まさに可能である。したがって、このシーンの２つの異なるビューは、単一のビデオ・ストリームで同時に録画される。
【０００３】
しかしながら、いくつかの用途では、２つ以上の異なるビューを、別々の独立したビデオ・ストリームで生成することが有利である。通常、これは、複数のカメラの使用を通じて、達成される。複数のカメラを使用することは、費用がかかるとともに、厄介でありかねない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって、複数のビデオ・ストリームを生成して、記憶する、改良された装置および方法が、当技術分野において必要であることは明らかである。
【課題を解決するための手段】
【０００５】
複数のビデオ・ストリームを生成して、記憶する、デジタル撮像装置が提供される。このデジタル撮像装置でデジタル・ビデオを取り込む関連方法も提供される。
【０００６】
本発明の他の面および利点は、本発明の原理を例示として図示する添付図面とともに、以下の詳細な説明を読めば、明らかになろう。
【発明を実施するための最良の形態】
【０００７】
複数のビデオ・ストリームは、単一の画像センサ・アレイの複数の領域をサンプリングすることで、同時にデジタル撮像装置で生成され得る。複数のビデオ・ストリームをメモリに保存すると、生成後の様々なオプションが与えられる。例えば、これらのビデオ・ストリームの一部を編集して、単一の複合ビデオ表示を形成するか、あるいは、２つ以上のビデオ・ストリームを、分割画面、ピクチャ・イン・ピクチャ、またはオートフェードの方式で組み合わせることができる。
【０００８】
具体的な例では、両親が、デジタル・ビデオ・カメラを用いて、子供のピアノ独奏会を録画する。このデジタル・ビデオ・カメラは、（１）１５フィート（約4.6ｍ）離れた所で、子供がピアノを弾いているのを示す広角ビュー、（２）ピアノの鍵盤の所で、子供の胴と両手だけを示すクロッピングされたビューという２つの別々のビデオ・ストリームを同時に生成し、録画する。これら２つのビデオ・ストリームは、別々に保存されるので、さらに変化に富んだ興味深い表示を得るために、ビデオ編集ソフトウェアを用いて、広角ビューとクローズアップビューの双方の一部を組み合わせた単一のビデオ表示を生成することができる。いくつかの実施形態では、ビデオ編集ソフトウェアを用いて、手動で、上記の２つのビデオ・ストリームを、このように編集し、組み合せることができる。他の実施形態では、このビデオ編集ソフトウェアは、上記の２つのストリームを自動的に組み合わせて、単一のビデオ・ストリームを生成することができる。上記の２つのストリームを自動的に組み合わせるときに、このビデオ編集ソフトウェアは、ピクチャ・イン・ピクチャ、分割画面、またはオートフェードのような、当技術分野においてよく知られている技法を用いる。例えばオートフェードの場合には、このビデオ編集ソフトウェアは、所定の間隔で、第１のビデオ・ストリームと第２のビデオ・ストリームを交互に、フェード（fade）することができる。
【０００９】
図１Ａと図１Ｂは、本発明の例示実施形態によるデジタル撮像装置１００の機能ブロック図である。デジタル撮像装置１００は、ビデオ・モードで動作することができるデジタル・スチール・カメラ、デジタル・ビデオ・カメラ、あるいは、デジタル・ビデオを取り込むことのできる類似する任意の装置であってよい。図１Ａでは、コントローラ１０５は、データバス１１０を使って、画像処理モジュール１１５、メモリ１２０、ディスプレイ１２５とやり取りする。光学システム１３０は光学画像を生成し、その光学画像を、画像処理モジュール１１５により、デジタル画像に変換する。メモリ１２０は、さらに、ランダムアクセスメモリ（ＲＡＭ）１３５と不揮発性メモリ１４０も含むことができる。不揮発性メモリ１４０は、ＣｏｍｐａｃｔＦｌａｓｈTM、Ｓｍａｒｔ  ＭｅｄｉａTM、またはＳｅｃｕｒｅ  ＤｉｇｉｔａｌTMのカード、磁気テープ、磁気ディスク、あるいは、光ディスクであってもよい。図１Ｂに示されるように、画像処理モジュール１１５は、さらに、電荷結合素子（ＣＣＤ）またはＣＭＯＳ技術に基づく画像センサ・アレイ１４５と、サンプリング・ロジック１５０も含む。サンプリング・ロジック１５０は、画像センサ・アレイ１４５を読み取る（サンプリングする）順番およびタイミングを制御して、デジタル・ビデオを生成する。画像処理モジュール１１５は、通常、当技術分野においてよく知られているように、アナログ・デジタル変換器（Ａ／Ｄ）、利得制御、デジタル信号処理装置（ＤＳＰ）も含む（図１Ｂには示されていない）。ディスプレイ１２５は、録画の前に、現時点で光学系１３０から生ずるシーンのプレビュー、録画中に録画されている内容のビュー、および、デジタル撮像装置１００の動作モードおよびオプションを制御するための画面上のユーザ・インターフェースを、とりわけ提供することができる。
【００１０】
図２Ａ〜図２Ｃは、単一の画像センサ・アレイ１４５の第１の領域２０５と第２の領域２１０をサンプリングして、メモリ１２０に記憶する２つの別々のビデオ・ストリームを生成することのできるやり方の例を示した説明図である。わかり易くするために、２つの領域（２０５と２１０）が図２Ａ〜図２Ｃに示されている。他の実施形態では、画像センサ・アレイ１４５の３つ以上の領域をサンプリングして、３つ以上の別々のビデオ・ストリームを生成することができる。第１の領域２０５は、第１の解像度Ｒ１でサンプリングされ、また、第２の領域２１０は、第２の解像度Ｒ２でサンプリングされる。Ｒ１とＲ２は、用途に応じて、異なるか、あるいは、同一であってもよい。
【００１１】
図２Ａは、第１の領域２０５と第２の領域２１０がばらばらである一実施形態を示している。図２Ｂは、第１の領域２０５が、画像センサ・アレイ１４５の中央部分を含み、また第２の領域２１０が、画像センサ・アレイ１４５の最大寸法に及ぶ背景ビューを含むような他の実施形態を示している。図２Ｃは、第１の領域２０５と第２の領域２１０が部分的に重なり合うさらに他の実施形態を示している。
【００１２】
図２Ａ〜図２Ｃは、単に例示にすぎない。画像センサ・アレイ１４５の第１の領域２０５と第２の領域２１０を両方ともサンプリングして、その結果得られたビデオ・ストリームをメモリ１２０に記憶する他の様々な構成も可能である。
【００１３】
本発明の実施は、画像センサ・アレイ１４５がＣＣＤタイプであるか、ＣＭＯＳタイプであるかにより、いくぶん異なる場合がある。ＣＭＯＳ画像センサ・アレイの一利点は、サンプリング・ロジック１５０が、ＲＡＭとまったく同様に、このＣＭＯＳ画像センサ・アレイを画素（ピクセル）レベルで、直接、アドレス指定できることである。しかしながら、いくつかのＣＭＯＳ画像センサ・アレイは、所与のピクセルにて、１回の露出につき、たった一度しか読み出すことができない（破壊的読出し）。
【００１４】
図３Ａは、第１の領域２０５と第２の領域２１０が部分的に重なり合う状況において、これら２つの領域をそれぞれ、ＣＭＯＳ画像センサ・アレイ１４５から、どのようにサンプリングすることができるのかを示した説明図である。画像センサ・アレイ１４５のうち、「×」の印を付けた部分は無視される（サンプリングされない）。第１の領域２０５内では、画像センサ・アレイ１４５を解像度Ｒ１でサンプリングすることができる。第２の領域２１０内では、画像センサ・アレイ１４５を解像度Ｒ２でサンプリングすることができる。破壊的読出しの場合には、これら２つの領域２０５と２１０の重なり部分に、さらに注意を払わなければならない。図３Ａに示される例では、Ｒ１は、Ｒ２よりも高いと仮定される。当業者には理解されようが、破壊的読出しは、メモリ内で、第１の領域２０５の重なり部分をダウンサンプリングまたはスケーリングして、第２の領域２１０に関連するビデオ・ストリームの残りの部分を、（より低い）解像度Ｒ２で生成することを必要ならしめる。一般に、破壊的読出しの場合に、かつ、重なり合う領域において、高い方の解像度でサンプリングされるべき領域は、低い方の解像度でサンプリングされるべき領域の前に、サンプリングされなければならない。
【００１５】
図３Ｂは、画像センサ・アレイ１４５がＣＣＤである場合に、第１の領域２０５と第２の領域２１０のサンプリングがどのように異なるのか示している。ＣＣＤは、通常、１行のセンサ要素を、一度に、一組の水平シフト・レジスタ（図３Ｂには示されてない）の中に移し、次に、これらのシフト・レジスタから、１行のピクセルを次々に読み出すことにより、サンプリングされるので、画像センサ・アレイ１４５は、図３Ｂに示されるように、論理的に「細片（ストリップ）」に分割され得る。この例では、これらのピクセル行は、図３Ｂ中の下方に、一組の水平シフト・レジスタの中に移されるものと仮定する。「×」の印を付けた最上部細片と最下部細片は、この組の水平シフト・レジスタの中に移されるが、ただしスキップされる（サンプリング・ロジック１５０によってメモリに読み込まれることはない）。図３Ｂ中で「Ｒ１」がそばに記されている細片は、解像度Ｒ１で読み出され、また「Ｒ２」がそばに記されている細片は、解像度Ｒ２で読み出され得る。この場合、Ｒ１はＲ２よりも高い。Ｒ１で読み出され、かつ、第２の領域２１０の一部を含む細片の部分は、ＣＭＯＳ画像センサ・アレイに関連して上に説明したように、ダウンサンプリングされて、第２の領域２１０に関連するビデオ・ストリームの残りの部分を生成することができる。任意の所与のピクセル行をなして、第１の領域２０５および第２の領域２１０の外に並んでいるピクセルは、この該当する行のピクセルを、この一組の水平シフト・レジスタから読み出すときに、スキップされる。
【００１６】
図４は、本発明の例示実施形態により、図１Ａと図１Ｂに示されるデジタル撮像装置１００の動作の流れ図である。４０５において、サンプリング・ロジック１５０は、画像センサ・アレイ１４５の第１の領域２０５を、第１の解像度でサンプリングして、第１のビデオ・ストリームを生成する。４１０において、サンプリング・ロジック１５０は、画像センサ・アレイ１４５の第２の領域２１０を、第２の解像度でサンプリングして、第２のビデオ・ストリームを生成する。前に述べたように、第１の解像度と第２の解像度は、いくつかの実施形態において、同一であってもよい。４１５において、第１のビデオ・ストリームと第２のビデオ・ストリームを、メモリ１２０に記憶する。メモリ１２０は、実施形態により、ＲＡＭ１３５または不揮発性メモリ１４０、あるいは、その両方であってもよい。オプションのステップ４２０において、第１のビデオ・ストリームと第２のビデオ・ストリームを、上で説明したように、適切なビデオ編集ソフトウェアを用いて後処理することができる。このプロセスは、４２５において終了する。
【００１７】
いくつかの実施形態では、４１５において、第１のビデオ・ストリームおよび第２のビデオ・ストリームは、これら２つのビデオ・ストリームが分離できる（別々に読出しできる）ように編成された単一のデータファイルに、記憶することができる。他の実施形態では、４１５において、これら２つのビデオ・ストリームを、別々のデータファイルに記憶することができる。いずれにしても、結果として得られるビデオ・ストリームは、適切なビデオ編集ソフトウェアを用いて、後処理され得る。
【００１８】
本発明の上の説明は、図解および説明の目的で提示されてきた。すべてを尽くすつもりはないし、また本発明を、開示されている通りの形態に限定するつもりもなく、他の変更および変形が、上記の教示に照らして可能であることもある。これらの実施形態は、本発明の原理、および本発明の実際の適用をもっとも良く説明するように選択され、述べられ、それにより、考えられる特定の用途に適した様々な変更例、および、様々な実施形態において、他の当業者が本発明を最適に利用できるようにした。併記の特許請求の範囲は、従来技術によって限定される範囲を除き、本発明の他の代替実施形態を含むものと解されるつもりである。
【図面の簡単な説明】
【００１９】
【図１Ａ】本発明の例示実施形態によるデジタル撮像装置の機能ブロック図である。
【図１Ｂ】本発明の例示実施形態によるデジタル撮像装置の機能ブロック図である。
【図２Ａ】本発明の例示実施形態による画像センサ・アレイのばらばらの第１の領域と第２の領域を示す説明図である。
【図２Ｂ】本発明の例示実施形態による画像センサ・アレイの重なり合う第１の領域と第２の領域の第１の例を示す説明図である。
【図２Ｃ】本発明の例示実施形態による画像センサ・アレイの重なり合う第１の領域と第２の領域の第２の例を示す説明図である。
【図３Ａ】本発明の例示実施形態によるＣＭＯＳ画像センサ・アレイの重なり合う第１の領域と第２の領域をサンプリングする説明図である。
【図３Ｂ】本発明の例示実施形態によるＣＣＤ画像センサ・アレイの重なり合う第１の領域と第２の領域をサンプリングする説明図である。
【図４】本発明の例示実施形態による、図１Ａと図１Ｂに示されるデジタル撮像装置の動作の流れ図である。
【符号の説明】
【００２０】
１００：デジタル撮像装置
１０５：コントローラ
１１０：データバス
１１５：画像処理モジュール
１２０：メモリ
１２５：ディスプレイ
１３０：光学システム
１４５：画像センサ・アレイ
１５０：サンプリング・ロジック
【図１Ａ】
2004282739.tif 000003
【図１Ｂ】
2004282739.tif 000004
【図２Ａ】
2004282739.tif 000005
【図２Ｂ】
2004282739.tif 000006
【図２Ｃ】
2004282739.tif 000007
【図３Ａ】
2004282739.tif 000008
【図３Ｂ】
2004282739.tif 000009
【図４】
2004282739.tif 000010