(57)【要約】高解像度静止画像を使用してビデオインデックス付けする方法により、ユーザは、ビデオシーケンス記録中に高解像度静止画像を取得することができ、それによりユーザは、高解像度静止画像をビデオインデックスとして用いてビデオシーケンスを選択的に閲覧することができる。静止画像は通常、ビデオシーケンスより高い解像度を有する。記憶すべき瞬間を残しておくための高解像度静止画像を選択することにより、ユーザは、ビデオシーケンス内の静止画像のインスタンスの周辺のビデオシーケンスを閲覧することができる。
2005539406.tif 000002
【特許請求の範囲】
【請求項１】
静止画像を使用してビデオインデックス付けする方法であって、
画像／ビデオ取得装置（３００）を使用して、ビデオシーケンス（１２０）の記録中に静止画像（１１０）を取得するステップ（５１０）と、
前記画像／ビデオ取得装置（３００）により、前記ビデオシーケンス（１２０）と前記静止画像（１１０）とを処理し送信するステップ（５３０）と、
前記静止画像（１１０）を使用して前記ビデオシーケンス（１２０）にインデックス付けするステップ（５５０）であって、それによりユーザが、該静止画像（１１０）をビデオインデックスとして用いて、前記ビデオシーケンス（１２０）を選択的に閲覧することができる、ステップと、
を含む方法。
【請求項２】
前記取得するステップが、前記ビデオシーケンス（１２０）の記録中に高解像度静止画像（１１０）を取得するステップ（５１０）を含む、請求項１に記載の方法。
【請求項３】
前記取得するステップが、前記画像／ビデオ取得装置（３００）上のボタン（３４８）を押下して、前記ビデオシーケンス（１２０）の記録中に前記静止画像（１１０）を取得するステップ（５２０）を含む、請求項１に記載の方法。
【請求項４】
前記ビデオシーケンス（１２０）と前記静止画像（１１０）とを記憶装置（３５０）に格納するステップ（５４０）をさらに含む、請求項１に記載の方法。
【請求項５】
前記格納するステップが、前記ビデオシーケンス（１２０）と前記静止画像（１１０）とを前記画像／ビデオ取得装置（３００）のローカル記憶装置（３５０）に格納するステップ（５４０）を含む、請求項４に記載の方法。
【請求項６】
前記格納するステップが、前記ビデオシーケンス（１２０）と前記静止画像（１１０）とをネットワークに接続されたサーバに格納するステップ（５４０）を含む、請求項４に記載の方法。
【請求項７】
前記ビデオシーケンス（１２０）と前記静止画像（１１０）とをネットワークを介して他のユーザに送信するステップ（５９０）であって、それにより、該他のユーザが該静止画像（１１０）を前記ビデオインデックスとして用いて前記ビデオシーケンス（１２０）を選択的に閲覧することができる、ステップをさらに含む、請求項６に記載の方法。
【請求項８】
コンピュータ（４００）を使用し、前記静止画像（１１０）を前記ビデオインデックスとして用いて前記ビデオシーケンス（１２０）を選択的に閲覧するステップ（５６０）をさらに含む、請求項１に記載の方法。
【請求項９】
前記コンピュータ（４００）から前記静止画像（１１０）上をクリックして、該静止画像（１１０）に関連する時点から前記ビデオシーケンス（１２０）の閲覧を開始するステップ（５７０）をさらに含む、請求項８に記載の方法。
【請求項１０】
プリンタにおいて前記静止画像（１１０）をプリントするステップ（５８０）をさらに含む、請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術分野は、ビデオ撮像システムに関し、特にビデオインデックス付けシステムに関する。
【背景技術】
【０００２】
ユーザはますます、ビデオカメラを使用して、ホームビデオ、テレビ番組、映画、コンサートまたはスポーツ競技を後にまたは繰返し観る目的でディスクまたはＤＶＤに録画するようになっている。ビデオカメラは通常、ビデオと音声との両方を記録してビデオシーケンスを生成し、それは、ハードディスクまたはＣＤ−ＲＯＭ等の補助記憶装置に格納することができる。かかるビデオシーケンスは通常、さまざまの内容を有するかまたは非常に長い。ユーザは一般に、ビデオシーケンスに何があるかまたは特定のシーン、映画、イベントがビデオシーケンスのどこに記録されているかを書き留めることができないため、何が記録されたかを思い出すために、または特定のシーンを検索するために、座ってビデオシーケンス全体を観なければならない場合がある。ビデオインデックス付けにより、ユーザは、ビデオシーケンスの異なるセクションに容易にアクセスすることができ、それによりユーザは、ビデオシーケンス全体を通して早送りする必要がなくなる。
【０００３】
現行のビデオインデックス付け装置は、ビデオにおける視覚的キューから構造および意味を自動的にまたは半自動的に抽出するビデオコンテンツ分析を使用する。たとえば、テレビ（ＴＶ）番組かまたはホームビデオからビデオクリップを取得した後、コンピュータは、ユーザがビデオシーケンスにおける特定のセクションに飛ぶことができるように特定のインデックスを生成する。
【０００４】
しかしながら、自動ビデオインデックス付けは通常、異なるキーフレームを生成し、それには、ショットの変化、シーンの変化、および最終的にはキーフレームとして機能する可能性のあるフレームを自動的に探索することを含む、大量の後処理が必要である。さらに、自動ビデオインデックス付けは、ユーザが記録内に特定のビデオイベントを見つけ出す助けとなる場合とならない場合とがある。
【発明の開示】
【０００５】
静止画像を使用してビデオインデックス付けする方法は、画像／ビデオ取得装置を使用してビデオシーケンス記録中に静止画像を取得することと、画像／ビデオ取得装置によりビデオシーケンスと静止画像とを処理し送信することと、静止画像を使用してビデオシーケンスにインデックス付けし、それにより、ユーザが、静止画像をビデオインデックスとして用いてビデオシーケンスを選択的に閲覧することができるようにすることと、を含む。ビデオファイルにインデックス付けするために使用される静止画像を、ビデオシーケンス記録中に取得するため、ユーザは、早送りまたは巻戻しする必要なしに、特定の静止画像が取得されたビデオファイル内の位置に直接飛ぶことができる。
【０００６】
静止画像は通常、ビデオシーケンスより高い解像度を有する。ユーザは、記憶すべき瞬間を残しておくための高解像度静止画像を選択することにより、最も記憶すべき静止画像写真を使用してビデオシーケンスに容易にインデックス付けし、後に、それら静止画像のインスタンスの周辺のビデオシーケンスを閲覧することができる。
【０００７】
高解像度静止画像を使用してビデオインデックス付けする方法の好ましい実施形態を、同じ数字が同じ要素を指す添付の図面を参照して詳細に説明する。
【発明を実施するための最良の形態】
【０００８】
（詳細な説明）
ユーザは、画像／ビデオ取得装置を使用して、ビデオシーケンス記録と同時に静止画像写真を取得することができる。静止画像は通常、記憶すべき瞬間を残す。静止画像を、ビデオシーケンスにインデックス付けするために使用することができ、それによりユーザが、静止画像をビデオインデックスとして用いてビデオシーケンスを選択的に閲覧することができる。ビデオインデックスは、デジタルビデオディスク（ＤＶＤ）映画内のチャプタに類似する。それは、ユーザが早送りする必要なく特定のチャプタに直接飛ぶことができるようにするものである。
【０００９】
図１は、例示的なビデオ・静止画像共同パイプラインを示す。例示的なビデオ・静止画像共同パイプラインは、ビデオシーケンス１２０と静止画像１１０とを同時に提供することができる。たとえば、ビデオシーケンス１２０を記録している間に、スナップショット１０２を撮影して静止画像１１０を生成することができる。ビデオシーケンス１２０と静止画像１１０との処理は、並列であってよい。ビデオ・静止画像共同パイプラインについては、たとえば、参照により本明細書に援用される、本出願と同日に出願され「Concurrent Dual Pipeline for Acquisition, Processing and Transmission of Digital Video and High Resolution Digital Still Photographs」と題された米国特許出願において記載されている。
【００１０】
ビデオ・静止画像共同パイプラインは、カメラからの既存の処理、すなわち、デモザイク処理、カラー処理および画像圧縮を利用する。さらに、ビデオ・静止画像共同パイプラインは、デジタルビデオにおける既存の専門技術、すなわち、ビデオ圧縮ならびにビデオストリーミングおよびトランスコーディングを利用する。静止画像１１０は通常、たとえば２〜４メガピクセルの高解像度を有する。高解像度静止画像１１０はまた、ほとんどデモザイクアーティファクトを残さない高度なデモザイク処理と、正確な色を生成する高品質色補正とを有する。一方、ビデオシーケンス１２０は通常、たとえば６４０×４８０解像度の中間または低解像度を有する。高解像度静止画像１１０とは対照的に、中間または低解像度ビデオ１２０は、高速デモザイク処理と高速色補正とを有し、高フレームレートをもたらす。そして、ビデオは、圧縮され低遅延かつ優れた誤り保護でストリーミングされる。
【００１１】
図２は、高解像度静止画像１１０を使用してビデオインデックス付けする例示的な方法を示す。ビデオシーケンス１２０の記録中に、ユーザが、たとえば、ビデオ・静止画像共同パイプラインカメラ（図３に示す）等の画像／ビデオ取得装置３００のスナップショットボタン３４８（図３に示す）を押下することにより、高解像度静止画像１１０を取得することができる。高解像度静止画像１１０を、ビデオシーケンス１２０におけるキーフレームとみなすことができ、それらを使用してビデオシーケンス１２０をインデックス付けすることができる。ユーザは後に、高解像度静止画像１１０をビデオインデックスとして用いて、選択的にビデオシーケンス１２０を閲覧することができる。高解像度静止画像１１０は通常、最も記憶すべき瞬間を残しておくため、最も記憶すべき画像をビデオシーケンス１２０内の複数の時点に関連付けることにより、ユーザは、高解像度静止画像１１０周辺の記憶すべき経験を再現することができる。
【００１２】
ビデオインデックス付けについては、たとえば、参照により本明細書に援用される、Arman等による「Content-Based Browsing of Video Sequences」（ACM multimedia, 97-103頁, 1994年）と、Smoliar等による「Content Based Video Indexing and Retrieval」（IEEE multimedia, 62-72頁, 1994年）とに記載されている。Arman等は、ビデオシーケンスのコンテンツを表現する新規な方法を開示している。この方法では、代表的なフレームを使用することによりシーケンスの各ショットを表す抽象を形成するコンテンツベースブラウジングシステムを使用し、ユーザが、フレームを容易にナビゲートする、すなわちシーケンス内の特定の点を見つけるためにビデオシーケンスを高速に閲覧することを可能にする。Smoliar等は、コンテンツベースビデオインデックス付けおよび検索の方法を開示している。この方法には、ビデオストリームを解析して包括的クリップにすること、データベースに挿入する際にビデオクリップをインデックス付けすること、ならびに、テキストおよび／または視覚的な例に基づきクエリを通してデータベースを検索しブラウジングすることが含まれる。
【００１３】
たとえば、誕生パーティ中、両親は、ビデオシーケンス１２０の記録を中断することなく、ろうそくを吹き消す子供の高解像度静止画像１１０（ａ）のスナップショットを撮影することができる。後に、まだ誕生パーティを記録している間に、両親は、ゲームをしている子供たちの高解像度静止画像１１０（ｂ）または歌っている子供たちの高解像度静止画像１１０（ｃ）等を残しておくように再びスナップショットを撮影することができる。取得された高解像度静止画像１１０は通常、イベントの最も記憶すべき瞬間を表す。家族は、後に、高解像度静止画像１１０をビデオインデックス付けとして使用し、ビデオシーケンス１２０における最も記憶すべき瞬間に直接飛ぶことができる。
【００１４】
図３は、ビデオシーケンス１２０と高解像度静止画像１１０とを並列に処理し、送信し、格納する、ビデオ・静止画像共同パイプライン等の例示的な画像／ビデオ取得装置３００を示す。カメラ３００は、センサ３４０と、静止画像パイプライン３１０と、ビデオパイプライン３２０と、ローカル記憶装置３５０とを備える。静止画像パイプライン３１０とビデオパイプライン３２０とを、カメラのハードウェア／ファームウェア、特定用途向け集積回路（ＡＳＩＣ）、マイクロプロセッサおよび／またはデジタル信号プロセッサに配置することができる。ローカル記憶装置３５０は、Ｐａｎａｓｏｎｉｃ製のＳＤＭｅｍｏｒｙカードに類似する固体メモリであっても、ＩＢＭ製のマイクロドライブハードドライブに類似するマイクロドライブであってもよい。たとえばスナップショットボタン３４８を使用することにより、カメラ３００のセンサ３４０は、ビデオシーケンス１２０の記録と同時に高解像度静止画像１１０を取得することができる。ビデオシーケンス記録中に高解像度静止画像を取得するために、音声コマンドまたはタッチスクリーン液晶ディスプレイ（ＬＣＤ）等の他のタイプのユーザ対話を使用してもよい。次に、ビデオ・静止画像共同パイプライン３２０および３１０をそれぞれ使用して、ビデオシーケンス１２０と静止画像１１０とを並列に処理することができる。その後、ビデオシーケンス１２０と静止画像１１０とを送信し、かつ／またはカメラ３００のローカル記憶装置３５０に格納することができる。別法として、ビデオシーケンス１２０と静止画像１１０とを、ハードディスク、ＣＤ−ＲＯＭまたはネットワークに接続されたサーバ等のサーバ／コンピュータのリモート記憶装置に格納することができる。高解像度静止画像１１０を、たとえば、容易なインデックス付けのためにビデオシーケンス１２０内において画像＃１、画像＃２または画像＃３としてラベル付けすることができる。
【００１５】
図４は、高解像度静止画像１１０を使用してビデオインデックス付けする例示的な方法に関連して使用することができるコンピュータ４００の例示的なハードウェア構成要素を示す。コンピュータ４００は、記録されたビデオシーケンス１２０と静止画像１１０とをたとえば電子メールにより友人および家族に送信するための、インターネットもしくは他のタイプのコンピュータまたは電話ネットワーク等のネットワーク４１８との接続を有する。コンピュータ４００は通常、メモリ４０２と、補助記憶装置４１２と、プロセッサ４１４と、入力装置４１６と、表示装置４１０と、出力装置４０８とを備える。
【００１６】
メモリ４０２は、ランダムアクセスメモリ（ＲＡＭ）または同様のタイプのメモリを含むことができる。補助記憶装置４１２は、ハードディスクドライブ、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブまたは他のタイプの不揮発性データ記憶機構であってよい。補助記憶装置４１２は、さまざまなデータベースまたは他の資源に対応することができる。プロセッサ４１４は、メモリ４０２または補助記憶装置４１２に格納された、もしくはインターネットまたは他のネットワーク４１８から受け取られた、アプリケーションまたは他の情報を実行することができる。入力装置４１６は、キーボード、キーパッド、カーソル制御装置、タッチスクリーン（スタイラスとともに使用する可能性がある）またはマイクロフォン等、コンピュータ４００にデータを入力するいかなる装置も含むことができる。表示装置４１０は、たとえばコンピュータモニタ、フラットスクリーンディスプレイまたはディスプレイパネル等、視覚画像を提示するいかなるタイプの装置も含むことができる。出力装置４０８は、プリンタ等、ハードコピーフォーマットでデータを提示するいかなるタイプの装置、およびスピーカまたは音声形式でデータを提供する任意の装置を含む他のタイプの出力装置を含むことができる。コンピュータ４００は、複数の入力装置、出力装置および表示装置を含むことができる可能性がある。
【００１７】
コンピュータ４００を、さまざまな構成要素を有するように示すが、当業者は、このコンピュータが追加のまたは異なる構成要素を備えることができることを認めるであろう。さらに、本発明に一貫する実施の態様を、メモリに格納されているものとして説明するが、当業者は、これらの態様をハードディスク、フレキシブルディスクまたはＣＤ−ＲＯＭを含む補助記憶装置、インターネットまたは他のネットワークからの搬送波もしくは他の形態のＲＡＭまたはＲＯＭ等の他のタイプのコンピュータプログラム製品またはコンピュータ読取可能媒体に格納しまたはそこから読み出すことも可能である、ということを認めるであろう。コンピュータ読取可能媒体は、コンピュータ４００を特定の方法を実行するように制御する命令を含むことができる。
【００１８】
カメラ３００によってビデオシーケンス１２０と高解像度静止画像１１０とを取得した後、それらを、無線チャネルによって送信することによるかまたはユニバーサルシリアルバス（ＵＳＢ）またはファイアワイヤ（ＩＥＥＥ  １３９４）等の有線接続を介してコンピュータ４００にダウンロードすることができる。別法として、コンピュータ４００は、コンピュータ４００のリーダに直接接続することにより、カメラ３００のローカル記憶装置３５０を読み出すことができる。記録されたビデオシーケンス１２０と高解像度静止画像１１０とをダウンロードした後、ビデオシーケンス１２０を、カメラ３００の液晶ディスプレイ（ＬＣＤ）（図示せず）かまたはコンピュータ４００の表示装置４１０のいずれかにおいて再生することができる。ＬＣＤまたは表示装置４１０は、高解像度静止画像１１０を、ラベル付けされたアイコン、たとえば画像＃１、画像＃２または画像＃３として表示することができる。特定の高解像度静止画像１１０、たとえば画像＃１を、表示装置４１０に表示されるような関連するアイコン上をクリックすることによって表示することができる。
【００１９】
さらに、高解像度静止画像１１０を使用して、ビデオシーケンス１２０にインデックス付けすることができる。たとえば、コンピュータ４００を使用して、記録されたビデオシーケンス１２０を閲覧する場合、ユーザは、アイコンのうちの１つ、たとえば画像＃２上をダブルクリックし、その高解像度静止画像＃２に関連する時点からビデオシーケンス１２０の閲覧を開始することができる。ビデオシーケンス１２０内の時点に最も記憶すべき画像を関連付けることにより、ユーザは、最も記憶すべき静止画像写真１１０を使用してビデオシーケンス１２０に容易にインデックス付けすることができる。
【００２０】
また、ビデオシーケンス１２０と高解像度静止画像１１０とを、他のユーザによって検索される、ネットワーク４１８に接続されたサーバに保存することもできる。別法として、ビデオシーケンス１２０と高解像度静止画像１１０とを、たとえば電子メールによりネットワーク４１８を介して他のユーザに送信することができる。そして、ビデオシーケンス１２０と静止画像１１０とを受け取る友人または家族は、高解像度静止画像１１０をビデオインデックスとして使用することによりビデオシーケンス１２０を選択的に閲覧することができる。
【００２１】
図５は、静止画像を使用してビデオインデックス付けする例示的な方法を示すフローチャートである。ステップ５１０において、ビデオ・静止画像共同パイプラインカメラ等の画像／ビデオ取得装置３００により、ユーザは、ビデオシーケンス１２０の記録中に、通常は高解像度静止画像である静止画像写真１１０を取得することができる。ステップ５２０において、たとえばカメラ３００のスナップショットボタン３４８を使用して、ビデオシーケンス１２０の記録中に静止画像１１０を取得することができる。次に、ステップ５３０において、ビデオ・静止画像共同パイプラインを使用して、ビデオシーケンス１２０と高解像度静止画像１１０とを処理することができる。ステップ５４０において、ビデオシーケンス１２０と高解像度静止画像１１０とを送信しローカル記憶装置３５０かまたはリモート記憶装置に格納することができ、そこでステップ５５０において、高解像度静止画像１１０を使用してビデオシーケンス１２０にインデックス付けすることができる。
【００２２】
ステップ５６０において、コンピュータを使用して、高解像度静止画像１１０をビデオインデックスとして用いてビデオシーケンス１２０を選択的に閲覧することができる。別法として、ユーザは、カメラのＬＣＤでビデオシーケンス１２０を閲覧し静止画像１１０をビデオインデックスとして使用するように選択することができる。ステップ５７０において、ユーザは、高解像度静止画像１１０のうちの１つの上をクリックすることにより、その高解像度静止画像１１０に関連する時点からビデオシーケンス１２０の閲覧を開始することができる。ステップ５８０において、ユーザは、高解像度静止画像１１０をプリントすることができる。さらに、ステップ５９０において、ビデオシーケンス１２０と高解像度静止画像１１０とを、ネットワーク４１８を介して友人および家族等の他のユーザに送信してもよく、それにより、それら他のユーザもまた、高解像度静止画像をビデオインデックスとして用いてビデオシーケンス１２０を選択的に閲覧することができる。
【００２３】
高解像度静止画像を使用してビデオインデックス付けする方法および装置を例示的な実施形態に関連して説明したが、当業者は、これらの教示を考慮した多くの変更が可能であり、この出願がその任意の変更を包含するように意図されていることを理解するであろう。
【図面の簡単な説明】
【００２４】
【図１】例示的なビデオ・静止画像共同パイプラインを示す図である。
【図２】高解像度静止画像を使用してビデオインデックス付けする例示的な方法を示す図である。
【図３】ビデオシーケンスと高解像度静止画像とを並列に処理し、送信し、格納する、例示的な画像／ビデオ取得装置を示す図である。
【図４】高解像度静止画像を使用してビデオインデックス付けするために図２の例示的な方法に関連して使用することができるコンピュータの例示的なハードウェア構成要素を示す図である。
【図５】高解像度静止画像を使用してビデオインデックス付けする図２の例示的な方法を示すフローチャートである。
【符号の説明】
【００２５】
１１０（ａ）、１１０（ｂ）、１１０（ｃ）：高解像度静止画像
１２０：ビデオシーケンス
【図１】
2005539406.tif 000003
【図２】
2005539406.tif 000004
【図３】
2005539406.tif 000005
【図４】
2005539406.tif 000006
【図５】
2005539406.tif 000007
【国際調査報告】
2005539406.tif 000008
2005539406.tif 000009