(57)【要約】【課題】グラフィック画像組をテレビシステム上に提示する方法及びシステムを提示する。【解決手段】ビデオのフレームシーケンスが受信される。これらのフレームは復号化及びスケーリングされて縮小サイズのフレームとなり、これらの縮小サイズのフレームは時間的且つ周期的にサンプリングされて、選択されたフレームを提供する。これらの選択されたフレームは、循環バッファに記憶され、グラフィック画像に変換される。グラフィック画像は周期的に合成されて、グラフィックインタフェースを用いて出力グラフィック画像としてレンダリングされる。【選択図】図１７
2007183588.tif 000002
【特許請求の範囲】
【請求項１】
グラフィック画像組をテレビシステム上に提示する方法であって、
ビデオのフレームシーケンスを受信するステップと、
前記フレームシーケンスを復号化及びスケーリングして縮小サイズのフレームにするステップと、
前記縮小サイズのフレームを時間的且つ周期的にサンプリングして選択されたフレームを提供するステップと、
前記選択されたフレームのうちｎ個前までのフレームを循環バッファに記憶するステップと、
前記ｎ個の選択されたフレームをｎ個のグラフィック画像に変換するステップと、
前記循環バッファに記憶された前記ｎ個のグラフィック画像を周期的に合成して出力グラフィック画像にするステップと、
前記テレビシステムのグラフィックインタフェースを用いて前記出力グラフィック画像を周期的にレンダリングするステップと
を含む、グラフィック画像組をテレビシステム上に提示する方法。
【請求項２】
前記フレームシーケンスは、パーソナルビデオレコーダに記憶される
請求項１記載の方法。
【請求項３】
前記縮小サイズのフレームは、非対称のＶ字レイアウトに合成される
請求項１記載の方法。
【請求項４】
前記Ｖ字レイアウトの右端は未来の画像を含み、前記Ｖ字レイアウトの左端は過去の画像を含み、かつ前記Ｖ字レイアウトの頂点は現画像である
請求項３記載の方法。
【請求項５】
前記Ｖ字レイアウトの前記右端は、前記左端よりも大きい
請求項４記載の方法。
【請求項６】
１０個につき１個のフレームが選択されて記憶される
請求項１記載の方法。
【請求項７】
前記グラフィック画像の前記合成及び前記レンダリングは、少なくとも毎秒５回のレートで行われる
請求項１記載の方法。
【請求項８】
前記フレームシーケンスはＹＵＶビデオフォーマットであり、かつ前記グラフィック画像はＲＧＢグラフィックフォーマットである
請求項１記載の方法。
【請求項９】
前記縮小サイズのフレームは、前記ビデオの前記フレームの約３分の１のサイズである
請求項１記載の方法。
【請求項１０】
前記合成及び前記レンダリングは、前記復号化及び前記サンプリングに対して非同期である
請求項１記載の方法。
【請求項１１】
前記合成及び前記レンダリングと、前記復号化及び前記サンプリングとの間の遅延は、約２秒である
請求項１０記載の方法。
【請求項１２】
前記現画像は、時間を順方向及び逆方向に移動する
請求項４記載の方法。
【請求項１３】
ビデオのフレームシーケンスを提供する手段と、
前記フレームシーケンスを復号化及びスケーリングして縮小サイズのフレームにする手段と、
前記縮小サイズのフレームを時間的且つ周期的にサンプリングして選択されたフレームを提供する手段と、
前記選択されたフレームのうちｎ個前までのフレームを記憶するように構成される循環バッファと、
前記ｎ個の選択されたフレームをｎ個のグラフィック画像に変換する手段と、
前記循環バッファに記憶された前記ｎ個のグラフィック画像を周期的に合成して出力グラフィック画像にする手段と、
前記出力グラフィック画像を周期的にレンダリングするように構成されるグラフィックインタフェースと
を備える、グラフィック画像組を提示するテレビシステム。
【請求項１４】
前記提供する手段は、パーソナルデジタルレコーダである
請求項１３記載のテレビシステム。
【請求項１５】
前記提供する手段は、セットトップボックスである
請求項１３記載のテレビシステム。
【請求項１６】
前記提供する手段は、放送ビデオ信号である
請求項１３記載のテレビシステム。
【請求項１７】
高精細テレビ信号を用いる
請求項１３記載のテレビシステム。
【請求項１８】
前記合成及び前記レンダリングは、時間を順方向及び逆方向に移動する
請求項１３記載のテレビシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して画像の提示に関し、特に高速スキャニングのための画像の提示に関する。
【背景技術】
【０００２】
物理世界では、本のページを素早くパラパラとめくれば本の全体的な主旨を理解することができる。このタスクは本に挿絵があればさらに容易となる。これと同じ技法を用いれば、本の中の既知のターゲット、すなわち読者が以前に見たことがあり、ここで再び見つけようとしているページを見つけることができる。提供されたもの（offering）の主旨を理解することや既知のターゲットを探索することは、電子情報用途でもよく直面するタスクであるため、本のページをパラパラとめくるのと同様の技法がデジタル世界において必要とされている。
【０００３】
電子媒体において標準的に行われていることは、情報を静的に「ページ」に提示することである。制御部（controls）が設けられるため、ユーザは別のページに移ることができるが、「ページ」の組を前後へ素早くめくることはできない。
【０００４】
本のページをパラパラとめくることに似た最も近い活動は、ビデオの早送りまたは巻き戻し、あるいはテレビ信号チャンネルの「サーフィング」である。しかしながら、これらの制御部では、ユーザが提示の速度および方向を最大限に有利に制御することはできず、これらの方法は通常、ビデオ以外の情報について概要を掴んだりターゲットを絞る方法としては利用できない。
【０００５】
長年にわたり、心理学者は、高速系列視覚提示（rapid serial visual presentation：ＲＳＶＰ）として知られる一種の提示を通じて人間の視知覚を研究してきた。人間は、短く提示された画像を非常に素早く処理できることが知られている。読書に伴う認知過程および画像またはテキストを高速でフラッシュさせた場合の視知覚を調査する実験には長い歴史がある。最近編纂された論文集に、この業績の概要および歴史的概観が記載されている（Coltheart編「瞬時記憶：短い視覚刺激の認知（Fleeting Memories: Cognition of Brief Visual Stimuli）」（MIT Press, 1999）を参照）。
【０００６】
人は、通常１５０〜３００ミリ秒の範囲の一連の短い不連続な固視で視覚情報を処理すると考えられている。これらの固視の合間には、衝動性眼球運動（サッカード）が素早く行われる。詳細の知覚と理解は不連続な固視の中心部で行われ、視野の周辺部での曖昧な知覚は、次のサッカードのターゲットを決定する過程で用いられる。
【０００７】
一般に視知覚は、記憶の長期的保持に繋がり得る段階を追って進行すると考えられている。しかしながら、視覚情報は見てすぐに忘れてしまう可能性がある。記憶保持に繋がる以降の認知処理段階には視知覚に干渉し得る資源が必要であり、またその逆も同様である。
【０００８】
ヒューマン−コンピュータインタフェースで用いられる従来技術のＲＳＶＰ方法のうち、最も基本的なものは、心理学の文献で研究されている条件にほぼ一致する単一画像の時間的なシーケンスを用いる。各連続画像は、前に表示されていた画像と入れ替わる。その提示方法は、スライドショーまたはキーホール（keyhole）モードと呼ばれている（Tseら著「ビデオのブラウジングを増強する動的なキーフレーム提示技法（Dynamic Key Frame Presentation Techniques for Augmenting Video Browsing）」（Proceedings of the Working Conference on Advanced Visual Interfaces (AVI '98), pp.185-194, 1998）およびSpenceら著「高速、系列および視覚：可能性のある提示技法（Rapid, Serial and Visual: A Presentation Technique with Potential）」（Information Visualization, 1, 1, pp.13-19, 2002）を参照）。
【０００９】
図１〜図４は、カルーセルモード１００（図１を参照）、動的コラージュモード２００（図２を参照）、浮動モード３００（図３を参照）、およびシェルフ（shelf）モード４００（図４を参照）を含む他の変形を示す。これらのモードは全て、画像のさらなる移動または入れ替えを用いる。
【００１０】
これまで、ヒューマン−コンピュータインタフェースにおけるＲＳＶＰ方法の効果に関しては初期の発見しかなかった。これまでの実験は単に、スライドショーモードで高速提示された視覚情報を人が抽出できることを確認しただけのようである。Tseらは、ビデオのブラウジングのための一定レートのスライドショー方法を調査した。ユーザは、画像を非常に高速（例えば１秒間に８フレーム）で提示した場合でも映画の主旨を抽出することができた。
【００１１】
しかしながら、他のＲＳＶＰ方法も、ユーザがより高い柔軟性を持って自身の注意を制御できるようにすることによって利点を提供するかもしれないとの仮説が立てられている。ユーザは、関連のない画像の排除が早いほど、関連のある画像に長く集中することができる。しかしながら、より複雑な２Ｄ空間／時間レイアウトを用いた予備実験（例えばカルーセルモード１００および動的コラージュモード２００）では、スライドショーモードに勝る利点を何ら示すことができなかった。例えば、動的コラージュモードをスライドショーモードと比べた準備的実験がWittenburgら著「速射画像のブラウジング：要件と業界イニシアチブ（Browsing Through Rapid-Fire Imaging: Requirements and Industry Initiatives）」（Proceedings of Electronic Imaging '2000: Internet Imaging, pp. 48-56, 2000）に記載されている。Wittenburgらは、ユーザが提示の速度および方向を完全に制御できる場合のインターネットショッピングにおけるタスクに関する実験を記載している。Wittenburgらは、スライドショーＲＳＶＰモードを動的コラージュモードならびにより従来的なウェブページ提示方法と比較した。動的コラージュモードでは、画像が後の画像で遮蔽されるか、またはディスプレイから消去されるまで、中心点２０１の周囲に連続的かつセミランダムに画像を配置した（図２参照）。カルーセルモード１００とは異なり、画像の移動や拡大縮小（scale）の変更は行わない。製品の画像を３つのモード、すなわちスライドショー、動的コラージュ、およびウェブページで示した。ユーザには、２つのタスクを実行してもらった。第１のタスクは主旨抽出タスクであった。第２のタスクはターゲット製品の有無を判断することであった。関連のある結果としては、性能上の違いが認められなくともユーザは動的コラージュおよびウェブページモードよりもスライドショーモードを好むことが分かった。
【００１２】
スライドショーモード以外の従来技術の方法は、ユーザが多数の高速に変化する画像に同時に注意を向け、かつ／または新たな２Ｄの場所にある画像へ注視を移さなければならないため、過大な認知処理をユーザに要求する。これらの方法には、２Ｄでの追跡を要求するもの（例えばカルーセルモード１００）や、注視を移して異なる場所に焦点を合わせることを要求するもの（例えば動的コラージュモード２００）がある。画像が移動するか、あるいは画像が新たな場所にポップアップする変形に付加的な知的オーバーヘッド（cognitive overhead）が要求されても驚くべきことではないだろう。
【００１３】
De Bruijnらは、ＲＳＶＰインタフェース方法に関連する視線追跡実験を記載している（De Bruijnら著「高速系列視覚提示中の注視パターン（Patterns of Eye Gaze during Rapid Serial Visual Presentation）」（Proceedings of the Working Conference on Advanced Visual Interfaces (AVI 2002), pp.209-217, 2002）を参照）。追跡（例えばカルーセル）または異なる位置に焦点を合わせること（例えば動的コラージュ）を要するいくつかのＲＳＶＰの代案を比較する。試験したＲＳＶＰの変形モードについて、注視パターンに関していくつかの観察を行う。De Bruijnらは、シェルフモード４００に異なる視線追跡方法が用いられることを観察した。１人のユーザは、提示の背景部分に退く前の新たな画像が出現する領域のみに焦点を合わせているようだった。別のユーザは、移動中の画像を追跡しているようだった。この観察から、ユーザが自身のタスク（例えばターゲット画像を探索することに対してシーケンスの主旨を抽出すること）に合わせて注意の焦点を変えるのを支援する新たな方法が必要とされているという仮説が立つ。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
したがって、人間の視覚および認知能力を利用して電子マルチメディアコンテントの提示およびブラウジングを向上させることが望ましい。
【課題を解決するための手段】
【００１５】
本発明は、高速スキャニングに適した方法で画像を対話的に提示するシステムおよび方法を提供する。本方法は、自然な人間の認知能力を利用して、３次元空間で閲覧者に近づいたり遠ざかったりするように移動するオブジェクトを追跡する。
【００１６】
本発明は、高速提示される視覚情報の処理を可能にする焦点領域を過度な視線の移動なしで統合する。レイアウトの改良が、一時的に関連付けられているか、または論理的にグループ分けされている画像に適用される。さらなる革新により、コレクション全体の中のターゲット化した画像を進めていくために相対的な時間的順序付けが可能となる。
【発明の効果】
【００１７】
本発明は、時間コンテキストベースのビデオブラウジングインタフェースを、ＰＶＲ内蔵の高精細テレビの機構として実施することによって消費者製品に上手く適合した。本発明は、ターゲットプラットフォームの機構を利用して、以前の原型とは全く異なるが、プラットフォームの長所及び短所により適したインプリメンテーションを作り上げることができた。この機構は追加ハードウェアを必要としないため、追加の製造コストを生じない。
【発明を実施するための最良の形態】
【００１８】
序論
本発明の一実施形態は、人間の視覚系、具体的には奥行および周辺の知覚を有効に利用した、画像を提示およびブラウジングするための方法およびシステムを提供する。本方法は、高速系列視覚提示（ＲＳＶＰ）のより親しまれたスライドショーモードと統合され、いくつかの空間および時間レイアウト技法を用いて改良される。調節可能な速度レートでの前後への直線状のトラバーサルのための共通の制御部の組を含める。
【００１９】
システム構造と方法
図１３および図１４に示されるように、方法１３００は画像組１０１で開始する。この画像組は、コンピュータシステムのメモリに記憶することができる。画像は静止画、テキスト文書のページ、製品の写真、または例えばＭＰＥＧビデオのようなビデオ中の画像シーケンスであり得る。ステップ１１０では表示画像組１１１を選択する。選択は、要約、周期的選択（例えば１０番目のフレーム毎）または何らかの他の選択過程であり得る。
【００２０】
ステップ１２０では、表示画像組にレイアウト１２１を割り当てる。各画像について、レイアウトには、３Ｄ座標、サイズ、および向きが含まれる。またステップ１２０では、仮想カメラ１４１０に３Ｄ軌跡１２２を割り当てる。ステップ１３０では、レイアウト１２１および軌跡１２２に応じてアクティブな画像組１４００をレンダリングする。アクティブな組１４００はコレクタ画像１４０１を含み、残りの画像は動的である。線１２２は、カメラ１４１０の軌跡を示す。コレクタ画像は、後述のコレクタフレームに静的に表示され、アクティブな組の残りの画像はコレクタフレームに向かって移動する。軌跡およびアクティブな組は基本的に、表示組１１１を通る移動窓を与える。後述するように、この窓は前後の異なる方向に異なるレートで移動することができる。
【００２１】
動画化ステップ１４０では、おそらくはユーザ入力１４１を用いてレイアウトおよび軌跡を変更する。次に、全ての表示画像がレンダリングされるか、ユーザが本方法を終了するまで、レンダリング１３０および動画化１４０のステップを繰り返す。
【００２２】
表示画像の選択
画像組１０１（例えばビデオフレーム、製品または顔の写真、本のページ等）が与えられると、表示画像組１１１を選択する（１１０）。この表示組は、任意数の元の組の画像をその全部まで含み得る。表示組１１１を選択するために用いられる過程は、ＭＰＥＧビデオのキーフレームまたは符号化Ｉフレームの使用、ビデオの要約、あるいは周期的またはランダムな選択を含む任意数の既知の技法であり得る。表示組の画像は、関連または非関連画像のシーケンスであり得る。
【００２３】
表示画像へのレイアウトの割り当て
方法１３００は、表示組１１１中の各画像に３Ｄ座標、サイズ、および向きを割り当てる（１２０）。レイアウトは、直線状、曲線状、螺旋状、Ｓ字状であるか、あるいは何らかの他の機能に従い得る。図５ないし図７に示すように、画像５００のレイアウトは、表示画像の中心点５０３から中心点５０４までの線によって形成される３次元の軌跡に沿って配置される。
【００２４】
仮想カメラへの軌跡の割り当て
仮想カメラ１４１０の軌跡は、直線状５１０、曲線状６０２、またはＳ字状７０２であり得る。
【００２５】
アクティブな画像のレンダリング
軌跡１２２に沿った各画像の「奥行」は画像のサイズによって示され、画像が小さいほど閲覧者から遠いことになる。最も近い画像は、表示デバイスの画像平面または表示「画面」にある画像である。
【００２６】
表示画像の動画化
図９に示すように、ユーザは、軌跡１２２に沿ったカメラ１４１０のトラバーサルを制御する。トラバーサルは、可変速度でいずれの方向にも行われる。カメラが移動するに従い、画像は、軌跡１２２に沿った方向に応じて近づいたり遠ざかったりするように見える。
【００２７】
図５ないし図７に示すように、動画化の視覚効果は、画像５００のシーケンスを焦点５０４に近づいたり遠ざかったりするように進める（５０２）ものである。これは時間的に進み、シーケンスを順方向に移動する場合、奥行次元で遠い画像は、近い画像よりも焦点５０４に到達するのが遅い。
【００２８】
画像の提示は、高速道路での標識の出現にたとえられる。このたとえで、ユーザは車両の速度および（前後）方向の両方を制御することができる。フロントガラス９０１から外を見ると、標識は、まず遠くから現れて次第に近づいてきて、規則的な時間的および空間的間隔で通過していくように見える。ユーザが反対方向に移動している場合、標識は肩越しに視界に現れ、遠くへ逆行していく。
【００２９】
コレクタフレーム
上述のような本発明の基本動作モードにおいて、画像は、ユーザにどんどん近づいてきて、最終的には画像平面を通過して消失するように見える。これは、車両が道路沿いの標識を通過するときに運転手が車内で前方を直視している場合に起こる事象の標準的なたとえである。
【００３０】
関連する画像（例えばビデオの同じシーン中のキーフレーム）間で連続性を維持するという利点を持つ基本表示モードの変形を提供する。また、軌跡の終点付近に静的な焦点５０４を設ける。したがって、ユーザは、高速で変化するシーケンスを表示する際に注視を移す必要がない。
【００３１】
図１０ａ〜図１０ｃに示すように、軌跡に沿った一定の奥行位置にあるコレクタフレーム１０１０を用いる。視覚画像は、近づいてくるに従い、最終的にはコレクタフレーム１０１０の位置（画面前方）に達する。画像がコレクタフレームの平面に達すると、フレームを通過する代わりに、もともと表示されていた最後の画像と入れ替わる。換言すれば、アクティブな組の１番目の画像１４０１は、コレクタフレームに静的に保持され、アクティブな組の他の画像はコレクタフレームに近づいてくるように見える。他の画像がコレクタフレームの画像を遮蔽することはない。視覚的な観点から見れば、コレクタフレームは視覚焦点の領域の役割を果たし、そのコンテントは、シーケンス中の画像の進みよりも遥かに遅いレートで（例えば１秒に１回）入れ替わる。
【００３２】
コレクタフレームは、従来のビデオプレーヤの主表示領域に似ている。したがって、本方法は、従来のビデオプレーヤの早送りと巻き戻しの利点を、ユーザが画像シーケンスにおいて焦点の前方または後方を見ることを可能にする距離技法と組み合わせる。
【００３３】
本方法はユーザの周辺視野も利用する。ユーザがコレクタフレーム１０１０に焦点を合わせている間、画像シーケンスはユーザの周辺視野において後方から進んでくる。したがってユーザには、前景のコレクタフレームに焦点を合わせたままで、周辺の高レベルの情報、例えばシーンの変化または画像コンテントの意味的なグループ分けが予想できる。
【００３４】
意味的な間隔およびグループ分け
基本的な場合に、画像は、３Ｄ軌跡に沿って単一グループとして均等な間隔が空けられている。しかしながら画像は、不均等な間隔を空けて複数のグループにすることもできる。このような間隔は、論理的に順序付けられたシーンまたは章のように、あるいはコストにより順序付けられた製品またはサービスのカテゴリのように、画像を時間で意味的に表すことができる。これは全てレイアウト次第である。
【００３５】
遷移画像
図８に示すような意味的な間隔およびグループ分けを可能にするために、シーケンス中のグループ間に論理的な遷移画像８０１を挿入する。この遷移画像は、シーケンス中の１つのグループから次のグループへの任意の形態の視覚的遷移を表すことができる。遷移画像は単に、シーケンス中の空いた位置、すなわち透明画像８０２とすることができる。
【００３６】
グループおよび遷移フレームの使用は、何らかの１次元の線形または非線形目盛（例えばコンテントのオブジェクトの一時的配置）の上にマッピングすることができる、画像コンテント間の任意の意味的に一貫した関係を反映する。
【００３７】
画像シーケンスのトラバーサルの停止
心理学の文献から、初期の低レベルの視覚処理に対する認識とそれに続く反応には認知資源が用いられることが知られている。これにより、従来技術のＲＳＶＰモードを用いる際、よくある「行き過ぎ（overshooting）」の問題が生じる。これは、ビデオにおいて特定の所望のシーンまたは画像を検索する場合に非常によく見られる。
【００３８】
ＲＳＶＰシーケンスが高速表示されると、高速表示される画像を処理してこれに反応するために必要な知的オーバーヘッドにより、所望の画像と後の画像が入れ替わってしまう問題が必然的に生じる。その場合ユーザは、所望の画像を取り出すために逆戻りしなければならず、おそらくはまた所望の画像を行き過ぎてしまう。画像シーケンスを行ったり来たりする（oscillate）間に時間が無駄になる。
【００３９】
したがって、シーケンスの軌跡に沿った高速トラバーサルを停止させる新規の技法を提供する。本方法は、所望の画像のところで止まる可能性が高くなるように停止イベントの後に「逆戻りする」公式を含む。
【００４０】
所望の画像は、画像の認識に必要な推定時間（すなわち約１５０ミリ秒）と、制御動作という運動野の運動（motor movement）（スイッチを離す、あるいはマウスを制御アイコンから離す、等）を行うために必要な推定時間（すなわち約１００ミリ秒）とに基づいて決定する。したがって、停止イベントが信号伝達されたとき、所望の画像は、停止イベントが信号伝達される約２５０ミリ秒前に焦点５０４に表示されていた画像である。例えば、毎秒３０フレームでは、８コマ前のフレームが表示されることになる。
【００４１】
ターゲット化したトラバーサル
図１１に示されるように、本発明は、ターゲットフレーム組１１１が与えられた場合のシーケンスの半自動的トラバーサルも可能にする。まず始めに、クエリまたはメニュー動作を用いて、入手可能な画像組１０１全体からコンテント、すなわち表示すべき画像シーケンス１１１を選択する（１１０）。
【００４２】
例えば、画像が様々なテレビチャンネルで入手可能なビデオコンテントを表す場合、ユーザは、スポーツチャンネルのみを選択することができる。あるいは、監視システムによってあるシーンの画像を取得することができる。次にユーザは、特定の時間、選択した動きレベル、または認識した人物の画像を選択することができる。
【００４３】
ターゲットフレーム組１１１を選択すると、ユーザは、先に述べた方法で方向および速度の制御部を操作し、図１２のコントローラ１２００を用いて前または後へ、速くまたはゆっくりと移動する。しかしながらトラバーサルレートは、１つのターゲットフレームから次のターゲットフレームへの遷移にかかる時間が一定となるように、ターゲットフレームからの距離にも依存する。ここで、距離は３Ｄ座標により測定される。これにより、コレクタフレーム１０１０における通過画像の速度ならびにフレームレートが、最も近いターゲットフレームから画像がどれだけ遠いかによって変化するという効果が知覚される。
【００４４】
例えば、遠く離れたターゲットフレーム間のトラバーサルにかかる時間は、間隔の近いターゲットフレーム間のトラバーサルと同じである。またターゲットフレームは、他の画像よりも長くコレクタフレームに留まる。ターゲット化したトラバーサル中、ユーザは、シーケンスをトラバースさせるグローバルフレームレートを制御する。１つのターゲット化したフレームから次のターゲット化したフレームへの他の全てのレート、およびコレクタフレームの入れ替えレートは、ユーザ制御のグローバルフレームレートに比例する。
【００４５】
代替実施形態
本発明は、ある種の視覚的スキャニングまたは探索が必要とされるのであれば、様々な表示用途に用いることができる。
【００４６】
チャンネルサーフィング
この用途において、ブラウジングするチャンネル画像はテレビ番組を表す。全ての受信番組の放送を循環するチューナ（チャンネルセレクタ）がチャンネル画像を抽出することができる。全番組の１回の循環で各番組から１つの画像を抽出する。あるいは、放送局が代表的なチャンネル画像を提供することもできる。
【００４７】
図１２に示されるように、制御デバイス１２００は、速度および方向の制御のためのスイッチ１２１０を有する。好ましい実施形態において、スイッチはロッカスイッチである。ロッカスイッチは、前後方向の一定範囲にわたって速度の連続制御を可能にする。代替的に、この制御デバイスは、早送りキー１２０１、逆送り／巻き戻しキー１２０２、及び再生キー１２０３を含むことができる。
【００４８】
ユーザがロッカスイッチを押すと、現在の番組は中断され、システムはチャンネルサーフィンモードに入る。次にユーザは、チャンネル画像を順方向または逆方向に、制御可能な速度レートでトラバースする。ユーザがロッカスイッチを離すと、システムは、コレクタフレームのチャンネル画像に対応する番組を表示する。本実施形態は、時間をずらしたビデオプログラミングに拡張することができる。クエリモジュールを用いて、ブラウジング可能なシーケンスを構成する候補番組の組を選択する。
【００４９】
ビデオのスキミング（skimming）
この実施形態では、本発明の方法を用いて、ビデオをブラウジング、スキミング、または検索する。ビデオの要約化方法により、ブラウジング可能なシーケンスに含めるキーフレームを決める。この要約化方法には、よく知られたショット検出またはシーン解析技法を用いることができる。シーケンス中の各キーフレームの日時６０１における位置を、そのキーフレームに関連したデータに示し、図６に示すようにコレクタフレームの下に表示する。
【００５０】
製品のブラウジング
この実施形態における画像は製品のものである。ユーザは、ブラウジングまたはスキミングする特定の製品を選択する。製品画像は、価格、サイズ、色、製造者または他の属性でグループ分けすることができる。
【００５１】
人さがし
この実施形態における画像は人物のものである。このようなコンテントの取得は、ディレクトリサービス、政府機関、または監視ビデオによって行うことができる。顔の画像シーケンスは、時間、場所、または類似度で順序付けすることができる。
【００５２】
ＰＶＲ対応テレビシステムのための時間コンテキストベースのビデオブラウジングインタフェース
上記の実施形態は、記憶されたデジタルビデオを早送り（ＦＦ）モード及び巻き戻し（ＲＥＷ）モードでブラウジングする方法を説明する。この方法は、重なり合う一連の未来の画像及び過去の画像を表示することによって時間コンテキストを提供する。これらの実施形態は、従来のテレビと、記憶されたビデオを処理及び表示するコンピュータシステムとを用いる（参照により本明細書中に援用されるDivakaran, A.、Forlines, C.、Lanning, T.、Shipman, S.、Wittenburg, K.著「パーソナルデジタルビデオレコーダの早送り及び巻き戻しの増強（Augmenting Fast-forward and Rewind for Personal Digital Video Recorders）」（IEEE International Conference on Consumer Electronics (ICCE), Digest of Technical Papers, pp. 43-44, January 2005）も参照）。
【００５３】
そこでは、部分的に復号化されたＤＣフレームがＭＰＥＧ符号化ビットストリームから抽出される。ＤＣフレームは次に、より小さなスケールにダウンサンプリングされ、ビデオインタフェースを用いて表示される。これは、高速再生中にストリームの現在位置に対してＭＰＥＧストリームを先読みする能力、又は、高速再生中に記録媒体上の他の場所にあるＤＣフレームを抽出し、記憶し、インデックス付けするとともに、それらのＤＣフレームを取り出す能力を必要とする。これらの要件はいずれも、テレビシステム１５００では提供されない。
【００５４】
図１５〜図１７に示すように、次に、パーソナルビデオレコーダ（ＰＶＲ）対応のテレビシステム１５００のための時間コンテキストベースのビデオブラウジングインタフェースの１実施形態を説明する。高精細テレビ（ＨＤＴＶ）を用いて例示的なインプリメンテーションを説明するが、他のインプリメンテーションも可能であることを理解すべきである。例えば、セットトップボックス、ＤＶＤプレーヤ、又は本明細書中に記載する必要な機能を含む他の同等のコンポーネントにテレビモニタを結合することができる。テレビシステムという用語は、本明細書中で用いる場合、テレビ番組を表示することができる或る種のデバイスを指す。
【００５５】
システム１５００はテレビモニタ１５１０及びＰＶＲ１５２０を含む。ＰＶＲは、システム１５００によって、その従来の「非ブラウジング」動作中にシステム１５００のビデオインタフェース１７０１を用いてビデオフレーム１５３１として再生されるビデオの記憶媒体としてハードディスクドライブ１５２１を含む。ＤＶＤプレーヤ又はセットトップボックスも使用することができる。ＰＶＲは、通常再生用のビデオストリームと、早送り再生及び巻き戻し再生用の「トリック再生」ビデオストリームとをテレビシステムに提供する。
【００５６】
このシステムはまた、従来のビデオデコーダ・スケーラ１５３０を含む。このシステムはまた、本発明の１実施形態によるブラウジング中に使用されるビデオインタフェース１７０１及びグラフィックインタフェース１７０２に結合されるプロセッサ１５４０を含む。グラフィックインタフェースは、合成グラフィックＲＧＢ画像１６１２を表示するために用いられる。
【００５７】
プロセッサはメモリを含み、本発明ではその一部を、以下でより詳細に説明するように、縮小サイズの（スケーリングされた）ＲＧＢ画像１６１１を記憶するための循環バッファ１５４１として用いる。これらのコンポーネントはバス１５４２により接続される。例えば、このバスは、ＩＥＥＥ１３９４プロトコル、又は他の同等のバスプロトコルを用いることができる。
【００５８】
課題は、テレビシステムの計算資源の消費を最小限に抑えて、システムのどの既存の機能も妨害しないようにすることである。さらに、記憶されたビデオフレームをサンプリングして、サンプリングされたグラフィック画像を生成することが望ましい。ダウンサンプリングされた（縮小サイズの）グラフィックＲＧＢ画像は合成されて、グラフィックインタフェース１７０２を用いてレンダリングされる。
【００５９】
表示配置
本実施形態のブラウジングインタフェースは、テレビのリモコンデバイス１２００上のＦＦ／ＦＷＤ（早送り／順送り）キー１２０１又はＲＥＷ／ＲＥＶ（巻き戻し／逆送り）キー１２０２を押すことによって起動される（図１２を参照）。ビデオのソースはハードディスク１５２１となるように選択される。早送り再生中にテレビ画面１５１０上に表示される合成ＲＧＢ画像１６１２の一例を図１５に示す。
【００６０】
縮小サイズの画像は、出力グラフィック画像の非対称の「Ｖ」字レイアウト１５０３に合成される。上述のような他のレイアウトも可能である。画像のサイズは、Ｖ字の下部頂点１５０１におけるフルスクリーンの１／９（１／３スケール）から、各端１５０２におけるそのサイズの１／１６（１／１２スケール）まで様々である。
【００６１】
新たな（未来の）画像はまずＶ字の右上の端に合成され、Ｖ字の右側を下りてきて、頂点１５０１におけるコレクタフレームに達する。頂点に表示される画像は焦点画像と呼ばれる。焦点画像は現画像と見なされる。焦点画像は、閲覧者が再生キー１２０３を押したときに通常速度のフルスクリーン再生が再開される瞬間を表す。
【００６２】
頂点の右側の画像は焦点画像に対して未来のものであり、左側の画像は過去のものである。他の画像が焦点画像に重なることはない。見かけは、従来の早送りビデオを１／３スケールで観る場合とほぼ等しい。
【００６３】
未来の画像は重なり合うが、シーン境界及びカメラの移動ははっきりと見えるので、閲覧者が、ビデオ中の近づきつつある関心点を識別し、それに従って反応するのを助ける。
【００６４】
このレイアウトは、過去よりも未来を遠くまで見通せたほうが有用であるため、非対称である。高速逆再生中、Ｖ字レイアウトは両端が逆転し、新たなフレームは、Ｖ字の左上の端に出現し、右下から出て行く。
【００６５】
１つのインプリメンテーションは、システムの高画質のビデオスケーリング機能及びフレームサンプリング機能を利用することによって、上述の課題に上手く対処する。
【００６６】
図１６及び図１７は、テレビシステム１５００を用いてビデオをブラウジングするための方法及びシステムの基本ステップを示す。本方法は、現画像に対して「未来」にある縮小サイズの画像１６１１の一連のサンプルを周期的に得る（１６１０）。すなわち、サンプリングは時間的且つ周期的である。例えば、５番目毎又は１０番目毎のフレームがサンプリングされる。フレームの一部のみを周期的に選択することによって、早送り効果及び逆送り効果が可能になる。例えば、サンプリング中に１０個につき１個のフレームのみを選択した場合、再生中の加速は１０倍になる。サンプリングされたフレームは循環バッファ１５４１に記憶される。
【００６７】
縮小サイズの画像をバッファリングすることにより、画像の一部を「未来の」画像として提示することができるようになるとともに、再生を再開する前にＰＶＲ伝送を制御して再生位置を逆方向に移動させることができるようになる。これは、再生が時間を順方向及び逆方向に移動できるというユーザの錯覚を保つ。従来のＰＶＲ及びＡＶ／Ｃディスクはこの機能を有しない。本発明はこの問題を修正する。
【００６８】
選択されたビデオの最後のｎ個の画像を循環バッファ１５４１に記憶する（１６２０）。ここで、ｎはＶ字レイアウト中に表示される画像の数である。記憶された画像は、出力グラフィック画像１６１２のＶ字レイアウトに合成される。この合成出力グラフィック画像１６１２を周期的に、Ｖ字レイアウト表示１５０３として少なくとも毎秒５回レンダリングする（１６３０）。これらのステップを、サイクル毎に短い待ち期間で繰り返す（１６３５）。閲覧者が再生キーを押すと、システムは通常速度再生に戻る（１６４０）。
【００６９】
上述の実施形態では、コンピュータシステムがテレビへのインタフェースとして用いられる。そこでは、符号化ＭＰＥＧ−２ストリームを先読みすることによってサンプル画像が得られる。さらに、Ｉフレーム中の圧縮データからＤＣ画像が抽出される。次に、ＤＣ画像がスケールダウンされる。全ての操作はビデオ領域で働く。対照的に、この実施形態における表示画像はグラフィック領域にある。
【００７０】
テレビシステム１５００の１実施形態は、ＩＥＥＥ１３９４音声／ビデオ制御（ＡＶ／Ｃ）ディスク１５２１を用いてビデオを記憶する（「1394 Trade Association文書２００２００１、ＡＶ／Ｃディスクサブユニット共通仕様書１．２（AV/C Disk Subunit General Specification 1.2）、２００２年９月１３日」を参照）。
【００７１】
ＡＶ／Ｃディスクは、音声コンテント及びビデオコンテントを記録及び再生するための高レベルインタフェースを提供する。再生の場合、通常モード並びに早送りモード及び巻き戻しモードにおいて、ＡＶ／Ｃディスクは、ＩＥＥＥ１３９４アイソクロナス転送プロトコルを用いてビデオストリームをリアルタイムレートでのみ提供する。これにより、再生中に通常の入力ビデオストリーム１５３１を先読みすることは不可能になる。すなわち、「未来の」フレームを表示することは不可能である。
【００７２】
図１７に示すように、本発明のインプリメンテーションは、テレビシステムの構造、機能、及び性能に及ぼす影響が可能な限り小さいことが望ましい。この実施形態によって提供される追加機能を破線で示す。ＭＰＥＧビデオストリームを復号化の前にバッファリングして「未来の」ビデオフレームを蓄積することは、復号化のための時間的臨界経路（time critical path）にもう１つの複雑なステップを加えることになる。
【００７３】
テレビシステムは高画質のダウンスケーリング１５３０をサポートするため、本実施形態は、この機能を用いて、焦点（頂点）画像として用いる縮小サイズの画像１６１１を得るとともに、グラフィックススケーラを用いて画像のサイズをさらに縮小し、グラフィックインタフェース１７０２を用いてＶ字レイアウトの両側に合成画像として表示する。両側とは、本明細書において、コレクタフレームの画像に対して順方向又は逆方向の時間を意味する。
【００７４】
現在の復号化されスケールダウンされたビデオ画像をサンプリングし、この画像をＹＵＶビデオフォーマットからグラフィックインタフェースのＲＧＢグラフィックフォーマットに変換するためのハードウェア及びソフトウェアもまたテレビシステムにより提供されて、テレビシステムの既存の機構、例えばピクチャ・アウトサイド・ピクチャ（picture-outside-picture）すなわち「ＰＯＰ」画面フォーマットをサポートする。
【００７５】
従来技術のようにＭＰＥＧビデオストリームを先読み又はバッファリングする代わりに、本発明では、ｎ個のサンプリングされた１／３スケール画像１６１１をバッファリングする。このｎ個の１／３スケール画像は、グラフィックインタフェース１７０２を用いてＶ字レイアウト１５０３をレンダリングするために循環バッファ１５４１に記憶される。Ｖ字レイアウト表示は、完全にＲＧＢフォーマットのグラフィックオーバーレイとして合成される。利点として、グラフィックオーバーレイは、復号化されたビデオ出力との同期を必要としない。すなわち、ダウンサンプリングプロセスは、復号化／スケーリングプロセスに対して非同期である。
【００７６】
Ｖ字レイアウトを合成画像でフィルする（埋める）のに必要とされる時間は、有用な数の未来の画像、例えば１０個以上をバッファリングするのに十分な長さである。初期のフィル時間は短く、約２秒であるため、通常の閲覧者はこの短い時間遅延に気付かないであろう。このシステムは、事前に記憶された媒体、又は放送信号若しくはケーブル信号によってセットトップボックスを介して配信されるリアルタイム媒体の両方とともに用いることができる。
【００７７】
上述したハードウェアによりサポートされるグラフィックス操作を除けば、ブラウジングインタフェースの全てのステップはプロセッサ１５４０によって行われる。プロセッサ能力の大部分は、復号化のサポート及び他の従来の機能のために既に使用されている。どの既存の機能も妨害しないように、ブラウジングインタフェースの実行スレッドには、適切なスケジューリング優先度が割り当てられ、タイマイベントが課す最大レートまで非同期にフリーランできるようになっている。正確な更新レート及びタイミングは重要ではなく、実際には、例えば７Ｈｚの有効更新レートが達成され、ジッタは目立たない。
【００７８】
ビデオ中の再生位置は焦点出力画像の数秒前であるため、再生位置は、閲覧者が再生キーを押したときの焦点画像のそれに対応するように調節されて、通常速度のフルスクリーン再生に戻る。各縮小サイズの画像は、サンプリング時にタイムスタンプが付与され、焦点画像のタイムスタンプとＶ字の「入力」側の上端にある画像のタイムスタンプとの間の差がＡＶ／Ｃデバイスの制御機能に渡される。ＡＶ／Ｃデバイスの制御機能はこの値を用いて、通常速度再生に切り替える前に再生位置を調節する。
【００７９】
本発明を好ましい実施形態例として説明してきたが、本発明の精神および範囲内で様々な他の適応および修正を行うことができることが理解される。したがって、添付の特許請求項の目的は、本発明の真の精神および範囲に含まれる変形および修正をすべて網羅することである。
【図面の簡単な説明】
【００８０】
【図１】従来技術のカルーセル表示モードにより表示された画像を示す図である。
【図２】従来技術の動的コラージュモードにより表示された画像を示す図である。
【図３】従来技術の浮動モードにより表示された画像を示す図である。
【図４】従来技術のシェルフモードにより表示された画像を示す図である。
【図５】本発明による直線状の３次元軌跡に沿って表示された画像を示す図である。
【図６】本発明による曲線状の３次元軌跡に沿って表示された画像を示す図である。
【図７】本発明によるＳ字状の３次元軌跡に沿って表示された画像を示す図である。
【図８】遷移画像によって分離された画像グループを示す図である。
【図９】本発明による画像制御を示す図である。
【図１０ａ】本発明によるコレクタフレームを示す図である。
【図１０ｂ】本発明によるコレクタフレームを示す図である。
【図１０ｃ】本発明によるコレクタフレームを示す図である。
【図１１】本発明による、ターゲットフレームを有する画像の半自動的な提示を示す図である。
【図１２】ユーザ入力デバイスのブロック図である。
【図１３】本発明による提示方法のフロー図である。
【図１４】本発明によるアクティブな画像組のブロック図である。
【図１５】本発明の１実施形態による、時間コンテキストベースのビデオブラウジングインタフェースを用いてビデオをブラウジングするためのテレビシステムのブロック図である。
【図１６】本発明の１実施形態による、テレビシステム上でのブラウジング方法のブロック図である。
【図１７】図１５及び図１６のシステム及び方法のフロー図である。
【図１】
2007183588.tif 000003
【図２】
2007183588.tif 000004
【図３】
2007183588.tif 000005
【図４】
2007183588.tif 000006
【図５】
2007183588.tif 000007
【図６】
2007183588.tif 000008
【図７】
2007183588.tif 000009
【図８】
2007183588.tif 000010
【図９】
2007183588.tif 000011
【図１０ａ】
2007183588.tif 000012
【図１０ｂ】
2007183588.tif 000013
【図１０ｃ】
2007183588.tif 000014
【図１１】
2007183588.tif 000015
【図１２】
2007183588.tif 000016
【図１３】
2007183588.tif 000017
【図１４】
2007183588.tif 000018
【図１５】
2007183588.tif 000019
【図１６】
2007183588.tif 000020
【図１７】
2007183588.tif 000021
【外国語明細書】
2007183588.tif 000022
2007183588.tif 000023
2007183588.tif 000024
2007183588.tif 000025
2007183588.tif 000026
2007183588.tif 000027
2007183588.tif 000028
2007183588.tif 000029
2007183588.tif 000030
2007183588.tif 000031
2007183588.tif 000032
2007183588.tif 000033
2007183588.tif 000034
2007183588.tif 000035
2007183588.tif 000036
2007183588.tif 000037
2007183588.tif 000038
2007183588.tif 000039
2007183588.tif 000040
2007183588.tif 000041
2007183588.tif 000042
2007183588.tif 000043
2007183588.tif 000044
2007183588.tif 000045
2007183588.tif 000046
2007183588.tif 000047
2007183588.tif 000048
2007183588.tif 000049
2007183588.tif 000050
2007183588.tif 000051
2007183588.tif 000052
2007183588.tif 000053
2007183588.tif 000054
2007183588.tif 000055
2007183588.tif 000056
2007183588.tif 000057
2007183588.tif 000058
2007183588.tif 000059
2007183588.tif 000060
2007183588.tif 000061
2007183588.tif 000062
2007183588.tif 000063
2007183588.tif 000064
2007183588.tif 000065
2007183588.tif 000066
2007183588.tif 000067