(57)【要約】選択したセマンティックに応じて提示された映像コンテンツを視聴することを望む視聴者のために、より均一な再生エクスペリエンスを達成するために、セマンティックベースの基準を用いてビデオコンテンツの再生を制御するためのトリックモードプレイが実現可能である。本方法の一実施形態では、ビデオコンテンツの短い時間間隔に関連しているセマンティックは、比例長い時間間隔に関連しているセマンティックよりも遅いトリックプレイモードで再生され、少なくとも部分的に、各セマンティックに関連付けられた時間間隔に対して比例して決定されることが特徴である。様々な実施形態では、セマンティックは、シーン、音声、メタデータ、タグ、などを含むことができる。セマンティックに基づいたトリックモードプレイのアプローチは、持続時間に基づいて１つのセマンティックから次のセマンティックへと、より均一な視聴体験を可能にしている。
2013541901.tif 000002
【特許請求の範囲】
【請求項１】
トリックモード操作においてビデオコンテンツの再生を制御するための方法であって、
トリックモードのコマンドを受信することと、
ビデオコンテンツ中の連続したセマンティックの間の時間間隔、ビデオ・コンテンツの持続時間、ビデオコンテンツのセマンティックの出現数及びビデオコンテンツの通常のプレイモードでのフレームレートの関数としてトリックモードフレームレートを決定すること、
を含み、受信したトリックモードコマンドにより定義されたトリックモードでの時間間隔に関連したビデオコンテンツがトリックモードフレームレートで表示される、前記方法。
【請求項２】
前記トリックモードフレームレート、Ｖｉは、Ｔｉをビデオコンテンツ内のｉ番目と（ｉ＋ｌ）番目の連続したセマンティック間の時間間隔、Ｔをビデオコンテンツの持続時間、Ｎをビデオコンテンツのセマンティックの出現回数、Ｍを通常の再生モードのフレームレートとしたとき、Ｖｉ＝［Ｔｉ／Ｔ］×（Ｎ×Ｌ×Ｍ）として決定される、請求項１に記載の方法。
【請求項３】
前記トリックモードコマンドは、フレームレート乗数および前記ビデオコンテンツの再生方向の表示を識別し、フレームレートは１ではない、請求項１に記載の方法。
【請求項４】
連続したセマンティックは、ビデオコンテンツのシーンの変更、ビデオのコンテンツに関連付けられた選択されたメタデータ、ビデオコンテンツに関連付けられている選択されたタグ、ビデオコンテンツに関連付けられた選択されたオーディオ、ビデオコンテンツの選択された統計値のうちの少なくとも一つを含む群から選択される、請求項１に記載の方法。
【請求項５】
前記トリックモードフレームレートＶｉの大きさを前記フレームレートＭと比較することと、
前記表示は、前記比較の結果前記トリックプレイモードフレームレートＶｉの大きさが前記フレームレートＭよりも小であると判断されたときに、ｉ番目のセマンティック出現に対応したビデオコンテンツを前記フレームレートＭで前記時間間隔Ｔｉのあいだ表示することと、
をさらに含む、請求項２に記載の方法。
【請求項６】
計算されたトリックモードフレームレートと時間間隔Ｔｉ−１でのセマンティック発生に関連する現在のトリックモードフレームレートＶｉ−１との差を検出することと、
前記差の大きさが所定の閾値を超えたとき、ｉ番目のセマンティック出現のトリックモードフレームレートを現在のトリックモードフレームレートＶｉ−１からｉ番目のセマンティック出現の表示中に計算されたトリックモードフレームレートＶｉに変化させることと、
をさらに含む、請求項２に記載の方法。
【請求項７】
前記変化は、段階的増加、線形の段階的増加、非線形の段階的増加、均一に等しい段階的増加からなる群の中から選択された方法で行われる、請求項６に記載の方法。
【請求項８】
ビデオコンテンツ中のセマンティックの出現数は、ビデオコンテンツにおける前記セマンティックの出現の統計的平均の数値で表され、統計的平均は、ビデオコンテンツの一つ以上の関連した特性に基づいている、請求項１に記載の方法。
【請求項９】
前記ビデオコンテンツの1つ以上の関連する特徴は、少なくともビデオコンテンツの期間とビデオコンテンツのジャンルの特性から成る群から選択される、請求項８に記載の方法。
【請求項１０】
ビデオコンテンツにおけるセマンティック出現回数を決定するためにビデオコンテンツを解析することをさらに含む、請求項１に記載の方法。
【請求項１１】
分析することは、各セマンティック発生の時間を示す値を生成するために、セマンティック出現をインデックス番号付けすることを含む、請求項１０に記載の方法。
【請求項１２】
各セマンティック出現を、前記各セマンティック前記出現の時間を示す前記値とともに格納することをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記ビデオコンテンツにより、特定されたセマンティックを受信することをさらに含む、請求項１に記載の方法。
【請求項１４】
セマンティック出現に対応するビデオコンテンツのトリックモード再生中に、オーディオを前記時間間隔の間、無音にすることをさらに含む、請求項１に記載の方法。
【請求項１５】
トリックモード操作においてビデオコンテンツの再生を制御するためのシステムであって、
トリックモードコマンドを受信するための手段と、
ビデオコンテンツでの連続したセマンティック間の時間間隔と、ビデオコンテンツの持続時間と、ビデオコンテンツのセマンティックの出現数と、ビデオコンテンツの通常のプレイモードでのフレームレートの関数としてトリックモードフレームレートを決定するための手段と、
トリックモードフレームレートにおいて、受信トリックモードコマンドにより定義されたトリックモードでの時間間隔に関連するビデオコンテンツを表示する手段と、
を含む、前記システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示技術の分野に関し、より具体的には１または複数のトリックモードを使用したビデオ再生に関する。
【０００２】
［関連出願の相互参照］
この出願は、その全体が本明細書中で参考として援用される２０１０年３月３１日にＰＣＴ出願されたＰＣＴ特許出願番号ＰＣＴ／ＣＮ２０１０／０００４１３、代理人整理番号ＰＡ１０００１３に関係している。
【背景技術】
【０００３】
従来より、トリックモード操作は、他の種々の操作の中で、とりわけビデオの前方び逆転の再生モードを含むものであると考えられている。一般的には、ビデオの再生制御のみならず、それに対応したスローモーション再生のための早送り、早戻しの操作は、時間に基づいて実装されている。即ち、順方向または逆方向を問わず、高速再生は、通常の再生速度の、典型的な整数の乗数の大きさが１より大である整数倍の速度で行われる。スローモーション再生が１未満のゼロより大きい大きさの乗数を用いて行われることが理解されるべきである。完全を期すと、乗数の符号は操作の方向を決定するために利用され、正の符号は通常順方向の操作を指定する一方、負の符号は通常は逆方向の操作を指定する。
【０００４】
早送りや早戻し操作は、長い時間間隔のビデオコンテンツが再生動作の速度乗数に比例的に関係したずっと短い時間間隔の間に圧縮され再生されることを生じさせる。例えば、2倍（２Ｘ）早送り（ＦＦ）は、2秒毎のビデオコンテンツが１秒間隔で再生されるように、順方向で再生されるべきビデオコンテンツが通常の倍の速度で再生されることになる。４倍（４Ｘ）、８倍（８Ｘ）、１６倍（１６Ｘ）のような、より高い速度の場合は、それに比例した量のビデオコンテンツが１秒ごとの間隔で再生されることになる。
【０００５】
このようなトリックモードの操作は、時間にのみ基づいており、時間に関連しない他の根拠や基準を明らかに除外している。これは、順方向／逆方向の早送り再生、順方向／逆方向のスロー再生などの標準的なトリックモード再生操作のために、動画コンテンツのタイムラインまたはタイムシーケンスが均等に圧縮されるか、又は均等に展開されることを意味している。標準トリックモード再生は多くの視聴者に適しているかもしれないけれども、そのような時間ベースのアプローチは、他の視聴者にアピールする可能性のある映像コンテンツの特定の面に対しては実際には不均一なトリックモード再生速度を生じる可能性があることが認識されてきた。たとえば、長いシーンは短いシーンに比べてそれに比例した長い再生時間を占有し、すべて特定のシーン期間または長さに正比例するため、標準の時間ベースのトリックモード再生を使用するとビデオシーンは時間的に不均等に再生される。例えば、速度が４倍（４Ｘ）、８倍（８Ｘ）のように通常の速度に対して明らかに高い倍数の速度で場合は特に、短いシーンのビデオコンテンツ情報は、特に長い期間のシーンとは対照的に、早戻しや早送り操作時に識別することがほぼ不可能であるかもしれない。このように、単に時間のみに基づいたトリックモードの再生操作は、ビデオコンテンツの視聴者のすべてのニーズを満たすのには不十分である。
【発明の概要】
【０００６】
本発明の実施形態は、少なくとも一部分は、コンテンツのセマンティック（意味）に基づくビデオシステムにおけるトリックモード再生のための方法を提供することによって、従来技術の欠点に対処することに向けられている。
【０００７】
本発明の一実施形態では、視聴者が選択されたセマンティックに応じて映像コンテンツを視聴しようとする場合、視聴者のためにより均一な再生体験を実現するために、映像コンテンツの再生を制御するためのトリックモードプレイがセマンティックに基づく基準を用いて実現される。典型的な高速の順方向／逆方向トリックモードプレイを用いるこのような実施形態では、ビデオコンテンツの短い時間間隔に関連したセマンティックが長い時間間隔に関連したセマンティックに比べて比例的により遅いトリックモード再生で再生され、その比例性は少なくとも一部が各セマンティックに関連した時間間隔に応じて決定されることが特徴である。このアプローチは、１つのセマンティックから次のセマンティックへと、持続時間ベースでより均一な視聴体験を可能にする。
【０００８】
本発明の種々の実施形態では、セマンティックには上記の映像シーンが含まれる。それらには、ビデオコンテンツのための１つ以上の選択されたメタデータ要素、ビデオコンテンツに関連付けられたタグ、ビデオコンテンツのサブタイトル、会話と特徴的雑音を含むビデオコンテンツのオーディオの特徴、色の特徴、シーンの詳細、瞬間的な符号化速度等の映像コンテンツの他の定義可能で識別可能な特徴、等の他の特性とデータが含まれる。本発明の種々の実施形態では、瞬間的な符号化速度のセマンティックは、シーン変化が多いか又は少ないかを示すために使用することができる。例えば、瞬間的な符号化速度が高いことは、シーンの変化等のより多くのセマンティックが発生することを推測することができる。
【０００９】
本発明の種々の実施形態によれば、ビデオコンテンツは特定のセマンティックの根拠を用いたトリックモード再生を介して再生することができ、例えばシーン等の、選択したセマンティックの生起に対応したビデオコンテンツの各区間が、例えば、特定のセマンティックの生起時間に反比例した時間の間再生される。したがって、セマンティック発生がセマンティックベースのトリックモード再生操作を使用して視聴者に提示される速度は、ビデオコンテンツのタイムラインに沿った選択されたセマンティックの密度に反比例する。ビデオコンテンツの単位時間あたりのセマンティックの密度が高いことは、選択されたセマンティックが最初に発生してから選択されたセマンティックが次に発生するまで測定される時間間隔である、各セマンティック発生の時間間隔が比較的短いことを意味している。本発明の実施形態は、シーンに基づく早送りトリックモードプレイの例を使用して、ビデオコンテンツが、特定の時間間隔で少数のシーンが発生する（すなわち、シーンの密度が低い）ときの、高いトリックモード再生速度よりも、同一の長さの時間間隔で多数のシーンが発生する（すなわち、シーンの密度が高い）ときに、遅いトリックモード再生速度で視聴者に提示されることを可能にする。このようにして、視聴者は、希望のトリックモードにおいて、各選択されたセマンティックの発生をほぼ同じ時間に亘って表示することが可能である。
【図面の簡単な説明】
【００１０】
本発明の教示は、添付の図面と共に以下の詳細な説明を考慮することによって容易に理解することができる。
【図１】本発明の一実施形態によるセマンティックベースのトリックモード再生するための方法を実行することが可能なシステムの高レベルのブロック図である。
【図２】本発明の実施形態によるセマンティックベースのトリックモードプレイ操作の少なくとも一部を実装するための方法のフロー図である。
【００１１】
なお、図面は、本発明の概念を説明するためのものであり、本発明を説明するための唯一の可能な構成であるとは限らないことを理解すべきである。理解を容易にするために、可能な場合には、各図面に共通な同一の要素を指定するために同一の参照符号が使用されている。
【発明を実施するための形態】
【００１２】
本発明は、ビデオシステムにおけるセマンティックベースのトリックモード再生のための方法を有利なかたちで提供する。本発明は、主としてＭＰＥＧ形式や動きの速いトリックモード再生などのようなデジタルモーションビデオ情報を背景として説明されているけれども、本発明の特定の実施形態は、本発明の範囲を限定するものとして扱われるべきではない。本発明の概念は、スローモーションのトリックモード再生などの他のトリックモード再生中に、ほぼどのようなコンテンツにも有利に適用可能であることは、当業者によって理解され、本発明の教示によって知ることができる。
【００１３】
本願明細書で説明されたトリックモード法の実施形態は、意味情報を用いて映像コンテンツの再生を制御する。映像コンテンツは、それらには限定されないけれども、メタデータ、ビデオタグ、字幕、インデックスファイルなど含む映像コンテンツに関する追加データにより増強される。デジタルモーションビデオコンテンツのみならず、ビデオコンテンツに伴う追加データの様々の種類、フォーマットは、当技術分野でよく知られており、例えばそれぞれの標準化団体のアーカイブで文書化されている。このトピックに関するそれ以上の説明は、ここでは提示されない。
【００１４】
本説明を通して、用語 「トリックプレイ」、「トリックモード」、 「トリックプレイモード」、「トリックモードプレイ」はその意味および範囲を意図的に制限または変更することなしに、すべて交換可能に使用され得る。もちろん、本明細書の記述において、上に示した用語等の用語を使用する際の一貫性を維持するために、すべての努力が払われている。
【００１５】
本明細書に記述されたすべての例と条件の記述は、本発明の原理と発明者らによる技術の促進に貢献した概念を理解する際に読者を支援するための教育的な目的を意図した記載であり、具体的に記述された例および条件に限定されるものではないものとして解釈されるべきである。
【００１６】
また、本明細書中で本発明の原理、態様、および本発明の原理の実施形態を述べたすべての記述及びその具体例は、それらの構造の均等物及び機能的な均等物の両方を包含することが意図されている。さらに、そのような同等物は、現在知られている均等物ならびに将来的に開発される均等物、すなわち構造にかかわらず、同じ機能を実行する開発された任意の要素、の両方を含むことが意図されている。
【００１７】
したがって、例えば、本明細書に示されたブロック図は、本発明の原理を具現化する例示的なシステムコンポーネント及び／または回路の概念図を表すことが、当業者によって理解されるであろう。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コード等がコンピュータ可読媒体上で実質的に表されることができ、コンピュータまたはプロセッサが明示的に示されているか否かを問わず、そのようなコンピュータ又はプロセッサによって実行することができる様々なプロセスを表すことが理解されるであろう。
【００１８】
図に示された様々な要素の機能は、専用のハードウェアを使用するだけでなく、適当なソフトウェアと関連してソフトウェアを実行可能なハードウェアを介して提供することができる。
【００１９】
プロセッサによって提供される場合、これらの機能は単一の専用プロセッサ、単一の共有プロセッサ、またはそのいくつかは共有されることがある複数の個々のプロセッサによって提供することができる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に指すように解釈されるべきではなく、それらに限定されないけれども、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを格納するための読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および不揮発性記憶装置を暗黙のうちに含んでいる。
【００２０】
本明細書に記載した方法の実施形態は、プロセッサによって実行される命令によって実行することができ、このような命令は、例えば、集積回路、ソフトウェアキャリアやなどのプロセッサ可読媒体や、例えば、ハード・ディスク、コンパクトディスク、ランダムアクセスメモリ（「ＲＡＭ」）、または読み取り専用メモリ（「ＲＯＭ」）などの他のストレージデバイス上に格納することができる。命令は、プロセッサ可読媒体上に有形のかたちで実現されるアプリケーションプログラムを形成してもよい。プロセッサは、例えば、プロセスを実施するための命令を有するプロセッサ可読媒体を含んでもよいことを明確にする必要が有る。このようなアプリケーションプログラムは任意の適切なアーキテクチャを有するマシンにアップロードされ、それによって実行することができる。好ましくは、このマシンは、1つまたは複数の中央処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、入/出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上に実装される。コンピュータプラットフォームは、オペレーティングシステムおよびマイクロコードを含むことができる。本明細書中に記載された様々なプロセスおよび機能はＣＰＵによって実行することができる、マイクロ命令コードの一部またはアプリケーションプログラムの一部、またはそれらの任意の組み合わせの何れかであっても良い。それ加えて、追加のデータストレージユニットおよび印刷ユニットのような様々な他の周辺装置をコンピュータプラットフォームに接続することができる。
【００２１】
図に示された要素は様々な形態のハードウェア、ソフトウェア、またはそれらの組み合わせで実装することができることが理解されるべきである。好ましくは、これらの要素は、ハードウェアと、プロセッサ、メモリ、入力/出力インタフェースを含むことができる1つ以上の適切にプログラムされた汎用デバイス上のソフトウェアとの組み合わせで実装される。さらに、本明細書で説明された実装部分は、例えば、メソッドまたはプロセス、装置、またはソフトウェアプログラムとして実装することができる。単一の形式（たとえば、方法のみとして議論されている）の実装の文脈でのみ論じられているとしても、説明した機能の実装は、他の形態（例えば、装置又はプログラム）で実施されてもよい。装置は上記のように実現することができる。方法は、例えば、例えばコンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイス等を含む一般的な処理装置を指すプロセッサなどの装置内に実装することができる。処理デバイスはまた、エンドユーザと、ビデオコーダと、ビデオデコーダと、ビデオコーデックと、ウェブサーバと、セットトップボックスと、ＨＤＤレコーダー、記録ソフトウェアを実行するコンピュータ、ビデオカメラ、インターネットや他の通信リンク上でデータのストリーミング、ビデオオンデマンドなどの個人記録装置との間で情報の通信を容易にする、携帯電話、ポータブル／パーソナルデジタルアシスタント（「携帯情報端末」）、及びその他のデバイスなどの通信デバイスを含む。
【００２２】
例えば、図１は、本発明の実施形態による、セマンティックベースのトリックモード再生方法を実行することが可能なシステムの高レベルのブロック図を示している。システム１００は記憶媒体１１２からデータを読み取り、データを書き込むためのコントローラ１１０を含むことができる。システム１００はまた、検索エンジン１１４、マイクロプロセッサ１１６、送信バッファ１１７および表示装置１１８を有することができる。検索エンジン１１４は、記憶媒体１１２から読み出された映像信号の中で１又は複数の特定の種類の写真を特定するための適当なソフトウェアと回路を含むことができる。制御およびデータインターフェースを、マイクロプロセッサ１１６がコントローラ１１０と検索エンジン１１４の動作を制御することを可能にするために設けることができる。マイクロプロセッサ１１６によって行われる従来の操作のために適切なソフトウェアまたはファームウェアをメモリ内に設けることができる。また、本発明の種々の実施形態の発明の概念に基づいて、マイクロプロセッサ１１６のためにプログラムルーチンを提供することができる。
【００２３】
検索エンジン１１４とマイクロプロセッサ１１６のすべてまたは一部分は、本発明の実施の意図の範囲内でビデオプロセッサ１２０とすることができることが理解されるべきである。さらに、コントローラ１１０、検索エンジン１１４、マイクロプロセッサ１１６及び、送信バッファ１１７の全てまたは一部分は、本発明の種々の実施形態の意図する範囲内でビットストリームソース１２２とすることができる。一構成において、表示装置１１８は、記憶媒体１１２から読み出され、ビットストリームソース１２２によって処理されたビデオ信号の全部または一部分をデコードするために、独自のデコーダ（図示せず）を含むことができる。この特定の構成においては、ビットストリームソース１２２のデコーダ（図示せず）は、典型的に、記憶媒体１１２から読み出された映像信号をデコードしない。この特定の実施例は、リモートデコーダ構成と呼ぶことができる。なお、本発明はこの構成に限定されるものではなく、本発明は他の適当なシステムで実施することもできることに注意すべきである。
【００２４】
本発明の様々な実施形態では、本発明によるセマンティックベースのトリックモード再生は、映像コンテンツが、トリックモードの方向のビデオのタイムラインに沿った選択したセマンティックの密度に応じて通常の時間内のそのプレゼンテーションに関して不均等に提示されるように、ビデオコンテンツの再生を制御することができる。早送りや早戻しのトリックモードの場合、ユーザに対してはいくつかのセマンティックの出現に対する露出時間が長くなり、したがって、ユーザに対して映像コンテンツ内のより多くのセマンティック変化を有する時間間隔の間にそれらの発生に関連したより多くのフレームが表示される。ユーザがトリックモードプレイ中に各セマンティック発生からほぼ等しい量の情報を観ることができるため、この方法はより有益な、おそらく、ユーザフレンドリーなトリックモードエクスペリエンスをユーザに提供する。
【００２５】
以下の説明では、典型的なセマンティックが選択されている。そのセマンティックは、映像コンテンツのシーンやシーンの変化である。理解を容易にするため、このセマンティックが使用される。典型的なセマンティックの使用はいかなる方法でも本発明の範囲を限定することを意図するものではないことが理解されるべきである。セマンティックが、コンテンツの作成や、映像コンテンツのための１又は複数の選択したメタデータ要素としての映像コンテンツと補助ファイルの他の特性およびデータ、映像コンテンツに関連付けられたタグ映像、映像コンテンツの字幕、会話と特性ノイズを含む映像コンテンツ内のオーディオ機能、色の特徴、シーンの詳細、瞬時符号化率、動きベクトルの変動等の映像コンテンツの任意の他の定義及び識別可能な特徴、等を使用するメタデータの自動参照においてマニュアルでメタデータを挿入することによって実現できることが企図されている。
【００２６】
速いトリックモードでは、順方向であるか逆方向であるかにかかわらず、ビデオコンテンツに単位時間あたりのシーン変化が比較的多く存在するときにビデオコンテンツは比例的に遅く再生され、ビデオコンテンツにおいて単位時間あたりのシーン変化が比較的少ないときにビデオコンテンツは比例的に速く再生される。比例性に基づいてセマンティック時間間隔を用いることにより、この手法によって、視聴者は通常の再生モードでシーンがどのくらい長いか短いかに関係なく、トリックプレイにおいて実質的に同様の期間で各シーンを体験することが可能になる。
【００２７】
図１は、本発明の実施形態によるセマンティックベースのトリックモードプレイの少なくとも一部を実装するための方法のフロー図を示す。図１のステップ１において、ビデオコンテンツが３６００秒の合計持続時間（すなわち、１時間）と、毎秒３０フレームの通常のフレームレートＭ（すなわち、通常の再生中のフレームレート）を有することが想定されている。本発明の一実施形態では、持続時間ＴおよびフレームレートＭはビデオコンテンツのパッケージ自体にメタデータとして組み込むことができる。本発明の別の実施例では、この情報は、外部から供給されるか、又はトリックモードの操作を呼び出す前に、内容の分析を通して決定される。
【００２８】
図１のステップ1において、シーンの変化の形でＮ個のセマンティック発生又は出現があり、Ｎは３６０シーンであると仮定する。各シーンの変化は、ｉが０からＮ、映像コンテンツの冒頭ではｔｉ＝０、映像コンテンツの末尾でｔＮ＝Ｔ、である発生時間ｔｉに関連付けられる。連続した変化の間のセマンティック時間間隔、Ｔｉ＝ｔｉ＋１−ｔｉ、は、一つのシーンから次のシーンへのランダムな時間を有する。純粋に統計的な観点からは、ビデオコンテンツが通常の速度で再生されている場合、シーンの間隔の平均の期間は、この例ではＴ／Ｎ秒または１０秒になる。ビデオコンテンツは、例えば通常の再生速度のＬ倍の高速再生をすると、シーンの間隔の平均期間は、Ｔ／（Ｌ×Ｎ）秒になる。Ｌが希望のトリックモードをプレイのための通常のフレームレートＭの２倍のフレームレート乗数である場合は、トリックモードプレイ中のシーンの平均持続時間は、Ｌが２の時、５秒となる。
【００２９】
フレームレート乗数Ｌはステップ２と３においてテレビと組み合わせられたセットトップボックスなどのビデオディスプレイ又はプレゼンテーション装置によって受信されたトリックモードのコマンドから決定される。トリックモードコマンドは、一般的に早送りまたは逆方向コマンドとしてリモートコントロール装置から受信される。トリックモードコマンドは、フレームレート倍数L、およびトリックモード再生の方向（すなわち順方向、またはその逆方向）の指標が含まれている。トリックモードは通常のフレームレート、Ｍより小さいか大きいフレームレートで動作するので、フレームレート乗数Ｌは１に等しくないと仮定される。一例では、方向の指標は符号として定式化され、Ｌが正の値であれば、通常のフレームレートのＬ倍の前方トリックモードを示し、Ｌが負の値であればノーマルフレームレートでのＬ倍の逆方向トリックモードを示す。
【００３０】
上述のように、このように、本発明の様々な実施形態において、各セマンティック間隔が異なる持続時間を持っているにもかかわらす、順方向か逆方向かによらず、キーセマンティックの時点や出現の間のトリックモードの再生はＴ／（Ｌ×Ｎ）秒単位で行われる。1つのセマンティック間隔から次の間隔への期間が違うことから、この機能はトリックモードで、関連したセマンティック間隔内のシーンを毎秒Ｖｉ＝［Ｔｉ／Ｔ］×（Ｎ×Ｌ×Ｍ）フレームの計算されたトリックモードフレームレートで再生することによって達成され、ステップ４および５に示すように、Ｔｉ＝ｔｉ＋１−ｔｉであり、現在位置は、時間ｔｉと時間ｔｉ＋１上又はその間にある。上記の２×トリックモードのパラメータを使用した例では、計算されたトリックモードフレームレートはＴｉ＝ｔｉ＋１−ｔｉとしたときＶｉ＝６Ｔｉである。これはトリックモードフレームレートが連続したセマンティック発生または瞬間の間のセマンティック時間間隔に正比例していることを意味している。セマンティック間隔が短いか又はセマンティックの出現が高密度である場合はセマンティック間隔が長いかまたはセマンティックの出現が低密度である場合よりも遅いフレームレートで表示される。
【００３１】
セマンティック間隔（例えば、シーン間隔）が異なるため、１つまたは複数のセマンティック間隔がかなり短く、トリックモードフレームレートで連続して表示するフレームの数が不足すること可能性があり、セマンティック間隔ＴｉがフレームレートＶｉでのトリックモードプレイの全体のＴ／（Ｌ×Ｎ）秒に満たない可能性がある。本発明の一実施形態では、Ｔ／（Ｌ×Ｎ）秒の全体リプレイの期間にわたってそのセマンティック間隔のフレームシーケンスに十分な数のダミーフレームを充填することによってそのセマンティック間隔からのビデオコンテンツを効果的に伸ばすことでこの問題を克服することができる。
【００３２】
あるいは、トリックモードで再生されている各セマンティック間隔ＴｉがＴ／（Ｌ×Ｎ）秒のフル再生期間にまたがるようにフレームの十分な数を持っているかどうかを決定することによって、上記の問題を完全に回避することも可能である。これは、セマンティック期間Ｔｉに対して計算されたトリックモードフレームレートＶｉの大きさを閾値レートと比較することによって達成することができる。満足な閾値フレームレートの一つは通常のフレームレート、Ｍである。Ｖｉの大きさがＭより小さい場合、計算されたトリックモードフレームレートが新しい値に置き換えられて、通常のフレームレートＭに設定される。計算されたフレームレートの大きさは、順方向および逆方向のフレームレートが、それぞれ、正と負の符号を持っているという事実を補うために使用される。このフレームレートのリセットは、セマンティック期間に十分な数のフレームがあり、新たな速度Ｖｉ＝Ｍで再生されるときに、フレームが再生期間の全体を埋めることが保証される。残念ながら、トリックプレイ中のこのセマンティック間隔、Ｔｉの持続時間はＴ／（Ｌ×Ｎ）秒の全再生期間ではないことを意味している。それにもかかわらず、セマンティック間隔、Ｔｉは、もともと計算されたトリックプレイフレームレートでそれが有していたであろうより長い持続時間のあいだ表示されることになる。したがって、この代替的な実施形態においては、高速再生のトリックモードフレームレートは通常の速度Ｍ未満でない。
【００３３】
上述の本発明の別の実施形態においては、２Ｘ早送りトリックモードの再生のために用意されたパラメータ値を用いて最も良く理解することができる。もしｉ番目のセマンティック間隔がＴｉ＝１０秒の期間である場合、計算されたトリックモードフレームレートは毎秒Ｖｉ＝６０フレームである。一方、もし、ｉ番目セマンティック間隔がＴｉ＝４秒の期間を有していると、計算されるトリックモードフレームレートは通常のフレームレートＭより小さい毎秒Ｖｉ＝２４フレームである。この後者の場合には、毎秒２４フレームの計算されたトリックモードフレームレートが毎秒３０フレームの通常のフレームレートＭに置き換え、又はリセットされる。
【００３４】
この例で、トリックモード再生速度が４倍になるように増加し、Ｌ＝４である場合は、計算されたトリックモードフレームレートは異なる結果が見られることになる。Ｔｉ＝１０秒の持続時間を有するｉ番目のセマンティック間隔には、計算されたトリックモードのフレームレートは、通常のフレームレートを大きく超える毎秒Ｖｉ＝１２０フレームとなる。また、ｉ番目のセマンティック間隔がＴｉ＝４秒の期間を有する場合には、計算されたトリックモードフレームレートは通常のフレームレートＭより大きい毎秒Ｖｉ＝４８フレームである。これら後者の２つの場合のいずれにおいても、計算された速度は通常のフレームレートを超過するために、計算されたトリックモードフレームレートが毎秒３０フレームの通常のフレームレートＭにリセット、または置き換えられない。
【００３５】
トリックモードフレームレートを計算してセットまたはリセットされた後、セマンティック間隔Ｔｉのビデオコンテンツは、受信したトリックモードのコマンドで定義されたトリックモードにおいて、フレームレートＶｉで表示するように提示することができる。
【００３６】
本発明の種々の実施形態では、映像コンテンツの一部がトリックモードにおいて、通常の速度で再生することができるにもかかわらず、一貫性と快適な視聴体験を維持するために、トリックモードの動作中に、セマンティック間隔中の表示されるビデオコンテンツに関連付けられた音声を無音にすることが望ましい場合がある。
【００３７】
複数の連続したセマンティック間隔に関連付けられたビデオコンテンツがトリックモードプレイ中に提示されるとき、トリックモードプレイの速度Ｖｉが大幅に異なる可能性がある。それがあまりにも多いと、視聴体験は落ち着かないものとなる。本発明においては、２つのトリックモードの速度差が大きいときに、連続したセマンティック間隔の1つのトリックモード速度から別のトリックモード速度へスムーズに移行する必要性があることが意図されている。速度の差が差の大きさである可能性もある。さらに、差の代わりに速度の比に置き換えることができる。実験的な実行例では、Ｔｉ＝Ｔｉ−１／１０であることが仮定される。セマンティック間隔Ｔｉ−１の後に直ちにトリックモード速度を１０倍に上げること避け、より高速へのいくぶんなめらかな移行を達成するために、トリックモードフレームレートをＴｉの現在のトリックモードフレームレートからＴｉ−１の高いトリックモードフレームレートに変えることができることが意図されている。本発明の種々の実施形態によれば、スムーズな移行を実現するための変化は線形、非線形的、または段階的に発生することができる。また、本発明の別な実施形態においては、対数、指数、および２次以上の曲線が非線形的変化に適している。段階的な方法は、ステップサイズに対して線形及び非線形に変化することに関係することができる。均一な刻みのステップサイズも明らかに可能である。また、本発明の別な実施形態では、１つのトリックモードのフレームレートから次のフレームレートへの変化はセマンティック間隔に関連付けられたビデオコンテンツの全体上またはそのビデオコンテンツのある初期の部分に発生する可能性がある。その変化は、時間を亘っての継続的な等しい時間刻み、または不均等な時間刻みで発生する可能性がある。ほとんどの場合、同一のステップサイズと時間的に等しい増分を使用することで、トリックモード動作中に表示されるビデオコンテンツについてためらいが少ないより満足な視聴体験が得られる。
【００３８】
本発明の平滑化技術では、時間間隔Ｔｉ−１におけるセマンティック発生に関連した計算されたトリックモードフレームレートと、現在のトリックモードフレームレート、Ｖｉ−１との差が検出される。速度の差の大きさが所定の閾値を超えた場合には、ｉ番目のセマンティック発生の表示中に、ｉ番目のセマンティック発生のトリックモードフレームレートは現在のトリックモードフレームレートＶｉ−１からｉ番目のセマンティック発生の表示中に計算されたトリックモードフレームレートＶｉに変更される。本発明の一実施形態では、可能なしきい値は現在のトリックモードフレームレートから倍以上、または半分未満のフレームレートに関連することができる。本発明の実施形態では、現在のトリックモードフレームレートと後続のトリックモードフレームレートの比を単純なものにすることで、しきい値との比較が簡素化される。
【００３９】
上述の本発明の実施形態のシーンベースのアプローチは、どのセマンティックベースのトリックモードにも拡張することができる。セマンティックは、ビデオ、字幕、音声、メタデータ、タグ、等におけるオブジェクトであっても良い。トリックモード動作が基づいているセマンティックは、表示システムによって受信されることが意図されている。セマンティックは、リモートコントロール装置上のオンスクリーンメニューやキーパッド入力から選択することや、１つ以上のデータパケットを介してなど、何れかの他のフォームで表示システムに送信することが可能である。
【００４０】
本発明の種々の実施形態では、映像コンテンツでのセマンティックの出現回数、Ｎは、映像コンテンツ全体の期間Ｔにおける、選択したセマンティックの実際の発生の数である。しかしながら、この実際の数を、Ｎに使用する必要は無い。本発明の代替の実施形態においては、セマンティックの出現数の平均値等のＮの統計値を使用することができ、平均値は少なくともビデオコンテンツの持続時間、或いはアクション、ファミリー、ロマンチック、ドキュメンタリーなどのジャンルなどのようなビデオコンテンツの他の特性に基づくものである。
【００４１】
シーンや他のセマンティック情報が使用できないか、あるいはビデオコンテンツにインデックスされない場合の事例では、本発明の実施形態による、いくつかの異なるアプローチが、用意されている。具体的には、シーンと他のタイプのセマンティック抽出及び索引付けの手法は、当技術分野で十分によく知られている。これらの技術は、この技術分野の当業者には明らかであろう。たとえば、この分野の２つの典型的な雑誌の記事は以下のとおりである。
【００４２】
Ｂ．チュオンら（B. Truong et al.）、「シーン抽出フィンモーションピクチャーズ（Scene Extraction fin Motion Pictures）」、ビデオテクノロジーための回路とシステムに関するＩＥＥＥトランザクション１３巻１号、頁５−１５（２００３年１月）、及びＭクーパーら（M. Cooper et al.）、「ビデオ自己相似解析経由のシーン境界検出（Scene Boundary Detection via Video Self-Similarity Analysis）」、ＦＸパロアルト研究所パブリケーションＥＸＰＡＬ−ＰＲ―０１から０２０まで、及び２００１年画像処理国際会議論文集（Proceeding of the 2001 International Conference on Image Processing）（２００１年１０月）３巻３７８から３８１頁までに発表。したがって、これらの技術の1つ以上を使用することにより、本発明の種々の実施形態に従って、ビデオコンテンツのセマンティックの出現数、Ｎを決定するためにビデオコンテンツを分析することができる。さらに、必要な場合には、分析は各セマンティック発生の発生時刻を示す値を生成するために各セマンティック発生にインデックス番号付けする操作を含むことができる。そのようなインデックス番号付けの例がバルビエリ（Barbieri）の 「映像インデクシングの方法（Method of Video Indexing）」と題する国際公開番号ＷＯ２００６／０９２７６５に記載されている。上述したように、本発明の実施形態において、分析が、映像コンテンツのセマンティック発生をセマンティック発生に関連した時間の値と一緒に生成する際に、各セマンティック発生の時刻を示すそれぞれの値がセマンティック発生および／またはその関連指標と一緒に格納される。
【００４３】
本発明の実施形態は、高速再生のトリックモードの観点から一般的に説明されてきた。本明細書における技術がスローモーション再生を含み、それ限定されないトリックモードプレイの他の形態に拡張することができることが意図されている。
【００４４】
セマンティックベースのトリックモード再生動作（例示であって制限的でないことを意図されている）の少なくとも一部を実装するための方法の様々な実施形態を説明したが、上記の教示に照らして変更および変形が当業者によって行うことができることに留意されたい。したがって、開示された本発明の特定の実施形態の変更を行うことができ、それらは本発明の範囲および精神内であることが理解されるべきである。上述の内容は、本発明の様々な実施形態に向けられているけれども、本発明の他のさらなる実施形態が本発明の基本的な範囲を逸脱することなしに考案することができる。
【図１】
2013541901.tif 000003
【図２】
2013541901.tif 000004
【手続補正書】
【提出日】平成25年8月19日(2013.8.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
トリックモード操作においてビデオコンテンツの再生を制御するための方法であって、
トリックモードのコマンドを受信することと、
前記ビデオコンテンツにおける連続したセマンティックの間の時間間隔と、前記ビデオコンテンツの持続時間と、前記ビデオコンテンツにおける前記セマンティックの出現数と、前記ビデオコンテンツの通常のプレイモードにおけるフレームレートとに応じて、前記ビデオコンテンツの少なくとも部分に対するトリックモードフレームレートを決定することと、
前記ビデオコンテンツの隣接する部分に対する前記決定されたトリックモードフレームレートにおける差が閾値を超えたかどうか判定し、前記閾値を超えた場合、前記ビデオコンテンツの第１の部分のトリックモードフレームレートを前記隣接する部分のトリックモードフレームレートに徐々に適合させることと、
前記ビデオコンテンツの部分の表示速度を、前記ビデオコンテンツの前記部分に対するそれぞれの決定されたトリックモードフレームレートに基づいて、可変的に制御することと、
を含む、前記方法。
【請求項２】
前記トリックモードフレームレート、Ｖiは、Ｔiが前記ビデオコンテンツにおけるｉ番目と（ｉ＋ｌ）番目の連続したセマンティックの間の時間間隔であり、Ｔが前記ビデオコンテンツの持続時間であり、Ｎが前記ビデオコンテンツにおけるセマンティックの出現回数であり、及びＭが通常の再生モードのフレームレートであるとき、Ｖi＝［Ｔi／Ｔ］×（Ｎ×Ｌ×Ｍ）として決定される、請求項１に記載の方法。
【請求項３】
前記トリックモードコマンドは、フレームレート乗数および前記ビデオコンテンツの再生方向の表示を識別し、前記フレームレートは１ではない、請求項１に記載の方法。
【請求項４】
前記連続したセマンティックは、前記ビデオコンテンツのシーンの変更、前記ビデオコンテンツに関連付けられた選択されたメタデータ、前記ビデオコンテンツに関連付けられている選択されたタグ、前記ビデオコンテンツに関連付けられた選択されたオーディオ、及び前記ビデオコンテンツの選択された統計値のうちの少なくとも一つを含む群から選択される、請求項１に記載の方法。
【請求項５】
前記トリックモードフレームレートＶiの大きさを前記フレームレートＭの大きさと比較することと、
前記比較において前記トリックプレイモードフレームレートＶｉの大きさが前記フレームレートＭの大きさよりも小であると判断されたときに、前記時間間隔Ｔiに対してｉ番目のセマンティックの出現に対応した前記ビデオコンテンツを前記フレームレートＭにおいて表示することと、
をさらに含む、請求項２に記載の方法。
【請求項６】
計算された前記トリックモードフレームレートと時間間隔Ｔi-1におけるセマンティックの出現に関連する現在のトリックモードフレームレートＶi-1との差を検出することと、
前記差の大きさが、決定された閾値を超えたとき、ｉ番目のセマンティックの出現に対するトリックモードフレームレートを、前記現在のトリックモードフレームレートＶi-1からｉ番目のセマンティックの出現の表示中に計算された前記トリックモードフレームレートＶiに変化させることと、
をさらに含む、請求項２に記載の方法。
【請求項７】
前記変化は、段階的増加、線形の段階的増加、非線形の段階的増加、及び均一に等しい段階的増加からなる群の中から選択された方法において行われる、請求項６に記載の方法。
【請求項８】
前記ビデオコンテンツにおける前記セマンティックの出現数は、前記ビデオコンテンツにおける前記セマンティックの出現の統計的平均の数値で表され、前記統計的平均は、前記ビデオコンテンツの一つ又は複数の関連する特性に基づく、請求項１に記載の方法。
【請求項９】
前記ビデオコンテンツの１つ又は複数の関連する特性は、少なくとも前記ビデオコンテンツの持続期間と前記ビデオコンテンツのジャンルの特性とから成る群から選択される、請求項８に記載の方法。
【請求項１０】
前記ビデオコンテンツを分析して前記ビデオコンテンツにおける前記セマンティックの前記出現数を決定することをさらに含む、請求項１に記載の方法。
【請求項１１】
前記分析することは、セマンティックの各々の出現をインデックス付けして、前記セマンティックの各々の出現の時間を示す値を生成することをさらに含む、請求項１０に記載の方法。
【請求項１２】
各セマンティックの出現を、前記セマンティックの各々の前記出現の時間を示す前記値により格納することをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記ビデオコンテンツにより特定された前記セマンティックを受信することをさらに含む、請求項１に記載の方法。
【請求項１４】
前記時間間隔に対する前記セマンティックの出現に対応する前記ビデオコンテンツのトリックモード再生中に、オーディオを無音にすることをさらに含む、請求項１に記載の方法。
【請求項１５】
トリックモード操作においてビデオコンテンツの再生を制御するためのシステムであって、
トリックモードコマンドを受信するための手段と、
前記ビデオコンテンツにおける連続したセマンティック間の時間間隔と、前記ビデオコンテンツの持続時間と、前記ビデオコンテンツにおける前記セマンティックの出現数と、前記ビデオコンテンツの通常のプレイモードにおけるフレームレートとに応じて、前記ビデオコンテンツの少なくとも部分に対するトリックモードフレームレートを決定するための手段と、
前記ビデオコンテンツの隣接する部分に対する前記決定されたトリックモードフレームレートにおける差が閾値を超えたかどうか判定し、前記閾値を超えた場合、前記ビデオコンテンツの第１の部分のトリックモードフレームレートを前記隣接する部分のトリックモードフレームレートに徐々に適合させるための手段と、
可変的に、前記ビデオコンテンツの部分の表示速度を、前記ビデオコンテンツの前記部分に対するそれぞれの決定されたトリックモードフレームレートに基づいて、可変的に制御するための手段と、
を含む、前記システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
図２は、本発明の実施形態によるセマンティックベースのトリックモードプレイの少なくとも一部を実装するための方法のフロー図を示す。図２のステップ１において、ビデオコンテンツが３６００秒の合計持続時間（すなわち、１時間）と、毎秒３０フレームの通常のフレームレートＭ（すなわち、通常の再生中のフレームレート）を有することが想定されている。本発明の一実施形態では、持続時間ＴおよびフレームレートＭはビデオコンテンツのパッケージ自体にメタデータとして組み込むことができる。本発明の別の実施例では、この情報は、外部から供給されるか、又はトリックモードの操作を呼び出す前に、内容の分析を通して決定される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
図２のステップ１において、シーンの変化の形でＮ個のセマンティック発生又は出現があり、Ｎは３６０シーンであると仮定する。各シーンの変化は、ｉが０からＮ、映像コンテンツの冒頭ではｔｉ＝０、映像コンテンツの末尾でｔＮ＝Ｔ、である発生時間ｔｉに関連付けられる。連続した変化の間のセマンティック時間間隔、Ｔｉ＝ｔｉ＋１−ｔｉ、は、一つのシーンから次のシーンへのランダムな時間を有する。純粋に統計的な観点からは、ビデオコンテンツが通常の速度で再生されている場合、シーンの間隔の平均の期間は、この例ではＴ／Ｎ秒または１０秒になる。ビデオコンテンツは、例えば通常の再生速度のＬ倍の高速再生をすると、シーンの間隔の平均期間は、Ｔ／（Ｌ×Ｎ）秒になる。Ｌが希望のトリックモードをプレイのための通常のフレームレートＭの２倍のフレームレート乗数である場合は、トリックモードプレイ中のシーンの平均持続時間は、Ｌが２の時、５秒となる。
【国際調査報告】
2013541901.tif 000005
2013541901.tif 000006
2013541901.tif 000007