(57)【要約】ビデオの内容解析に基づくストリーム埋め込み情報を用いて、限られた画面サイズをもつより小さなディスプレイ上にビデオを自動的に呈示する適応的ビデオ提示方法が提供される。本方法は、前記ビデオの各フレームについてマクロブロックの知覚的な関心値に基づいて少なくとも一つの顕著なオブジェクトを含む顕著オブジェクト・グループを決定するステップと、前記ビデオのシーンについて顕著オブジェクト・グループを含む最小サイズをもつウィンドウを抽出するステップとを有し、本方法はさらに、抽出されたウィンドウのサイズをより小さなディスプレイのサイズと比較し、そのシーンについての顕著オブジェクト・グループの少なくとも一部を含む抽出されたウィンドウの少なくともある選択された領域を、前記より小さいディスプレイ上で、前記ビデオのそのシーンについての異なる動きモードについては前記比較するステップの結果に基づいて異なる動作モードで、呈示するステップとをさらに有することを特徴とする。
2010503006.tif 000002
【特許請求の範囲】
【請求項１】
もとの大きなサイズのビデオをより小さなディスプレイ上で自動的に呈示するための適応ビデオ呈示方法であって、
前記もとの大きなサイズのビデオのシーンの各フレームについて少なくとも一つの顕著なオブジェクトを含む少なくとも一つの顕著オブジェクト・グループを決定し、
決定された少なくとも一つの顕著オブジェクト・グループを前記より小さなディスプレイ上で、前記少なくとも一つの顕著オブジェクト・グループに関係するサイズと前記より小さなディスプレイのサイズとの間の関数に従って呈示するステップを有する、
方法。
【請求項２】
前記少なくとも一つの顕著オブジェクト・グループに関係するサイズは、前記少なくとも一つの顕著オブジェクト・グループを含むフレームにおいて前記少なくとも一つの顕著オブジェクト・グループをカバーする長方形のサイズである、請求項１記載の方法。
【請求項３】
前記少なくとも一つの顕著オブジェクト・グループを前記より小さなディスプレイ上で呈示することがさらに、前記少なくとも一つの顕著オブジェクト・グループを含むフレーム内のすべてのマクロブロックの動きベクトルに従ってである、請求項１記載の方法。
【請求項４】
前記少なくとも一つの顕著オブジェクト・グループを前記より小さなディスプレイ上で、前記少なくとも一つの顕著オブジェクト・グループを含むフレーム内の全マクロブロックの動きベクトルの長さとある第一の閾値との間の関数に従って、低動きモードまたは高動きモードで呈示する、請求項３記載の方法。
【請求項５】
前記少なくとも一つの顕著オブジェクト・グループを含むフレーム内のマクロブロックの動きベクトルの平均長さが前記第一の閾値未満である場合には、前記少なくとも一つの顕著オブジェクト・グループを、前記より小さなディスプレイ上で、低動きモードで呈示し、それ以外の場合には前記少なくとも一つの顕著オブジェクト・グループを高動きモードで呈示する、請求項４記載の方法。
【請求項６】
前記少なくとも一つの顕著オブジェクト・グループを含むフレーム内のマクロブロックの動きベクトルの平均長さを計算するとき、顕著なオブジェクトおよびフレームの他の部分におけるマクロブロックの動きベクトルの長さが異なる重みをもつ、請求項５記載の方法。
【請求項７】
高動きモードの間、前記少なくとも一つの顕著オブジェクト・グループを、前記より小さなディスプレイ上に、シーン内の全フレームの全重点の平均点を前記より小さなディスプレイの中心点として、呈示する、請求項５記載の方法。
【請求項８】
シーン内の全フレームの全重点が、平均点を計算するときに重み付けされる、請求項７記載の方法。
【請求項９】
高動きモードの間、前記少なくとも一つの顕著グループのサイズがある第二の閾値未満である場合、前記少なくとも一つの顕著オブジェクト・グループを前記より小さなディスプレイ上にズームイン動作をもって呈示し、
前記少なくとも一つの顕著グループのサイズがある第三の閾値より大きい場合、前記少なくとも一つの顕著オブジェクト・グループが前記より小さなディスプレイ上にズームアウト動作をもって表示される、
請求項７記載の方法。
【請求項１０】
前記第二の閾値は前記より小さなディスプレイのサイズの半分よりも小さく、前記第三の閾値は前記より小さなディスプレイのサイズの２倍より大きいまたは２倍に等しい、請求項９記載の方法。
【請求項１１】
低動きモードの間、前記少なくとも一つの顕著オブジェクト・グループのサイズがある第四の閾値未満である場合、前記少なくとも一つの顕著オブジェクト・グループは前記より小さなディスプレイ上にズームイン動作をもって呈示される、請求項４記載の方法。
【請求項１２】
低動きモードの間、前記少なくとも一つの顕著オブジェクト・グループのサイズが前記第四の閾値未満でなく、ある第五の閾値未満である場合、前記少なくとも一つの顕著オブジェクト・グループは前記より小さなディスプレイ上に直接呈示され、それ以外の場合、もとのシーンの長さがある第六の閾値未満でない場合、前記より小さなディスプレイの中心点を前記顕著オブジェクト・グループの重点の動きに追随させて前記顕著オブジェクト・グループ上でパン動作が実行される、請求項１１記載の方法。
【請求項１３】
低動きモードの間、シーンの長さが第七の閾値より大きい場合、前記顕著オブジェクト・グループに対してズームアウト動作が実行される、請求項１２記載の方法。
【請求項１４】
低動きモードの間、シーンの長さが前記第六の閾値未満であり、前記顕著グループ内に顕著なオブジェクトが一つしかない場合には、ズームアウト動作とともに前記より小さなディスプレイの中心点は前記顕著オブジェクト・グループの重点の動きに追随し、それ以外の場合には、前記顕著オブジェクト・グループは前記より小さなディスプレイ上にそのまま表示される、請求項１２記載の方法。
【請求項１５】
前記第四の閾値は、前記より小さなディスプレイの半分より大きくなく、前記第五の閾値は前記より小さなディスプレイのサイズより小さくない、請求項１１ないし１４のうちいずれか一項記載の方法。
【請求項１６】
前記より小さなディスプレイの中心点が前記顕著オブジェクト・グループの重点の動きに追随するとき、ディザリングを除去するよう隣り合うフレーム間の重点の許容差が使われる、請求項１２ないし１４記載の方法。
【請求項１７】
重点の変化の許容差は水平方向および垂直方向で使用されることができる、請求項１６記載の方法。
【請求項１８】
もとの大きなサイズのビデオをより小さなディスプレイ上で自動的に呈示する装置であって、
前記ビデオのシーンの各フレームについて少なくとも一つの顕著なオブジェクトを含む少なくとも一つの顕著オブジェクト・グループを、前記より小さなディスプレイ上で、前記少なくとも一つの顕著オブジェクト・グループに関係するサイズと前記より小さなディスプレイのサイズとの間の関数に従って呈示するために、決定するオブジェクト・グループ分類モジュールを有する、
装置。
【請求項１９】
もとの大きなサイズのビデオをより小さなディスプレイ上で自動的に呈示する請求項１８記載の装置であって、
もとのビデオのフレームから顕著なオブジェクトを抽出する内容解析モジュールをさらに有する、
装置。
【請求項２０】
もとの大きなサイズのビデオをより小さなディスプレイ上で自動的に呈示する請求項１９記載の装置であって、
シーン内の各フレームの重点、顕著オブジェクト・グループの重点、シーン内の全フレームの重点の重み、フレーム内の全マクロブロックの動きベクトルの重みを計算する属性計算モジュールをさらに有する、
装置。
【請求項２１】
もとの大きなサイズのビデオをより小さなディスプレイ上で自動的に呈示する請求項２０記載の装置であって、
前記より小さなディスプレイ上で表示されるべき領域を決定する静止フォーカス・モジュールをさらに有する、
装置。
【請求項２２】
もとの大きなサイズのビデオをより小さなディスプレイ上で自動的に呈示する請求項２１記載の装置であって、
画像のアーチファクトをならして、なくす空間時間的処理モジュールをさらに有する、
装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ呈示のための方法および装置に、より詳細には小型ディスプレイ上での適応的ビデオ提示のための方法および装置に関する。
【背景技術】
【０００２】
マルチメディア・アプリケーション分野において、ポケットPC、スマートフォン、SPOTウォッチ、タブレットPC、携帯情報端末（personal  digital  assistant）装置といった多様な新しいモバイル機器が人々の日常生活で人気を増しつつある。これらの装置は数値演算およびデータ記憶の両面でますます強力になりつつある。さらに、人々はこうしたモバイル機器を通じてビデオを見ることに熱心になってきた。
【０００３】
しかしながら、低バンド幅接続および小型ディスプレイはいまだに、人々の日常生活でのこうした機器の有用性を阻害してきた二大障害である。ユーザーが小さな外形の機器からビデオをブラウズできるようにするためのウィンドウズ（登録商標）・メディア・プレイヤーおよびポケットTVといった若干の市販のビデオ・プレーヤーが開発されているものの、限られたバンド幅および小さなウィンドウ・サイズが二つの決定的な障害であり続けている。2.5Gおよび3Gのワイヤレス・ネットワークの急速かつ成功裏の開発で、バンド幅の因子は近い将来、それほど強い制約ではなくなると期待されている。同時に、ディスプレイ・サイズに対する制限は一定の期間、変わらずにいる可能性が高い。
【０００４】
モバイル機器に画像を表示するトピックに焦点を当てるいくつかの既存の業績がある。それらの業績は、人間の閲覧（viewing）挙動をシミュレートするための画像注目（attention）モデルに基づいて最適画像閲覧（viewing）経路（path）を計算し、提供することができる。価値のある情報のほとんどはビデオによって呈示されるので、これらモバイル機器のパワーを解き放つためには、小型ディスプレイ上でのビデオ閲覧の経験を改善することは非常に重要である。
【０００５】
限られたかつ雑多な画面サイズのディスプレイ上でビデオを見るためのよりよいユーザー経験を提供する一つの解決策が非特許文献１によって提案されている。これは三つのブラウズ方法を提供する：手動ブラウズ方法、全自動ブラウズ方法および半自動ブラウズ方法である。
【０００６】
しかしながら、提案された全自動ブラウズ方法では、方向およびズーム制御がいずれも無効にされる。結果として得られるビデオ・ストリームは、注目を得る領域を表示するためにより多くの画面スペースを使い、一方、他の部分を切り落とす。したがって、ビデオ・フレームが多くの別個のフォーカスを含むときは、このアプローチは通常のダウンサンプリング方式とそれほど違いはないであろう。
【０００７】
半自動ブラウズ方法では、二つ以上の重要な注目対象（AO:  attention  object）があるときにブラウズ・フォーカスを切り換えるために、まだ人間の相互作用が必要とされる。表示フォーカスは、ユーザーが制御ボタンを押した後に計算され、フォーカスが変えられるときにはアーチファクトが現れる。
【０００８】
したがって、既存の方式は、小型ディスプレイ・サイズをもつデバイス上でビデオを自動的にブラウズするための良好な解決策を提供し、ビデオ表示品質とディスプレイ・サイズ制約条件の間のよりよいトレードオフを保つことが、特に複数のフォーカスがある場合には、できない。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】X・ファンら、「小型ディスプレイでビデオを見る」（X.  Fan  et  al.,  "Looking  into  Video  Frames  on  Small  Displays"）、ACM  MM  '03、2003年
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、ユーザーのための最適なビデオ閲覧経験を提供するために、内容解析に基づくメタデータ情報に従って、小さなサイズのディスプレイ装置上でビデオを全自動で表現するための適応ビデオ呈示ソリューションを提供する。
【課題を解決するための手段】
【００１１】
ある側面によれば、もとの大きなサイズのビデオをより小さなディスプレイ上で自動的に呈示するための適応ビデオ呈示方法が提供される。本方法は、前記もとの大きなサイズのビデオのシーンの各フレームについて少なくとも一つの顕著なオブジェクトを含む少なくとも一つの顕著オブジェクト・グループを決定し、決定された少なくとも一つの顕著オブジェクト・グループを前記より小さなディスプレイ上で、前記少なくとも一つの顕著オブジェクト・グループに関係するサイズと前記より小さなディスプレイのサイズとの間の関数に従って呈示するステップを有する。
【００１２】
ある実施形態では、前記少なくとも一つの顕著オブジェクト・グループに関係するサイズは、前記少なくとも一つの顕著オブジェクト・グループを含むフレームにおいて前記少なくとも一つの顕著オブジェクト・グループをカバーする長方形のサイズである。
【００１３】
もう一つの実施形態では、前記少なくとも一つの顕著オブジェクト・グループを前記より小さなディスプレイ上で呈示することはさらに、前記少なくとも一つの顕著オブジェクト・グループを含むフレームにおけるすべてのマクロブロックの動きベクトルに従ってである。
【００１４】
あるさらなる実施形態では、前記少なくとも一つの顕著オブジェクト・グループは前記より小さなディスプレイ上で、前記少なくとも一つの顕著オブジェクト・グループを含むフレーム内部の全マクロブロックの動きベクトルの長さとある第一の閾値との間の関数に従って、低動きモードまたは高動きモードで呈示される。
【００１５】
有利には、前記少なくとも一つの顕著オブジェクト・グループを含むフレーム内部のマクロブロックの動きベクトルの平均長さが前記第一の閾値未満である場合に、前記少なくとも一つの顕著オブジェクト・グループは前記より小さなディスプレイ上に、低動きモードで呈示され、その他の場合には前記少なくとも一つの顕著オブジェクト・グループを高動きモードで呈示する。
【００１６】
好ましくは、前記少なくとも一つの顕著オブジェクト・グループを含むフレーム内部のマクロブロックの動きベクトルの平均長さを計算するとき、顕著なオブジェクトおよびフレームの他の部分におけるマクロブロックの動きベクトルの長さは異なる重みをもつ。
【００１７】
ある実施形態では、高動きモードの間、前記少なくとも一つの顕著オブジェクト・グループは前記より小さなディスプレイ上に、シーン内の全フレームの全重点（gravity  points）の平均点を前記より小さなディスプレイの中心点として、呈示される。
【００１８】
有利には、シーン内の全フレームの全重点は、平均点を計算するときに重み付けされる。
【００１９】
もう一つの側面では、高動きモードの間、前記少なくとも一つの顕著グループのサイズがある第二の閾値未満である場合、前記少なくとも一つの顕著オブジェクト・グループは前記より小さなディスプレイ上にズームイン動作をもって呈示され、その他の場合、前記少なくとも一つの顕著グループのサイズがある第三の閾値より大きければ、前記少なくとも一つの顕著オブジェクト・グループは前記より小さなディスプレイ上にズームアウト動作をもって表示される。
【００２０】
好ましくは、前記第二の閾値は、前記より小さなディスプレイのサイズの半分よりも小さく、前記第三の閾値は前記より小さなディスプレイのサイズの２倍より大きいまたは２倍である。
【００２１】
低動きモードの間、前記少なくとも一つの顕著オブジェクト・グループのサイズがある第四の閾値未満である場合、前記少なくとも一つの顕著オブジェクト・グループは前記より小さなディスプレイ上にズームイン動作をもって呈示される。
【００２２】
さらにもう一つの側面では、低動きモードの間、前記少なくとも一つの顕著オブジェクト・グループのサイズが前記第四の閾値未満でなく、ある第五の閾値未満である場合、前記少なくとも一つの顕著オブジェクト・グループは前記より小さなディスプレイ上にそのまま呈示され、その他の場合、もとのシーンの長さがある第六の閾値未満でない場合、前記より小さなディスプレイの中心点を前記顕著オブジェクト・グループの重点の動きに追随させる前記顕著オブジェクト・グループ上でのパン動作が実行される。
【００２３】
低動きモードの間、シーンの長さが第七の閾値より大きい場合、前記顕著オブジェクト・グループ上でズームアウト動作が実行される。
【００２４】
ある実施形態では、低動きモードの間、シーンの長さが前記第六の閾値未満であり、前記顕著グループ内に顕著なオブジェクトが一つしかない場合には、ズームアウト動作をもって前記より小さなディスプレイの中心点は前記顕著オブジェクト・グループの重点の動きに追随し、その他の場合には、前記顕著オブジェクト・グループは前記より小さなディスプレイ上にそのまま表示される。
【００２５】
好ましくは、前記第四の閾値は、前記より小さなディスプレイの半分より大きくなく、前記第五の閾値は前記より小さなディスプレイのサイズより小さくない。
【００２６】
あるさらなる実施形態では、前記より小さなディスプレイの中心点が前記顕著オブジェクト・グループの重点の動きに追随するとき、隣り合うフレーム間の重点の許容差がディザリングを除去するために使われる。重点の変化の許容差は水平方向および垂直方向で使用されることができる。
【００２７】
もとの大きなサイズのビデオをより小さなディスプレイ上で自動的に呈示する装置が提供される。本装置は、オブジェクト・グループ分類モジュールを含む。該オブジェクト・グループ分類モジュールは、前記ビデオのシーンの各フレームについて少なくとも一つの顕著なオブジェクトを含む少なくとも一つの顕著オブジェクト・グループを、前記より小さなディスプレイ上で、前記少なくとも一つの顕著オブジェクト・グループに関係するサイズと前記より小さなディスプレイのサイズとの間の関数に従って呈示するために、決定する。
【００２８】
ある実施形態では、前記装置はさらに、もとのビデオのフレームから顕著なオブジェクトを抽出する内容解析モジュールを有する。
【００２９】
もう一つの実施形態では、前記装置は、各フレームの重点、シーン内の全フレームの重点の重み、フレーム内の全マクロブロックの動きベクトルの重みを計算する属性計算モジュールを有する。
【００３０】
さらにもう一つの実施形態では、前記装置は、前記より小さなディスプレイ上で表示されるべき領域を決定する静止フォーカス・モジュールを有する。
【００３１】
あるさらなる実施形態では、前記装置は、画像のアーチファクトをならして、なくす空間時間的処理モジュールを有する。
【００３２】
本発明のこれらおよびその他の側面、特徴および利点は、好ましい実施形態の以下の詳細な説明において記載され、明白となるであろう。以下の詳細な説明は付属の図面とともに読まれるべきものである。
【図面の簡単な説明】
【００３３】
【図１】本発明に基づく方法を使うシステム枠組みの第一の実施形態の概略図である。
【図２】本発明に基づく方法を使うシステム枠組みの第二の実施形態の概略図である。
【図３】本発明に基づく方法を使うシステム枠組みの第三の実施形態の概略図である。
【図４】一フレーム内の顕著なオブジェクトの概略図である。
【図５】一フレーム内の顕著オブジェクト・グループの概略図である。
【図６】適応ビデオ呈示の例示的な解決策のフローチャートである。
【発明を実施するための形態】
【００３４】
本発明は、内容解析情報に基づくストリーム埋め込みメタデータを用いた、よりよい閲覧経験のための適応ビデオ呈示（AVP:  adaptive  video  presentation）の方法および装置を指向する。
【００３５】
１．AVPの基本的枠組みの導入
図１ないし図３に示されるように、大解像度のビデオが事前解析モジュール１１ａ、オブジェクト・グループ分類（OGC:  object  group  classification）モジュール１２ａ、属性計算（PC:  property  calculation）モジュール１３ａ、静止フォーカス決定（SFD:  still  focus  decision）モジュール１４ａおよび空間時間的処理モジュール１５ａによって処理され、次いで処理されたビデオがより小さなディスプレイ上に表示される
本発明によれば、三つの型のAVP枠組みが提案される：デコーダ・エンドの解決策、合同エンコーダ・デコーダ・エンドの解決策およびエンコーダ・エンドの解決策であり、これらはそれぞれ図１ないし図３に示されている。
【００３６】
図１を参照すると、第一の型のAVP枠組み解決策はエンコーダ側１０ａには事前解析モジュール１１ａのみを残し、他の四つの機能ブロックはデコーダ側２０ａに残している。事前解析モジュール１１ａはシーン変化検出、注目領域抽出および内容／動き解析の動作を含む。内容／動き解析は、顕著オブジェクト解析および動き活動度（motion  activity）解析または意味論的解析を含む。他の四つの機能ブロックは、事前解析モジュール１１ａからのシーンおよび注目マスク情報に基づいてオブジェクト／オブジェクト・グループを分類するオブジェクト・グループ分類（OGC）モジュール１２ａ；各顕著オブジェクト／オブジェクト・グループの統計（これに限られないが、たとえば顕著オブジェクトまたは顕著オブジェクト・グループの重点、意味論的重み）属性を計算する属性計算（PC）モジュール１３ａ；PCモジュールから導出された統計情報（たとえば重点）および事前解析モジュール１１からの他のメタデータ情報に基づいて特殊画像内で候補フォーカス領域を決定する静止フォーカス決定（SFD）モジュール１４ａ；ビデオがなめらかで受入可能であることを保証するよう空間時間的処理を行い、アーチファクトをなくす空間時間的処理モジュール１５ａを含む。空間時間的処理モジュール１５ａの動作は、のちの段落で導入される重点流れ（gravity  flowing）、直接表示（direct  display）、顕著性駆動パン（saliency  driving  pan）または真の動き展示（true  motion  exhibition）を考慮して、前記より小さなディスプレイ上に表示されるべき最新の表示領域を決定することを含む。
【００３７】
まず、大きなディスプレイ上に表示されるビデオが、ビデオの各フレーム内の顕著なオブジェクトを抽出するために事前解析モジュール１１ａによって処理され、次いで抽出された顕著なオブジェクトがオブジェクト分類（OGC）モジュール１２ａによって少なくとも一つの顕著オブジェクト・グループにグループ化される。属性計算（PC）モジュール１３ａがビデオのシーン内の各フレームの重点、各フレームの重点の重み、フレーム内の全マクロブロックの動きベクトルの重みなどを計算する。静止フォーカス決定（SFD）モジュール１４ａは、より小さなディスプレイ上に表示されるべき領域を決定する。
【００３８】
同様に、図２に示されるように、第二の型のAVP枠組み解決策では、事前解析モジュール１１ｂ、オブジェクト・グループ分類モジュール１２ｂ、属性計算モジュール１３ｂおよび静止フォーカス決定モジュール１４ｂがエンコーダ側１０ｂに含められて候補フォーカス領域を生成し、空間／時間的処理モジュール１５ｂが、時間的および空間的な品質トレードオフを考慮して候補フォーカス領域に基づく最適な表示を行うために、デコーダ側２０ｂに含められる。
【００３９】
図３に示されるように、第三の型のAVP枠組み解決策では、事前解析モジュール１１ｃ、オブジェクト・グループ分類モジュール１２ｃ、属性計算モジュール１３ｃ、静止フォーカス決定モジュール１４ｃおよび空間／時間的処理モジュール１５ｃがすべてエンコーダ側１０ｃに含められて、ビデオ・シーケンス内の各フレームの最新の表示領域を生成し、各フレームの好適な表示領域を記述するメタデータは、直接に適応表示を助けるため、埋め込まれたメタデータとしてデコーダ側２０ｃに送られることができる。
【００４０】
２．適応ビデオ呈示の基本的定義の導入
小さなサイズの表示ウィンドウをもつディスプレイ上でのユーザーの閲覧体験を最適化するために、ビデオ・フレームにおける注目領域ブロックの集合がまず表示されるよう考慮されるべきである。というのも、その関係する情報は、ユーザーの閲覧経験に、よりポジティブな寄与をもつからである。AVPのためのいくつかの基本的な定義について下記で述べる。
【００４１】
Ａ．顕著なオブジェクト
顕著なオブジェクト（Salient  Object）とは、図４における灰色領域のマクロブロック（MB）によって示されるように、互いに接続された注目領域マクロブロック（MB）の集合である。顕著なオブジェクトどうしは、白いMBによって表されている非注目MBによって隔てられる。
【００４２】
顕著なオブジェクトOi（i＝1,2,3,...,N）は以下のパラメータによって記述される。
【００４３】
【表１】
2010503006.tif 000003
Ｂ．顕著オブジェクト・グループ
顕著オブジェクト・グループ（Salient  Object  group）は少なくとも一つの顕著なオブジェクトを含む。フレーム内にはいくつかの顕著オブジェクト・グループがあることができる。顕著オブジェクト・グループは以下のパラメータによって記述できる。
【００４４】
【表２】
2010503006.tif 000004
Ｃ．シーン
カット（shot）は単一のカメラ動作において記録されるフレームのシーケンスである。シーン（scene）はオブジェクト、人物、空間および時間において意味論的な類似性をもつ一連のカットの集合である。シーンは、二つのフレームの間の顕著なオブジェクトの切り換えを告げるためにも定義される。シーン内での表示方式は決まっているべきであり、通例、一貫したままである。
【００４５】
シーンのために定義される一つのパラメータは：
【００４６】
【表３】
2010503006.tif 000005
である。
【００４７】
３．構成設定パラメータおよび動作セットの導入
構成設定パラメータ（configuration  parameter）は、表示するか否か、スケールダウンするか否か、要約する（summarizing）か否かなどといった適応表示モード選択の決定をするのを助けるために必要なパラメータである。ビデオ閲覧経路プログラミングを補助するために定義される四つの条件がある。
【００４８】
・最小知覚時間（MPT:  Minimum  Perceptual  Time）
MPTは、顕著なオブジェクトを見るときの固定継続時間（fixation  duration）についての閾値として使われる。顕著なオブジェクト（salient  object）がMPT閾値MPTSOより長く画面上に留まらなければ、ユーザーがその情報を捉えることを許すのに十分知覚可能ではないことがありうる。シーン（scene）が閾値MPTSCより長く持続しなければ、その中の最も著しい部分のみが十分知覚可能であることがありうる。MPTSOおよびMPTSCは種々の応用シナリオおよび人間の視覚的属性に従って選択でき、我々の実際の応用では通例、1/3秒および2秒に設定される。
【００４９】
・最小知覚サイズ（MPS:  Minimum  Perceptual  Size）
MPSは、顕著なオブジェクトの最小空間領域の閾値として使われる。通常、顕著なオブジェクトのサイズSOiが閾値MPTSOより小さければ、顕著なオブジェクトOiは非注目オブジェクトとしてマークされるか、その近傍顕著オブジェクトにマージされるべきである。しかし、MPS閾値は常に正しいとは限らない。というのも、より小さな空間領域をもつ顕著なオブジェクトが最も重要な情報を担うこともあり、そのようなオブジェクトはマージされたり非マークにされることはできないからである。よって、たとえばフットボール（football）、顔など、他の何らかの意味論的情報が、重み情報の追加的な構成設定パラメータとして使用される。通例、MPTSOは5マクロブロックに設定されるか、最大の顕著なオブジェクトの大きさの5%〜10%に設定されることができる。
【００５０】
・顕著なオブジェクトの重み（WSO:  Weight  of  Salient  Object）
このパラメータは、最も意味論的に重要な情報を担っており、マージされたり非マークされたりすることができない顕著なオブジェクトをリザーブするために使用される。通常、各顕著なオブジェクトの重みの値は1に設定される。ある顕著なオブジェクトがシーン内の現在および後続のフレーム（フレーム数は閾値Tweightより大きいべきであり、通例、Tweight＝10）において最も重要な情報を得る場合、そのサイズは：
SOi＝SOi×WSOi
として再計算される。
【００５１】
WSOiが各顕著なオブジェクトの意味論的重要性によって定義できるところでは、それは内容モード（content  mode）、第三者が指定した意味論的情報（semantic  information）、特にユーザーの経験などに依存する。さらに、顕著オブジェクト・グループの重心が再計算される。
【００５２】
・重点変化の許容差（TGC:  Tolerance  of  Gravity  Change）
顕著なオブジェクトまたは顕著オブジェクト・グループのいずれかの重点をより小さなディスプレイの中心点として使うとき、二つの隣接フレーム間での顕著なオブジェクトまたは顕著オブジェクト・グループの重点のわずかな変化によって引き起こされる表示のディザリング効果を避けるため、重点変化の許容差（TGC）というパラメータが導入される。それにより、（マクロブロック単位での）重点の位置の小さな変化がより小さなディスプレイの中心点の変化を引き起こさないことが保証される。二つの種類の閾値TGCH（水平方向の重点変化の許容差）およびTGCV（垂直方向の重点変化の許容差）が、より小さなディスプレイ画面およびビデオ・フレーム・サイズの間の関係に従って定義できる。（マクロブロック単位での）重点の変化が水平方向および垂直方向において個々に前記二つの種類の閾値TGCHおよびTGCVよりも小さければ、ディザリング効果を避けるため、ディスプレイの中心点は変更されない。
【００５３】
表Ｉは、適応ビデオ呈示の要件のために必要とされるいくつかの動作を示している。
【００５４】
表Ｉ  適応ビデオ呈示のための動作のセット
【００５５】
【表４】
2010503006.tif 000006
本発明によれば、適応ビデオ呈示動作は、二つのカテゴリーに分類できる：それぞれ低動きモードおよび高動きモードに対応する低動き展示および真の動き展示である。低動きモードと高動きモードは、一フレーム内の全マクロブロックの重み付けされた平均動きベクトル長さMVACTによって区別できる。通例、この分類を行うために閾値TMOTIONが選択されることができる。MVACTがTMOTIONより小さければ、低動きモードが判別され、さもなければ高動きモードが判別される。
【００５６】
低動きモードでは、少なくとも三つの異なる展示動作が使用できる。すなわち、直接表示、重点流れ表示および顕著性駆動パンである。これら三つの動作のうち、直接表示は顕著なオブジェクトまたは顕著オブジェクト・グループをより小さなディスプレイ上に直接表示するものである。重点流れ表示は、より小さなディスプレイの表示領域の動きを、顕著オブジェクト・グループの重点の動きに追随させることによって制御し、通例、なめらかな表示方針を保つために重点変化の許容差（TGC）パラメータが使用される。顕著性駆動パンは基本的には、大きな顕著なオブジェクトまたは複数の顕著なオブジェクトが存在する場合に特に、顕著なオブジェクトをより小さな表示ウィンドウ上に表示するために顕著性分布を考慮したパン動作である。
【００５７】
高動きモードでは、顕著なオブジェクトまたは顕著オブジェクト・グループを表示するために真の動き展示が導入される。閲覧者はより小さなディスプレイのウィンドウ上でOGが前後に動くのを見ることができる。ビデオのシーンの場合、シーン内の各フレームの重点は早く動き、その際、ビデオのシーン内の全フレームの重み付けされた平均重点がより小さなディスプレイの静止フォーカス中心として決定されることになる。こうして、閲覧者はOGがより小さなディスプレイのウィンドウの一方の側から他方の側に動くのを見ることができる。たとえば、シーン内の全フレームの重点の座標が(x1,y1)、(x2,y2)、…として記録される場合、これらの重点の平均（average）はx＝average(x1,x2,...)、y＝average(y1,y2,...)となるべきである。
【００５８】
４．適応ビデオ呈示動作の決定
ビデオは情報重点流れ平面（an  information  gravity  point  flowing  plane）として扱うことができる。この平面では、異なる顕著なオブジェクトは前記情報の重要さの異なる重みをもつ。それぞれの顕著なオブジェクト内部では諸MBは同じ特性をもつ。したがって、より小さなディスプレイの中心となるべきは、重点であって、顕著なオブジェクトまたはグループの中心点ではない。
【００５９】
ビデオ・コンテンツについてある種の密度分布が存在すると想定することができる。より小さなディスプレイは、グループまたは顕著なオブジェクトの重点によって中心を決められた領域上にフォーカスする、あるいはパン動作を使うことによって漸進的にその領域を表示するべきである。これは前記情報の密度分布に依存する。
【００６０】
STP（空間時間的処理［spatial-temporal  processing］）モジュールは、AVP枠組みにおける最も重要なモジュールである。なめらかで受入可能なビデオ閲覧経験を保証するために、このモジュールにおいて、最適な空間時間的動作が取られることになる。
【００６１】
表ＩＩは、AVP動作の決定の見本を例証している。もちろん、実際の応用の詳細な要件に起因して他の何らかの型の組み合わせが考慮されることもできる。表ＩＩにおいて、DSは、対応するより小さなディスプレイ装置のディスプレイ・サイズ（display  size）を意味する。
【００６２】
表ＩＩ  AVP動作の決定の例
【００６３】
【表５】
2010503006.tif 000007
図６は、本発明に基づく適応ビデオ呈示解決策の決定のための一つの例示的な方式のフローチャートを例示している。
【００６４】
ビデオのシーンについて、顕著なオブジェクトがまず抽出されるべきである。この作業を行う方法は従来技術に多数あるが、ここでは記述しない。次いで、少なくとも一つの顕著オブジェクト・グループが決定される。顕著オブジェクト・グループは少なくとも一つの顕著なオブジェクトを含む。
【００６５】
ステップ１００では、ビデオのシーンの動きモードが、フレームについての重み付けされた平均動きベクトル長さMVACTを所定の閾値TMOTIONと比較することによって決定される。MVACTが所定の閾値TMOTIONより小さい場合、次のステップはステップ２００に進み、そうでない場合にはステップ４００に進む。ステップ２００では、前記顕著オブジェクト・グループをカバーする最小長方形のサイズRGZがDS/n以下であるかどうかが判定される。ここで、n＝2,3,...であり、好ましくはn＝2である。ステップ２００でRZGがDS/n以下であると判定される場合、プロセスはステップ２１０に進み、そこでRZGをもつ抽出されたウィンドウがより小さなディスプレイ上に、適切なズームイン動作をもって直接表示される。RZGがDS以上である場合、ステップ２２０で、RZGがDS以上であるかどうかが判定される。RZGがDS未満だがDS/nより大きい場合には、ステップ２３０でそのRZGをもつ抽出されたウィンドウがより小さなディスプレイ上に直接表示され、RZGがDSより大きい場合には、ステップ２４０でシーンの長さLOSが最小知覚時間MPT未満であるかどうかが判定される。次いでステップ２５０で、顕著なオブジェクト・グループが顕著なオブジェクトを一つしか含んでいないかどうかを判定する。一つの顕著なオブジェクトしか存在せずLOSがMPTより小さいという条件では、ステップ２６０で、ビデオは適切なズームアウト動作をもって、より小さなディスプレイ上に重点流れ表示動作で呈示されることになる。ステップ２７０では、複数の顕著なオブジェクトが存在し、LOSがMPTより小さく、ビデオはより小さなディスプレイ上に直接表示される。この条件では、呈示動作の頻繁な変更を避けて閲覧経験をなめらかにするため、パン動作は禁止されるからである。ステップ２８０では、m＝2,3,...として、LOSがMPTのm倍より大きいかどうかが判定される。LOSがMPTのm倍より大きい場合、ステップ２９０におけるように、ビデオはより小さなディスプレイ上で、重点流れ表示動作で、顕著性駆動パン動作および適切なズームアウト動作で呈示される。LOSがMPTより大きいがMPTのm倍よりは大きくない場合、ビデオは重点流れ表示動作で、ズームアウトなしの顕著性駆動パン動作をもって呈示されることになる。
【００６６】
ステップ１００でMVACTが所定の閾値TMOTIONより小さくないと判定されるときは、プロセスはステップ４００に進む。ステップ４００では、RZGが閾値DS/2より小さいかどうかが判定される。判定が「イエス」であれば、プロセスはステップ４１０に進み、真の動き展示がズームイン動作をもって行われる。一方、ステップ４００の判定が「ノー」であれば、プロセスはステップ４２０に進み、RZGが2DSより大きいかどうかが判定される。ステップ４２０で判定が「イエス」であれば、プロセスはステップ４３０に進み、真の動き展示がズームアウト動作をもって行われる。ステップ４３０の判定が「ノー」であれば、プロセスはステップ４４０に進み、真の動き展示が行われる。
【００６７】
本発明の教示を組み込む実施形態が図示され、本稿で詳細に記述されてきたが、当業者は、やはりこれらの教示を組み込む多くの他の変化した実施形態を容易に工夫できる。上記の教示に照らして当業者は修正および変形を施すことができることを注意しておく。したがって、開示される発明の特定の実施形態において、付属の請求項において述べられる本発明の範囲および精神のうちに含まれる変更がなされうることは理解しておくものとする。
【図１】
2010503006.tif 000008
【図２】
2010503006.tif 000009
【図３】
2010503006.tif 000010
【図４】
2010503006.tif 000011
【図５】
2010503006.tif 000012
【図６】
2010503006.tif 000013
【国際調査報告】
2010503006.tif 000014
2010503006.tif 000015
2010503006.tif 000016