(57)【要約】  携帯用装置のより小さなディスプレイに対して広範囲の内容を得ることによるトリミングシステムを向上させるために、本発明は、例えば撮影後の編集作業や番組変更やファイル保管における、メタデータ収集や対応するビデオから始める方法を提案する。ここで、（ａ）例えば動き検出やモーフォロジーフィルタやエッジ検出等を用いることによって、前記ビデオがビデオ分析装置を経由して供給され、（ｂ）分離したビデオとメタデータが組み合わされて、文脈中で重要な特徴が抽出され、メタデータからの重要な情報は分類されて、供給されるビデオの内容に適合した特徴抽出ステップの動的にフィットしたチェーンを初期化するために用いられ、（ｃ）抽出された重要な特徴は組み合わされて、対象追跡によって連続的なビデオフレームの中でサーチされた興味範囲（ＲＯＩ）を定義し、対象追跡は連続したビデオフレームにおける新しい位置と各初期化されたＲＯＩのゆがみを特定し、この情報を特徴抽出に戻すことによって、前記特徴抽出と前記対象追跡との間の不変のコミュニケーションを得て、（ｄ）１つ又は幾つかのＲＯＩが抽出されて、ビデオフレームによってトリミングステップに入力され、（ｅ）重み付け情報に基づいて、供給された前記ＲＯＩを重要度によって分類されることで、良く合成された画像部分がトリミングされ、（ｆ）前記トリミングされた画像領域が、所望の小さな画面サイズに適合される。
2011514789.tif 000002
【特許請求の範囲】
【請求項１】
小さな画面サイズ、特に携帯用装置の小さな画面サイズにビデオ画像を適合させる方法であって、例えば撮影後の編集作業や番組変更やファイル保管等における、メタデータ収集や対応するビデオから始める方法において、
（ａ）例えば動き検出やモーフォロジーフィルタやエッジ検出等を用いることによって、前記ビデオがビデオ分析装置を経由して供給され、
（ｂ）分離したビデオとメタデータが組み合わされて、文脈中で重要な特徴が抽出され、メタデータからの重要な情報は分類されて、供給されるビデオの内容に適合した特徴抽出ステップの動的にフィットしたチェーンを初期化するために用いられ、
（ｃ）抽出された重要な特徴は組み合わされて、対象追跡によって連続的なビデオフレームの中でサーチされた興味範囲（ＲＯＩ）を定義し、対象追跡は連続したビデオフレームにおける新しい位置と各初期化されたＲＯＩのゆがみを特定し、この情報を特徴抽出に戻すことによって、前記特徴抽出と前記対象追跡との間の不変のコミュニケーションを得て、
（ｄ）１つ又は幾つかのＲＯＩが抽出されて、ビデオフレームによってトリミングステップに入力され、
（ｅ）重み付け情報に基づいて、供給された前記ＲＯＩを重要度によって分類されることで、良く合成された画像部分がトリミングされ、
（ｆ）前記トリミングされた画像領域が、所望の小さな画面サイズに適合されることを特徴とするビデオ画像の小さな画面サイズへの適合方法。
【請求項２】
前記メタデータが、記述的データと、技術的データと、オプションデータとに大雑把に分類されることを特徴とする請求項１記載のビデオ画像の小さな画面サイズへの適合方法。
【請求項３】
前記記述的データが静的データ又は動的データからなる内容関連記述であって、前記動的データは時間とともに変化し、ビデオ内容と同期し、前記静的データは例えばジャンルのようなビデオ全体にわたって有効な記述であって、前記技術的データは静的又は動的な埋め込まれたビデオのフォーマットに関連することを特徴とする請求項２記載のビデオ画像の小さな画面サイズへの適合方法。
【請求項４】
前記技術的データはビデオ画像における場面変化を検出するために用いられることを特徴とする請求項２又は３に記載のビデオ画像の小さな画面サイズへの適合方法。
【請求項５】
前記特徴抽出ステップと前記対象追跡ステップの間の不変のコミュニケーションが、既にトラッキングされた特徴抽出のための領域を抑制するために用いられることを特徴とする請求項１ないし４のいずれか１項に記載のビデオ画像の小さな画面サイズへの適合方法。
【請求項６】
抽出された重要な特徴が、例えば位置や大きさといった重要度によって重み付けされ、関連する特徴が、重み付けられた興味範囲（ＲＯＩ）と組み合わされることを特徴とする請求項１ないし５のいずれか１項に記載のビデオ画像の小さな画面サイズへの適合方法。
【請求項７】
前記トリミングステップにおける前記供給されたＲＯＩの前記分類操作が、アナモルフィックビデオ（水平方向に４：３にクリップされたアスペクト比１６：９のビデオ）が存在しているか、正方画素又は非正方画素が画像を構成しているかどうかを検査し、画像フォーマットの、対象となる小さな画面サイズへのスケーリングにおいて、画像歪みを回避するために、検査されたパラメータが考慮され、適合されることを特徴とする請求項１ないし６のいずれか１項に記載のビデオ画像の小さな画面サイズへの適合方法。
【請求項８】
前記トリミングステップにおける前記供給されたＲＯＩの前記分類操作が、異なるディスプレイに対する視聴条件を調査し、それによってトリミング領域がオリジナル画面のどの大きさと比較されるべきかの基準を決定し、この決定は視聴距離とディスプレイ解像度の両方の比較によってなされることを特徴とする請求項１ないし７のいずれか１項に記載のビデオ画像の小さな画面サイズへの適合方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願に係る発明は、ビデオ画像を小さな画面サイズに適合させる方法、特に携帯用端末の小さな画面サイズに適合させる方法に関する。
【背景技術】
【０００２】
携帯型テレビは、成長が約束されたマーケットである。それは、携帯電話やスマートフォーンやＰＤＡ（携帯情報端末）のような小さな携帯型装置上で、テレビ信号を受信することを可能にする。これらの小さな携帯型装置の画面上のディスプレイは、家庭での据え置き型の標準画質テレビ（ＳＤＴＶ）のように詳細な画像を提供することはできない。視聴条件の本質的な差異に無関係に、同じ内容が、携帯型テレビと据え置き型テレビの両方で主に表示されている。しかし、携帯型テレビのために別個の番組を制作することは、放送局が賄いきれないほどのコスト増加と共に人的資源の投資をもたらす。
【０００３】
この様な厄介な状況を解消するために、部分的にトリミングすることによって、高い画像解像度を有するビデオ内容を、小さなディスプレイに適合させるためのいくつかの提案がなされている。これら提案では、共通のビデオ分析方法を用いた特徴抽出に基づいて、興味範囲（ROI）の自動検出を取り扱っている。ビデオ信号における検出された興味範囲は、十分なトリミング（カット）領域を見出すために用いられ、そして、携帯型装置のディスプレイに適合したすべての関連情報を含んだ新しい画像が作られる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、このような既知のトリミングシステムは、意味的な知識に欠けており、従って一般的に定義する方法であったため、広範囲の内容を取り扱うには不十分であった。
【０００５】
本発明の目的は、広範囲な内容をカバーすることによって、携帯型装置のより小さなサイズのディスプレイのためのトリミングシステムを改良することである。
【課題を解決するための手段】
【０００６】
上記目的は、例えば撮影後の編集作業や番組変更やファイル保管における、メタデータ収集や対応するビデオから始める方法であって、
（ａ）例えば動き検出やモーフォロジーフィルタやエッジ検出等を用いることによって、前記ビデオがビデオ分析装置を経由して供給され、
（ｂ）分離したビデオとメタデータが組み合わされて、文脈中で重要な特徴が抽出され、メタデータからの重要な情報は分類されて、供給されるビデオの内容に適合した特徴抽出ステップの動的にフィットしたチェーンを初期化するために用いられ、
（ｃ）抽出された重要な特徴は組み合わされて、対象追跡によって連続的なビデオフレームの中でサーチされた興味範囲（ＲＯＩ）を定義し、対象追跡は連続したビデオフレームにおける新しい位置と各初期化されたＲＯＩのゆがみを特定し、この情報を特徴抽出に戻すことによって、前記特徴抽出と前記対象追跡との間の不変のコミュニケーションを得て、
（ｄ）１つ又は幾つかのＲＯＩが抽出されて、ビデオフレームによってトリミングステップに入力され、
（ｅ）重み付け情報に基づいて、供給された前記ＲＯＩを重要度によって分類されることで、良く合成された画像部分がトリミングされ、
（ｆ）前記トリミングされた画像領域が、所望の小さな画面サイズに適合されることを特徴とする方法によって解決される。
【０００７】
有利なことに、本発明は、利用可能なメタデータを用いてビデオ信号における特徴抽出を提供し、重要な画像領域をトリミングし、それらをより低い解像度のディスプレイに適用する。
【図面の簡単な説明】
【０００８】
【図１】本発明の方法を実施するための全体的なシステムの略ブロック図を示す。
【図２】図１のシステムに示されたブロックを示す。
【図３】図１のシステムに示されたブロックを示す。
【図４】図１のシステムに示されたブロックを示す。
【図５】図１のシステムに示されたブロックを示す。
【図６】興味範囲（ROI）を検出するための初期化された特徴抽出法の例を示す。
【図７】オリジナル画像とトリミング画像の比較である。
【発明を実施するための形態】
【０００９】
本発明は、撮影後の編集作業や番組変更やファイル保管のための種々のメタデータの利用を可能にする（テープ記録からテープレス記録へのシフトに基づいた）ファイルベースの製作フォーマットを目指している。このようなメタデータは、ビデオデータとメタデータとを含むコンテナフォーマットに含まれている。このようなメタデータは、製作手順の詳細に関連する特定の情報と共に、ジャンルのタイプを記載した内容関連情報を含んでいる。生成されたメタデータは、ビデオとメタデータとを含むコンテナフォーマットにおいて利用可能である。このようなコンテナフォーマットは、ファイル又はストリームとして、異なるデータを同期させて多重送信することを可能にする。メタデータ情報と既知の特徴抽出法との組み合わせは、広範囲な内容に個別的に適合する本発明の方法をもたらす。
【００１０】
図１は、全体的なシステムが、３つのブロック１，２，３を備えていることを示すブロック図である。ビデオとメタデータがブロック１に入力される。メタデータは、１つ又は幾つかのソースから集められる。次のステップで、収集されたデータは構文解析されて、重要な情報が使いやすい構造に分類される。処理後のデータは、ブロック２と一部がブロック３に送られる。ビデオ成分は、「ビデオ」出力を通ってブロック２に渡される。ブロック２は特徴抽出モジュールであって、より詳細には図３を参照して説明されるが、ショット検出ステップと、特徴抽出ステップと、続けて対象追跡ステップを実行する。ブロック２で実行される特徴抽出によって、ｎ個の抽出されたＲＯＩが得られ、それらはブロック３に送られる。ブロック３はトリミングモジュールであって、携帯型装置のより小さなサイズのディスプレイに表示するためのトリミング領域を生成する。このモジュールは、製作サイドと最終装置のどちらに置くこともできる。
【００１１】
ブロック１は、図２に詳細を示すように、メタデータの収集と構文解析を行う。ビデオはブロック１を通過してビデオ分析に渡され（図１参照）、一方、メタデータは構文解析（分析）されて、重要な情報が使いやすい構造に分類される。メタデータは、例えばＸＭＬ（拡張マークアップ言語）のような、簡易なファイル構造を用いた内容関連記述である。ここで、メタデータは、記述的データと、技術的データと、オプションデータとに大雑把に分類される。記述的データは、内容関連記述である。この情報は、静的であっても、動的であってもよい。動的とは、ビデオ内容に同期して時間と共にデータが変化することを意味し、例えばビデオに現われた人物の記述である。静的なデータとは、ビデオ全体にわたって有効な記述であって、例えばビデオのジャンルである。これに対して、技術的データとは本質部分のフォーマットに関連するもので、静的であっても、動的であってもよい。技術的データは、組み込みビデオのフォーマットを記述する。オプションデータは、製作に特定した技術的又は記述的メタデータではないが、適合プロセスで必要な情報を与えるものであり、例えば、トリミングが製作サイドで行なわれるのか、最終装置サイドで行なわれるのか、又は最終ビデオの特性（解像度、フレームレート等）の情報である。これら３つのメタデータタイプ、即ち、記述的データと、技術的データと、オプションデータとは、特徴抽出モジュール（ブロック２）に供給される。
【００１２】
特徴抽出モジュールであるブロック２の詳細を図３に示す。逆多重化モジュール（ブロック１）から供給されるビデオとメタデータは、組み合わされて重要な特徴を抽出する。このために、分類されたメタデータが、供給されたビデオ内容に適合した特徴抽出の動的にフィットしたチェーンを初期化するために用いられる。それらは、動き検出（例えばブロックマッチング）や、モーフォロジーフィルタ（例えばＥｒｏｓｉｏｎ）、エッジ検出（例えばＳｏｂｅｌ演算子）などである。追加の特徴抽出として、視覚的注視モデルが実施され、用いられる。このような視覚的注視システムは、人間の視覚システムをエミュレートする。視覚的注視システムは、人間の目の方法と同様に、主方向や、色又は強度のような顕著な低レベルの特徴（ボトムアップ特徴）を検出し、それらを組み合わせる。
【００１３】
各ジャンルは、特徴抽出法の異なる組み合わせと、メタデータ又は特徴抽出によって得られる他の情報によって動的に制御可能な異なるパラメータとを有する。これは、ブロック２に、ジャンルに特定の特徴抽出法を割り当てた行列によって示されている。続いて、検出された特徴は、例えば文脈上の位置又はサイズのような重要度によって重み付けされる。次に、関連する特徴がＲＯＩに組み合わされて、トラッキングツールに送られる。トラッキングツールは、連続したフレームの中に各初期化されたＲＯＩの新しい位置と歪みを識別して、この情報を特徴抽出に戻す。これによって、特徴抽出とトラッキングツールの間の不変のコミュニケーションが保証される。これは、既にトラックされた特徴抽出の領域を制限するために用いることができる。最後に、１つ又は幾つかのＲＯＩが抽出される。各特徴の重み付けは、現在のビデオ内容の文脈に依存する。それは、すべての利用可能な特徴抽出データとメタデータを収集し処理するアルゴリズムによって決定される。これらの割り当ては、何が集約されるべき部分で、どのように新しく作成された画像に配置されるかという決定基準を供給する。
【００１４】
ブロック２で実行される特徴抽出をより詳細に説明するために、図６に示す短い例と、障害飛越馬術場面の取り扱いによる、異なる特徴抽出法の可能な組み合わせを示す。既に述べたように、用いられた方法は、利用可能なメタデータによって初期化され、組み合わせられている。最も重要なメタデータ情報は、どのタイプのジャンルが存在しているかである。ここで、その情報は特別なビデオ分析法によって馬の位置を検出するために用いられる。図６は、馬と騎手の位置と大きさを得るための可能なプロセスを大雑把に説明している。この場合の基本要件は、静止した前景（馬）と移動する背景を伴った障害飛越が発生していることである。これは、二つの連続したフレーム（図６にｆ0とｆ1で示す）間の移動する背景のオフセットを計算するアプローチを導く。オフセットを知ることによって、後者のフレームをそれによって再配置し、前者のフレームから引き算することができる。この結果は、背景が一致した暗い領域と背景と異なる画素による明るい領域となって表わされる。明暗の間の差異を得るためにいくつかのフィルタを適用した後に、馬と騎手のラフな形状（図６の下の写真参照）が明確に出現する。いったん検出した後は、このＲＯＩは続くフレームで見えている限り保持することが望ましい。このために、初期化され検出された馬を受け取った時にトラッキングアプリケーションは初期化されて、連続したフレームでマッチングさせる。それに続くフレームで更新されたトラッキング位置は、トラッキングモジュールから特徴抽出モジュール（ブロック２）に戻される。
【００１５】
ブロック３と４（図４と５）は、トリミングモジュールをより詳細に示している。トリミングモジュールは、主に、上手く作成された画像部分をトリミングする機能を有している。このために、重要度によって分類されたすべての受信したＲＯＩは、トリミング領域の位置決定を補助するために用いられる。単にトリミング領域を選択する以外に、アナモルフィックビデオ（水平方向に４：３にクリップされたアスペクト比１６：９のビデオ）が存在しているか、正方画素又は非正方画素が画像を構成しているかどうかを検討する必要がある。対象となるディスプレイの画像フォーマットに依存して、画像歪みを回避するために、これらの可能性が考慮され、適用される必要がある。トリミングプロセスは、送信サイド（ブロック３）又は受信装置サイド（ブロック４）で実行される。どちらの場合にも、同じ手順が用いられる。ただ１つの違いは、最終装置の要件に関する情報を供給する方法である。送信サイドの場合、分配するビデオフォーマットの要件も記載されているメタデータのオプションデータによってなされる。最終装置サイドの場合、この情報は装置自身によって利用可能である。全体的なオリジナルビデオとＲＯＩの情報が利用可能であって、個別に適合させることができることは、この方式の利点である。処理を送信サイドで行なう場合には、トリミング領域は一度定義すれば、すべての最終装置に提供される。
【００１６】
上記トリミングパラメータに加えて、異なるディスプレイに対する視聴条件も考慮する必要がある。これによって、トリミング領域のどのサイズがオリジナル画像と比較されるべきかが、ベンチマークによって定義される。このようなベンチマークは、両方のディスプレイの解像度に対する視聴距離を比較して求めることができる。これらの考慮点は、トリミング領域の大きさや形状によって再び変化し、もう一度適合し直す必要がある。全ての内容に関連した問題や技術的問題を考慮して、適切なトリミング領域が決定した後に、画像は対象となるディスプレイのサイズにスケーリングする必要がある。
【００１７】
上で示したように、障害飛越馬術の特徴抽出の例（図６）は、特別仕立ての方法であって、例えばサッカーのような他の種類のコンテンツに対しては適正に働かない。従って、提供するアプローチには、ジャンルの種類に合った正確な抽出法を選択するためのメタデータが必要である。最後に、図７に示すようなビデオ内容の適合が望ましい。
【００１８】
提案した手順は、メタデータによって制御される作業の流れを記述している。これによって、特別仕立ての特徴抽出とトリミング法は、ビデオ分析の信頼性を向上し、作成された画像の美的評価を高めることができる。上で説明した障害飛越馬術のビデオ分析とトリミングの例は、可能な作業の流れをより詳細に実演することが目的である。それらは、本願の一部ではない。また、本願の範囲は、テレビ製作に限定されない。本発明は、ビデオトリミングが必要で、既知の構造におけるメタデータが利用可能な、例えばＷＥＢストリーミング又はローカルに蓄積されたビデオにも、一般的に利用可能である。
【図１】
2011514789.tif 000003
【図２】
2011514789.tif 000004
【図３】
2011514789.tif 000005
【図４】
2011514789.tif 000006
【図５】
2011514789.tif 000007
【図６】
2011514789.tif 000008
【図７】
2011514789.tif 000009
【国際調査報告】
2011514789.tif 000010
2011514789.tif 000011
2011514789.tif 000012