(57)【要約】  デジタル画像のオブジェクトの視認性が、デジタル画像の入力ビデオをオブジェクトの特質及び特徴を表す格納された情報と比較し、オブジェクトを特定して位置付けるオブジェクト位置決め情報を作成することによって向上される。入力ビデオ及びオブジェクト位置決め情報は符号化されて受信器に送られ、該受信器において、入力ビデオ及びオブジェクト位置決め情報が復号され、復号された入力ビデオは復号されたオブジェクト位置決め情報によって視認性向上される。
2011517228.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像内のオブジェクトの視認性を向上するシステムであって、
オブジェクトを含むデジタル画像の入力ビデオを準備する手段と、
（ａ）前記オブジェクトの特質及び特徴を表す情報を格納し、
（ｂ）前記入力ビデオ及び前記オブジェクトの前記特質及び特徴を表す前記情報に応じて、前記オブジェクトを特定して位置付けるオブジェクト位置決め情報を作成する手段と、
前記入力ビデオ及び前記オブジェクト位置決め情報を符号化する手段と、
前記符号化された入力ビデオ及び前記符号化されたオブジェクト位置決め情報を送信する手段と、
前記符号化された入力ビデオ及び前記符号化されたオブジェクト位置決め情報を受信する手段と、
前記符号化された入力ビデオ及び前記符号化されたオブジェクト位置決め情報を復号する手段と、
前記復号された入力ビデオ及び前記復号されたオブジェクト位置決め情報に応じて、前記オブジェクト及び前記オブジェクトが位置する前記デジタル画像の領域を含む前記入力ビデオの当該部分の視認性向上されたビデオを作成する手段と、
前記視認性向上されたビデオを表示する手段と
を含むシステム。
【請求項２】
前記オブジェクト位置決め情報を作成する前記手段は、
（ａ）前記入力ビデオのセクタをスキャンする手段と、
（ｂ）前記入力ビデオの前記スキャンされたセクタを前記オブジェクトの前記特質及び特徴を表す前記格納された情報と比較して、前記オブジェクトの前記特質及び特徴を表す前記格納された情報に類似する前記特質及び特徴を有する前記画像の当該オブジェクトを特定して位置付ける手段と
を有することを特徴とする請求項１記載のデジタル画像のオブジェクトの視認性を向上するシステム。
【請求項３】
（ａ）前記オブジェクト位置決め情報は、前記オブジェクトの特性及び位置を概算するだけであり、
（ｂ）前記符号化された入力ビデオ及び前記符号化されたオブジェクト位置決め情報を復号する前記手段は、前記オブジェクト位置決め情報を精緻化する手段を含む、
ことを特徴とする請求項２記載のデジタル画像のオブジェクトの視認性を向上するシステム。
【請求項４】
前記オブジェクト位置決め情報を精緻化する前記手段は、
（ａ）前記オブジェクトの境界線を推定して、
（ｂ）前記オブジェクトを視認性向上する
手段を含むことを特徴とする請求項３記載のデジタル画像のオブジェクトの視認性を向上するシステム。
【請求項５】
（ａ）前記オブジェクト位置決め情報は、前記オブジェクトの特性及び位置を概算するだけであり、
（ｂ）前記入力ビデオ及び前記オブジェクト位置決め情報を符号化する前記手段は、前記オブジェクト位置決め情報を精緻化する手段を含む、
ことを特徴とする請求項２記載のデジタル画像のオブジェクトの視認性を向上するシステム。
【請求項６】
前記オブジェクト位置決め情報を精緻化する前記手段は、
（ａ）前記オブジェクトの境界線を推定し、
（ｂ）前記オブジェクトを視認性向上する、
手段を含むことを特徴とする請求項５記載のデジタル画像のオブジェクトの視認性を向上するシステム。
【請求項７】
デジタル画像のオブジェクトの視認性を向上する方法であって、
前記オブジェクトを含むデジタル画像の入力ビデオを準備するステップと、
前記オブジェクトの特質及び特徴を表す情報を格納するステップと、
前記入力ビデオ及び前記オブジェクトの前記特質及び特徴を表す前記情報に応じて、前記オブジェクトを特定して位置付けるオブジェクト位置決め情報を作成するステップと、
前記入力ビデオ及び前記オブジェクト位置決め情報を符号化するステップと、
前記符号化された入力ビデオ及び前記符号化されたオブジェクト位置決め情報を送信するステップと、
前記符号化された入力ビデオ及び前記符号化されたオブジェクト位置決め情報を受信するステップと、
前記符号化された入力ビデオ及び前記オブジェクト位置決め情報を復号するステップと、
前記復号された入力ビデオ及び前記復号されたオブジェクト位置決め情報に応じて、前記オブジェクト及び前記オブジェクトが位置する前記デジタル画像の領域を含む前記入力ビデオの当該部分の視認性向上されたビデオを作成するステップと
前記視認性向上されたビデオを表示するステップと、
を含むことを特徴とする方法。
【請求項８】
前記オブジェクト位置決め情報を作成する前記ステップは、
（ａ）前記入力ビデオのセクタをスキャンするステップと、
（ｂ）前記入力ビデオの前記スキャンされたセクタを前記オブジェクトの特質及び特徴を表す前記格納された情報と比較して、前記オブジェクトの前記特質及び特徴を表す前記格納された情報に類似する前記特質及び特徴を有する前記画像の当該オブジェクトを特定して位置付けるステップと
を含むことを特徴とする請求項７記載のデジタル画像のオブジェクトの視認性を向上する方法。
【請求項９】
（ａ）前記オブジェクト位置決め情報は、前記オブジェクトの特質及び位置を概算するだけであり、
（ｂ）前記入力ビデオ及び前記オブジェクト位置決め情報を復号する前記ステップは、前記オブジェクト位置決め情報を精緻化するステップを含む
ことを特徴とする請求項８記載のデジタル画像のオブジェクトの視認性を向上する方法。
【請求項１０】
前記オブジェクト位置決め情報を精緻化する前記ステップは、
（ａ）前記オブジェクトの境界線を推定するステップと、
（ｂ）前記オブジェクトを視認性向上するステップと
を含むことを特徴とする請求項９記載のデジタル画像のオブジェクトの視認性を向上する方法。
【請求項１１】
（ａ）前記オブジェクト位置決め情報は、前記オブジェクトの前記特質及び位置を概算するだけであり、
（ｂ）前記入力ビデオ及び前記オブジェクト位置決め情報を符号化する前記ステップは、前記オブジェクト位置決め情報を精緻化するステップを含む、
ことを特徴とする請求項８記載のデジタル画像のオブジェクトの視認性を向上する方法。
【請求項１２】
前記オブジェクト位置決め情報を精緻化する前記ステップは、
（ａ）前記オブジェクトの境界線を推定するステップと、
（ｂ）前記オブジェクトを視認性向上するステップと
を含むことを特徴とする請求項９記載のデジタル画像のオブジェクトの視認性を向上する方法。
【請求項１３】
デジタル画像のオブジェクトの視認性を向上するシステムであって、
デジタル画像の入力ビデオを準備し、オブジェクト手段を含む手段を含み、
前記オブジェクト手段は、
（ａ）前記オブジェクトの特質及び特徴を表す情報を格納し、
（ｂ）前記ビデオ入力及び前記オブジェクトの前記特質及び特徴を表す前記情報に応じて、前記オブジェクトを特定して位置付けるオブジェクト位置決め情報を作成する手段であって、
前記システムは更に、
前記ビデオ入力及び前記オブジェクト位置決め情報に応じて、前記入力ビデオを符号化する手段を含むことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、「画像内でオブジェクトを処理する方法」と題されて、２００８年４月１１日に出願された米国仮特許出願第６１／１２３９１３号（代理人整理番号ＰＵ０８００５５）の利益を請求し、該米国仮特許出願は、参照することにより全体が本明細書の一部を構成する。
【０００２】
本発明は、概して、デジタル画像の送信に関し、具体的には、特に低解像度であって低ビットレートでビデオ符号化されていてユニットに表示されるデジタル画像であるデジタル画像において、目的とするオブジェクトの視認性を向上することに関する。
【背景技術】
【０００３】
携帯電話及びＰＤＡなどの携帯端末へのビデオコンテンツの配信に対する需要が高まっている。小さい画面サイズ、限られた帯域幅、及び限られたデコーダ部分の処理能力のため、ビデオは、低ビットレートでかつ低解像度で符号化される。低解像度で低ビットレートのビデオ符号化についての主な問題のうちの１つは、知覚されるビデオ品質に不可欠のオブジェクトの劣化または損失である。例えば、ボールがはっきりと見えない場合、サッカーの試合またはテニスの試合のビデオクリップを見ることは厄介なことである。
【発明の概要】
【０００４】
従って、低解像度で低ビットレートのビデオの主観的なビデオ品質を改善するために目的とするオブジェクトを視認性向上することが望ましい。本発明の様々な実施例において、デジタル画像内の目的とするオブジェクトの視認性は、該画像内のオブジェクトのおおよその位置及びサイズを与えられて、向上されるかまたは、オブジェクトの視認性は、オブジェクトのおおよその位置及びサイズを精緻化した後に向上される。オブジェクトの視認性向上は、少なくとも２つの利点を提供する。第一に、オブジェクトの視認性向上は、オブジェクトを見て後を追うことをより容易にし、これによってユーザ経験を改善する。第二に、オブジェクトの視認性向上は、符号化（即ち、圧縮）ステージの間オブジェクトの劣化をより少なく維持するのに役立つ。本発明の１つの主な適用例は、携帯電話及びＰＤＡなどの携帯端末へのビデオ配信であるが、本発明の特徴、概念、及び実施例はまた、例えばインターネットプロトコルを介したビデオ（低ビットレート、標準定義のコンテンツ）を含む様々な他の適用例、内容、及び環境に役立つだろう。
【０００５】
本発明は、低解像度で低ビットレートのビデオの主観的なビデオ品質を改善するためにビデオ内の目的とするオブジェクトの視認性を向上することを提供する。本発明のシステム及び方法は、異なる特徴のオブジェクトを処理して、全自動モード、半自動モード（即ち、手動の助けを借りる）、及び全手動モードで動作することが可能である。オブジェクトの視認性向上は、前処理ステージ（即ち、ビデオ符号化の前またはビデオ符号化中）において、または、後処理ステージ（即ち、ビデオ復号化ステージの後）において実行することができる。
【０００６】
本発明によれば、デジタル画像のオブジェクトの視認性は、オブジェクトを含むデジタル画像の入力ビデオを準備し、該オブジェクトの特質及び特徴を格納し、ビデオ入力及び該オブジェクトの特質及び特徴を表す情報に応じて、該オブジェクトを特定して位置付けるためのオブジェクト位置決め情報を作成することによって向上される。入力ビデオ及びオブジェクト位置決め情報は符号化されかつ復号化され、オブジェクト及びオブジェクトが位置するデジタル画像領域を含む入力ビデオのその部分の向上されたビデオは、復号されたオブジェクト位置決め情報に応じて作成される。
【図面の簡単な説明】
【０００７】
【図１】本発明に基づいて構成されたデジタルビデオのオブジェクトの視認性を向上するシステムの好適な実施形態のブロック図である。
【図２】図１のシステムによって提供されるおおよそのオブジェクトの位置決めを示す図である。
【図３Ａ】本発明に基づいてオブジェクトを視認性向上する際のワークフローを示す図である。
【図３Ｂ】本発明に基づいてオブジェクトを視認性向上する際のワークフローを示す図である。
【図３Ｃ】本発明に基づいてオブジェクトを視認性向上する際のワークフローを示す図である。
【図３Ｄ】本発明に基づいてオブジェクトを視認性向上する際のワークフローを示す図である。
【図４】本発明に基づいてオブジェクト特定情報及びオブジェクト位置決め情報を精緻化するために用いることができるオブジェクトの境界線の推定アルゴリズムについてのフローチャートである。
【図５Ａ】本発明に基づく任意形状のオブジェクトの境界線のレベルセット法の概念についての実施例を示す図である。
【図５Ｂ】本発明に基づく任意形状のオブジェクトの境界線のレベルセット法の概念についての実施例を示す図である。
【図５Ｃ】本発明に基づく任意形状のオブジェクトの境界線のレベルセット法の概念についての実施例を示す図である。
【図５Ｄ】本発明に基づく任意形状のオブジェクトの境界線のレベルセット法の概念についての実施例を示す図である。
【図６】本発明に基づくオブジェクトの拡大アルゴリズムについてのフローチャートである。
【図７Ａ】符号化ステージの間のオブジェクト特定情報及びオブジェクト位置決め情報の精緻化を説明するのに役立つ１６×１６マクロブロックの３つの考えられる下位分割のうちの１つを示す図である。
【図７Ｂ】符号化ステージの間のオブジェクト特定情報及びオブジェクト位置決め情報の精緻化を説明するのに役立つ１６×１６マクロブロックの３つの考えられる下位分割のうちの１つを示す図である。
【図７Ｃ】符号化ステージの間のオブジェクト特定情報及びオブジェクト位置決め情報の精緻化を説明するのに役立つ１６×１６マクロブロックの３つの考えられる下位分割のうちの１つを示す図である。
【発明を実施するための形態】
【０００８】
図１を参照すると、本発明に基づいて構成されるオブジェクト視認性向上システムは、送信器１０の全ての構成要素を範囲としてもよいしまたは、オブジェクト視認性向上構成要素が受信器２０に設けられてもよい。オブジェクト視認性向上表示を実行することができる連鎖プロセスには３つのステージがある。即ち、（１）オブジェクトが符号化（即ち、圧縮）ステージの前に送信器１０において視認性向上される前処理、（２）オブジェクトを含む目的とする領域が、オブジェクト及びその位置に関する情報を精緻化することによって、送信器１０において特別な処理が行われる符号化、（３）オジェクトが、オブジェクト及びメタデータとしてビットストリームを介して送信器１０から送信される該オブジェクトの位置に関するサブ情報を利用して復号化の後に受信器２０において視認性向上される後処理、である。本発明に基づいて構成されるオブジェクト視認性向上システムは、上記で特定したステージのうちの１つだけで、上記で特定したステージのうちの２つで、または上記で特定した３つの全ステージで、オブジェクト視認性向上表示を提供するよう構成することができる。
【０００９】
デジタル画像のオブジェクトの視認性を向上する図１のシステムは、目的とするオブジェクトを含む入力ビデオを準備する手段を含む。視認性を向上させることになっているオブジェクトを含むデジタル画像のソースは、従来の構成及び動作のテレビカメラにあってもよくて、矢印１２で表されている。
【００１０】
図１のシステムはまた、目的とするオブジェクトの特質及び特徴を表す情報（例えば、オブジェクトのテンプレート）を格納する手段と、ビデオ入力並びにオブジェクトの特質及び特徴を表す情報に応じて、オブジェクトを特定して位置付けるオブジェクト位置決め情報を作成する手段とを含む。図１においてオブジェクト位置決めモジュール１４として特定されているかかる手段は、１フレームごとに入力ビデオをスキャンしてオブジェクトを特定し（即ち、オブジェクトが何であるか）、目的とするオブジェクトの特質及び特徴を表す格納された情報と似ている特質及び特徴を有する画像内の当該オブジェクトを位置付ける（即ち、オブジェクトがどこにあるか）手段を含む。オブジェクト位置決めモジュール１４は、従来の構成及び動作のユニットであってもよい。該ユニットは、１フレームずつ入力ビデオのデジタル画像をスキャンして、スキャンされた入力ビデオのデジタル画像のセクタを、目的とするオブジェクトの特質及び特徴を表す格納された情報と比較し、特定のセクタのスキャンから作成された情報がオブジェクトの特質及び特徴を表す格納された情報と似ている場合、デジタル画像の格子座標によって、目的とするオブジェクトを特定して位置付ける。
【００１１】
概して、オブジェクト位置決めモジュール１４は、目的とするオブジェクトを特定して位置付ける際に以下の方法のうちの１つまたは複数を実施する。
・オブジェクト追跡−オブジェクトトラッカの目標は、ビデオ内の移動オブジェクトを位置付けることである。通常、トラッカは、前のフレームから移動オブジェクトの履歴を与えられて、現在のフレームにおけるオブジェクトパラメータ（例えば、位置、サイズ）を推定する。追跡方法は、例えば、テンプレートの一致、オプティカルフロー、カルマンフィルタ、平均シフト分析、隠れマルコフモデル、及びパーティクルフィルタに基づくことができる。
・オブジェクト検出−オブジェクト検出の目標は、オブジェクトに関する予備的知識に基づいて画像またはビデオフレーム内のオブジェクトの存在及び位置を検出することである。オブジェクト検出方法は、通常、トップダウン法とボトムアップ法の組合せを用いる。トップダウン法において、オブジェクト検出方法は、検出されているオブジェクトについての人間の知識から導かれる規則に基づいている。ボトムアップ法では、オブジェクト検出方法は、オブジェクトと低レベルの構造上の特徴またはパターンを関連付けて、次にこれらの特徴またはパターンを探すことによってオブジェクトを位置付ける。
・オブジェクトのセグメンテーション−この方法において、画像またはビデオは、その構成「オブジェクト」に分解され、構成「オブジェクト」は、カラーパッチなどの意味的エンティティまたは視覚構造を含むことができる。この分解は、通常、オブジェクトの動き、色、及びテクスチャ属性に基づいている。オブジェクトのセグメンテーションには、いくつかのアプリケーションがある。該アプリケーションは、コンパクトビデオの符号化、自動及び半自動のコンテンツベースの記述、フィルムの撮影後の編集、及び場面解釈を含む。特に、セグメンテーションは、場面のオブジェクトベースの記述を準備することによってオブジェクト位置決め問題を単純化する。
【００１２】
図２は、オブジェクト位置決めモジュール１４によって準備されるおおよそのオブジェクトの位置決めを示す。ユーザは、例えば、オブジェクトが位置する領域の周りに楕円を描いて、オブジェクトをおおよそ位置付ける。最終的に、おおよそのオブジェクト位置決め情報（即ち、楕円の中心点パラメータ、主軸パラメータ、及び短軸パラメータ）が精緻化される。
【００１３】
オブジェクト位置決めモジュール１４は、完全に自動モードで動作することが理想である。しかしながら、実際には、いくらかの手作業の支援が、システムによって生じたエラーを修正するためにまたは、少なくとも、システムが場所を突き止める重要なオブジェクトを画定するために必要かもしれない。非オブジェクト領域を視認性向上することは、視聴者に気を散らさせて実際の動きを見のがさせるかもしれない。この問題を避けるためにまたは最小限に抑えるために、ユーザが、上記のように、オブジェクトの周りに楕円を描き、次にシステムが、特定された位置からオブジェクトを追跡することができる。オブジェクトがフレーム内にうまく位置する場合、オブジェクト位置決めモジュール１４は、対応する楕円パラメータ（即ち、中心点、主軸、及び短軸）を出力する。この境界線となる楕円の輪郭は、オブジェクトの輪郭と一致することが理想である。
【００１４】
しかしながら、パラメータはおおよそでしかなく、得られる楕円は隙間が少ないようにオブジェクトを含んではおらず、オブジェクトの視認性向上が適用される場合、２つの問題が起こるかもしれない。第一に、楕円がオブジェクト全体を含んでいないので、オブジェクトはまったく視認性向上されないかもしれない。第二に、非オブジェクト領域が視認性向上されるかもしれない。これらの結果の両方が望ましくないかもしれないので、こうした状況では、視認性向上の前にオブジェクト領域を精緻化することが役立つ。オブジェクト位置決め情報の精緻化は、以下でより詳細に検討される。
【００１５】
図１のシステムは、オブジェクト位置決めモジュール１４から入力されるビデオ入力及びオブジェクト位置決め情報に応じて、目的とするオブジェクト及びオブジェクトが位置する領域を含むデジタル画像の当該部分の視認性向上されたビデオを作成する手段を更に含む。図１においてオブジェクト視認性向上モジュール１６として特定されたかかる手段は、従来の構造及び動作のユニットであってもよい。これは、従来の画像処理動作をこの領域に適用することによって目的とするオブジェクトを含むデジタル画像の領域の視認性を向上する。オブジェクト位置決めモジュール１４から１フレームずつ入力されるオブジェクト位置決め情報は、目的とするオブジェクトが位置する予め定められたサイズの領域の格子座標を含む。更に、上記の通り、オブジェクトの視認性向上は、視認性向上ステージに続く、以下に説明される符号化ステージの間、オブジェクトの劣化を低減する際に役立つ。この点までの図１のシステムの動作は、上述の動作の前処理モードに対応する。
【００１６】
オブジェクトを視認性向上すると、オブジェクトの視認性は、目的とするオブジェクトが位置する領域において画像処理動作を適用することにより改善される。これらの動作は、オブジェクトの境界線に沿って（例えば、エッジの鮮明化）、オブジェクトの内側（例えば、テクスチャの視認性向上）において、さらにおそらくオブジェクトの外側にも（例えば、コントラストを上げること、オブジェクト領域の外側のぼやけさせること）適用することができる。例えば、オブジェクトにより関心を集める１つの方法は、オブジェクトの内側でかつオブジェクトの輪郭に沿ってエッジを際立たせることである。これは、オブジェクトの詳細をより明確にして、更にオブジェクトを背景からより目立たせる。更に、より鮮明なエッジは、より符号化を存続させる傾向がある。別の可能性は、この通りの順序でなくてもかまわないが、例えば、平滑化動作、更なる鮮明化動作、及びオブジェクトの精緻化動作を繰り返し適用することによって、オブジェクトを拡大することである。
【００１７】
図３Ａから図３Ｄは、オブジェクトの視認性向上プロセスにおけるワークフローを示す。図３Ａは、サッカーボールである焦点のオブジェクトを有するサッカービデオの単一のフレームである。図３Ｂは、オブジェクト位置決めモジュール１４の出力、即ち、フレームにおけるサッカーボールのオブジェクト位置決め情報を示す。図３Ｃは、以下で更に詳細に検討される領域の精緻化ステップを示す。図３Ｂのおおよそのオブジェクト位置情報が精緻化されて、オブジェクトの境界線、即ち、ボールを囲んでいる淡色のライン、のより正確な見積もりが作成される。図３Ｄは、この例ではエッジの鮮明化であるオブジェクトの視認性向上を適用した後の結果を示す。図３Ａの当初のフレームにおいてより、サッカーボールが図３Ｄにおいてより鮮明であって、よりよく見えるということに注目する。オブジェクトも、より高いコントラストを有する。より高いコントラストは通常、暗色をより暗くかつ明色をより明るくしていることを示す。
【００１８】
図１のシステムにオブジェクトの視認性向上が含まれていることは、重要な利点を提供する。不完全な追跡及び歪められた視認性向上に付随する問題が解決される。不完全な追跡は、オブジェクトを位置付けることを難しくするかもしれない。フレーム同士から、オブジェクトの位置はわずかに外れていることがあり、各フレームは異なった方法でわずかに外れていることがある。このことは、例えば、様々なフレームにおいて視認性向上されている背景の一部及び／または様々なフレームにおいて視認性向上されているオブジェクトの異なる部分のためちらつきをもたらすかもしれない。更に、一般的な視認性向上技術は、特定の状況下で、歪みを発生させるかもしれない。
【００１９】
上記の通り、オブジェクトが位置する領域の境界線の外側で特徴を視認性向上するのを避けるためにオブジェクト位置決め情報がオブジェクトの特質及び各フレームにおけるオブジェクトの位置を推定するだけの場合、視認性向上の前に、オブジェクト位置決め情報を精緻化する必要があるかもしれない。
【００２０】
オブジェクト位置決めモジュール１４によるオブジェクト位置決め情報の作成及びオブジェクト視認性向上モジュール１６へのオブジェクト位置決め情報の配信は、上記のように全自動であってもよい。入力ビデオのフレームがオブジェクト位置決めモジュール１４によって受信されると、オブジェクト位置決め情報は、オブジェクト位置決めモジュールによって更新され、更新されたオブジェクト位置決め情報はオブジェクト視認性向上モジュール１６に配信される。
【００２１】
オブジェクト位置決めモジュール１４によるオブジェクト位置決め情報の作成及びオブジェクト視認性向上モジュール１６へのオブジェクト位置決め情報の配信は、半自動であってもよい。オブジェクト位置決めモジュール１４からオブジェクト視認性向上モジュール１６へ直接オブジェクト位置決め情報を配信する代わりに、ユーザは、オブジェクト位置決め情報を用意した後に、オブジェクトが位置する予め定められたサイズの領域を画定する、かかる境界線などのマーキングを、入力ビデオのデジタル画像に手作業で追加することができる。
【００２２】
オブジェクト位置決め情報の作成及びオブジェクト視認性向上モジュール１６へのオブジェクト位置決め情報の配信は、また、完全に手作業であってもよい。かかる作業において、ユーザは、入力ビデオのデジタル画像を見て、オブジェクトが位置する予め定められたサイズの領域を画定する、かかる境界線などのマーキングを、入力ビデオのデジタル画像に手作業で追加する。実際問題として、完全な手作業は、ライブイベントの放送には不適切である。
【００２３】
必要に応じてまたは所望に応じて、オブジェクト位置決め情報の精緻化は、オブジェクトの境界線の推定を含む。該推定において、オブジェクトの正確な境界線が推定される。正確な境界線の推定は、不自然なオブジェクトの外観及び動きといった副作用なしにオブジェクトの視認性を向上するのに役立ち、いくつかの基準に基づいている。オブジェクトの境界線の推定のための３つの方法が開示される。
【００２４】
第一は、楕円パラメータの範囲にわたって捜すことによって最も隙間が少ないようにオブジェクトを囲む楕円を決定または特定する楕円ベースの方法である。オブジェクトの境界線を推定するための第二の方法は、レベルセットベースの検索である。オブジェクトの近辺のレベルセット法による表現を得て、検索を、オブジェクトの境界線を表す可能性が高いレベルセットの輪郭について実施する。オブジェクトの境界線を推定するための第三の方法は、輪郭即ちスネーク曲線などの曲線展開法を含む。これは、特定の制約をもって曲線を縮小するかまたは拡張するために用いることができ、その結果、曲線はオブジェクトの境界線に集束する。オブジェクトの境界線を推定する第一の方法及び第二の方法だけが、下記でより詳細に検討される。
【００２５】
楕円ベースの方法において、オブジェクトの境界線を推定することは、オブジェクトを最も隙間が少ないよう囲む楕円のパラメータを決定することに等しい。この方法は、初期値（即ち、オブジェクト位置決めモジュール１４の出力）の前後の楕円パラメータの範囲にわたって検索を行い、各楕円が、オブジェクト囲んでいる密接度を判断する。図４に示したアルゴリズムの出力は、最も隙間が少ないよう囲んでいる楕円である。
【００２６】
楕円の密接度の計測は、楕円のエッジに沿った画像強度の平均勾配であるよう定義される。この計測の背後にある論理的根拠は、最も隙間が少ないよう囲んでいる楕円は、オブジェクトの輪郭を接近してたどらなければならず、画像強度の勾配は、通常、オブジェクトの輪郭（即ち、オブジェクトと背景との間のエッジ）に沿って高いということである。オブジェクトの境界線の推定アルゴリズムについてのフローチャートを、図４に示す。パラメータを精緻化するための検索範囲（Δx、Δy、Δa、Δb）は、ユーザによって指定される。
【００２７】
図４のフローチャートは、平均の強度勾配を計算することから始める。次に、変数が初期化され、水平の中心点位置、垂直の中心点位置、及び２つの軸についての４つの入れ子状態にされたループが入力される。この中心点及び２つの軸で説明される楕円が、より良い（即ち、より大きい）平均の強度勾配を生じる場合に、この勾配値及びこの楕円はこれまでで最もよい楕円として注目される。次の工程は、最もよい楕円とともに存在している全ての４つのループを通ってルーピングすることである。
【００２８】
楕円ベースの方法は、オブジェクトと背景との間の境界線が一様に高い勾配を有する環境に適用することができる。しかしながら、この方法は、境界線が一様に高い勾配を有していない環境にも適用することができる。例えば、この方法はまた、オブジェクト及び／または背景が、オブジェクトの境界線／背景の境界線に沿って強度のばらつきを有する場合でも役立つ。
【００２９】
代表的な実施例において、楕円ベースの方法は、最適な楕円の記述を作成する。記述は、通常、中心点並びに主軸及び短軸を含む。
【００３０】
楕円ベースの表現は、任意の形状を用いてオブジェクトを記述するには不十分であるかもしれない。動きが不鮮明かまたは部分的に遮蔽されている場合、たとえ楕円オブジェクトでも不規則な形状にあるように見えるかもしれない。レベルセット表現法は、任意に形づくられたオブジェクトの境界線の推定を容易にする。
【００３１】
図５Ａから図５Ｄは、オブジェクトの境界線を推定するためのレベルセット法の概念を示す。強度画像Ｉ（ｘ、ｙ）は、図５Ｂに示したような連続的な強度面であり、図５Ａに示したような離散的な強度の格子ではない。強度値ｉで設定されたレベルは、Ｉl（ｉ）＝｛（ｘ，ｙ）｜ｌ（ｘ，ｙ）＝ｉ｝で定義される閉輪郭のセットである。閉輪郭は、連続曲線としてまたは、曲線に続く離散的なピクセルの列で記述することができる。画像Ｉのレベルセット表現は、異なる強度レベル値の一組のレベルセット（即ち、ＬI（Ｍ）＝｛ＩI（ｉ）｜ｉ∈Ｍ｝）である。例えば、Ｍ＝｛０，・・・，２５５｝またはＭ＝｛５０．５，１００．５，２００．５｝である。レベルセットは、いくつかの方法で画像から抽出することができる。これらの方法のうちの１つは、スペース及び強度値の両方において連続的な、離散的な強度格子を強度面に変換するために、一度に４つのピクセルからなるセット同士の間で双線の補間を適用することである。その後で、図５Ｄに示したようなレベルセットは、図５Ｃに示したような１つまたは複数の水平面（即ち、特定のレベルでの水平面）を有する表面の交点を計算することによって抽出される。
【００３２】
レベルセット表現法は、様々な意味で地形図に類似している。地形図は、通常、立面図の様々な値についての閉輪郭を含む。
【００３３】
実際問題として、画像Ｉは、境界線を推定することになっているオブジェクトを含むサブ画像であってもよい。レベルセット表現、ＬI（Ｍ）が抽出される。ここで、Ｍ＝｛ｉ1，ｉ2，・・・，ｉN｝である。設定されたＭは、オブジェクトのピクセルの推定強度に基づいて構築することができるかまたは単に固定されたステップ（例えば、Ｍ＝｛０．５，１．５，・・・，２５４．５，２５５．５｝）で強度の範囲全体に広がっていてもよい。次に、セットＬI（Ｍ）に含まれる全てのレベルセットの曲線（即ち、閉輪郭）Ｃjを検討する。オブジェクトの境界線の推定は、レベルセットの曲線Ｃ*を判断する問題として位置づけられる。レベルセットの曲線Ｃ*は、オブジェクトに関する多くの基準を最も良く満たす。これらの基準は、とりわけ、以下の変数を含むことができる。
・Ｃjに沿った平均の強度勾配；
・Ｃj内部の領域；
・Ｃjの長さ;
・Ｃjの中心の位置；
・Ｃjによって含まれるピクセルの強度の平均及び／または分散。
【００３４】
基準によって、オブジェクトに関する予備知識に基づいてこれらの変数に制約が加えられてもよい。以下において、レベルセットを用いるオブジェクトの境界線の推定の具体的な実施例が説明されている。
【００３５】
ｍref，ｓref，ａref，及びｘref＝（ｘref，ｙref）を、それぞれ、オブジェクトの平均強度の基準値、強度の標準偏差の基準値、領域の基準値、及び、中心の基準値であるとする。これらは、オブジェクトに関する予備知識（例えば楕円から得た、オブジェクト位置決めモジュール１４からのオブジェクトパラメータ）に基づいて初期化することができる。次に、レベルのセットＭが、
【００３６】
【数１】
2011517228.tif 000003
【００３７】
として構築され、
ここで、
【００３８】
【数２】
2011517228.tif 000004
【００３９】
及び、
【００４０】
【数３】
2011517228.tif 000005
【００４１】
であり、Ｎは、既定値（例えば、１０）である。
【００４２】
【数４】
2011517228.tif 000006
【００４３】
は、整数の切捨て（flooring）演算を表す点に注意する。
【００４４】
特定のレベルセット曲線Ｃjについて、ｍj、ｓj、ａj、及びｘj＝（ｘj，ｙj）を、Ｃjに含まれる画像領域の、それぞれ、平均強度の測定値、強度の標準偏差の測定値、領域の測定値、及び、中心の測定値であるとする。また、Ｃjに沿って平均の強度勾配Ｇavg（Ｃj）が計算される。換言すれば、Ｇavg（Ｃj）は、Ｃj上の各ピクセルにおける勾配の大きさの平均である。各Ｃjについて、ここでスコアが以下のように計算される。
【００４５】
【数５】
2011517228.tif 000007
【００４６】
ここで、Ｓa及びＳxは、相似関数であって、その出力値は範囲[０，１]にあり、より大きい値は、基準値と測定値との間のより良い一致を示す。例えば、Ｓa＝ｅｘｐ(−|ａref−ａj|）及びＳx＝ｅｘｐ（−‖ｘref−ｘj‖2）である。次に、オブジェクトの境界線Ｃ*は、このスコアを最大にする曲線、（即ち、Ｃ*＝ａｒｇCjｍａｘ［Ｓ（Ｃj）］）と推定される。
【００４７】
オブジェクトの境界線を推定した後に、基準値ｍref，ｓref，ａref，及びｘrefは、学習要因α∈［０，１］で更新することができる（例えば、
【００４８】
【数６】
2011517228.tif 000008
【００４９】
）。
動画像列の場合、要因αは、時間関数（例えば、フレームインデックス）ｔであってもよく、大きい値から始まって、各フレームとともに減少し、最終的に固定された低い値αminに飽和する。
【００５０】
オブジェクトの視認性向上において、オブジェクトの視認性は、オブジェクトの近くに画像処理動作を適用することで改善される。これらの動作は、オブジェクトの境界線に沿って（例えばエッジの鮮明化）、オブジェクトの内部で（例えば、テクスチャの視認性向上）、かつおそらくオブジェクトの外側でも（例えば、コントラストを上げること）適用することができる。本明細書において説明されている実施例において、オブジェクトを視認性向上する多くの方法が提案されている。第一は、オブジェクト内部でかつオブジェクトの輪郭に沿ってエッジを鮮明化することである。第二は、この通りの順序でなくてもかまわないが、平滑化動作、鮮明化動作、及び境界線の推定動作によって、オブジェクトを拡大することである。他の可能な方法は、形態学的フィルタ及びオブジェクトの置換の使用を含む。
【００５１】
オブジェクトに対しより注意を向けさせる１つの方法は、オブジェクト内部でかつオブジェクトの輪郭に沿ってエッジを鮮明化することである。これは、オブジェクトの詳細をより明確にし、オブジェクトを背景から目立たせる。更に、より鮮明なエッジは、よりよく圧縮を存続させる傾向がある。鮮明化によってオブジェクトの視認性向上のためのアルゴリズムは、オブジェクト上で一度に１つのフレームに作用して、その入力として、強度画像Ｉ(ｘ，ｙ)及び、オブジェクト位置決めモジュール１４によって提供されるオブジェクトパラメータ（即ち、位置、サイズ等）を取る。アルゴリズムは、以下のような３つのステップを含む。
・オブジェクトＯの境界線を推定する。
・オブジェクトの境界線内部及びオブジェクトの境界線上の、画像Ｉの全てのピクセルに鮮明化フィルタＦαを適用する。これは、Ｏに含まれる全てのピクセルに新しく鮮明化された値、Ｉsharp（ｘ，ｙ）を与える。
ここで、Ｉsharp（ｘ，ｙ）＝（Ｉ＊Ｆα）（ｘ，ｙ）であり、（Ｉ＊Ｆα）は、鮮明化フィルタＦαを備えた画像Ｉの畳み込みを示す。
・Ｏの内部またはＯ上の全ての（ｘ，ｙ）についてのＩsharp（ｘ，ｙ）でピクセルＩ（ｘ，ｙ）を置換する。
【００５２】
鮮明化フィルタＦαは、クロネッカーのデルタ関数及び離ラプラシアン演算
【００５３】
【数７】
2011517228.tif 000009
【００５４】
【数８】
2011517228.tif 000010
【００５５】
の差として定義される。
【００５６】
パラメータα∈［０，１］は、ラプラスの演算の形状を制御する。実際問題として、３×３のフィルタのカーネルは、始点（０，０）であるカーネルの中心で構築される。かかるカーネルの例が以下に示される。
【００５７】
【数９】
2011517228.tif 000011
【００５８】
拡大によるオブジェクトの視認性向上は、この通りの順序でなくてもかまわないが、平滑化動作、鮮明化動作、及び境界線の推定動作を繰り返し適用することによってオブジェクトの輪郭を拡張しようとする。オブジェクト拡大アルゴリズムの具体的な実施形態についてのフローチャートが図６に示される。アルゴリズムは、その入力として、強度画像Ｉ（ｘ，ｙ）及び、オブジェクト位置決めモジュール１４によって提供されるオブジェクトパラメータを取る。最初に、オブジェクトの周りの十分なマージンを有するオブジェクトを含む領域（サブ画像Ｊ）は、ガウシアンフィルタを用いて分離されて平滑化される。この動作は、２、３のピクセルだけ外側へオブジェクトの境界線を広げる。その後で、前に説明した鮮明化動作が、エッジをより明確にするために適用される。そのとき推定されているオブジェクトの境界線並びに平滑化されて鮮明化されたサブ画像（Jsmoothsharp）を用いて、境界線の推定アルゴリズムは、オブジェクトの境界線Ｏの新しい推定値を得るために適用される。最後に、Ｏに含まれる画像Ｉの全てピクセルは、サブ画像Jsmoothsharpの対応するピクセルで置換される。
【００５９】
平滑化フィルタＧσは、二次元ガウス関数である
【００６０】
【数１０】
2011517228.tif 000012
【００６１】
パラメータσ＞０は、ガウス関数の形状を制御する。より大きい値がより平滑化をもたらす。実際問題として、３×３フィルタのカーネルは、始点（０，０）であるカーネルの中心で構築される。かかるカーネルの例が、以下に示される。
【００６２】
【数１１】
2011517228.tif 000013
【００６３】
図１のシステムはまた、オブジェクト視認性向上モジュール１６からの視認性向上されたビデオ出力を符号化する手段を含む。図１においてオブジェクト意識のエンコーダモジュール１８として特定されているかかる手段は、従来の構造及び動作のモジュールであってもよい。これは、例えばより多くのビットを目的とする領域に割り当てることによって目的とするオブジェクトを含む目的とする領域に特別の処理を与えることによって、最小限の劣化で視認性向上されたビデオを重要なオブジェクトに圧縮するか、またはよりよくオブジェクトを保存するモードの決定を行なう。このような方法で、オブジェクト認識のエンコーダ１８は、オブジェクトの向上された視認性を利用して、高い忠実度でオブジェクトを符号化する。
【００６４】
入力ビデオの視認性向上を最適化するために、オブジェクト認識のエンコーダ１８は、オブジェクト位置決めモジュール１４からオブジェクト位置決め情報を受信し、これによってオブジェクトが位置する領域の視認性向上、その結果としてオブジェクトの視認性向上をよりよく保つ。視認性向上が保たれていてもいなくても、オブジェクトが位置する領域は、オブジェクト認識のエンコーダ１８による符号化を用いずによりよく保たれる。しかしながら、視認性向上によっても、圧縮中のオブジェクトの劣化が最小限にされる。この最適化された視認性向上は、符号化の決定及びビットなどのリソースの配置を最適に管理することにより行われる。
【００６５】
オブジェクト認識のエンコーダ１８は、「オブジェクが利用しやすい」マクロブロック（ＭＢ）モード、即ち、オブジェクトを劣化させそうにないもの、の決定を行うよう配置することができる。かかる配置は、例えば、図７Ａから図７Ｃで示されるような、予測目的のためのＭＢのオブジェクトが利用しやすい分割を含むことができる。別の方法は、オブジェクトを含む複数のＭＢに、さらに細かい量子化、即ち、より多くのビット、を強制することである。これは、より多くのビットを得ているオブジェクトをもたらす。また別の方法は、追加のビットのためにオブジェクト自体を対象とする。更にまた別の方法は、歪み率最適化プロセスの間、加重歪み測定基準を用いる。目的とする領域に属しているピクセルは、目的とする領域の外側のピクセルより高い重み付けを有することができる。
【００６６】
図７Ａから図７Ｃを参照すると、１６×１６のマクロブロックの３つの可能なサブ分割が示されている。かかるサブ分割は、ＭＢを符号化する方法を決定するためにエンコーダが行うモードの決定の一部である。１つの重要な測定基準は、オブジェクトがサブ分割の領域のより大きい割合を取る場合、オブジェクトは符号化の間、劣化することが少ないということである。これは、オブジェクトの劣化がサブ分割のより大きい部分を劣化するという理由からである。従って、図７Ｃにおいて、オブジェクトは、１６×８のサブ分割の各々の小さい部分だけを構成し、従って、これは良いサブ分割とみなされない。様々な実施例におけるオブジェクト認識のエンコーダは、オブジェクトがどこに位置するかを知っていて、そのモード決定にこの位置情報を組み込む。かかるオブジェクト認識のエンコーダは、サブ分割のより大きい部分を占めているオブジェクトをもたらすサブ分割を助ける。概して、オブジェクト認識のエンコーダ１８の目標は、オブジェクトが符号化処理の間に劣化するのを抑えるのを助けることである。
【００６７】
図１に示したように、オブジェクト位置決めモジュール１４、オブジェクト視認性向上モジュール１６、及びオブジェクト認識のエンコーダモジュール１８は、送信器２０の構成要素であって、送信器２０は、目的とするオブジェクトを含むデジタル画像の入力ビデオを受信して、視認性向上されたオブジェクトの視認性を備えた圧縮ビデオストリームを送信する。圧縮ビデオストリームの送信は、携帯電話またはＰＤＡなどの受信器２０が受信する。
【００６８】
従って、図１のシステムは更に、受信器２０が受信する圧縮ビデオストリームの視認性向上されたビデオを復号化するための手段を含む。図１においてデコーダモジュール２２として特定されているかかる手段は、従来の構造及び動作のモジュールであってもよい。該モジュールは、例えばより多くのビットを目的とする領域に割り当てることによって目的とするオブジェクトを含むかまたはオブジェクトの向上された視認性をよりよく保つモードの決定を実行する、目的とする領域に特別の処理を与えることによって、重要なオブジェクトに最小の劣化で視認性向上されたビデオを解凍する。
【００６９】
図１に点線で示したオブジェクト認識の後処理モジュール２４を一時的に無視すると、デコーダモジュール２２から出力される復号化されたビデオは、オブジェクトの向上された視認性を有するデジタル画像を見るための、携帯電話またはＰＤＡのスクリーンなどのディスプレイ構成要素２６に出力される。
【００７０】
上記に説明された図１のシステムの動作モードは、前処理として特徴付けられる。前処理において、オブジェクトは、オブジェクト視認性向上モジュール１６によって符号化動作の前に視認性向上される。順番は、圧縮される前に修正される。
【００７１】
上記のように符号化の前にオブジェクトの視認性を向上させる代わりに、入力ビデオを、点線１９で表されているように、オブジェクト認識のエンコーダモジュール１８へ直接導いて、視認性向上されたオブジェクトの視認性を有することなく符号化し、受信器２０のオブジェクト認識の後処理モジュール２４によって視認性向上が行われてもよい。図１のシステムのこの動作モードは後処理として特徴付けられる。後処理において、オブジェクトの視認性は、符号化ステージ及び復号化ステージの後に視認性向上されて、メタデータとしてビットストリームを介して送信されるオブジェクトの位置及びサイズなどのオブジェクトに関するサイド情報を利用することによって行うことができる。後処理動作モードは、増加された受信器の複雑さという不利な点を有する。後処理動作モードでは、オブジェクトの視認性が受信器において視認性向上される場合、送信器１０のオブジェクト認識のエンコーダ１８は、オブジェクト位置情報だけを利用する。
【００７２】
上記の通り、送信器部分のオブジェクト視認性向上システム（即ち、事前処理動作モード）の１つの利点は、通常、低電力デバイスである受信器部分の複雑さを増す必要を避けることである。更に、事前処理動作モードは、システムの配置を容易にする標準のビデオデコーダの使用を許容する。
【００７３】
説明された実施例は、例えば、方法もしくはプロセス、装置、またはソフトウェアプログラムにおいて実施することができる。実施例のうちの単一の形式の内容において検討されただけであっても（例えば、方法としてだけ検討された）、検討された実施例または特徴はまた、他の形式（例えば、装置またはプログラム）で実施することができる。装置は、例えば、適当なハードウェア、ソフトウェア、及びファームウェアで実施することができる。方法は、例えばコンピュータまたは他の処理デバイスなどの装置で実施することができる。更に、方法は、処理デバイスまたはその他の装置によって実行される命令によって実施することができ、かかる命令は、例えばＣＤ、または他のコンピュータ可読の記憶装置、または集積回路などのコンピュータ可読媒体に格納することができる。
【００７４】
当業者に明らかでなければならないように、実施例はまた、例えば、格納されるかまたは送信される情報を運ぶためにフォーマットされた信号を生成することができる。情報は、例えば、方法を実行するための命令または説明された実施例のうちの１つによって生成されるデータを含むことができる。例えば、信号は、データとして様々なタイプのオブジェクト情報（即ち、位置、形状）を搬送するためにかつ／または、符号化された画像データをデータとして搬送するためにフォーマットすることができる。
【００７５】
本発明は具体的な実施形態を参照して本明細書において説明されているが、本発明は示した詳細に限定されることを意図していない。むしろ、特許請求の範囲の均等物の範囲内でかつ本発明から逸脱することなく、詳細において様々な変更が行われてもよい。
【図１】
2011517228.tif 000014
【図２】
2011517228.tif 000015
【図３Ａ】
2011517228.tif 000016
【図３Ｂ】
2011517228.tif 000017
【図３Ｃ】
2011517228.tif 000018
【図３Ｄ】
2011517228.tif 000019
【図４】
2011517228.tif 000020
【図５Ａ】
2011517228.tif 000021
【図５Ｂ】
2011517228.tif 000022
【図５Ｃ】
2011517228.tif 000023
【図５Ｄ】
2011517228.tif 000024
【図６】
2011517228.tif 000025
【図７Ａ】
2011517228.tif 000026
【図７Ｂ】
2011517228.tif 000027
【図７Ｃ】
2011517228.tif 000028
【国際調査報告】
2011517228.tif 000029
2011517228.tif 000030
2011517228.tif 000031