(57)【要約】デジタルピクチャにおける対象の鮮明度は、デジタルピクチャの入力映像を、対象の性質及び特徴を表す記憶された情報と比較して、対象を識別してその位置を示す対象位置決め情報を生成することによって高められる。対象及び対象が位置する領域の鮮明度は画像処理によって高められ、そのように鮮明度を高められた入力映像はエンコードされる。
2011517226.tif 000002
【特許請求の範囲】
【請求項１】
デジタルピクチャにおいて対象の鮮明度を高めるシステムであって、
対象を含む入力映像を提供する手段と、
（ａ）前記対象の性質及び特徴を表す情報を記憶し、且つ、（ｂ）前記入力映像並びに前記対象の性質及び特徴を表す情報に応じて、前記対象を識別し且つ該対象の位置を示す対象位置決め情報を生成する手段と、
前記入力映像及び前記対象位置決め情報に応じて、前記対象及び該対象が位置するデジタルピクチャの領域を含む前記入力映像の部分のエンハンスト映像を生成する手段と、
前記エンハンスト映像をエンコードする手段と
を有するシステム。
【請求項２】
（ａ）エンコードされた前記エンハンスト映像を送信する手段と、
（ｂ）前記エンコードされたエンハンスト映像をデコードする手段と、
（ｃ）前記エンハンスト映像を表示する手段と
を更に有する請求項１に記載のシステム。
【請求項３】
前記対象位置決め情報を生成する手段は、
（ａ）前記入力映像のセクタを走査する手段と、
（ｂ）前記入力映像の走査された前記セクタを、前記対象の性質及び特徴を表す前記記憶された情報と比較して、前記対象の性質及び特徴を表す前記記憶された情報と同じ性質及び特徴を有する前記デジタルピクチャにおける対象を識別し且つ該対象の位置を決める手段と
を有する、請求項１に記載のシステム。
【請求項４】
（ａ）前記対象位置決め情報は、前記対象の同一性及び位置のみを近似し、
（ｂ）前記エンハンスト映像をエンコードする手段は、
（１）前記対象位置決め情報を受け取り、且つ
（２）該対象位置決め情報を精緻化する手段を有する、
請求項３に記載のシステム。
【請求項５】
前記対象位置決め情報を精緻化する手段は、（ａ）前記対象の境界を推定し、且つ、（ｂ）前記対象を引き立たせる手段を有する、請求項４に記載のシステム。
【請求項６】
（ａ）前記対象位置決め情報は、前記対象の同一性及び位置のみを近似し、
（ｂ）前記対象及び該対象が位置するデジタルピクチャの領域を含む前記入力映像の部分のエンハンスト映像を生成する手段は、前記対象位置決め情報を精緻化する手段を有する、
請求項３に記載のシステム。
【請求項７】
前記対象位置決め情報を精緻化する手段は、（ａ）前記対象の境界を推定し、且つ、（ｂ）前記対象を引き立たせる手段を有する、請求項６に記載のシステム。
【請求項８】
デジタルピクチャにおいて対象の鮮明度を高める方法であって、
対象を含む入力映像を提供する段階と、
前記対象の性質及び特徴を表す情報を記憶する段階と、
前記入力映像並びに前記対象の性質及び特徴を表す情報に応じて、前記対象を識別し且つ該対象の位置を示す対象位置決め情報を生成する段階と、
前記入力映像及び前記対象位置決め情報に応じて、前記対象及び該対象が位置するデジタルピクチャの領域を含む前記入力映像の部分のエンハンスト映像を生成する段階と、
前記エンハンスト映像をエンコードする段階と、
エンコードされた前記エンハンスト映像を送信する段階と
を有する方法。
【請求項９】
（ａ）前記エンコードされたエンハンスト映像を受信する段階と、
（ｂ）前記エンコードされたエンハンスト映像をデコードする段階と、
（ｃ）前記エンハンスト映像を表示する段階と
を更に有する請求項８に記載の方法。
【請求項１０】
前記対象位置決め情報を生成する段階は、
（ａ）前記入力映像のセクタを走査する段階と、
（ｂ）前記入力映像の走査された前記セクタを、前記対象の性質及び特徴を表す前記記憶された情報と比較して、前記対象の性質及び特徴を表す前記記憶された情報と同じ性質及び特徴を有する前記デジタルピクチャにおける対象を識別し且つ該対象の位置を決める段階と
を有する、請求項８に記載の方法。
【請求項１１】
（ａ）前記対象位置決め情報は、前記対象の同一性及び位置のみを近似し、
（ｂ）前記エンハンスト映像をエンコードする段階は、
（１）前記対象位置決め情報を受け取る段階と、
（２）該対象位置決め情報を精緻化する段階と
を有する、請求項１０に記載の方法。
【請求項１２】
前記対象位置決め情報を精緻化する段階は、
（ａ）前記対象の境界を推定する段階と、
（ｂ）前記対象を引き立たせる段階と
を有する、請求項１１に記載の方法。
【請求項１３】
（ａ）前記対象位置決め情報は、前記対象の同一性及び位置のみを近似し、
（ｂ）前記対象及び該対象が位置するデジタルピクチャの領域を含む前記入力映像の部分のエンハンスト映像を生成する段階は、前記対象位置決め情報を精緻化する段階を有する、
請求項１０に記載の方法。
【請求項１４】
前記対象位置決め情報を精緻化する段階は、
（ａ）前記対象の境界を推定する段階と、
（ｂ）前記対象を引き立たせる段階と
を有する、請求項１３に記載の方法。
【請求項１５】
デジタルピクチャにおいて対象の鮮明度を高めるシステムであって、
対象を含む入力映像を提供する手段と、
（ａ）前記対象の性質及び特徴を表す情報を記憶し、且つ、（ｂ）前記入力映像並びに前記対象の性質及び特徴を表す情報に応じて、前記対象を識別し且つ該対象の位置を示す対象位置決め情報を生成する手段と、
前記入力映像及び前記対象位置決め情報に応じて、前記入力映像をエンコードする手段と
を有するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、デジタルピクチャの送信に係り、具体的に、デジタルピクチャ、特に、低解像度・低ビットレートの映像符号化を有するユニットで表示されるデジタルピクチャにおいて関心がある対象の鮮明度（visibility）を高めることに係る。
【背景技術】
【０００２】
例えば携帯電話機及びＰＤＡ等の携帯型の装置に映像コンテンツを配信する要望が高まっている。小さな画面サイズ、限られた帯域幅及び限られたデコーダエンド処理能力のために、映像は低ビットレート且つ低解像度でエンコードされる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
低解像度・低ビットレートのエンコーディングの主たる問題の１つは、認知される映像品質にとって重要な対象の劣化又は喪失である。例えば、ボールがはっきりと見えない場合にサッカー又はテニスの試合のビデオクリップを観るのは厄介である。
【０００４】
従って、低解像度・低ビットレートの映像の主観的な表示品位を改善するよう、関心のある対象をハイライト表示することが好ましい。
【課題を解決するための手段】
【０００５】
本発明の様々な実施において、デジタル画像における関心のある対象の鮮明度は、画像における対象のおおよその位置及びサイズを前提として高められる。あるいは、対象の鮮明度は、対象のおおよその位置及びサイズの精緻化の後に高められる。対象のエンハンスメントは少なくとも２つの利点を提供する。第１に、対象のエンハンスメントは、対象を見やすく且つ追いやすくし、それによってユーザ・エクスペリエンスを改善する。第２に、対象のエンハンスメントは、エンコーディング（すなわち、圧縮）段階の間、対象をほとんど劣化させない。本発明の主たる用途の１つは、例えば携帯電話機及びＰＤＡ等の携帯型の装置への映像配信であるが、本発明の特徴、コンセプト及び実施は、また、例えば、インターネット・プロトコル上の映像（低ビットレート標準画質コンテンツ）を含む様々な他の用途、状況及び環境にとっても有用である。
【０００６】
本発明は、映像において関心のある対象をハイライト表示して、低解像度・低ビットレートの映像の主観的な表示品位を改善する。本発明のシステム及び方法は、異なった特徴の対象を扱うことができるとともに、全自動モード、半自動モード（すなわち、手動援助有り）及び全手動モードで動作することができる。対象のエンハンスメントは、前処理段階で（すなわち、映像エンコーディング段階の前又はその段階で）、あるいは後処理段階で（すなわち、映像デコーディングの後で）実行されてよい。
【０００７】
本発明に従って、デジタルピクチャにおける対象の鮮明度は、対象を含む入力映像を提供し、前記対象の性質及び特徴を表す情報を記憶し、前記入力映像並びに前記対象の性質及び特徴を表す情報に応じて、前記対象を識別し且つ該対象の位置を示す対象位置決め情報を生成することによって、高められる。前記対象及び前記対象が位置する領域を含む前記入力映像の部分のエンハンスト（enhanced）映像は、前記対象位置決め情報に応じて前記入力映像から生成され、生成されたエンハンスト映像はエンコードされる。
【図面の簡単な説明】
【０００８】
【図１】本発明に従って構成される、デジタル映像において対象の鮮明度を高めるためのシステムの好ましい実施形態に係るブロック図である。
【図２】図１のシステムによって提供されるおおよその対象の位置を表す。
【図３】Ａ〜Ｄは、本発明に従う対象エンハンスメントにおけるワークフローを表す。
【図４】本発明に従って対象識別情報及び対象位置情報を精緻化するために使用される対象境界推定アルゴリズムに係るフローチャートである。
【図５Ａ】本発明に従う、任意形状の対象の境界のレベル設定推定の概念に係る実施を表す。
【図５Ｂ】本発明に従う、任意形状の対象の境界のレベル設定推定の概念に係る実施を表す。
【図５Ｃ】本発明に従う、任意形状の対象の境界のレベル設定推定の概念に係る実施を表す。
【図５Ｄ】本発明に従う、任意形状の対象の境界のレベル設定推定の概念に係る実施を表す。
【図６】本発明に従う対象拡大アルゴリズムに係るフローチャートである。
【図７】Ａ〜Ｃは、エンコーディング段階の間の対象識別情報及び対象位置情報の精緻化を説明するのに有用な１６×１６のマクロブロックの３つの可能な細分を表す。
【発明を実施するための形態】
【０００９】
図１を参照すると、本発明に従って構成される対象エンハンシングシステム（object  enhancing  system）は、送信器１０内の全ての構成要素にわたってよく、あるいは、対象エンハンスメント部品は受信器２０にあってよい。対象のハイライト表示が行われる処理チェーンには３つの段階がある。すなわち、（１）対象がエンコーディング（すなわち、圧縮）段階の前に送信器１０で引き立たせられる前処理、（２）対象を含む関心領域が、対象及びその位置に関する情報の精緻化によって送信器１０で特別の処理を受けるエンコーディング、及び（３）対象が、メタデータとしてビットストリームにより送信器１０から送信された対象及びその位置に関するサイド情報を用いてデコードディングの後に受信器２０で引き立たせられる後処理である。本発明に従って構成される対象エンハンシングシステムは、上記の段階の中の１つのみで、又は上記の段階の中の２つで、又は上記の３つの段階全てで、対象のハイライト表示を提供するよう配置されてよい。
【００１０】
デジタルピクチャにおいて対象の鮮明度を高めるための図１のシステムは、関心のある対象を含む入力映像を提供する手段を有する。鮮明度を高められるべき対象を含むデジタルピクチャの発生源は、従来の構成及び動作のテレビジョンカメラであってよく、矢印１２によって表されている。
【００１１】
図１のシステムは、更に、関心のある対象の性質及び特徴を表す情報（例えば、対象テンプレート）を記憶し、且つ、入力映像並びに対象の性質及び特徴を表す情報に応じて、対象を識別し且つその位置を示す対象位置決め情報を生成する手段を有する。かかる手段は、図１において対象位置決めモジュール１４として示され、フレームごとに入力映像を走査して、関心のある対象の性質及び特徴を表す記憶された情報と同じ性質及び特徴を有するピクチャ内の対象（すなわち、対象が何であるのか）を特定し、その対象の位置（すなわち、対象がどこにあるのか）を示す手段を有する。対象位置決めモジュール１４は、従来の構成及び動作のユニットであってよく、フレームごとに入力映像のデジタルピクチャを走査し、走査された入力映像のデジタルピクチャのセクタを関心のある対象の性質及び特徴を表す記憶された情報と比較して、特定のセクタの走査から生成された情報が対象の性質及び特徴を表す記憶された情報と同じである場合に関心のある対象を識別し且つデジタルピクチャのグリッド座標によってその位置を示す。
【００１２】
一般に、対象位置決めモジュール１４は、関心のある対象の識別及び位置決めにおいて下記の方法の中の１又はそれ以上を実施する。
【００１３】
・対象トラッキング・・・対象トラッカーの目的は、映像において動いている対象の位置決めを行うことである。通常は、トラッカーは、前のフレームから得られる当該動いている対象の履歴を鑑みて、現在のフレームにおける対象パラメータ（例えば、位置、サイズ）を推定する。トラッキングアプローチは、例えば、テンプレート照合、オプティカルフロー、カルマンフィルタ、平均シフト解析、隠れマルコフモデル、及び特別のフィルタに基づいてよい。
【００１４】
・対象検出・・・対象検出における目的は、対象に関する予備的知識に基づいて画像又は映像フレームで対象の存在及び位置を検出することである。対象検出方法は、一般に、トップダウン・アプローチ及びボトムアップ・アプローチの組み合わせを用いる。トップダウン・アプローチで、対象検出方法は、検出される対象に係る人間の知識から得られる規則に基づく。ボトムアップ・アプローチで、対象検出方法は、対象を低レベルの構造的特徴又はパターンと関連付けて、これらの特徴又はパターンを探すことによって対象の位置を決める。
【００１５】
・対象セグメンテーション・・・このアプローチで、画像又は映像は、それを構成する“対象”に分解される。これらの“対象”は、例えばカラーパッチ等の意味エンティティ（semantic  entities）又は視覚構造を有してよい。かかる分解は、一般に、対象の動き、色及びテクスチャ属性に基づく。対象セグメンテーションは、コンパクトビデオ符号化、自動及び半自動のコンテンツベースの記述（content-based  description）、フィルム・ポストプロダクション（film  post-production）、及び場面説明を含む幾つかの応用を有してよい。具体的に、セグメンテーションは、場面について対象に基づく記述を提供することによって対象の位置決めに係る問題を単純化する。
【００１６】
図２は、対象位置決めモジュール１４によって提供されるおおよその対象の位置を表す。ユーザは、例えば、対象が位置する領域の周囲に楕円を描いて、対象の位置をおおよそ示す。最終的に、おおよその対象位置決め情報（すなわち、楕円の中心点、長軸及び短軸パラメータ）は精緻化される。
【００１７】
理想的には、対象位置決めモジュール１４は全自動モードで動作する。しかし、具体的に、幾つかの手動支援が、位置を見つけ出すべきシステムによって重要な対象を定義するよう、システムによって又は最低限生ずるエラーを補正するために必要とされる。非対象領域のエンハンスメントは、見る者を混乱させて実際の動作を見逃させることがある。この問題を解消し又は最小限とするよう、ユーザは、上記のように、対象の周囲に楕円を描くことができ、次いで、システムは、特定された位置から対象を追跡することができる。フレームにおける対象の位置決めが成功すると、対象位置決めモジュール１４は、対応する楕円パラメータ（すなわち、中心点、長軸及び短軸）を出力する。理想的には、この境界となる楕円の輪郭は、対象の輪郭と一致する。
【００１８】
しかし、パラメータが単なる近似であって、結果として得られる楕円が対象をしっかりと包含しないまま対象エンハンスメントが適用される場合、２つの問題が起こりうる。第１に、楕円が対象の全体を含まないために、対象は全体としてエンハンスメントを受けられるわけではない。第２に、非対象領域がエンハンスメントを受けることがある。これらの結果は好ましくないために、このような状況下で、エンハンスメントの前に対象領域を精緻化することが有用である。対象位置決め情報の精緻化は、以下でより詳細に検討される。
【００１９】
図１のシステムは、更に、入力映像と、対象位置決めモジュール１４から受け取られる対象位置決め情報とに応じて、関心のある対象及び対象が位置する領域を含むデジタルピクチャの部分のエンハンスト映像を生成する手段を有する。かかる手段は、対象エンハンスメントモジュール１６として図１で示され、従来の構成及び動作のユニットであってよく、関心のある対象を含むデジタルピクチャの領域の鮮明度を、その領域に従来の画像処理演算を適用することによって高める。フレームごとに対象位置決めモジュール１４から受け取られる対象位置決め情報は、関心のある対象が位置する所定サイズの領域のグリッド座標を含む。加えて、上述されるように、対象エンハンスメントは、エンハンスメント段階の後に続くエンコーディング段階（以下で記載）の間の対象の劣化を低減するのに役立つ。ここまでの図１のシステムの動作は、上記の前処理動作モードに対応する。
【００２０】
対象のエンハンスメントを行う場合に、対象の鮮明度は、関心のある対象が位置する領域で画像処理演算を適用することによって改善される。これらの演算は、対象の内部で（例えば、テクスチャエンハンスメント）及び場合により対象の外部でさえ（例えば、コントラスト増大、対象領域外のぼかし）、対象境界に沿って（例えば、エッジ鮮鋭化（sharpening））適用されてよい。例えば、最も対象に注目を引く方法の１つは、対象の内部で対象の輪郭に沿ってエッジを鮮鋭化することである。これは、対象のディテールをより鮮明にするとともに、対象を背景から際立たせる。更に、より鮮鋭化されたエッジは、より良くエンコーディングを切り抜ける傾向がある。他の可能性は、例えば、スムージング、鮮鋭化及び対象精緻化の各動作をインタラクティブに適用することによって（必ずしも、適用される順序はここに挙げられた順でなくてもよい。）、対象を拡大（enlarge）することである。
【００２１】
図３Ａ〜３Ｄは、対象エンハンスメント処理におけるワークフローを表す。図３Ａは、焦点を当てられている画像がサッカーボールであるところのサッカー映像における単一フレームである。図３Ｂは、対象位置決めモジュール１４の出力、すなわち、フレームにおけるサッカーボールの対象位置決め情報を示す。図３Ｃは、以下でより詳細に検討される領域精緻化ステップを表し、このステップで、図３Ｂのおおよその対象位置情報は、対象境界のより正確な推定、すなわち、ボールを囲む明るい色の線を生成するよう精緻化される。図３Ｄは、対象エンハンスメント、本例ではエッジ鮮鋭化を適用した後の結果を示す。留意すべきは、サッカーボールは図３Ｄでより鮮鋭化されて、図３Ａの元のフレームにおけるよりも鮮明である点である。対象は、また、より高いコントラストを有する。コントラストとは、一般に、暗い色をより暗く、明るい色をより明るくすることをいう。
【００２２】
図１のシステムに対象エンハンスメントを含めることによって、有意な利点が得られる。不完全なトラッキング及び歪みエンハンスメントに伴う問題が解消される。不完全なトラッキングは、対象の位置決めを難しくしうる。フレームごとに、対象の位置は僅かに外れて、各フレームは違うふうに僅かに外れることがある。これは、例えば、背景の断片が様々なフレームでエンハンスメントを受けること及び／又は対象の異なる部分が様々なフレームでエンハンスメントを受けることに起因して、フリッカを引き起こしうる。更に、一般的なエンハンスメント技術は、ある状況下で、歪みを導入することがある。
【００２３】
上記のように、エンハンスメント前の対象位置決め情報の精緻化は、対象が位置する領域の境界外にある特徴に対するエンハンスメントを回避するよう、対象位置決め情報が各フレームで対象の性質及び対象の位置のみを近似する場合に、必要とされうる。
【００２４】
対象位置決めモジュール１４による対象位置決め情報の生成及び対象エンハンスメントモジュール１６への対象位置決め情報の送信は、上記のように全自動であってよい。入力映像のフレームが対象位置決めモジュール１４によって受信されると、対象位置決め情報は対象位置決めモジュール１４によって更新され、更新された対象位置決め情報は対象エンハンスメントモジュール１６に送信される。
【００２５】
対象位置決めモジュール１４による対象位置決め情報の生成及び対象エンハンスメントモジュール１６への対象位置決め情報の送信は、また、半自動であってもよい。対象位置決めモジュール１４から対象エンハンスメントモジュール１６への直接の対象位置決め情報の送信に代えて、ユーザが、利用可能な対象位置決め情報を有した後に、手動で入力映像のデジタルピクチャに、対象が位置する所定サイズの領域を定義するマーキング（例えば、境界線）を加えてよい。
【００２６】
対象位置決め情報の生成及び対象エンハンスメントモジュール１６への対象位置決め情報の送信は、また、全手動であってもよい。このような動作において、ユーザは入力映像のデジタルピクチャを観て、手動で入力映像のデジタルピクチャに、対象が位置する所定サイズの領域を定義するマーキング（例えば、境界線）を加える。実際問題として、全手動動作は、ライブ事象の補償のために推奨されない。
【００２７】
対象位置決め情報の精緻化は、必要な場合又は望ましい場合に、対象境界推定を伴い、対象の正確な境界が推定される。正確な境界の推定は、不自然な対象表現及び動作の副次的な作用を伴うことなく対象の鮮明度を高めるのに役立ち、幾つかの基準に基づく。対象境界推定のためのこれらのアプローチが開示される。
【００２８】
第１は、楕円パラメータの領域にわたって検索することによってほぼ厳密に対象の境界を示す楕円を決定し又は識別する楕円ベースのアプローチである。対象境界推定のための第２のアプローチはレベルセットベースの検索であり、このアプローチでは、対象近隣のレベルセット表現が取得されて、検索が対象境界をおおよそ表すレベルセット輪郭のために実施される。対象境界推定のための第３のアプローチは、対象境界に集まるようにある制約を有して曲線を縮小又は拡大するために使用される輪郭（contours）又は蛇行（snakes）等の曲線展開方法（curve  evolution  methods）を伴う。対象境界推定のための第１及び第２のアプローチのみが以下でより詳細に検討される。
【００２９】
楕円ベースのアプローチで、対象境界推定は、ほぼ厳密に対象の境界を示す楕円のパラメータを決定することと等価である。このアプローチは、初期値（すなわち、対象位置決めモジュール１４の出力）の周囲の楕円パラメータの領域にわたって検索を行い、各楕円が対象の境界を示す堅固さ（tightness）を決定する。図４に表されるアルゴリズムの出力は、最も堅固な境界楕円である。
【００３０】
楕円の堅固さ測定は、楕円のエッジ沿いの画像強度の平均階調度であるよう定義される。この測定の背後にある論拠は、最も堅固な境界楕円が密接に対象輪郭に従うべきであり、画像階調度は通常対象輪郭（すなわち、対象と背景の間のエッジ）沿いで高いことである。対象境界推定アルゴリズムのためのフローチャートは図４に示されている。パラメータを精緻化するための検索範囲（Δｘ，Δｙ，Δａ，Δｂ）はユーザにより指定される。
【００３１】
図４のフローチャートは、平均階調度を計算することによって開始する。次いで、変数が初期化され、水平の中心点位置、垂直の中心点位置及び２つの軸のための４つの入れ子ループが入られている。この中心点及び２軸によって記述される楕円がより良い（すなわち、より大きい）平均階調度を生ずる場合、この階調度値及びこの楕円はこれまでで最良であるとして知られる。次は４つの全てのループによるルーピングであり、最良の楕円を有して終了する。
【００３２】
楕円ベースのアプローチは、対象と背景との間の境界が一様に高い階調度を有する環境に適用されてよい。しかい、このアプローチは、また、境界が一様に高い階調度を有さない環境に適用されてもよい。例えば、このアプローチは、また、対象及び／又は背景が対象／背景境界に沿って強度変化を有する場合でさえ有用である。
【００３３】
楕円ベースのアプローチは、典型的な実施において、最良適合の楕円の記述を生成する。記述は、通常、中心点、長軸及び短軸を含む。
【００３４】
楕円ベースの表現は、任意形状を有する対象を記述するには不適切であることがある。楕円形の対象でさえ、モーションブラー（motion-blur）又は部分的な閉塞（occluding）が起こる場合に不規則な形状を有して現れることがある。レベルセット表現は、任意形状の態様の境界の推定を容易にする。
【００３５】
図５Ａ〜５Ｄは、対象境界推定のためのレベルセットアプローチに係る概念を表す。強度画像Ｉ（ｘ，ｙ）は、例えば図５Ｂに示されるような連続的な強度表面であり、図５Ａに示されるような離散的な強度のグリッドでないとする。強度値ｉでのレベルセットは、Ｉｌ（ｉ）＝｛（ｘ，ｙ）｜Ｉ（ｘ，ｙ）＝ｉ｝によって定義される閉じた輪郭の組である。閉じた輪郭は連続的な曲線によって、又は曲線をたどる離散的な画素の列によって表されてよい。画像Ｉのレベルセット表現は、異なる強度レベル値でのレベルセットの組（すなわち、Ｌｌ（Ｍ）＝｛Ｉｌ（ｉ）｜ｉ∈Ｍ｝）である。例えば、Ｍ＝｛０，．．．，２５５｝又はＭ＝｛５０．５，１００．５，２００．５｝である。レベルセットは、幾つかの方法によって画像から取り出され得る。かかる方法の１つは、離散的な強度グリッドを空間及び強度値の両方において連続的な強度表面に変換するために一度に４つの画素の組の間で双線形補間（bilinear  interpolation）を適用することである。その後、例えば図５Ｄに示されるようなレベルセットが、例えば図５Ｃに示されるような１又はそれ以上のレベル面（すなわち、特定のレベルにある水平な面）との表面の交差を計算することによって、取り出される。
【００３６】
レベルセット表現は、地勢図（topographical  map）に様々に類似する。通常、地勢図は、様々な標高値について閉じた輪郭を有する。
【００３７】
実際に、画像Ｉは、推定されるべき境界を有する対象を含むサブ画像であってよい。レベルセット表現Ｌｌ（Ｍ）（Ｍ＝｛ｉ１，ｉ２，．．．，ｉＮ｝）が取り出される。集合Ｍは、対象画素の推定強度に基づいて構成されてよく、あるいは、単に固定ステップにより強度範囲全体に及んでよい（例えば、Ｍ＝｛０．５，１．５，．．．，２５４．５，２５５．５｝）。次いで、集合Ｌｌ（Ｍ）に含まれる全てのレベルセット曲線（すなわち、閉じた輪郭）Ｃｊが考えられる。対象境界推定は、対象に関連する多数の基準を最も良く満足するレベルセット曲線Ｃ＊を決定する問題を割り当てられる。かかる基準は、とりわけ、下記の変数を有してよい：
・Ｃｊ沿いの平均階調度、
・Ｃｊ内の面積、
・Ｃｊの長さ、
・Ｃｊの中心の位置、
・Ｃｊに含まれる画素の強度の平均及び／又は分散。
【００３８】
基準は、対象に関する予備的知識に基づいてこれらの変数に制約を課してよい。以下では、レベルセットによる対象境界推定の具体的実施が記載される。
【００３９】
ｍｒｅｆ、ｓｒｅｆ、ａｒｅｆ及びベクトルｘｒｅｆ＝（ｘｒｅｆ，ｙｒｅｆ）は、夫々、対象の平均強度、強度の標準偏差、面積及び中心についての基準値であるとする。これらは、対象に関する予備的知識（例えば、対象位置決めモジュール１４からの対象パラメータは楕円から得られる。）に基づいて初期化されてよい。次いで、レベルの集合Ｍが、Ｍ＝｛ｉｍｉｎ，ｉｍｉｎ＋Δｌ，ｉｍｉｎ＋２Δｌ，・・・，ｉｍａｘ｝として構成される。ここで、
【数１】
2011517226.tif 000003
ここで、Ｎはプリセット値（例えば、１０）である。留意すべきは、
【数２】
2011517226.tif 000004
は、整数フローリング演算（integer  flooring  operation）を表す点である。
【００４０】
特定のレベルセット曲線Ｃｊに関し、ｍｊ、ｓｊ、ａｊ及びベクトルｘｊ＝（ｘｊ，ｙｊ）は、夫々、Ｃｊに含まれる画像領域の平均強度、強度の標準偏差、面積及び中心の測定値であるとする。また、Ｃｊに沿って平均階調度Ｇａｖｇ（Ｃｊ）が計算される。言い換えると、Ｇａｖｇ（Ｃｊ）は、Ｃｊ上の各画素での階調度の平均である。夫々のＣｊに関し、この場合、スコアが以下のように計算される：
【数３】
2011517226.tif 000005
ここで、Ｓａ及びＳｘは、範囲［０，１］にある出力値を有する類似関数（similarity  function）であって、値が大きいほど、基準値と測定値との間のより良い一致を示す。例えば、以下の通りである。
【００４１】
【数４】
2011517226.tif 000006
次いで、対象境界Ｃ＊は、このスコアを最大とする曲線として推定される（すなわち、Ｃ＊＝ａｒｇＣｊｍａｘ［Ｓ（Ｃｊ）］）。
【００４２】
対象境界を推定した後、基準値ｍｒｅｆ、ｓｒｅｆ、ａｒｅｆ及びベクトルｘｒｅｆは、学習係数（learning  factor）α∈［０，１］により更新されてよい（例えば、ｍｒｅｆｎｅｗ＝αｍｊ＋（１−α）ｍｒｅｆ）。映像シーケンスの場合に、係数αは、高値で始まって、フレームごとに低下し、最終的に固定の低値αｍｉｎまで飽和する、時間（例えば、フレームインデックス）ｔの関数であってよい。
【００４３】
対象のエンハンスメントにおいて、対象の鮮明度は、対象の近隣で画像処理演算を適用することによって改善される。かかる演算は、対象境界に沿って（例えば、エッジ鮮鋭化）、対象内部で（例えば、テクスチャエンハンスメント）、及び場合により対象の外部でさえ（例えば、コントラスト増大）適用されてよい。ここに記載される実施において、対象エンハンスメントのための多数の方法が提案される。第１は、対象内部でその輪郭に沿ってエッジを鮮鋭化することである。第２は、スムージング、鮮鋭化及び境界推定の各動作をインタラクティブに適用することによって（必ずしも、適用される順序はここに挙げられた順でなくてもよい。）、対象を拡大（enlarge）することである。他の可能性は、形態学的フィルタ（morphological  filter）及び対象置換の使用を含む。
【００４４】
より対象に注目を引く方法の１つは、対象の内部で対象の輪郭に沿ってエッジを鮮鋭化することである。これは、対象のディテールをより鮮明にするとともに、対象を背景から際立たせる。更に、より鮮鋭化されたエッジは、より良く圧縮を切り抜ける傾向がある。鮮鋭化による対象エンハンスメントのためのアルゴリズムは、一度に１つのフレームで対象に作用し、その入力として強度画像Ｉ（ｘ，ｙ）と、対象位置決めモジュール１４によって提供される対象パラメータ（すなわち、位置、サイズ等）とをとる。当該アルゴリズムは、以下のように３つのステップを有する。
【００４５】
・対象の境界Ｏを推定する。
【００４６】
・対象境界内及び対象境界上の画像Ｉにおける全ての画素に鮮鋭化フィルタＦαを適用する。これはＯに含まれる全ての画素について新たな鮮鋭化値Ｉｓｈａｒｐ（ｘ，ｙ）を与える。ここで、Ｉｓｈａｒｐ（ｘ，ｙ）＝（Ｉ＊Ｆα）（ｘ，ｙ）であり、（Ｉ＊Ｆα）は鮮鋭化フィルタＦαによる画像Ｉの畳み込みを示す。
【００４７】
・Ｏの内側及びその上の全ての（ｘ，ｙ）について画素Ｉ（ｘ，ｙ）をＩｓｈａｒｐ（ｘ，ｙ）により置換する。
【００４８】
鮮鋭化フィルタＦαは、クロネッカー・デルタ関数（Kronecker  delta  function）及び離散ラプラシアン演算子∇α２の差として定義される：
Ｆα（ｘ，ｙ）＝δ（ｘ，ｙ）−∇α２（ｘ，ｙ）。
【００４９】
パラメータα∈［０，１］は、ラプラシアン演算子の形を制御する。実際に、３×３のフィルタカーネルは、原点（０，０）であるカーネルの中心を有して構成される。このようなカーネルの一例が以下に示される：
【数５】
2011517226.tif 000007
拡大（enlargement）による対象エンハンスメントは、スムージング、鮮鋭化及び境界推定の各動作をインタラクティブに適用することによって（必ずしも、適用される順序はここに挙げられた順でなくてもよい。）、対象の輪郭を拡大（enlarge）しようとする。対象拡大アルゴリムの具体的な実施形態に係るフローチャートは図６に示されている。このアルゴリズムは、その入力として強度画像Ｉ（ｘ，ｙ）と、対象位置決めモジュール１４によって提供される対象パラメータとをとる。第１に、対象周囲に十分なマージンを有して対象を含む領域（サブ画像Ｊ）が分離されて、ガウスフィルタにより平滑化される。この動作は、幾つかの画素だけ対象境界を外側に広げる。その後、上記の鮮鋭化動作が、エッジをより明らかにするために適用される。目下推定される対象境界と、平滑化され且つ鮮鋭化されたサブ画像（Ｊｓｍｏｏｔｈｓｈａｒｐ）とを用いて、境界推定アルゴリズムは、対象境界Ｏの新たな推定を得るために適用される。最終的に、Ｏに含まれる画像における全ての画素が、サブ画像Ｊｓｍｏｏｔｈｓｈａｒｐ内の対応する画素によって置換される。
【００５０】
平滑化フィルタＧσは、以下のように、２次元ガウス関数である：
【数６】
2011517226.tif 000008
パラメータσ＜０はガウス関数の形を制御し、値が大きいほどより滑らかになる。実際に、３×３のフィルタカーネルは、原点（０，０）であるカーネルの中心を有して構成される。このようなカーネルの一例が以下に示される：
【数７】
2011517226.tif 000009
図１のシステムは、更に、対象エンハンスメントモジュール１６から出力されたエンハンスト映像をエンコードする手段を有する。この手段は、オブジェクトアウェア（object-aware）のエンコーダモジュール１８として図１に示され、従来の構成及び動作のモジュールであってよく、例えば関心領域に更なるビットを割り当てることによって関心のある対象を含む関心領域に特別の扱いを与えることで最小限の劣化をもってエンハンスト映像を重要な対象にまで圧縮し、あるいは、対象をより良く保つモード決定を行う。このようにして、オブジェクトアウェアのエンコーダモジュール１８は、対象の高められた鮮明度を利用して、高い忠実度（fidelity）を有して対象をエンコードする。
【００５１】
入力映像のエンハンスメントを最適化するよう、オブジェクトアウェアのエンコーダモジュール１８は、対象位置決めモジュール１４から対象位置決め情報を受け取って、対象が位置する領域、結果として対象、のエンハンスメントをより良く保つ。エンハンスメントが保たれようとなかろうと、対象が位置する領域は、オブジェクトアウェアのエンコーダ１８によるエンコードがない場合よりもより良く保たれる。しかし、エンハンスメントは、また、圧縮の間の対象の劣化も最小限とする。この最適化されたエンハンスメントは、エンコーディング決定及びリソース（例えば、ビット）の割り当てを適切に管理することによって達成される。
【００５２】
オブジェクトアウェアのエンコーダ１８は、“オブジェクトフレンドリー”なマクロブロック（ＭＢ）モード決定、すなわち、対象をほとんど劣化させないＭＢモード決定を行うよう配置されてよい。このような配置は、例えば、図７（Ａ）〜（Ｃ）に表されているように、予測のためにＭＢのオブジェクトフレンドリーなパーティショニングを有してよい。他のアプローチは、より細かい量子化、すなわちより多くのビットを、対象を含むＭＢに強いることである。これは、対象が更なるビットを得ることをもたらす。更なる他のアプローチは、対象自体を付加的なビットの対象とする。更なる他のアプローチは、速度歪み最適化処理の間に、重み付けされた歪みメトリクスを用いる。このとき、関心領域に属する画素は、関心領域外の画素よりも高い重みを有する。
【００５３】
図７Ａ〜７Ｃを参照すると、１６×１６マクロブロックの３つの可能な細分が示されている。このような細分は、どのようにＭＢをエンコードすべきかを決定するためにエンコードが行うモード決定の部分である。１つのキーメトリクスは、対象が細分の領域の高い割合を占める場合に、対象がエンコード中にほとんど劣化しないことである。これは、対象の劣化が細分のより多くの部分の品質を劣化させるためである。故に、図７Ｃで、対象は、夫々１６×８細分の小さな部分しか構成せず、然るに、これは、良好な細分とは考えられない。様々な実施におけるオブジェクトアウェアのエンコーダは、どこに対象が位置しているのかを知り、この位置情報をそのモード決定に組み入れる。このようなオブジェクトアウェアのエンコーダは、対象が細分のより大きい部分を占めることをもたらす細分を好む。全体として、オブジェクトアウェアのエンコーダ１８の目的は、エンコーディング処理中に可能な限り対象の劣化を小さくするのに役立つ。
【００５４】
図１に示されるように、対象位置決めモジュール１４、対象エンハンスメントモジュール１６及びオブジェクトアウェアのエンコーダモジュール１８は、関心のある対象を含むデジタルピクチャの入力映像を受信し、対象の鮮明度が高められた圧縮映像ストリームを送信する送信器１０の構成要素である。圧縮映像ストリームの送信は、例えば携帯電話機又はＰＤＡ等の受信器２０によって受信される。
【００５５】
従って、図１のシステムは、更に、受信器２０によって受信される圧縮映像ストリームにおいてエンハンスト映像をデコードする手段を有する。このような手段は、デコーダモジュール２２として図１で示され、従来の構成及び動作のモジュールであってよく、例えば関心領域に更なるビットを割り当てることによって関心のある対象を含む関心領域に特別の扱いを与えることで最小限の劣化をもってエンハンスト映像を重要な対象にまで復元し、あるいは、高められた対象の鮮明度をより良く保つモード決定を行う。
【００５６】
図１に点線で示されるように、オブジェクトアウェアの後処理モジュール２４を一時的に無視すると、デコーダモジュール２２から出力される復号された映像は、高められた対象の鮮明度を有してデジタルピクチャを観るために、例えば携帯電話機又ＰＤＦ等の画面のような表示コンポーネント２６に導かれる。
【００５７】
上記の図１のシステムの動作モードは、対象が対象エンハンスメントモジュール１６によってエンコードディング動作の前にエンハンスメントを受ける点で、前処理と見なされる。シーケンスは、圧縮される前に変更される。
【００５８】
上記のようにエンコーディングの前に対象の鮮明度を高めることに代えて、入力映像は、点線１９で表されるように、オブジェクトアウェアのエンコーダモジュール１８に直接に導かれて、対象の鮮明度を高められることなくエンコードされ、受信器２０にあるオブジェクトアウェアの後処理モジュール２４によって行われるエンハンスメントを有する。図１のシステムのこのような動作モードは、エンコーディング段階及びデコーディング段階の後で対象の鮮明度が高められる点で後処理と見なされ、メタデータとしてビットストリームにより送信される対象に関するサイド情報（例えば、対象の位置及びサイズ）を用いることによって行われてよい。後処理モードの動作は、受信器の複雑性が増すという欠点を有する。後処理モードの動作で、送信器１０にあるオブジェクトアウェアのエンコーダ１８は、対象の鮮明度が受信器で高められる場合に、対象位置情報のみを利用する。
【００５９】
上記のように、送信器エンドの対象ハイライト表示システム（すなわち、前処理モードの動作）の利点の１つは、一般に低電力デバイスである受信器エンドの複雑性を増す必要性を回避することである。加えて、前処理モードの動作は、標準的な映像デコーダの使用を可能にする。これは、システムの展開を容易にする。
【００６０】
記載される実施は、例えば、方法若しくは処理、装置、又はソフトウェアプログラムについて実施されてよい。単一の実施形態に関連してしか論じられないとしても（例えば、方法としてしか論じられないとしても）、論じられる実施又は特徴は他の形態（例えば、装置又はプログラム）でも実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアで実施されてよい。方法は、例えば、コンピュータ又は他のプロセッシングデバイス等の装置で実施されてよい。更に、方法は、プロセッシングデバイス又は他の装置によって実行される命令によって実施されてよく、このような命令は、例えば、ＣＤ又は他のコンピュータ可読記憶デバイス若しくは集積回路等のコンピュータ読出可能な媒体に記憶されてよい。
【００６１】
当業者にとって明らかであるように、実施は、また、例えば記憶又は送信される情報を坦持するようフォーマットされた信号を生成してよい。情報は、例えば、情報を実行するための命令、又は記載される実施の１つによって生成されるデータを有してよい。例えば、信号は、様々なタイプの対象情報（すなわち、位置、形状）をデータとして坦持し、及び／又はエンコードされた画像データをデータとして坦持するようフォーマットされてよい。
【００６２】
本発明は特定の実施形態を参照してここでは図示及び記載をされているが、本発明は示されている詳細に限定されるよう意図されない。むしろ、様々な変形が、特許請求の範囲で定義される技術的範囲内で、本発明から外れることなく行われてよい。
【００６３】
［関連出願の相互参照］
本願は、２００８年４月１１日に出願された、「PROCESSING  IMAGES  HAVING  OBJECTS」と題された米国仮出願第６１／１２３８４４号（代理人整理番号ＰＵ０８００５４）の優先権を主張するものであり、その先願は参照により全文を本願に援用される。
【図１】
2011517226.tif 000010
【図２】
2011517226.tif 000011
【図３】
2011517226.tif 000012
【図４】
2011517226.tif 000013
【図５Ａ】
2011517226.tif 000014
【図５Ｂ】
2011517226.tif 000015
【図５Ｃ】
2011517226.tif 000016
【図５Ｄ】
2011517226.tif 000017
【図６】
2011517226.tif 000018
【図７Ａ】
2011517226.tif 000019
【図７Ｂ】
2011517226.tif 000020
【図７Ｃ】
2011517226.tif 000021
【国際調査報告】
2011517226.tif 000022
2011517226.tif 000023
2011517226.tif 000024
2011517226.tif 000025
2011517226.tif 000026