(57)【特許請求の範囲】
【請求項１】
コンピュータ・システムにおいてビデオ・イメージから部分イメージを抽出するための部分イメージ領域抽出方法であって、該方法は、
ビデオ・カメラにより撮影された連続するビデオ・イメージからビデオ・イメージのＭＰＥＧ動き補償データの動きベクトルを算出するステップと、
前記連続するビデオ・イメージのＭＰＥＧ動き補償データの動きベクトルから得られるカメラの移動ベクトルを使用して前記ビデオ・カメラのカメラ・ワークを推定するステップと、
前記カメラ・ワークから、撮影されたビデオ・イメージのうち注目領域の中心位置を、前記カメラの移動ベクトルの大きさおよび加速度をそれぞれ対応するしきい値と比較して前あき映像が形成されていると判定される場合に画像中心から前記カメラの移動ベクトル分戻った位置に推定し、画像中心として設定するステップと、
前記注目領域の中心位置周辺にある画像特徴を、ピクセルの画像特徴の密な部分または前記中心位置に最も近いピクセルを選択して特定するステップと、
前記画像特徴を含む部分イメージを、前記注目領域を含み全体画像の１／２以下の面積でトリミングして抽出するステップとを含み、
前記カメラ・ワークを推定するステップは、前記ＭＰＥＧ動き補償データの時系列を使用して、推定のため当てはめたパラメータにより得られるポイントの位置とビデオ・イメージ上のポイントの位置との差の自乗和の中央値を基準として前記動きベクトルをパラメータ推定から除外し再計算することにより、カメラ・ワークのパラメータをロバスト推定し、連続する２フレームについての前記ロバスト推定の結果を移動平均するステップ
を含む、部分イメージ領域抽出方法。
【請求項２】
前記ビデオ・イメージは、少なくともＭＰＥＧフォーマットである、請求項１に記載の部分イメージ領域抽出方法。
【請求項３】
前記注目領域の位置を推定するステップは、前記ＭＰＥＧ動き補償データの方向変化を判断し、前記カメラの移動ベクトルを計算し、前記カメラの移動ベクトルがしきい値以上で変化した場合に前あき画像を形成させるためのカメラの移動ベクトルを設定して前記注目領域の中心を設定する、請求項１に記載の部分イメージ領域抽出方法。
【請求項４】
前記部分イメージ領域抽出方法は、前記部分イメージを前記トリミングして、トリミング画像を生成するステップ、または前記部分イメージを高解像度とするスケーラブル符号化するステップを含む、請求項１に記載の部分イメージ領域抽出方法。
【請求項５】
コンピュータ・システムにおいてビデオ・イメージから部分イメージを抽出するための部分イメージ領域抽出システムであって、該システムは、
ビデオ・カメラにより撮影された連続するビデオ・イメージからビデオ・イメージのＭＰＥＧ動き補償データの動きベクトルを算出する手段と、
前記連続するビデオ・イメージのＭＰＥＧ動き補償データの動きベクトルから得られるカメラの移動ベクトルを使用して前記ビデオ・カメラのカメラ・ワークを推定する手段と、
前記カメラ・ワークから、撮影されたビデオ・イメージのうち注目領域の中心位置を、前記カメラの移動ベクトルの大きさおよび加速度をそれぞれ対応するしきい値と比較して前あき映像が形成されていると判定される場合に画像中心から前記カメラの移動ベクトル分戻った位置に推定し、画像中心として設定する手段と、
前記注目領域の中心位置周辺にある画像特徴を、ピクセルの画像特徴の密な部分または前記中心位置に最も近いピクセルを選択して特定する手段と、
前記画像特徴を含む部分イメージを、前記注目領域を含み全体画像の１／２以下の面積でトリミングして抽出する手段とを含み、
前記カメラ・ワークを推定する手段は、前記ＭＰＥＧ動き補償データの時系列を使用して推定する際に当てはめたパラメータにより得られるポイントの位置とビデオ・イメージ上のポイントの位置との差の自乗和の中央値を基準として前記動きベクトルをパラメータ推定から除外し再計算することにより、カメラ・ワークのパラメータをロバスト推定し、連続する２フレームについての前記ロバスト推定の結果を移動平均する手段
を含む、部分イメージ領域抽出システム。
【請求項６】
前記ビデオ・イメージは、少なくともＭＰＥＧフォーマットである、請求項５に記載の部分イメージ領域抽出システム。
【請求項７】
前記注目領域の中心位置を推定する手段は、ＭＰＥＧ動き補償データの方向変化を判断し、前記カメラの移動ベクトルを計算し、前記カメラの移動ベクトルがしきい値以上で変化した場合に前あき画像を形成させるためのカメラの移動ベクトルを設定して前記注目領域の中心を設定する、請求項５に記載の部分イメージ領域抽出システム。
【請求項８】
さらに、前記部分イメージを前記トリミングして、トリミング画像を生成する手段、または前記部分イメージを高解像度とするスケーラブル符号化する手段を含む、請求項５に記載の部分イメージ領域抽出システム。
【請求項９】
コンピュータ・システムに対してビデオ・イメージから部分イメージを抽出する部分イメージ領域抽出を実行させるためのプログラムであって、該プログラムは、コンピュータに対し、
ビデオ・カメラにより撮影された連続するビデオ・イメージからビデオ・イメージのＭＰＥＧ動き補償データの動きベクトルを算出する機能手段と、
前記連続するビデオ・イメージのＭＰＥＧ動き補償データの動きベクトルから得られるカメラの移動ベクトルを使用して前記ビデオ・カメラのカメラ・ワークを推定する機能手段と、
前記カメラ・ワークから、撮影されたビデオ・イメージのうち注目領域の中心位置を、前記カメラの移動ベクトルの大きさおよび加速度をそれぞれ対応するしきい値と比較して前あき映像が形成されていると判定される場合に画像中心から前記カメラの移動ベクトル分戻った位置に推定し、画像中心として設定する機能手段と、
前記注目領域の中心位置周辺にある画像特徴を、ピクセルの画像特徴の密な部分または前記中心位置に最も近いピクセルを選択して特定する機能手段と、
前記画像特徴を含む部分イメージを、前記注目領域を含み全体画像の１／２以下の面積でトリミングして抽出する機能手段とを実現し、
前記カメラ・ワークを推定する機能手段は、前記ＭＰＥＧ動き補償データの時系列を使用して推定する際に当てはめたパラメータにより得られるポイントの位置とビデオ・イメージ上のポイントの位置との差の自乗和の中央値を基準として前記動きベクトルをパラメータ推定から除外し再計算することにより、カメラ・ワークのパラメータをロバスト推定し、連続する２フレームについての前記ロバスト推定の結果を移動平均する機能手段を含む
部分イメージ領域抽出のためのプログラム。
【請求項１０】
前記ビデオ・イメージは、少なくともＭＰＥＧフォーマット、である、請求項９に記載のプログラム。
【請求項１１】
前記注目領域の位置を推定するステップは、前記ＭＰＥＧ動き補償データの方向変化を判断し、前記カメラの移動ベクトルを計算し、前記カメラの移動ベクトルがしきい値以上で変化した場合に前あき画像を形成させるためのカメラの移動ベクトルを設定して前記注目領域の中心を設定する、請求項９に記載のプログラム。
【請求項１２】
前記部分イメージ領域抽出方法は、前記部分イメージを前記トリミングして、トリミング画像を生成するステップ、または前記部分イメージを高解像度とするスケーラブル符号化するステップを含む、請求項９に記載のプログラム。
【請求項１３】
ネットワークを通してビデオ・イメージを配信するためのビデオ・イメージ配信方法であって、
サーバから該ネットワークに接続された端末手段にビデオ・イメージを配信するためのサーバを前記ネットワークに接続するステップと、
前記サーバが前記端末手段から前記ビデオ・イメージの配信要求を受信するステップと、
前記配信要求に応答して前記サーバが前記端末手段に対して、前記サーバに保持されたビデオ・イメージを送信するステップとを含み、
前記ビデオ・イメージは、請求項１〜４のいずれか１項に記載の方法により生成されたトリミング画像、またはスケーラブル符号化された画像である、ビデオ・イメージ配信方法。
【請求項１４】
前記端末手段は、前記ネットワークに接続されるコンピュータ手段または前記ネットワークに接続されるセルラ電話である、請求項１３に記載のビデオ・イメージの配信方法。
【請求項１５】
請求項４に記載の方法を使用してトリミング画像またはスケーラブル符号化された画像を生成するステップと、
前記トリミング画像またはスケーラブル符号化された画像をトリミング前のビデオ・イメージの順に配置して時系列的に連続したコンテンツとするステップと、
前記生成されたコンテンツを記憶媒体に記憶するステップとを含む、トリミング画像、またはスケーラブル符号化された画像を含むコンテンツ作成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ・イメージの処理に関し、より詳細には、ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法、およびコンテンツ作成方法に関する。
【０００２】
【従来の技術】
これまで、ビデオ・カメラにより撮影されたビデオ・イメージをトリミングすることによりトリミング画像を生成して、このトリミング画像を種々の目的のために使用することが行われている。ビデオ・イメージは、通常ではカメラマンによりビデオ・カメラを使用して撮影されるものであり、カメラマンは、自ら注目する被写体を意識的または無意識で選択し、一定の経験的なルールに従ってビデオ・イメージにおける構図を決定する。この場合、カメラマンが注目する被写体を含む領域は、ビデオ・イメージの中で本質的な部分ということができる。
【０００３】
上述したようなビデオ・イメージからカメラマンが注目する本質的な部分を特定するための方法は従来から検討されており、例えばカメラ・ワークを検出し、自動化することにより、ロボット・カメラを得る試みが行われている。このようなロボット・カメラは、カメラマンの操作をセンサで検知しておき、その後カメラマンのいない状況でも撮影を可能にしようとするものである。この目的のため、カメラマンが被写体を認識してからカメラ操作するまでの動特性を、視線検出と、カメラ・ワークの時系列的測定から分析し、ロボット・カメラの制御にフィードバックさせることが検討されている（例えば、加藤、石川等、「動いている被写体を撮影時の放送カメラマンの撮影手法分析」NHK技研R&D，No. 48, pp. 34-46, Feb. 1998）。
【０００４】
また、固定カメラで撮影した映像からカメラマンのカメラ操作を模倣したデジタル・カメラ・ワークを用いて、カメラマンが直接撮影したような映像を生成する方法も提案されている（大西、泉、福永「デジタル・カメラ・ワークを用いた自動映像生成」MIRU-2000, vol. I, pp. 331-336.）。
【０００５】
一方で、近年では携帯型コンピュータまたはインターネット接続サービスを使用することができるセルラ電話といった携帯端末の開発に伴い、ディジタルコンテンツとして種々の画像配信が可能なシステムが提案されている。また、上述した携帯端末の他にも、デスクトップ・コンピュータ、ワーク・ステーションといった携帯端末以外のコンピュータ・システムにおいても画像を配信することが、インターネットの普及と共に広く行われている。
【０００６】
画像データは一般にテキスト・データまたはハイパー・テキスト・メークアップ・ランゲージ（ＨＴＭＬ）といったデータよりもデータ・サイズが大きく、携帯型コンピュータへと送信する場合や、セルラ電話といった携帯端末においては、オーバーヘッドが過大となりがちで、ダウンロード時のメモリ資源や、ストリーミングする際のネットワーク資源を大量に必要とする。また、特にセルラ電話は、カラー液晶ディスプレイを搭載するものが普及するようになっているものの、液晶ディスプレイのサイズは、セルラ電話といった目的の点から、小画面とせざるを得ず、ビデオ・カメラにより撮影された画像をそのまま縮小して表示させるには充分ではない。
【０００７】
【発明が解決しようとする課題】
一方で、ビデオ・フォーマットは、ＭＰＥＧ−２、ＭＰＥＧ−４といったフォーマットが採用され、高圧縮符号化され、フレーム・レートも毎秒１５フレーム程度とされている。このため、ビデオ・イメージを携帯端末に配信しようとする場合には特に画面の小ささ、解像度の悪さ、フレーム・レートの低さのため、元のビデオでは視認できた画像が視認できなくなる問題がある。特に動きの激しいスポーツ映像ではこのような不都合が顕著となることが指摘されており、被写体となるボールや選手が見えなくなり、ビデオの内容が把握できなくなるという問題が生じることが推定されている。
【０００８】
そこで、ビデオ・イメージからその本質的な部分であるカメラマンの注目領域だけを切りだし、その画像シーケンスを拡大する、または注目領域だけの解像度を高め、その他は高圧縮するスケーラブル符号化によって、携帯端末でも画像を視認できるようにすることが望まれている。そのためには、ビデオ・イメージにおける注目領域を得ることが必要となる。しかし注目領域は、カメラマンごとに注目点が異なるため、一義的に定めることは困難である。このため、カメラマンの注目する注目領域を撮影されたビデオ・イメージを解析することによりそのビデオを撮影したカメラマンが追跡した被写体を含む領域を、注目領域として抽出することが必要である。また、ビデオ・イメージの注目領域を特定した後、その注目領域の対象被写体であるオブジェクトを抽出すること、すなわち、複数のオブジェクトのどれが被写体としてカメラマンに注目されているかを一義的に判断することは困難である。
【０００９】
このため、撮影されたビデオ・イメージをできるだけ不必要な部分を省略してカメラマンの注目している被写体を含む所定の領域だけを携帯端末に送信することにより、データ・サイズを小さくし、かつ限られたディスプレイ面積で効率よく当該ビデオ・イメージの本質的部分を提供することが必要とされていた。
【００１０】
また、上述した本質的な部分をトリミングしたビデオ・イメージをコンピュータへと送信することにより送信速度、表示速度を向上し、さらにはメモリ資源や、ネットワーク資源を節約することが必要とされていた。
【００１１】
さらには、特にディスプレイ・サイズおよびメモリ資源が制限される携帯端末において、ビデオ・イメージの本質的部分のみを拡大するなどして、できるだけ効率よく配信することが望まれていた。
【００１２】
【課題を解決するための手段】
本発明は、上述した課題に鑑みてなされたものであり、本発明によれば、コンピュータ・システムにおいてビデオ・イメージから部分イメージを抽出するための部分イメージ領域抽出方法であって、該方法は、
ビデオ・カメラにより撮影された連続するビデオ・イメージからビデオ・イメージの動きデータを算出するステップと、
前記連続するビデオ・イメージから前記ビデオ・カメラのカメラ・ワークを推定するステップと、
前記カメラ・ワークから、撮影されたビデオ・イメージのうち注目領域の中心位置を所定の条件を使用して推定するステップと、
前記注目領域の中心位置周辺にある画像特徴を特定するステップと、
前記画像特徴を含む部分イメージを特定するステップとを含む、
部分イメージ領域抽出方法が提供される。本発明においては、前記ビデオ・イメージは、少なくともＭＰＥＧフォーマット、ＣＧＭフォーマット、ＥＰＳフォーマット、ＧＩＦフォーマット、ＪＰＥＧフォーマット、ＰＩＣＴフォーマット、ＰＮＧフォーマット、ＰＳフォーマット、ＴＩＦフォーマット、ＢＭＰフォーマットから選択される、とされる。本発明においては、前記カメラ・ワークを算出するステップは、カメラ・ワークの所定のパラメータをロバスト推定するステップを含む。さらに、本発明においては、前記所定のパラメータを連続する２フレームについて移動平均するステップを含んでいてもよい。
【００１３】
また、本発明によれば、前記注目領域の位置を推定するステップは、前記カメラ・ワークにおける前あき映像に関するルールを使用することができる。本発明においては前記部分イメージ領域抽出方法は、前記部分イメージをトリミングして、トリミング画像を生成するステップ、または前記部分イメージを高解像度とするスケーラブル符号化するステップを含むことが好ましい。
【００１４】
また、本発明によれば、コンピュータ・システムにおいてビデオ・イメージから部分イメージを抽出するための部分イメージ領域抽出システムであって、該システムは、
ビデオ・カメラにより撮影された連続するビデオ・イメージからビデオ・イメージの動きデータを算出する手段と、
前記連続するビデオ・イメージから前記ビデオ・カメラのカメラ・ワークを推定する手段と、
前記カメラ・ワークから、撮影されたビデオ・イメージのうち撮影時に注目された注目領域の中心位置を所定の条件を使用して推定する手段と、
前記注目領域の中心位置周辺にある画像特徴を特定する手段と、
前記画像特徴を含む部分イメージを特定する手段とを含む、
部分イメージ領域抽出システムが提供される。本発明においては、前記ビデオ・イメージは、少なくともＭＰＥＧフォーマット、ＣＧＭフォーマット、ＥＰＳフォーマット、ＧＩＦフォーマット、ＪＰＥＧフォーマット、ＰＩＣＴフォーマット、ＰＮＧフォーマット、ＰＳフォーマット、ＴＩＦフォーマット、ＢＭＰフォーマットから選択される。本発明においては、前記カメラ・ワークを算出するステップは、カメラ・ワークの所定のパラメータをロバスト推定する手段を含む。さらに、本発明においては、前記所定のパラメータを、連続する２フレームについて移動平均する手段を含むことができる。
【００１５】
本発明においては、前記注目領域の中心位置を推定する手段は、前記カメラ・ワークにおける前あき映像に関するルールを使用して前記中心位置を推定することが好ましい。本発明においては、さらに、前記部分イメージをトリミングして、トリミング画像を生成する手段、または前記部分イメージを高解像度とするスケーラブル符号化する手段を含んでいてもよい。
【００１６】
さらに、本発明によれば、コンピュータ・システムに対してビデオ・イメージから部分イメージを抽出する部分イメージ領域抽出を実行させるためのプログラムであって、該プログラムは、
ビデオ・カメラにより撮影された連続するビデオ・イメージからビデオ・イメージの動きデータを算出するステップと、
前記連続するビデオ・イメージから前記ビデオ・カメラのカメラ・ワークを推定するステップと、
前記カメラ・ワークから、撮影されたビデオ・イメージのうち撮影時に注目された注目領域の中心位置を所定の条件を使用して推定するステップと、
前記注目領域の中心位置周辺にある画像特徴を特定するステップと、
前記画像特徴を含む部分イメージを特定するステップとを含む、
部分イメージ領域抽出のためのプログラムが提供される。
【００１７】
本発明においては、前記ビデオ・イメージは、少なくともＭＰＥＧフォーマット、ＣＧＭフォーマット、ＥＰＳフォーマット、ＧＩＦフォーマット、ＪＰＥＧフォーマット、ＰＩＣＴフォーマット、ＰＮＧフォーマット、ＰＳフォーマット、ＴＩＦフォーマット、ＢＭＰフォーマットから選択される。本発明においては、前記カメラ・ワークを算出するステップは、カメラ・ワークの所定のパラメータをロバスト推定するステップを含むことができる。さらに、本発明においては、前記所定のパラメータを連続する２フレームについて移動平均するステップを含んでいてもよい。本発明においては、前記注目領域の位置を推定するステップは、前記カメラ・ワークにおける前あき映像に関するルールを使用することができる。本発明においては、前記部分イメージ領域抽出方法は、前記部分イメージをトリミングして、トリミング画像を生成するステップ、または前記部分イメージを高解像度とするスケーラブル符号化するステップを含むことができる。
【００１８】
また、本発明によれば、ネットワークを通してビデオ・イメージを配信するためのビデオ・イメージ配信方法であって、
前記ネットワークに接続され、該ネットワークに接続された端末手段にビデオ・イメージを配信するためのサーバを与えるステップと、
前記サーバが前記端末手段から前記ビデオ・イメージの配信要求を受信するステップと、
前記配信要求に応答して前記サーバが前記端末手段に対して、前記サーバに保持されたビデオ・イメージを送信するステップとを含み、
前記ビデオ・イメージは、本発明により生成されたトリミング画像、またはスケーラブル符号化された画像を含む、ビデオ・イメージ配信方法が提供される。本発明においては、前記端末手段は、前記ネットワークに接続されるコンピュータ手段または前記ネットワークに接続されるセルラ電話である。
【００１９】
さらに、本発明においては、本発明の方法を使用してトリミング画像、またはスケーラブル符号化された画像を生成するステップと、
前記トリミング画像をトリミング前のビデオ・イメージの順に配置して時系列的に連続したコンテンツとするステップと、
前記生成されたコンテンツを記憶媒体に記憶するステップとを含む、トリミング画像、またはスケーラブル符号化された画像を含むコンテンツ作成方法が提供される。
【００２０】
【発明の実施の形態】
以下、本発明を図面に示した実施の形態を例として説明するが、本発明は図面に示した実施の形態に制限されるものではない。
【００２１】
図１は、本発明の部分イメージ領域抽出システムを示した概略図である。本発明の部分イメージ領域抽出システムは、ビデオ・イメージから部分イメージ領域を抽出するプログラムを含むコンピュータ１０と、このコンピュータ１０に対してビデオ・イメージを送るためのビデオ装置１２とを含んで構成されている。本発明において使用されるコンピュータは、パーソナル・コンピュータ、またはワークステーションから構成することが可能であり、このパーソナル・コンピュータまたはワークステーションとしては、ＰＥＮＴＩＵＭ（商標：インテル社）といったＣＰＵまたはこれと互換性のあるＣＰＵ、またはＰｏｗｅｒＰＣ（商標：インターナショナル・ビジネス・マシーンズ・コーポレーション）といったＣＰＵまたはこれに互換性を有するＣＰＵを搭載することが可能で、ＷＩＮＤＯＷＳ（商標：マイクロソフト・コーポレーション）、ＷＩＮＤＯＷＳ  ＮＴ（商標：マイクロソフト・コーポレーション）、ＯＳ／２（商標：インターナショナル・ビジネス・マシーンズ・コーポレーション）、ＡＩＸ（商標：インターナショナル・ビジネス・マシーンズ・コーポレーション）、ユニックス、リナックスといったオペレーティング・システムを動作させることが可能なパーソナルコンピュータ、ワークステーションを挙げることができるが、これらのものに限定されるわけではない。
【００２２】
本発明において使用されるビデオ装置１２は、図１に示したビデオ・カメラ１４といった撮像手段により撮影されたビデオ・イメージが記録された記憶媒体から記録されたビデオ・イメージを読み出している。読み出されたビデオ・イメージは、適切なバス１５などを介してコンピュータ１０へと送られ、部分イメージを生成するためにコンピュータ１０により解析されている。本発明においては、上述した記憶媒体としては、磁気テープ、光ディスク、ＤＶＤ、メモリ・カードといったこれまで知られた種々の記憶媒体を使用することができる。また、上述したビデオ・イメージのフォーマットとしては、例えばＭＰＥＧ（Moving Picture Experts Group)といったディジタル・フォーマットを挙げることができ、具体的には、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４を含むいかなるフォーマットとすることができる。さらに、本発明においては、ＭＰＥＧ以外にもコンピュータ・グラフィックス・メタファイル（ＣＧＭ）フォーマット、エンカプスレーテッド・ポストスクリプト・ファイル（ＥＰＳ）フォーマット、グラフィック・インタフェイス・フォーマット（ＧＩＦ）、ＪＰＥＧフォーマット、ＰＩＣＴ（ＰＣＴ）フォーマット、ポータブル・ネットワーク・グラフィックス（ＰＮＧ）フォーマット、ポストスクリプト・ファイル（ＰＳ）フォーマット、タグ・イメージ・ファイル（ＴＩＦ）フォーマット、ビットマップ（ＢＭＰ）フォーマットといったこれまで知られているいかなるイメージ・フォーマットであっても、隣接するフレームの間において同一の特徴点かどこに移動したかを抽出する手段、または方法、すなわちＭＰＥＧにおける動き補償データに相当する動きデータを得るための手段または方法を含ませることにより、本発明を適用することができる。
【００２３】
図１に示された実施の形態においては、ビデオ装置１２と、ビデオ・カメラ１４とはそれぞれ別体とされている。ビデオ・カメラ１４は、カメラマンによりサッカー選手１６といった被写体を撮影されたビデオ・イメージを記憶媒体に記憶し、この記録媒体を介してビデオ装置１２が、ビデオ・イメージを再生・編集などを行うとともに、コンピュータ１０へとビデオ・イメージを送信する。しかしながら、本発明の部分イメージ領域抽出システムの別の実施の形態においては、ビデオ・カメラ１４から直接コンピュータ１０へとビデオ・イメージを入力する構成とすることもできる。また、本発明の部分イメージ領域抽出システムのさらに別の実施の形態においては、ビデオ装置１２またはビデオ・カメラ１４またはコンピュータ１２との間を、記憶媒体を介さずに相互にネットワークを使用してデータの交換を行うことも可能である。本発明のこの実施の形態においては、ビデオ・イメージを記憶するための記憶媒体は、必ずしも必要とされない。
【００２４】
図２は、本発明において、カメラマンがビデオ・イメージを撮影する場合の被写体の動きとカメラ・ワークとの関係を示した図である。図２においては、被写体としてサッカーを行っているサッカー選手１６を例に取り説明を行う。図２に示すサッカー選手１６は、時系列的および空間的にサッカーのボールを蹴りながら、紙面左手側から、右手側へと矢線Ａで示すように移動している。図２においては撮影を行っているビデオ・カメラ１４が示されており、このビデオ・カメラ１４は、図示しないカメラマンに保持されて、矢線Ｂで示す方向へと、サッカー選手１６の運動に伴って回転される。このようにして、時系列的に連続したビデオ・イメージとしてサッカー選手１６およびその運動が記録されることになる。
【００２５】
図３は、上述したカメラ・ワークにより得られたフレーム内のビデオ・イメージを時系列的に示した図である。図３に示すようにｉフレームには、例えばサッカーボールを確保したサッカー選手１６が記録され、ｉ＋ｋフレームには、ボールをドリブルしながら相手ゴールへと進むサッカー選手１６が記録され、ｉ＋ｎフレームでは、例えばシュートをしようとして体勢を整えるために、静止しているサッカー選手１６が記録されている。これらのフレームは、例えば１秒間あたりに１５フレームといった撮影速度で互いに連続したフレームとされている。
【００２６】
図４には、カメラマンにより操作されるビデオ・カメラの、例えばＣＣＤディスプレイといった表示手段１８に表示される被写体であるサッカー選手１６の相対的な位置を示す。図４に示したイメージがビデオ・カメラとして記録される場合の、カメラマン、具体的にはある程度習熟したプロのカメラマンの行うカメラ・ワークについて考察する。重要なコンテンツとしてプロのカメラマンによって撮影されるビデオ・イメージは、カメラマンが注目している特定の被写体を追跡し、プロのカメラマンの経験または映像心理的な点から、カメラマンの注目している被写体を最も効果的に記録するべく、所定のルールに従ってカメラ・ワークすることにより記録される。
【００２７】
このため、ビデオにおける注目領域は、必ずしも画像の中央にあるわけではなく、カメラ・ワークと、被写体のサイズ、および被写体の速度とに密接に関係する。一般的にカメラ・ワークに関するルールが明確に確立された訳ではないが、熟練したプロのカメラマンには、無意識のうちに視聴者にとって見やすい映像を作り出すためのノウハウが確立されている。このノウハウとは、具体的には例えば、被写体の動きが急変し、それにつられてカメラが急な動きをすると、視聴者に不快感を与えること、かつあまりに遅いと被写体を逃してしまうこと、などからカメラ・ワークに最適な余裕を与え、被写体の動に追従できるように被写体を画面中に配置することである。このようなノウハウは、画像的には動きのある被写体の進行方向の前を空けて撮影する、いわゆる前あき映像において実現されることになる。ほとんどの営業用の目的で撮影されるビデオ・イメージは、上述したルールに従って撮影されているため、被写体を含むカメラマンの注目領域は、カメラ・ワークを解析することにより、前あき映像が形成されるように、カメラ・ワークが行われている領域または被写体を特定することにより抽出することが可能となる。
【００２８】
この前あき映像についてさらに図４を使用して説明する。図４（ａ）は、例えばｉフレームにおいてビデオ・カメラ１４の表示手段１８に表示されるサッカー選手１６のイメージが示されている。注目領域２０は、サッカー選手１６を含むイメージの所定の部分として定義される。注目領域２０のサッカー選手１６の進行方向は、破線で示されるように比較的広くあけられていて、前あき映像が形成されている。図４（ａ）に示した場合には、サッカー選手１６が紙面左手側から右手側へと運動するにつれて、ビデオ・カメラも追従するためｉフレームおよびそれに隣接するフレームとの相対的な関連からカメラの運動方向を矢線Ｃとして特定することが可能となる。
【００２９】
さらに図４（ｂ）は、ｉ＋ｋフレームにおけるイメージを示す。図４（ｂ）に示したイメージにおいても、注目領域２０のサッカー選手１６が移動する方向の手前側には前あき映像が形成されており、サッカー選手１６の運動から推定されるカメラの運動方向が矢線Ｄとして示されている。また、図４（ｃ）には、静止したサッカー選手１６の画像が示されており、画像から求められるカメラの運動速度は、この場合にはゼロとなっている。
【００３０】
より具体的にビデオ・イメージからのカメラ・ワークの推定について説明すると、カメラ・ワークは、ビデオ・イメージにおける全画面にわたる被写体の動きベクトルの群を見出すことで検出できる。上述した被写体の動きデータは、一般的には、隣接したフレーム間の特徴点の動きにより規定される動きベクトルとして与えられ、本発明の実施の形態においては使用する画像フォーマットによらず、時空間動画像処理を使用して行うことも可能である。しかしながら、本発明の説明する実施の形態においては、簡易、かつ充分な精度を提供できる、ＭＰＥＧの動き補償データによって検出される動きベクトルを利用する方法を用いる。
【００３１】
この場合、ＭＰＥＧの動き補償ベクトルは、厳密な意味でカメラ・ワークを再現することは困難であるものの、ハードウェアおよびその手法がすでに確立されているので本発明において注目領域を特定するために適切に用いることができる。カメラ・ワークは通常、パンニング、チルティング、ズーミングのいずれかの動作により行われ、ローリング、並進移動はほとんどないといえる。また、回転軸とレンズ中心とは、一致しない場合がほとんどである。このため、回転によって生ずる並進移動成分は、全くないか、ある場合であっても被写体までの距離に比べ通常では遥かに小さく、本発明においては並進移動成分をゼロと近似することができる。
【００３２】
カメラ・ワークのパラメータは、本発明においては互いに隣接するフレームごとの被写体の動きベクトルから推定される。この際、本発明においては精度をより高め、カメラ・ワークの滑らかさを復元するために、隣接するフレーム間で動きベクトルの移動平均を算出する。このように移動平均を算出することにより、カメラ・ワークを精度良く推定することが可能となり、このカメラ・ワークに関する情報から、注目領域を特定することができる。
【００３３】
本発明においては、次いで上述したカメラ・ワークから、カメラマンに注目されている被写体がイメージ上のどの位置にあるかの推定を行う。カメラの動きが遅い場合、例えば図４（ｃ）に示すように被写体であるサッカー選手１６が静止している場合には、被写体は、画像中央に近い位置にいると推定できる。しかしながら、カメラの動きが速い場合には被写体であるサッカー選手１６進行方向に対し、図４（ａ）図４（ｂ）に示すように、前あき映像を構成するようにカメラ・ワークが行われることになる。この場合には、注目領域は、中央よりカメラの動きの反対方向にずれた位置にあるものと判断される。また、この場合、カメラ・ワークにおいては、必要な前あき映像を形成するために、所定のしきい値以上の速度または加速度で移動されることになる。本発明において速度または加速度とは、時間単位でのピクセル移動速度または加速度の単位を使用することもできるし、フレーム単位でのピクセルの移動速度または加速度を使用することもできる。
【００３４】
一方、カメラの動きが反転する場合には、カメラ・ワークにおける急な反転はできるだけ避けられるようにされるので、カメラ・ワークは、被写体の急な運動よりも２００〜３００ｍｓ遅れてカメラが追従する。この遅れを考慮し、時系列的に１０フレーム程度遡って被写体の運動ベクトルを補正することが必要となる。
【００３５】
以上のことは、カメラ・ワークのパラメータ変化によってルール化が可能で，被写体を含む前あき映像が形成された所定の領域の位置推定が可能になる。本発明においては、この被写体を含む前あき映像に隣接した領域を、注目領域と定義する。一旦注目領域が推定されると、被写体を含む注目領域をトリミングして拡大したり、注目領域と他の領域との符号化量を変えることで、スケーラブル符号化が可能になる。
【００３６】
本発明において、被写体を含む所定の注目領域をビデオ・イメージから抽出する際には、特定される被写体だけを抽出してもビデオ・イメージの流れを意味的に把握することは通常困難である。このため、本発明においては、所定の注目領域を、被写体を含み、画面全体の１／２以下の領域とし、注目領域を特定する。この際、注目領域の特定は、上述した被写体を含むことのみが最低限必要であり、ビデオ・イメージからどのような形状としても取り出すこともできる。また、本発明においては、スケーラブル符号化を用いる場合には、画面全体の１／２よりも小さい領域とすることもできる。
【００３７】
図５には、本発明の部分イメージ領域抽出方法のフローチャートを示す。図５に示すように、本発明の部分イメージ領域抽出方法は、ステップ１０１から開始し、ステップ１０２において、ＭＰＥＧの動き補償データを算出する。このＭＰＥＧの動き補償データの算出はは、概略的には以下のようにして行われる。
【００３８】
ビデオ入力に対し、ＭＰＥＧの動き補償データを使用してカメラ・ワークを抽出する場合には、隣接するフレーム間におけるイメージの各点を、まず８パラメータを使用して下記式（１）で近似する。
【００３９】
【数１】
0004366023.tif 000002
【００４０】
上記式（１）において、ｘｐｒｉｍｅ、ｙｐｒｉｍｅは、例えばｉ＋ｋフレームにおけるイメージの所定ポイントの位置であり、ｘおよびｙは、フレームｉのイメージにおける所定ポイントの位置である。
【００４１】
上記式（１）において、ｘｐｒｉｍｅ、ｙｐｒｉｍｅと、ｘ、ｙとの関係は、ｉフレームとｉ＋１フレームの間における変位をそれぞれΔｘ、Δｙとすると、下記式（２）により示される。
【００４２】
【数２】
0004366023.tif 000003
【００４３】
また、上記式（１）における関数ｆ１（ｘ、ｙ）、ｆ２（ｘ、ｙ）、ｇ（ｘ、ｙ）は、回転運動および並進運動に対応するものであり、回転・並進運動に対応する定数ｒ１ｘ、ｒ１ｙ、ｒ２ｘ、ｒ２ｙ、ｒｘ、ｒｙを使用して、下記式（３）で示される。
【００４４】
【数３】
0004366023.tif 000004
【００４５】
本発明においては、上記式（１）〜上記式（３）を直接使用してカメラ・ワークを推定することも可能であるが、式（１）を用いたパラメータ推定を最尤法で求めるのは、非線形最適化となる。このため、本発明においてはより簡易な方法として、隣接するフレーム間におけるイメージの各点を下記式（４）、
【００４６】
【数４】
0004366023.tif 000005
で示される２Dアフィン変換で近似することもできる。
【００４７】
上記式（４）中、ａ１〜ａ６は、回転運動および並進運動に対応する定数であり、ｘ、ｙ、ｘｐｒｉｍｅ、ｙｐｒｉｍｅは、例えばそれぞれｉフレームとｉ＋１フレームとの間のイメージの所定ポイントの変位を示す。また「１」は、並進運動を表すアラビア数字であるが、このような近似は、被写体とカメラとの距離が大きい場合には充分に良好な近似となる。本発明においてＭＰＥＧの動き補償データを式（４）を用いて算出する場合には、パラメータ推定が線形計算のみで得ることができ、コンピュータ資源の省資源化を行うことができる。
【００４８】
ステップ１０３では、ステップ１０２で得られたＭＰＥＧの動き補償データを使用して、カメラ・ワークのロバスト推定を行う。ロバスト推定は、当てはめたパラメータにより得られるポイントと、ビデオ・イメージ上のポイントとの差の自乗和を算出し、自乗和の中央値から大きく離れた動き補償ベクトルをパラメータ推定から除去し、再計算を行うステップを含んでいる。すなわち、カメラ・ワークの運動パラメータを、ＭＰＥＧの動き補償データを再現するように自乗和をフィッティングさせるように、ロバスト推定を数回繰り返し演算させることにより、パンニング、チルティング、ズーミングといったカメラ・ワーク決定することができる。
【００４９】
ついで、本発明においてはステップ１０４において、上述したロバスト推定のスムージングを行う。このスムージングは、隣り合うフレームのロバスト推定の結果を移動平均することにより行う。この場合、カメラの動きが大きく変動する場合に、充分な推定を行うことができない場合も生じる。しかしながら、実際のカメラ・ワークは概ね滑らかな動きをしているため、得られた結果をスムージングするために前後２フレームの移動平均を取ることで充分であると考えられる。しかしながら、本発明においてスムージングする方法としては、いかなるものであっても用いることができる。
【００５０】
図５に示したフローチャートにおいては、その後ステップ１０５においてルールに基づき、注目領域の位置を推定する。注目領域を推定するためのカメラ・ワークに関する所定の条件、すなわちルールは、概ね以下のようにまとめることができる。
【００５１】
＜注目領域推定のためのルール＞
ルール１：カメラの移動がほとんどゼロに近く、かつ直後の１０フレーム以内で、ビデオ・カメラについて推定される移動ベクトルの大きさが所定のしきい値（スカラ量）以下の場合には、注目領域に含まれるべき被写体は、注目領域の中心をビデオ・イメージの画像中心（０，０）に一致させる。
【００５２】
このルール１は、具体的には例えば図４（ｃ）のビデオ・イメージを挙げることができる。図４（ｃ）では、注目領域に含まれる被写体が静止している場合であって、この場合には前あき映像を形成するといったカメラ・ワークは使用されず、カメラマンは、被写体をイメージの中央付近に配置させようとするためである。
【００５３】
ルール２：カメラの移動ベクトルが、所定のしきい値以上のスカラ量を有する場合には、直前直後の１０フレーム以内のＭＰＥＧの動き補償ベクトルから、被写体の動きベクトルに大きな方向変化がない場合には、前あき映像を形成するために被写体の移動に伴ってカメラが移動している。このため、カメラの移動ベクトルとは反対方向に、画像中心（０，０）からカメラの移動ベクトルのスカラ量だけ戻った点を注目領域の中心と設定し、注目領域を特定するためのウインドウを生成する。ただし、ウインドウの枠が画像より飛び出さないようにして注目領域の中心を決定することが好ましい。
【００５４】
図６は、ルール２を具体的に示した図である。図６には、サッカー選手１６といった被写体は、矢線Ｅの方向へと移動しており、それに追従して前あき映像を生成するように、カメラマンのカメラ・ワークにより生じるカメラの移動ベクトルがＣｖ１で示されている。図６に示した実施の形態においては、注目領域２０が、ビデオ・イメージの中心（０，０）からＣｖ１と同じスカラ量で、かつ反対向きの位置が注目領域２０の中心（ｘｃ，ｙｃ）であるとして特定される。この際、移動ベクトルは、ビデオ・イメージのフレームに対して正規化、すなわち、移動ベクトルと反対方向に戻った場合に、ビデオ・イメージからはずれた位置に注目領域２０の中心が来ないようにしておくことが好ましい。一方、ｙ方向の中心ｙｃは、図６に示した場合には、種々の設定の仕方があり得るが、本発明ではビデオ・カメラ１４の移動方向に基づいて上述したように定める方法の他にも、例えばビデオ・イメージの垂直方向の中間位置とすることもできるし、さらには、別の適切な条件により決定することができる。
【００５５】
ルール３：カメラの移動ベクトルが所定のしきい値以上のスカラー量を有しており、かつ直後の１０フレーム以内で、ビデオ・カメラの移動ベクトルの大きな方向変化、すなわちしきい値以上の加速度がある場合には、注目領域に含まれる被写体は、その動きの方向を変化させ、さらにカメラマンは、前あき映像を生成するべく、その運動に追従していることを示す。この場合には、カメラ操作の遅れ時間を考慮して、例えば１０フレーム後の動きベクトルとの和を算出してカメラの移動ベクトルＣｖ２を設定し、後述するようにして注目領域２０の中心を設定する。
【００５６】
これを具体的に示したのが図７である。図７には、サッカー選手１６が矢線Ｆで示されるように方向を変化させ、それに追従してカメラマンが前あき映像を生成するためにカメラ・ワークを行うことにより推定される、移動ベクトルＣｖ２が示されている。また、注目領域の中心（ｘｃ，ｙｃ）は、この場合画像中心（０，０）から動きに追従できなかったタイムラグの分だけ差し引かれた位置として設定される。
【００５７】
ルール４：カメラの移動ベクトルが、所定のしきい値以上のスカラ量を有し、かつ直前の１０フレーム以内で移動ベクトルにしきい値以上の加速度がある場合には、被写体がその運動を変化させた後のカメラ・ワークであり、この場合には、注目領域の横方向の中心を下記の式を使用して設定することができる。
【００５８】
【数５】
0004366023.tif 000006
【００５９】
本発明においては、上述した４つのルールに基づき、カメラの移動ベクトルから注目領域の中心を推定するものである。図８は、上述したルールを使用してステップ１０４において決定される注目領域の中心を規定するために使用される擬似コードを示した図である。図８に示された擬似コードでは、注目領域の中心の推定結果を、（ｘｃ、ｙｃ）で示し、ビデオ・イメージの中心を（０，０）として示している。さらに図８に示した擬似コードにおいては、まずdefine near_zeroにおいて、カメラの移動ベクトルがゼロに近いことを判断するしきい値を定義する。図８に示した擬似コードにおいては、例えば３ピクセルといった値が入力されている。次いで、define no_accでカメラの加速度がゼロに近いことを判断するためのしきい値を定義する。図８に示す実施の形態においては、５ピクセルといった値を使用することができる。
【００６０】
さらに図８に示した擬似コードでは、フレームｎ直後の１０フレームで大きな加速度変化があったことを判断するためのしきい値が、define acc_Fで定められ、図８においては、acc_Fが１０ピクセルとされている。また、define acc_Bでは、ｎフレーム直前の１０フレームで大きな加速度変化があったことを判断するためのしきい値が、１０ピクセルとされている。カメラの移動ベクトルが大きな値を持っていることを判断するのは、しきい値threshを判断することにより行われ、図８において示す擬似コードは、このしきい値としてdefine threshにおいて５ピクセルを設定する。
【００６１】
以下に説明する図８に示した擬似コードにおいては、Δx[]、Δy[]は、カメラの移動ベクトルのそれぞれｘ成分、ｙ成分であり、scalarは、移動ベクトルの大きさ（スカラ量）である。
【００６２】
図８に示した、擬似コードにおいては上述したそれぞれの値を入力した後、動きベクトルのスカラ量scalarを算出する。ついで、ブロックＡにおいてルール１の判断を行い、ｎフレームから直後の１０フレームの間においてtrueであるか否かを判断して、trueの場合には、ビデオ・イメージの中央を注目領域の中心として決定する。個の判断がfalseである場合には、ブロックＢにおいてルール２、ルール３、ルール４の判断を行う。
【００６３】
さらに、図８の擬似コードにおけるブロックＢでは、カメラの移動ベクトルがしきい値以上である場合のルール３およびルール４の判断が行われ、注目領域の中心を決定する。それ以外の場合には、上述したルール２の判断を行って、注目領域の中心(xc,yc)を、(-Δx[n]、-Δy[n])として決定する。
【００６４】
また、これら以外の場合、すなわちどのルールも適用されない場合には、図８に示した擬似コードにおけるブロックＣにおいて、注目領域の中心を、ｎフレームを中心とした前後１０フレームの平均を使用して決定しているのが示されている。上述したそれぞれの値は例示的なものであり、本発明においてはいかなる別の値であっても適宜用いることができる。
【００６５】
再度図５を用いて本発明の部分イメージ領域抽出方法を説明すると、ステップ１０６においては、上述したように決定された注目領域の中心から、実際の被写体の画像特徴のあるピクセルを、注目領域の中心(xc,yc)から例えば３２×３２ピクセルの範囲において検索する。この範囲で見出された画像特徴のあるピクセル位置を確定注目領域中心として決定する。この際には、種々の判断基準を使用することができ、例えば、最も画像特徴が密な部分の中心として決定することもできるし、推定された注目領域の中心に最も近いピクセルを選択することもできるし、さらにはこれらを組み合わせて判断することもできる。
【００６６】
この後、ステップ１０６において得られた確定注目領域中心から画像全体の１／２以下の面積でトリミングすることにより、注目領域を含む部分イメージを抽出し、ステップ１０７において、本発明の部分イメージ領域抽出方法は終了する。
【００６７】
図９には、本発明の部分イメージ領域抽出システムにおいて抽出された注目領域２０を含むトリミングの実施の形態を示す。図９に示されたトリミング前の画像２１における注目領域２０では、サッカーの選手１６がボールを保持してゴールへと向かっているのが示されている。しかしながら、注目領域２０は、画像全体の僅かな部分であり、これを例えばセルラ電話の液晶ディスプレイに表示させたとすると、肝心の注目領域２０がまったく判別できないような場合も生じる。
【００６８】
図１０は、本発明により図９に示したトリミング前の画像２１から注目領域２０を含む部分イメージ領域を抽出してトリミングした結果得られた、トリミング画像２２を示す。図１０に示すように、本発明によりトリミングされたトリミング画像２２は、注目領域２０を含み、そのサイズを全体画面の１／２以下の面積として生成されている。また、本発明においては、トリミング画像２２を、セルラ電話の液晶ディスプレイに適合するような大きさとして生成することも可能である。
【００６９】
本発明においては、上述したトリミングを、時間的に連続したフレームに対して適用し、時系列的に連続したトリミング画像２２のシリーズを形成することにより、オリジナルのビデオ・イメージに対するトリミングされたディジタル・コンテンツを形成することもできる。この場合トリミング画像２２を、オリジナルのビデオ・イメージのフレームの順に配置しておくことにより、トリミングされたディジタル・コンテンツを作成することができる。このようにして形成されたディジタル・コンテンツは、適切な記憶手段に記憶させておくことができ、さらにコンテンツを、携帯端末へと配信するといった目的のために使用することができる。
【００７０】
図１１には、本発明によりトリミングされたトリミング画像２２をセルラ電話２３の液晶ディスプレイ２４に表示させたところを示した図である。図１１に示すように、本発明によれば、ちょうどセルラ電話２３の液晶ディスプレイ２４に適合するサイズとしてトリミングを行うことができる。このトリミング画像２２は、例えば、適切なキャリアを介する例えばインターネットといったネットワークを介してディジタル・コンテンツとして配信することが可能である。
【００７１】
図１２には、本発明により生成されたトリミング画像２２をセルラ電話２３へと配信するためのシステムの実施の形態を示す。図１２に示したシステムにおいては、本発明の部分イメージ領域抽出方法により抽出されたトリミング画像２２を保持するサーバ２５は、インターネットといったネットワーク２６へと接続されている。さらに図１２に示したネットワーク２６には、セルラ電話２３に対してインターネット接続サービスを可能とするためのキャリア・サーバ２７が接続されている。キャリア・サーバ２７は、無線ネットワークといった第２のネットワーク２８を介してセルラ電話２３との間で通信を行い、セルラ電話２３に対してインターネット接続サービスを提供している。トリミング画像２２を保持するサーバ２５としては、本発明の部分イメージ領域抽出システムがそのまま使用されても良いが、トリミング画像のみを記憶手段に保持した別のコンピュータを使用することができる。
【００７２】
本発明におけるネットワーク２６は、いわゆるインターネットを挙げることができる。しかしながら、これ以外にも光通信、ＬＡＮ／ＷＡＮといった適切な通信プロトコルを用いる通信により遠隔的に情報を送受信することができるものであれば、いかなるネットワークでも用いることができる。この通信に用いることができる通信プロトコルとしては、例えばＴＣＰ／ＩＰといった通信プロトコルを用いることができるが、これに限定されるわけではない。
【００７３】
本発明において使用することができるセルラ電話２３としては、インターネット接続サービスの提供が可能なセルラ電話２３であれば、いかなるものでも用いることができる。このようなセルラ電話２３としては、例えばｉ−モード（商標）を使用するセルラ電話、スカイメール（商標）使用するセルラ電話、ＥＺｗｅｂを使用するセルラ電話などを例示することができるが、本発明においてはこれらのセルラ電話に制限されるものではない。また、本発明においてはセルラ電話２３以外の、例えばモバイル・コンピュータ２９といった携帯端末にもコンテンツを配信することが可能である。
【００７４】
図１２に示したシステムによりコンテンツを配信する場合のプロセスについて説明する。セルラ電話２３に対して本発明により生成されたコンテンツを提供する場合には、例えば、セルラ電話２３のユーザがトリミング画像２２を提供するコンテンツ・プロバイダに対してインターネットを使用して登録を行う。この際、ユーザは、キャリア・サーバ２７を介して、サーバ２５へとアクセスし、例えばユーザＩＤと、パスワードといったキーを、プロバイダから取得する。その後ユーザは、取得したユーザＩＤと、パスワードといった情報と共に、コンテンツ要求をキャリア・サーバ２７へと送信する。コンテンツ要求を受信したキャリア・サーバ２７は、コンテンツ要求に含まれるコンテンツ・プロバイダのＵＲＬサイトのアドレスへとコンテンツ要求を送信する。
【００７５】
このコンテンツ要求をキャリア・サーバ２７を介して受信したトリミング画像を保持するサーバ２５は、コンテンツ要求により指定されるコンテンツを、サーバ２５に含まれるデータベースといった記憶手段から検索し、セルラ電話２３へとネットワーク２６、キャリア・サーバ２７、ネットワーク２８を通して提供することができる。この際には、これまで知られたいかなるセッション管理方法でも用いることができる。この場合には、要求したディジタル・コンテンツを受信したセルラ電話２３のユーザには、オンラインまたはオフラインでディジタル・コンテンツの配信サービスに対する課金が行われるようにされていてもよい。
【００７６】
上述したように、本発明によれば、ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法が提供できる。本発明は、今後携帯端末においてますます利用されることが期待される、スポーツやニュースのダイジェストといったコンテンツを画像的に見劣りさせずに携帯端末へと配信することを可能とする。ニュースは、比較的動きの少ないコンテンツであるが、スポーツは動きが激しく、例えばＭＰＥＧ−４といった高圧縮符号化では、動きの激しい選手やボールが認識しにくいといった問題が指摘されている。しかし、帯域が限られているため、圧縮率を上げることができないので、本発明により注目領域を特定し、この特定された注目領域だけを拡大した後、ＭＰＥＧ−４圧縮して配信することもできるし、スケーラブル符号化を使用した画像として利用することもできる。
【００７７】
これまで本発明を、図面に示した実施の形態および特定の数値を使用して説明してきたが、本発明は、上述した実施の形態に限定されるものではなく、これまで知られたいかなるものでも、本発明の効果を奏する限り使用することができることはいうまでもないことである。
【図面の簡単な説明】
【図１】本発明の部分イメージ領域抽出システムの概略図。
【図２】本発明において、被写体と、カメラマンによるカメラ・ワークとの関係を示した図。
【図３】図２に示したカメラ・ワークにより得られたビデオ・イメージのフレームを時系列的に示した図。
【図４】被写体の表示手段上に表示される相対的な位置を示した図。
【図５】本発明の部分イメージ領域抽出方法の概略的なフローチャートを示した図。
【図６】ルール２に示した場合の被写体と、カメラ・ワークとの関係を示した図。
【図７】ルール２およびルール３における被写体と、カメラ・ワークとの関係を示した図。
【図８】本発明において使用するルールを適用するための擬似コードを示した図。
【図９】本発明における注目領域を含むトリミングの実施の形態を示した図。
【図１０】本発明によるトリミングの結果得られたトリミング画像を示した図。
【図１１】本発明によりトリミングされたトリミング画像をセルラ電話に表示させたところを示した図。
【図１２】本発明の抽出されたビデオ・イメージの配信方法に使用するシステムを示した図。
【符号の説明】
１０…コンピュータ
１２…ビデオ装置
１４…ビデオ・カメラ
１５…バス
１６…サッカー選手
１８…表示手段
２０…注目領域
２２…トリミング画像
２４…液晶ディスプレイ
２５…サーバ
２６…ネットワーク
２７…キャリア・サーバ
２８…第２のネットワーク
２９…モバイル・コンピュータ
【図１】
0004366023.tif 000007
【図２】
0004366023.tif 000008
【図３】
0004366023.tif 000009
【図４】
0004366023.tif 000010
【図５】
0004366023.tif 000011
【図６】
0004366023.tif 000012
【図７】
0004366023.tif 000013
【図８】
0004366023.tif 000014
【図９】
0004366023.tif 000015
【図１０】
0004366023.tif 000016
【図１１】
0004366023.tif 000017
【図１２】
0004366023.tif 000018