(57)【要約】【課題】　　複数のユーザへマルチリゾリューションビデオを提供する方法、コンピュータプログラムプロダクト、及び装置【解決手段】　初期画像をキャプチャして記憶し、現在のパノラマ画像及びＰＴＺ画像をキャプチャし、両画像を真の画像に対して比較して、画像差を推定する。ユーザ入力が受け取られた場合、ユーザの現在の画像リクエストパターンに基づいて推定された画像差を重み付けし、ユーザ入力が受け取られない場合、ユーザの過去の画像リクエストパターンに基づいて推定された画像差を重み付けする。画像差を重み付けした後は、記憶された画像を更新し、ユーザ入力が受け取られた場合、ユーザリクエストを完了し、ユーザ入力が受け取られない場合、領域Ｒzを選択して、ＰＴＺカメラを選択された領域Ｒzへ向ける。【選択図】　　　図７
2004064784.tif 000002
【特許請求の範囲】
【請求項１】
　複数のユーザへマルチリゾリューションビデオを提供する方法であって、
（ａ）初期のオーバービュー画像と初期のクローズ−アップ画像とをキャプチャするステップであって、前記初期のオーバービュー画像が複数の領域を有し、前記初期のクローズ−アップ画像が前記初期のオーバービュー画像よりも大きな空間周波数を有するとともに前記初期のオーバービュー画像の前記複数の領域の全てよりも少ない領域を描写するステップと、
（ｂ）メモリに前記初期のオーバービュー画像と前記初期のクローズ−アップ画像とを記憶するステップと、
（ｃ）現在のオーバービュー画像と現在のクローズ−アップ画像とをキャプチャするステップであって、前記現在のオーバービュー画像が前記初期のオーバービュー画像の前記領域に対応する領域を有し、前記現在のクローズ−アップ画像が前記現在のオーバービュー画像の前記領域の全てよりも少ない領域を描写するステップと、
（ｄ）真の画像と前記初期のオーバービュー画像又は前記初期のクローズ−アップ画像との間の歪みと、前記真の画像と前記現在のオーバービュー画像又は前記現在のクローズ−アップ画像との間の歪みと、を求めるステップと、
（ｅ）記憶された前記初期のオーバービュー画像及び前記初期のクローズ−アップ画像を更新するステップと、
（ｆ）前記現在のオーバビュー画像を少なくとも一人のユーザへ提供するステップと、
（ｇ）クローズ−アップ画像を前記少なくとも一人のユーザの各々へ提供するステップと、
　を有する、方法。
【請求項２】
　前記歪みを求めるステップが、（ｈ）前記真の画像と前記初期のオーバービュー画像又は前記初期のクローズ−アップ画像との差と、前記真の画像と前記現在のオーバービュー画像又は前記現在のクローズ−アップ画像との差と、を評価するステップを更に有する、請求項１に記載の方法。
【請求項３】
　前記歪みを求めるステップが、（ｉ）現在のユーザリクエストに基づいて、前記評価された差を重み付けするステップを更に有する、請求項２に記載の方法。
【請求項４】
　前記歪みを求めるステップが、（ｊ）過去のユーザリクエストパターンに基づいて、前記評価された差を重み付けするステップを更に有する、請求項２に記載の方法。
【請求項５】
　前記記憶するステップが、（ｋ）前記初期のクローズ−アップ画像を前記初期のオーバービュー画像の中へつなぎ合わせ、これによって、マルチリゾリューションのオーバービュー画像を作成するステップと、（ｌ）前記マルチリゾリューションの初期のオーバービュー画像をメモリに記憶するステップと、を更に有する、請求項１に記載の方法。
【請求項６】
　前記更新するステップが、（ｍ）前記現在のオーバービュー画像の対応する領域より多くの歪みを有する前記記憶されたオーバービュー画像の任意の歪みが高い領域を求めるステップと、（ｎ）前記記憶されたオーバービュー画像の歪みが高い領域の画像を、前記現在のオーバービュー画像の対応する領域の歪みが低い画像とを置き換えるステップと、を更に有する、請求項５に記載の方法。
【請求項７】
　前記クローズ−アップ画像を提供するステップが、（ｏ）前記少なくとも一人のユーザの各々からリクエストが受け取られたかどうかを判断するステップであって、各リクエストが前記現在のオーバービュー画像の領域に対応付けされる、ステップと、（ｐ）リクエストが受け取られた各ユーザに対して、ユーザリクエストに対応付けされた領域のクローズ−アップ画像を提供するステップと、を更に有する、請求項５に記載の方法。
【請求項８】
　前記クローズ−アップ画像を提供するステップが、（ｑ）クローズ−アップ領域をリクエストしなかったユーザに対して、ある領域のクローズ−アップ画像を自動的に提供するステップであって、この領域が他のユーザの領域リクエストパターンから得られる、ことを特徴とするステップ、を更に有する、請求項５に記載の方法。
【請求項９】
　前記ステップ（ｇ）以後、（ｒ）最大の歪みを有する前記記憶された初期のオーバービュー画像の前記領域を求める、ステップと、（ｓ）最大の歪みを有する前記領域にＰＴＺカメラを向けるステップと、（ｔ）ステップ（ｃ）において、前記クローズ−アップ画像としてキャプチャされた領域がステップ（ｒ）において、最大の歪みを有する領域である、請求項１のステップ（ｃ）−（ｇ）を実行するステップと、を更に有する、請求項５に記載の方法。
【請求項１０】
　複数のユーザへマルチリゾリューションビデオを提供するためにサーバコンピュータによって実行するためのコンピュータプログラムプロダクトであって、
（ａ）初期のオーバービュー画像と初期のクローズ−アップ画像とをキャプチャするコンピュータコードであって、前記初期のオーバービュー画像が複数の領域を有し、前記初期のクローズ−アップ画像が、前記初期のオーバービュー画像よりも大きな空間周波数を有し、前記初期のオーバービュー画像の前記複数の領域の全てよりも少ない領域を描写するコンピュータコードと、
（ｂ）メモリに前記初期のオーバービュー画像と前記初期のクローズ−アップ画像とを記憶するコンピュータコードと、
（ｃ）現在のオーバービュー画像と現在のクローズ−アップ画像とをキャプチャするコンピュータコードであって、前記現在のオーバービュー画像が前記初期のオーバービュー画像の前記領域に対応する領域を有し、前記現在のクローズ−アップ画像が前記現在のオーバービュー画像の前記領域の全てよりも少ない領域を描写するコンピュータコードと、
（ｄ）真の画像と前記初期のオーバービュー画像又は前記初期のクローズ−アップ画像との間の歪みと、前記真の画像と前記現在のオーバービュー画像又は前記現在のクローズ−アップ画像との間の歪みと、を求めるコンピュータコードと、
（ｅ）記憶された前記初期のオーバービュー画像及び前記初期のクローズ−アップ画像を更新するコンピュータコードと、
（ｆ）前記現在のオーバビュー画像を少なくとも一人のユーザへ提供するコンピュータコードと、
（ｇ）クローズ−アップ画像を前記少なくとも一人のユーザの各々へ提供するコンピュータコードと、
　を有する、コンピュータプログラムプロダクト。
【請求項１１】
　前記歪みを求めるコンピュータコードが、（ｈ）前記真の画像と前記初期のオーバービュー画像又は前記初期のクローズ−アップ画像との差と、前記真の画像と前記現在のオーバービュー画像又は前記現在のクローズ−アップ画像との差と、を評価するコンピュータコード、
　を更に有する、請求項１０に記載のコンピュータプログラムプロダクト。
【請求項１２】
　前記歪みを求めるコンピュータコードが、（ｉ）現在のユーザリクエストに基づいて、前記評価された差を重み付けするコンピュータコードを更に有する、請求項１１に記載のコンピュータプログラムプロダクト。
【請求項１３】
　前記歪みを求めるコンピュータコードが、（ｊ）過去のユーザリクエストパターンに基づいて、前記評価された差を重み付けするコンピュータコードを更に有する、請求項１１に記載のコンピュータプログラムプロダクト。
【請求項１４】
　前記記憶するコンピュータコードが、（ｋ）前記初期のクローズ−アップ画像を前記初期のオーバービュー画像の中へつなぎ合わせ、これによって、マルチリゾリューションのオーバービュー画像を作成するコンピュータコードと、（ｌ）前記マルチリゾリューションの初期のオーバービュー画像をメモリに記憶するコンピュータコードと、を更に有する、請求項１０に記載のコンピュータプログラムプロダクト。
【請求項１５】
　前記更新するコンピュータコードが、（ｍ）前記現在のオーバービュー画像の対応する領域より多くの歪みを有する前記記憶されたオーバービュー画像の任意の歪みが高い領域を求めるコンピュータコードと、（ｎ）前記記憶されたオーバービュー画像の歪みが高い領域の画像を、前記現在のオーバービュー画像の対応する領域の歪みが低い画像とを置き換えるコンピュータコードと、を有する請求項１４に記載のコンピュータプログラムプロダクト。
【請求項１６】
　前記クローズ−アップ画像を提供するコンピュータコードが、（ｏ）前記少なくとも一人のユーザの各々からリクエストが受け取られたかどうかを判断するコンピュータコードであって、各リクエストが前記現在のオーバービュー画像の領域と対応付けされるコンピュータコードと、（ｐ）リクエストが受け取られた各ユーザに対して、ユーザリクエストに対応付けされた領域のクローズ−アップ画像を提供するコンピュータコードと、を更に有する、請求項１４に記載のコンピュータプログラムプロダクト。
【請求項１７】
　前記クローズ−アップ画像を提供するコンピュータコードが、（ｑ）クローズ−アップ領域をリクエストしなかったユーザに対して、ある領域のクローズ−アップ画像を自動的に提供するコンピュータコードであって、この領域が他のユーザの領域リクエストパターンから得られる、ことを特徴とする、コンピュータコード、を更に有する、請求項１４に記載のコンピュータプログラムプロダクト。
【請求項１８】
　前記コンピュータコード（ｇ）以後、（ｒ）最大の歪みを有する前記記憶された初期のオーバービュー画像の前記領域を求めるコンピュータコードと、（ｓ）最大の歪みを有する前記領域にＰＴＺカメラを向けるコンピュータコードと、（ｔ）ステップ（ｃ）において、前記クローズ−アップ画像としてキャプチャされた領域がステップ（ｒ）において、最大の歪みを有する領域である、請求項１のステップ（ｃ）−（ｇ）を実行するコンピュータコードと、を更に有する、請求項１４に記載のコンピュータプログラムプロダクト。
【請求項１９】
　プロセッサと、
前記プロセッサに連結され、複数のユーザへマルチリゾリューションビデオを提供する方法を実行するために前記装置をプログラムするためのプログラムコードを含む、プロセッサ読み取り可能記憶媒体と、
を有する、
複数のユーザへマルチリゾリューションビデオを提供する装置であって、
前記方法が、
（ａ）初期のオーバービュー画像と初期のクローズ−アップ画像とをキャプチャするステップであって、前記初期のオーバービュー画像が複数の領域を有し、前記初期のクローズ−アップ画像が前記初期のオーバービュー画像よりも大きな空間周波数を有するとともに前記初期のオーバービュー画像の前記複数の領域の全てよりも少ない領域を描写するステップと、
（ｂ）メモリに前記初期のオーバービュー画像と前記初期のクローズ−アップ画像とを記憶するステップと、
（ｃ）現在のオーバービュー画像と現在のクローズ−アップ画像とをキャプチャするステップであって、前記現在のオーバービュー画像が前記初期のオーバービュー画像の前記領域に対応する領域を有し、前記現在のクローズ−アップ画像が前記現在のオーバービュー画像の前記領域の全てよりも少ない領域を描写するステップと、
（ｄ）真の画像と前記初期のオーバービュー画像又は前記初期のクローズ−アップ画像との間の歪みと、前記真の画像と前記現在のオーバービュー画像又は前記現在のクローズ−アップ画像との間の歪みと、を求めるステップと、
（ｅ）記憶された前記初期のオーバービュー画像及び前記初期のクローズ−アップ画像を更新するステップと、
（ｆ）前記現在のオーバビュー画像を少なくとも一人のユーザへ提供するステップと、
（ｇ）クローズ−アップ画像を前記少なくとも一人のユーザの各々へ提供するステップと、
　を有する、装置。
【請求項２０】
　前記記憶するステップが、（ｈ）前記初期のクローズ−アップ画像を前記初期のオーバービュー画像へつなぎ合わせ、これによって、マルチリゾリューションのオーバービュー画像を作成するステップと、（ｉ）前記マルチリゾリューションの初期のオーバービュー
画像をメモリに記憶するステップと、を更に有する、請求項１９に記載の装置。
【請求項２１】
　前記更新するステップが、（ｊ）前記現在のオーバービュー画像の対応する領域より多くの歪みを有する前記記憶されたオーバービュー画像の任意の歪みが高い領域を求めるステップと、（ｋ）前記記憶されたオーバービュー画像の歪みが高い領域の画像を、前記現在のオーバービュー画像の対応する領域の歪みが低い画像とを置き換えるステップと、を更に有する、請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、一般に、ビデオ画像処理に係り、より詳細には、ハイブリッドな手動及び自動によるコントロール下で、複数のユーザへマルチリゾリューションビデオを提供することに関する。即ち、複数のユーザへマルチリゾリューションビデオを提供する方法、コンピュータプログラムプロダクト、及び装置に関する。
【背景技術】
【０００２】
　遠隔ロケーションからのビデオ会議がより一層普及しつつある。インターネットとディジタルカメラの発達及び利用可能性によって、異なるロケーションに位置しながらも、様々な状況下で、より多くの人が、他の人と対話することが可能である。
【０００３】
　従来、二つのロケーション間でのビデオ会議は、ロケーションの各々にビデオカメラを設ける。大部分のシステムには、パン・チルト・ズーム（ＰＴＺ）カメラが組み込まれている。これらのシステムにおいて、ＰＴＺカメラは、ユーザへある部分のクローズ−アップビューを提供することができる。大部分のシステムにおいて、ビューワ（ｖｉｅｗｅｒ）は、遠隔ロケーションから、ＰＴＺカメラをコントロールしてもよい。しかしながら、このＰＴＺカメラによるビデオ会議システムは、多くの不都合があった。
【０００４】
　複数のユーザがいるビデオ会議のシステムにおいて、遠隔ユーザは、このＰＴＺカメラを個別にコントロールしてもよい。従来のシステムは、ビデオ会議システムにおいて各遠隔ユーザに対してＰＴＺカメラを提供していた。この方法は、各ユーザへユーザ自身のクローズ−アップビューを提供することができるが、各遠隔ユーザに対して個別のＰＴＺカメラを提供するには法外な費用が掛かる。他のシステムとしては、ヒューマン・オペレータによって局所的にコントロールされる単一又はある限定数のＰＴＺカメラを提供したものもあった。局所的オペレータは、局所的オペレータが重要と考えられる部分にＰＴＺカメラを向けることができる。しかしながら、これは、異なるビューを欲しがる遠隔ユーザのニーズを満たすものではなかった。更に、ヒューマン・オペレータは、人間特有の誤差を冒したり重要な情報を見落としたりする傾向があった。
【０００５】
　他に試みられたビデオ会議における解決法としては、ＰＴＺカメラの自動コントロールを提供することである。これらのシステムは、ベルコア（Ｂｅｌｌ　Ｃｏｒｅ）の自動オーディトリアム（Ａｕｔｏｍａｔｉｃ　Ａｕｄｉｔｏｒｉｕｍ）、コーネル（Ｃｏｒｎｅｌｌ）の講義キャプチャ（捕捉）システム（Ｌｅｃｔｕｒｅ　Ｃａｐｔｕｒｅ　Ｓｙｓｔｅｍ）、及びマイクロソフト（Ｍｉｃｒｏｓｏｆｔ）のＩＣＡＭシステムを含む。また、特許文献１は、雲台付きカメラで撮影した映像と、雲台付きカメラで撮影できる全範囲を広角カメラにより撮影した映像とをＰＣに伝送し、それぞれを表示するようにすることにより、ＰＣの利用者が、自分がいま所望する詳細な映像だけでなく、その周辺の映像もほぼリアルタイムに近い形で見ることができるようにして、これらの表示を見ながら雲台付きカメラの撮影姿勢を遠隔制御することを開示している。これらのシステムによって、ヒューマン・オペレータにカメラをコントロールさせることによる不都合は取り除かれるが、カスタマイズされたビデオを複数のユーザに対して提供することはできない。この他の背景技術を開示する文献として、非特許文献１乃至５がある。
【特許文献１】特開２０００−３２３１９号公報
【非特許文献１】マイケル　Ｈ．ビアンキ（Ｍｉｃｈｅｌ　Ｈ．　Ｂｉａｎｃｈｉ）著「オートオーディトリアム：オーディトリアムにおけるプレゼンテーションをテレビ放映するための全自動マルチカメラシステム（ＡｕｔｏＡｕｄｉｔｏｒｉｕｍ：　ａ　Ｆｕｌｌｙ　Ａｕｔｏｍａｔｉｃ，Ｍｕｌｔｉ−Ｃａｍｅｒａ　Ｓｙｓｔｅｍ　ｔｏ　Ｔｅｌｅｖｉｓｅ　Ａｕｄｉｔｏｒｉｕｍ　Ｐｒｅｓｅｎｔａｔｉｏｎｓ）」、（米国）、ＤＡＲＰＡ／ＮＩＳＴ　スマートスペーステクノロジーワークショップ（Ｓｍａｒｔ　Ｓｐａｃｅｓ　Ｔｅｃｈｎｏｌｏｇｙ　Ｗｏｒｋｓｈｏｐ）ジョイントプロシーディング、１９９８年７月、ｐ．１−１０
【非特許文献２】キミヤ　ヤマアシ（Ｋｉｍｉｙａ　Ｙａｍａａｓｈｉ）、ジェレミー　Ｒ．クーパーストック（Ｊｅｒｅｍｙ　Ｒ．Ｃｏｏｐｅｒｓｔｏｃｋ）、トレーシー　ナリーン（Ｔｒａｃｙ　Ｎａｒｉｎｅ）、ウィリアム　バクストン（Ｗｉｌｌｉａｍ　Ｂｕｘｔｏｎ）著「エクストラアイにより、カメラ−モニタの仲介によるテレプレゼンスの限界を克服する（Ｂｅａｔｉｎｇ　ｔｈｅ　Ｌｉｍｉｔａｔｉｏｎｓ　ｏｆ　Ｃａｍｅｒａ−Ｍｏｎｉｔｏｒ　Ｍｅｄｉａｔｅｄ　Ｔｅｌｅｐｒｅｓｅｎｃｅ　ｗｉｔｈ　Ｅｘｔｒａ　Ｅｙｅｓ）」、（カナダ）、ＡＣＭ　ＣＨＩ９６　プロシーディング、１９９６年、ｐ．１４
【非特許文献３】リウェイ　ヒー（Ｌｉｗｅｉ　Ｈｅ）、エリザベス　サノッキ（Ｅｌｉｚａｂｅｔｈ　Ｓａｎｏｃｋｉ）、アヌープ　グプタ（Ａｎｏｏｐ　Ｇｕｐｔａ）、ジョナサン　グルディン（Ｊｏｎａｔｈａｎ　Ｇｒｕｄｉｎ）著「オーディオ−ビデオ　プレゼンテーションの自動サマライゼーション（Ａｕｔｏ−Ｓｕｍｍａｒｉｚａｔｉｏｎ　ｏｆ　Ａｕｄｉｏ−Ｖｉｄｅｏ　Ｐｒｅｓｅｎｔａｔｉｏｎｓ）　」、（米国）、ＡＣＭインターナショナルマルチメディアカンファレンス（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｍｕｌｔｉｍｅｄｉａｔ　Ｃｏｎｆｅｒｅｎｃｅ）（ｍｍ９９）、１９９９年、ｐ．１０
【非特許文献４】キャン　ファン（Ｑｉａｎ　Ｈｕａｎｇ）、ユンタオ　クイ（Ｙｕｎｔａｏ　Ｃｕｉ）、サパン　サマラセケラ（Ｓｕｐｕｎ　Ｓａｍａｒａｓｅｋｅｒａ）著「自動カメラマンを介したコンテンツベースアクティブビデオデータの取得（Ｃｏｎｔｅｎｔ　Ｂａｓｅｄ　Ａｃｔｉｖｅ　Ｖｉｄｅｏ　Ｄａｔａ　Ａｃｑｕｉｓｉｔｉｏｎ　Ｖｉａ　Ａｕｔｏｍａｔｅｄ　Ｃａｍｅｒａｍｅｎ）」、（米国）、ＩＥＥＥインターナショナルカンファレンスオンイメージプロセッシング（ＩＣＩＰ）、１９９８年、ｐ．５
【非特許文献５】キョン　リウ（Ｑｉｏｎｇ　Ｌｉｕ）、ヨン　ルイ（Ｙｏｎｇ　Ｒｕｉ）、アヌープ　グプタ（Ａｎｏｏｐ　Ｇｕｐｔａ）、ＪＪ　カディス（Ｃａｄｉｚ）著「講義室環境のための自動カメラマネージメント（Ａｕｔｏｍａｔｉｎｇ　Ｃａｍｅｒａ　Ｍａｎａｇｅｍｅｎｔ　ｆｏｒ　Ｌｅｃｔｕｒｅ　Ｒｏｏｍ　Ｅｎｖｉｒｏｎｍｅｎｔｓ）　」、（米国）、ＡＣＭ　ＣＨＩ２００１プロシーディング、２００１年、第３巻ｐ．４４２−４４９
【発明の開示】
【発明が解決しようとする課題】
【０００６】
当技術に必要とされることは、複数のユーザが、ＰＴＺカメラによって提供されるビューなどの個人用のカメラビューを選択することを可能とするビデオを提供するシステムである。
【課題を解決するための手段】
【０００７】
本発明は、複数のユーザへハイブリッドな手動／自動コントロールのマルチリゾリューション（多重解像度）ビデオシステムを提供する。一つの実施の形態において、ビデオシステムは、オーバービュー画像ストリームとクローズ−アップ画像ストリームを提供する。オーバービュー画像ウィンドウストリームは、各画像が複数の領域に分割された、一連の画像をディスプレイする。クローズ−アップストリームは、第１のビデオストリームの領域又は複数の領域の一連のクローズ−アップ画像を示すことができる。一つの実施の形態において、ユーザは、クローズ−アップウィンドウの中にディスプレイするための領域を選択する。クローズ−アップウィンドウの画像のソースは、ＰＴＺカメラ、メモリ、又はオーバービュー画像であってもよい。ユーザは、システムによって提供されるソースとは異なったソースをリクエストしてもよい。他の実施の形態では、どの領域をクローズ−アップウィンドウにディスプレイすべきかを、システムが自動的に決定してもよい。
【０００８】
　請求項１記載の発明は、複数のユーザへマルチリゾリューションビデオを提供する方法であって、（ａ）初期のオーバービュー画像と初期のクローズ−アップ画像とをキャプチャするステップであって、初期のオーバービュー画像が複数の領域を有し、初期のクローズ−アップ画像が初期のオーバービュー画像よりも大きな空間周波数を有するとともに初期のオーバービュー画像の複数の領域の全てよりも少ない領域を描写するステップと、（ｂ）メモリに初期のオーバービュー画像と初期のクローズ−アップ画像とを記憶するステップと、（ｃ）現在のオーバービュー画像と現在のクローズ−アップ画像とをキャプチャするステップであって、現在のオーバービュー画像が初期のオーバービュー画像の領域に対応する領域を有し、現在のクローズ−アップ画像が現在のオーバービュー画像の領域の全てよりも少ない領域を描写するステップと、（ｄ）真の画像と初期のオーバービュー画像又は初期のクローズ−アップ画像との間の歪みと、真の画像と現在のオーバービュー画像又は現在のクローズ−アップ画像との間の歪みと、を求めるステップと、（ｅ）記憶された初期のオーバービュー画像及び初期のクローズ−アップ画像を更新するステップと、（ｆ）現在のオーバビュー画像を少なくとも一人のユーザへ提供するステップと、（ｇ）クローズ−アップ画像を少なくとも一人のユーザの各々へ提供するステップと、を有する、方法である。
【０００９】
　請求項１記載の発明において、例えば請求項２のように、歪みを求めるステップが、（ｈ）真の画像と初期のオーバービュー画像又は初期のクローズ−アップ画像との差と、真の画像と現在のオーバービュー画像又は現在のクローズ−アップ画像との差と、を評価するステップを更に有するようにしてもよい。
【００１０】
　更に、請求項３のように、歪みを求めるステップが、（ｉ）現在のユーザリクエストに基づいて、評価された差を重み付けするステップを更に有するようにしてもよいし、請求項４のように、歪みを求めるステップが、（ｊ）過去のユーザリクエストパターンに基づいて、評価された差を重み付けするステップを更に有するようにしてもよい。
【００１１】
　また、請求項５のように、記憶するステップが、（ｋ）初期のクローズ−アップ画像を初期のオーバービュー画像の中へつなぎ合わせ、これによって、マルチリゾリューションのオーバービュー画像を作成するステップと、（ｌ）マルチリゾリューションの初期のオーバービュー画像をメモリに記憶するステップと、を更に有するようにしてもよい。
【００１２】
　請求項６のように、更新するステップが、（ｍ）現在のオーバービュー画像の対応する領域より多くの歪みを有する記憶されたオーバービュー画像の任意の歪みが高い領域を求めるステップと、（ｎ）記憶されたオーバービュー画像の歪みが高い領域の画像を、現在のオーバービュー画像の対応する領域の歪みが低い画像とを置き換えるステップと、を更に有するようにしてもよい。
【００１３】
　請求項７のように、クローズ−アップ画像を提供するステップが、（ｏ）少なくとも一人のユーザの各々からリクエストが受け取られたかどうかを判断するステップであって、各リクエストが現在のオーバービュー画像の領域に対応付けされる、ステップと、（ｐ）リクエストが受け取られた各ユーザに対して、ユーザリクエストに対応付けされた領域のクローズ−アップ画像を提供するステップと、を更に有するようにしてもよい。
【００１４】
　請求項８のように、クローズ−アップ画像を提供するステップが、（ｑ）クローズ−アップ領域をリクエストしなかったユーザに対して、ある領域のクローズ−アップ画像を自動的に提供するステップであって、この領域が他のユーザの領域リクエストパターンから得られる、ことを特徴とするステップ、を更に有するようにしてもよい。
【００１５】
　また、請求項９のように、ステップ（ｇ）以後、（ｒ）最大の歪みを有する記憶された初期のオーバービュー画像の領域を求める、ステップと、（ｓ）最大の歪みを有する領域にＰＴＺカメラを向けるステップと、（ｔ）ステップ（ｃ）において、クローズ−アップ画像としてキャプチャされた領域がステップ（ｒ）において、最大の歪みを有する領域である、請求項１のステップ（ｃ）−（ｇ）を実行するステップと、を更に有するようにしてもよい。
【００１６】
　請求項１０記載の発明は、複数のユーザへマルチリゾリューションビデオを提供するためにサーバコンピュータによって実行するためのコンピュータプログラムプロダクトであって、（ａ）初期のオーバービュー画像と初期のクローズ−アップ画像とをキャプチャするコンピュータコードであって、初期のオーバービュー画像が複数の領域を有し、初期のクローズ−アップ画像が、初期のオーバービュー画像よりも大きな空間周波数を有し、初期のオーバービュー画像の複数の領域の全てよりも少ない領域を描写するコンピュータコードと、（ｂ）メモリに初期のオーバービュー画像と初期のクローズ−アップ画像とを記憶するコンピュータコードと、（ｃ）現在のオーバービュー画像と現在のクローズ−アップ画像とをキャプチャするコンピュータコードであって、現在のオーバービュー画像が初期のオーバービュー画像の領域に対応する領域を有し、現在のクローズ−アップ画像が現在のオーバービュー画像の領域の全てよりも少ない領域を描写するコンピュータコードと、（ｄ）真の画像と初期のオーバービュー画像又は初期のクローズ−アップ画像との間の歪みと、真の画像と現在のオーバービュー画像又は現在のクローズ−アップ画像との間の歪みと、を求めるコンピュータコードと、（ｅ）記憶された初期のオーバービュー画像及び初期のクローズ−アップ画像を更新するコンピュータコードと、（ｆ）現在のオーバビュー画像を少なくとも一人のユーザへ提供するコンピュータコードと、（ｇ）クローズ−アップ画像を少なくとも一人のユーザの各々へ提供するコンピュータコードと、を有する、コンピュータプログラムプロダクトである。
【００１７】
　請求項１０記載の発明において、例えば請求項１１のように、歪みを求めるコンピュータコードが、（ｈ）真の画像と初期のオーバービュー画像又は初期のクローズ−アップ画像との差と、真の画像と現在のオーバービュー画像又は現在のクローズ−アップ画像との差と、を評価するコンピュータコード、を更に有するようにしてもよい。
【００１８】
　更に、請求項１２のように、歪みを求めるコンピュータコードが、（ｉ）現在のユーザリクエストに基づいて、評価された差を重み付けするコンピュータコードを更に有するようにしてもよいし、請求項１３のように、歪みを求めるコンピュータコードが、（ｊ）過去のユーザリクエストパターンに基づいて、評価された差を重み付けするコンピュータコードを更に有するようにしてもよい。
【００１９】
　請求項１４のように、記憶するコンピュータコードが、（ｋ）初期のクローズ−アップ画像を初期のオーバービュー画像の中へつなぎ合わせ、これによって、マルチリゾリューションのオーバービュー画像を作成するコンピュータコードと、（ｌ）マルチリゾリューションの初期のオーバービュー画像をメモリに記憶するコンピュータコードと、を更に有するようにしてもよい。
【００２０】
　請求項１５のように、更新するコンピュータコードが、（ｍ）現在のオーバービュー画像の対応する領域より多くの歪みを有する記憶されたオーバービュー画像の任意の歪みが高い領域を求めるコンピュータコードと、（ｎ）記憶されたオーバービュー画像の歪みが高い領域の画像を、現在のオーバービュー画像の対応する領域の歪みが低い画像とを置き換えるコンピュータコードと、を有するようにしてもよい。
【００２１】
　また、請求項１６のように、クローズ−アップ画像を提供するコンピュータコードが、（ｏ）少なくとも一人のユーザの各々からリクエストが受け取られたかどうかを判断するコンピュータコードであって、各リクエストが現在のオーバービュー画像の領域と対応付けされるコンピュータコードと、（ｐ）リクエストが受け取られた各ユーザに対して、ユーザリクエストに対応付けされた領域のクローズ−アップ画像を提供するコンピュータコードと、を更に有するようにしてもよい。
【００２２】
　請求項１７のように、クローズ−アップ画像を提供するコンピュータコードが、（ｑ）クローズ−アップ領域をリクエストしなかったユーザに対して、ある領域のクローズ−アップ画像を自動的に提供するコンピュータコードであって、この領域が他のユーザの領域リクエストパターンから得られる、ことを特徴とする、コンピュータコード、を更に有するようにしてもよい。
【００２３】
　請求項１８のように、コンピュータコード（ｇ）以後、（ｒ）最大の歪みを有する記憶された初期のオーバービュー画像の領域を求めるコンピュータコードと、（ｓ）最大の歪みを有する領域にＰＴＺカメラを向けるコンピュータコードと、（ｔ）ステップ（ｃ）において、クローズ−アップ画像としてキャプチャされた領域がステップ（ｒ）において、最大の歪みを有する領域である、請求項１のステップ（ｃ）−（ｇ）を実行するコンピュータコードと、を更に有するようにしてもよい。
【００２４】
　請求項１９記載の発明は、プロセッサと、プロセッサに連結され、複数のユーザへマルチリゾリューションビデオを提供する方法を実行するために装置をプログラムするためのプログラムコードを含む、プロセッサ読み取り可能記憶媒体と、を有する、複数のユーザへマルチリゾリューションビデオを提供する装置であって、方法が、（ａ）初期のオーバービュー画像と初期のクローズ−アップ画像とをキャプチャするステップであって、初期のオーバービュー画像が複数の領域を有し、初期のクローズ−アップ画像が初期のオーバービュー画像よりも大きな空間周波数を有するとともに初期のオーバービュー画像の複数の領域の全てよりも少ない領域を描写するステップと、（ｂ）メモリに初期のオーバービュー画像と初期のクローズ−アップ画像とを記憶するステップと、（ｃ）現在のオーバービュー画像と現在のクローズ−アップ画像とをキャプチャするステップであって、現在のオーバービュー画像が初期のオーバービュー画像の領域に対応する領域を有し、現在のクローズ−アップ画像が現在のオーバービュー画像の領域の全てよりも少ない領域を描写するステップと、（ｄ）真の画像と初期のオーバービュー画像又は初期のクローズ−アップ画像との間の歪みと、真の画像と現在のオーバービュー画像又は現在のクローズ−アップ画像との間の歪みと、を求めるステップと、（ｅ）記憶された初期のオーバービュー画像及び初期のクローズ−アップ画像を更新するステップと、（ｆ）現在のオーバビュー画像を少なくとも一人のユーザへ提供するステップと、（ｇ）クローズ−アップ画像を少なくとも一人のユーザの各々へ提供するステップと、を有する、装置である。
【００２５】
　請求項１９記載の発明において、例えば請求項２０のように、記憶するステップが、（ｈ）初期のクローズ−アップ画像を初期のオーバービュー画像へつなぎ合わせ、これによって、マルチリゾリューションのオーバービュー画像を作成するステップと、（ｉ）マル
チリゾリューションの初期のオーバービュー画像をメモリに記憶するステップと、を更に有するようにしてもよい。
【００２６】
　また、請求項２１のように、更新するステップが、（ｊ）現在のオーバービュー画像の対応する領域より多くの歪みを有する記憶されたオーバービュー画像の任意の歪みが高い領域を求めるステップと、（ｋ）記憶されたオーバービュー画像の歪みが高い領域の画像を、現在のオーバービュー画像の対応する領域の歪みが低い画像とを置き換えるステップと、を更に有するようにしてもよい。
【発明を実施するための最良の形態】
【００２７】
　本発明は、複数のユーザへマルチリゾリューションビデオを提供するシステム及び方法を提供する。一つの実施の形態において、システムは、オーバービューウィンドウ及びクローズ−アップウィンドウを提供する。オーバービューウィンドウは、実際のオブジェクト又は環境の画像のストリームを提供する。クローズ−アップ画像は、オーバービューウィンドウへ提供されるオブジェクト又は環境の特別な領域のクローズ−アップビューの画像のストリームを提供する。ユーザは、クローズ−アップビューにどの領域をディスプレイすべきかに関する入力を提供する。ユーザ入力が受け取られない場合、システムが自動的にクローズ−アップビューを提供する場合もある。
【００２８】
　図１は、本発明の一つの実施の形態によるハイブリッドなカメラシステム１００を示す。図に示されるように、システム１００は、第１のカメラ１１０及びパン／チルト／ズーム（ＰＴＺ）カメラ１２０を有する。第１のカメラは、パノラマカメラ、広角カメラ、又は他のタイプのカメラ等のビデオフレームをキャプチャする任意のカメラであってよい。本発明を説明するために、第１のカメラは、パノラマカメラとされる。しかしながら、いずれのカメラのタイプも第１のカメラとしての条件を満たすことができ、第１のカメラはパノラマカメラに限定されるものではない。
【００２９】
　図１のパノラマカメラは、複数の広角カメラ又は単一のパノラマカメラから成り得る。複数の広角カメラを用いて、キャプチャされたビデオは、つなぎ合わされて、パノラマ画像を生成する。一つの実施の形態において、二つの広角カメラは、約１００度の視界角、１２００×４８０解像度の画像フレームを生成するために使用され得る。ＰＴＺカメラは、カメラによって受け取られたコントロール信号に応答して、パン、チルト、及びズームオペレーションを実行することが可能な任意のカメラであってもよい。このようなカメラは、例えば、ソニーＥＶＩ−Ｄ３０　ＰＴＺカメラである。一つの実施の形態において、ＰＴＺカメラは、７６８×４９２解像度の画像を提供することができ、４．４度の視界まで、ズームされ得る。図１に示された実施の形態において、パノラマカメラ１１０とＰＴＺカメラ１２０は、互いの近傍に配置され、略同一方向に向けられる。しかしながら、カメラ１１０及び１２０は、パノラマカメラによって提供されるビデオ画像の任意の領域をＰＴＺカメラがキャプチャするのを可能とする、いかなる構成において使用されてもよい。図１に示されるように、パノラマ画像１１０は、ポイントＡからポイントＤまでの部分に対応する画像をキャプチャしてもよい。ＰＴＺカメラは、パノラマカメラによってキャプチャされた部分の中にある、ポイントｂからポイントｃまでの部分に対応する画像をキャプチャしてもよい。
【００３０】
　一つの実施の形態において、パノラマカメラとＰＴＺカメラは共に位置合わせされる。これによって、ＰＴＺカメラは、パノラマカメラのビュー（視野）から取られたｘ座標とｙ座標に向けられてもよい。この位置合わせは、物理的配置技術、画像認識技術、又は他の方法によって達成されてもよい。
【００３１】
　図２には、本発明の一つの実施の形態によるマルチリゾリューションビデオを提供するシステム２００が示されている。システム２００は、ＰＴＺカメラ２１０、ビデオサーバ２２０、コントロールサーバ２３０、パノラマカメラ２４０、ビデオサーバ２５０、ネットワーク２６０、自動コントロールユニット２７０、及びユーザ２８２−２８６を有する。一つの実施の形態において、ＰＴＺカメラ２１０及びパノラマカメラ２４０は、ハイブリッドカメラシステムを備える。ビデオサーバ２２０及び２５０は、別個のサーバであってもよいし又は同一のサーバであってもよい。ネットワーク２６０は、ワイドエリアネットワーク（ＷＡＮ）又はローカルエリアネットワーク（ＬＡＮ）であってもよい。ネットワーク２６０は、コントロールサーバ２３０、ビデオサーバ２２０及び２５０、コントロールユニット２７０、及びユーザ２８２−２８６が互いに情報を送受信することを可能にする。一つの実施の形態において、ネットワークは、インターネット等のＷＡＮである。
【００３２】
　オペレーションにおいて、パノラマカメラ２４０は、画像をキャプチャして、画像データをビデオサーバ２５０へ送信する。ビデオサーバ２５０は、パノラマカメラ２４０によってキャプチャされた画像をネットワーク２６０へ送信してもよい。コントロールサーバ２３０は、ユーザ２８２−２８６及び自動コントロールユニット２７０から、ネットワーク２６０を介して、コントロール信号を受け取る。次に、コントロールサーバは、受け取られた信号を処理して、コントロール信号をＰＴＺカメラへ送る。一つの実施の形態において、コントローラは、ＰＴＺカメラのパン、チルト、ズーム、及び他の機能を指示して、パノラマ画像の領域に関連する画像をキャプチャする。ＰＴＺカメラは、コントロールサーバから、信号を受け取り、画像をキャプチャし、画像データをビデオサーバ２２０へ提供する。ビデオサーバ２２０は、ユーザ２８２−２８６及び自動コントロールユニット２７０へＰＴＺカメラ画像を提供する。パノラマカメラ２４０及びＰＴＺカメラ２１０によってキャプチャされた画像は、メモリキャッシュ又は他のメモリソース（図示しない）へ記憶されてもよい。ユーザ２８２−２８６及び自動コントロールユニット２７０は、ネットワーク２６０を介してビデオ画像を受け取り、ネットワーク２６０を介して入力を自動コントロールユニット２７０及びコントロールサーバ２３０へ供給する。
【００３３】
　システム２００は、パノラマカメラとＰＴＺカメラから、ビデオフレーム画像を提供することによって、ユーザへ、マルチリゾリューションビデオを提供する。図３には、本発明の一つの実施の形態によるマルチリゾリューションビデオフレーム画像を提供するためのインタフェース３００が示されている。インタフェース３００は、オーバビューウィンドウ又はランドスケープウィンドウ３１０、クローズ−アップウィンドウ３２０、及びクローズ−アップソース選択デバイス３３０を有する。ランドスケープウィンドウは、ユーザへ画像を提供する。画像は、ロケーション又はオブジェクトであってもよし、何らかの抽象画像であってもよい。一つの実施の形態において、ランドスケープウィンドウは、環境のオーバービュービデオ画像を提供する。クローズ−アップ画像は、クローズ−アップウィンドウ３２０にディスプレイされる。一つの実施の形態において、クローズ−アップ画像は、ランドスケープウィンドウ３１０にディスプレイされた画像の一部に対応している。図３に示された実施の形態において、ランドスケープウィンドウは、会議室の画像をディスプレイする。クローズ−アップウィンドウは、ドアとビデオカメラとを含む会議室の一部の画像をディスプレイする。クローズ−アップ画像コンテンツは、マルチリゾリューションビデオシステムによって又はユーザからの入力に基づいて自動的に選択され得る。ランドスケープウィンドウのボックス３１２は、クローズ−アップウィンドウ画像に対応するランドスケープウィンドウ画像の部分を示す。一つの実施の形態において、ボックスのサイズ及びロケーションは、ユーザによって提供される入力に対応する。ユーザは、入力デバイスを用いてランドスケープウィンドウの領域を選択してもよい。図３に示された実施の形態において、ユーザは、領域をマーカ３１４でマーキングすることによって、ランドスケープウィンドウ３１０の領域を示している。一つの実施の形態において、マーカー３１４のようなマークの生成は、領域上にカーソルを置き、次に、マウスデバイスを用いてその領域を選択することによって、達成され得る。タッチスクリーンモニタ、キーボード、ボイス起動入力システム、及び数値的キーパッドなどの他の入力デバイスが使用されてもよい。何時でも、クローズ−アップ画像は、ＰＴＺカメラ、パノラマカメラ、又はメモリソースであってもよい。一つの実施の形態において、メモリソースは、メモリキャッシュである。クローズ−アップ画像ソースは、マルチリゾリューションビデオシステムによって自動的に決定されてもよいし、ユーザによって決定されてもよい。一つの実施の形態において、所望されるソースを示す入力を提供することによって、クローズ−アップ画像のソースを選択してもよい。図３に示される実施の形態において、ソース選択デバイス３３０は、ＰＴＺカメラ、パノラマカメラ、又はキャッシュされた画像に対応するラジオボタンをユーザが選択することを可能にする。他の実施の形態においては、ユーザは、クローズ−アップ画像に対するソースの組合せをも選択してもよい。
【００３４】
　上記のように、本発明のシステムは、マルチリゾリューションビデオを自動的にユーザへ提供するために使用され得る。図４には、本発明の一つの実施の形態によるマルチリゾリューションビデオを提供するためコントロールシステム４００が示されている。コントロールシステム４００は、ユーザ入力を含まない単純なシステムである。コントロールシステム４００は、パノラマカメラ４１０、ＰＴＺカメラ４２０、及びコントローラ及びプロセッサユニット４３０を有する。コントローラ及びプロセッサユニットは、回路、ソフトウェア、又は両方の組合せとして実現され得る。オペレーションにおいて、パノラマカメラ４１０とＰＴＺカメラ４２０は、実際のオブジェクト４４０の画像をキャプチャする。実際のオブジェクト４４０は、画像関数ｗ（ｘ，ｙ，ｔ）として表され、ここで、ｗは、時間ｔにおける方向（ｘ，ｙ）での画像強度である。パノラマカメラの出力Ｐは、空間周波数において帯域制限されたｗ（ｘ，ｙ，ｔ）のサンプル表現である。ＰＴＺカメラ４２０は、実際のオブジェクト４４０の一部をキャプチャし、この部分は、ｘｙ平面における領域Ｒzより成る。ＰＴＺカメラの出力Ｚは，領域Ｒzのパノラマカメラより高い解像度でのサンプリングである。このため、ＰＴＺカメラ出力は、パノラマカメラ出力より高い帯域制限の上限を有するが、より小さい部分Ｒzに対応する。ＰとＺの組み合わされた出力は、ｗs（ｘ，ｙ，ｔ）として表される。ｗs（ｘ，ｙ，ｔ）によって表された画像は、可変解像度を有する。特に、帯域制限の上限は、ＰＴＺカメラによって提供されるｗs（ｘ，ｙ，ｔ）の領域におけるより高い。
【００３５】
　ｗ（ｘ，ｙ，ｔ）とｗs（ｘ，ｙ，ｔ）との間の差又は歪みは、Ｄ［ｗs，ｗ］として表される。歪みは、ｗ（ｘ，ｙ，ｔ）をｗs（ｘ，ｙ，ｔ）で表すことによって損失される、ｗ（ｘ，ｙ，ｔ）の詳細（ディテール）である。本発明の一つの実施の形態において、歪みは、重み付けされた二乗誤差として以下の式（１）で表される。即ち、
【００３６】
【数１】
2004064784.tif 000003
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１）
式（１）において、ｃ（ｘ，ｙ，ｔ）は、特別な領域を他よりも重要であるとして強調し得る重み付け関数である。実際の画像ｗ（ｘ，ｙ，ｔ）とキャプチャされた画像ｗs（ｘ，ｙ，ｔ）との二乗差を、誤差関数ｅによって表した場合、式（１）は、以下のように表される。即ち、
【００３７】
【数２】
2004064784.tif 000004
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（２）
　ｗs（ｘ，ｙ，ｔ）が、空間周波数｜ｋ｜＝ａ未満まで帯域制限され、ｃ（ｘ，ｙ，ｔ）が定数である領域Ｒを仮定すると、時間ｔにおける領域ＲからのＤ［ｗs，ｗ］への貢献度は、以下の式（３）で表される。即ち、
【００３８】
【数３】
2004064784.tif 000005
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（３）
空間周波数ドメインにおいて、式（３）は、以下のように表される。即ち、
【００３９】
【数４】
2004064784.tif 000006
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（４）
　ｗs（ｘ，ｙ，ｔ）という表現が、ｋz，ｋy＜ａの空間周波数カットオフによってサンプリングされたｗ（ｘ，ｙ，ｔ）の帯域制限された表現であるすると、歪みは、以下の式（５）のように表される。即ち、
【００４０】
【数５】
2004064784.tif 000007
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（５）
　ｗs（ｘ，ｙ，ｔ）は、ｗ（ｘ，ｙ，ｔ）とは異なるので、式（５）による歪みは、正確に分からない場合もある。従って、ｗ（ｘ，ｙ，ｔ）が、正確に求められない場合もある。一つの有用な量は、領域Ｒに対する予期される誤差であり、この予期される誤差は、以下の式（６）で表される。即ち、
【００４１】
【数６】
2004064784.tif 000008
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（６）
　時間ｔにおいてサンプリングされた領域Ｒのオリジナルサンプル画像は、カットオフ周波数ａを有すると仮定されてもよい。ＰＴＺカメラが領域Ｒにおいてズームインされた場合、領域Ｒのズームイン画像は、より高いカットオフ周波数ｂを有する。カットオフ周波数ａとｂのそれぞれを有する領域Ｒの二つの画像間の歪みの減少は、以下の式（７）で表される。即ち、
【００４２】
【数７】
2004064784.tif 000009
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（７）
　上記のように、カメラによってキャプチャされた画像は、複数の領域へ分割され得る。図５には、本発明の一つの実施の形態による複数の領域に分割された画像５００が図示されている。画像５００は多数の領域に分割されている。これらの領域は、ｘ列５１０−５１８とｙ行５２０−５２８とを備え、各領域が、行と列との情報ｘ，ｙによってインデックス付けされ得る。一つの実施の形態において、各領域は、多数のタイルにさらに分割され得る。例えば、第３列と第２行のＲ3,2は、ｉ個の列５３０−５３６とｊ個の行５４０−５４６とを備えるタイルに分割され得る。一つの実施の形態において、図４のシステム４００は、各タイルに関連する量のマトリックスを保持する。保持された量は、ｉとｊのタイルの現在のカットオフ空間周波数ａijと、ｉとｊのタイルに対して予期される誤差Ｅijと、ｉとｊのタイルの重みｃijと、を含んでいてもよい。タイルからの領域Ｒに対する歪み全体への貢献度は、以下の式（８）で表される。即ち、
【００４３】
【数８】
2004064784.tif 000010
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（８）
式（８）において、合計は、領域Ｒの全てのタイルを含む。一つの実施の形態において、推定誤差Ｅijは、タイルに対するカットオフ周波数ａijと、タイル周囲の現在の推定値Ｗs（ｘ，ｙ，ｔ）に依って求められる。
【００４４】
　Ｗs（ｘ，ｙ，ｔ）のスペクトル特性は、より高い未確認周波数における誤差を推定するために使用され得る。多数の自然画像に対するスペクトルエネルギー分布は、周波数に対応して、１／ｆ2ずつ下降するものとして統計的に良好にモデリングされている。歪み減少に対応する周波数ａijとｂijとの間の周波数範囲におけるエネルギーは、以下の式（９）で表される。即ち、
【００４５】
【数９】
2004064784.tif 000011
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（９）
式（９）において、Ｍijは、ｆ＝１における領域Ｒにおけるｉとｊのタイルに対するスペクトルの大きさを表す。カットオフ周波数ａとｂとの間の歪み減少は、以下の式（１０）で表される。
【００４６】
【数１０】
2004064784.tif 000012
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１０）
　一つの実施の形態において、値ｂijは、領域ＲのＰＴＺカメラ画像の空間的サンプル周波数によって求められてもよい。量ｂijは、ｂij＝Ｎ／幅（Ｔ）として表される。この式において、Ｎは、タイルの行ｊの画素数であり、幅（Ｔ）はタイルの幅である。このように、特別な領域Ｒに対して、領域ＲにズームインされるＰＴＺカメラからの画像は、領域幅に対して、領域Ｒを含む画像を示すパノラマカメラより多くの画素を有する。
【００４７】
　図４のオペレーションに戻ると、ユーザリクエストが受け取られない場合又は使用可能でない場合、システムは、ＰＴＺカメラを適切に向けて画像をキャプチャすることによって、歪み全体を自動的に減少させてもよい。この実施の形態において、最初に、システムは、時間ｔ−１と現在の時間ｔで取り出されたパノラマ画像間を比較する。この比較は、コントローラ及びプロセッサユニット４３０によって実行される。コントローラ及びプロセサユニット４３０は、回路、ソフトウェア、又はこれら二つの組合せを用いて実現され得る。二つのパノラマ画像を比較することによって、システムは、パノラマ画像のどの領域Ｒが最も高い歪みを有するかを決定してもよい。二つの対応するパノラマ画像領域間の差が大きくなればなるほど、歪みも大きくなる。次に、コントローラ及びプロセッサユニット４３０は、ブロック４５０に示されるように、最大歪みを有する領域ＲzにＰＴＺカメラを向ける。ＰＴＺカメラは、領域の画像をキャプチャして、データをコントローラ及びプロセッサユニット４３０へ送る。次に、ユニット４３０は、キャプチャされた領域の画像を、時間ｔ−１に対応付けられた、キャッシュされたパノラマ画像へつなぎ合わせて、更新されたパノラマ画像をｔに対応付ける。これによって、時間ｔ−１に対応付けられた画像は、ここで、更新されて、全体的な歪みは減少する。パノラマ画像間でモーション又は差が検出されない場合、上述された、式（８）に記載された画像の歪みは、キャッシュされた画像又は現在の画像の歪みを更に減少させるために、ＰＴＺカメラをガイドするために使用される。一つの実施の形態において、キャプチャされた領域Ｒzは、キャッシュ又は他のメモリにも記憶される。未知の時間間隔において、ユーザリクエストが受け取られない場合又は使用可能でない場合、システムはこの処理を反復する。
【００４８】
　本発明の一つの実施の形態によるマルチリゾリューションのビデオシステムは、複数のユーザによって用いられてもよい。図６には，本発明の一つの実施の形態による、複数のユーザへ複数のビデオストリームを提供するためのユーザインタフェースシステム６００が示されている。図示されているように、システム６００は、パノラマカメラ６１０等のカメラ、ＰＴＺカメラ６２０等のより高い解像度で画像をキャプチャすることが可能なカメラ、コントローラ及びプロセッサユニット６３０、ユーザディスプレイ６６０、及びユーザ６７０を有する。システム６００内にはユーザ入力デバイスが存在する場合もある（図示しない）。一つの実施の形態において、コントローラ及びプロセッサユニット６３０は、回路、ソフトウェア、又はそれらの組合せによって実現されてもよい。ユーザインタフェース６００は、各ユーザへ、，キャプチャされた画像のパノラマビューＰuと、パノラマビューＰuの領域Ｒのクローズ−アップビューＣuと、を提供する。一つの実施の形態において、Ｐuは、システムの処理に対する要求条件を減少させるために、その解像度が限定されいる。例えば、パノラマカメラは、１２００画素×４８０画素の解像度を有し得るが、実際にユーザへ達した時のパノラマディスプレイＰuが有する解像度は、５００画素×２００画素にすぎない。
【００４９】
　本発明の一つの実施の形態において、各ユーザｕには、真の画像ｗu（ｘ，ｙ，ｔ）の画像又は推定値ｗu（ｘ，ｙ，ｔ）と、個々の重み付け関数ｃu（ｘ，ｙ，ｔ）と、が付与される。個々の重み付け関数は、ユーザ分類等のユーザについて知られている情報、ユーザによって行われるリクエスト、又は他の情報に基づいて求められてもよい。一つの実施の形態において、個々の重み付け関数は、以下の式（１１）で表される。即ち、
【００５０】
【数１１】
2004064784.tif 000013
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１１）
式（１１）において、ｃ0（ｘ，ｙ，ｔ）は先行の重み付けの測定に関し、ｓu（ｘ，ｙ，ｔ）は、他の重み付け情報に関する。先行の重み付けは、ユーザによる先行のリクエスト又はアクションに基づいていてもよい。一つの実施の形態において、領域Ｒが、同一画像の先行のビデオ表示において関心を示される部分を生成したことが知られている場合、これは、何人かの又は全てのユーザに対して、ｃ0（ｘ，ｙ，ｔ）を大きくすることによって、ｘ、ｙにおける領域Ｒの重み付けに組み込まれることができる。他の実施の形態において、ｘ、ｙを含む領域Ｒが高い又は低い関心がもたれる画像を含むことが知られている場合、先行の重み付けは、この先行の知識に従って調整され得る。例えば、ｘ、ｙは、会議における重要なスライドのプレゼンテーションの画像を含んでいることが知られている場合があり、これによって、この画像を含む領域は重要性が高い領域とされる。他の重み付け情報は、ユーザリクエスト情報を含む、画像の重要性に逆効果を及ぼすような他のファクタを含んでいてもよい。一つの実施の形態において、ｓu（ｘ，ｙ，ｔ）は、ユーザによって選択された領域内にｘ、ｙが存在するか否かによって左右され得る。一つの実施の形態において、ｓu（ｘ，ｙ，ｔ）は、ユーザｕによって選択された領域内にｘ、ｙが存在しない場合は、ゼロにセットされる。特別なユーザｕに対して提供される画像の損失又は歪みは、重み付けされた二乗誤差として以下の式（１２）で表される。即ち、
【００５１】
【数１２】
2004064784.tif 000014
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１２）
式（１１）は、以下の式（１３）のようにも表される。即ち、
【００５２】
【数１３】
2004064784.tif 000015
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１３）
式（１３）において、ｅu（ｘ，ｙ，ｔ）＝ｗu（ｘ，ｙ，ｔ）−ｗ（ｘ，ｙ，ｔ）である。式（１２）は、一人のユーザ毎の歪みを表す。一つの実施の形態において、画像を複数のユーザへ提供するシステムの全体的な歪みは、システムの全てのユーザの歪み全体として求められ、以下の式（１４）で表される。即ち、
【００５３】
【数１４】
2004064784.tif 000016
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　（１４）
　複数のユーザへ画像を提供するときに、システム６００は、ＰＴＺカメラがポイントする方向の領域Ｒzと、クローズ−アップビューｃuとしてユーザｕへ提供する領域（複数の領域）を選択しなければならない。一つの実施の形態において、領域Ｒzは、システムの全体的な歪みを最小とするために選択される。
【００５４】
　本発明の一つの実施の形態によるシステム６００のオペレーションが、図７の方法７００に示されている。方法７００のオペレーションは、スタートステップ７０５で開始される。次に、ステップ７１０において、初期のセットの画像がキャプチャされて記憶される。この初期のセットの画像は、パノラマ画像等のオーバービュー画像と、ＰＴＺ画像等のクローズ−アップ画像と、を含んでいてもよい。例示目的のためのみに、本発明の説明のために便宜上、オーバービュー画像はパノラマ画像とされ、クローズ−アップ画像はＰＴＺ画像とされる。一つの実施の形態において、画像がキャプチャされると、画像がつなぎ合わされる。特に、ＰＴＺ画像は、パノラマ画像へつなぎ合わされてもよい。次に、得られたマルチリゾリューショナル画像はメモリへ記憶される。一つの実施の形態において、メモリはキャッシュメモリである。
【００５５】
　ステップ７２０において、現在のパノラマ及びＰＴＺ画像がキャプチャされる。次に、ステップ７１０で記憶された画像とステップ７２０の現在のパノラマ画像とがそれぞれステップ７３０のオブジェクト又は環境の「真」の画像と比較されて、それらの差が推定される。一つの実施の形態において、真の画像に対する差が推定される。この実施の形態において、ａは、記憶された画像領域のカットオフ関数であり、ｂは、ＰＴＺカメラによって得られるディテール（詳細）のレベルに対応するカットオフ関数である。次に、記憶された画像を現在のＰＴＺ画像で更新することによって達成される差の減少は、式（１０）によって推定されてもよい。一つの実施の形態において、差の減少は、画像の各領域内の各タイル毎に求められる。
【００５６】
　次に、ステップ７４０において、ユーザ入力が受け取られたかどうかが決定される。ユーザ入力は、パノラマ画像の領域のクローズ−アップをビューするためにユーザ又は複数のユーザによるリクエストを含んでいてもよい。ユーザ入力は、マウスデバイス、キーボード、タッチスクリーン、キーパッド、又は任意の他の入力デバイスによって実行され得る。ステップ７４０において、ユーザリクエストが受け取られた場合、次に、ステップ７３０で推定された画像の差は、ステップ７４６においてユーザリクエストに従って重み付けされる。一つの実施の形態において、特定の時間において領域が受け取るリクエスト画像が多ければ多いほど、その領域はより高く重み付けされる。次に、重み付けされた差は、真の画像と、現在及び記憶されたパノラマ画像と、の間で測定される歪みとして考えられる。本発明の一つの実施の形態による、歪みの重み付けされた差の測定は、式（１２）で表される。ステップ７４０において、ユーザ入力が受け取られなかった場合、ステップ７３０で推定された画像の差は、ステップ７４４において、過去のユーザの画像リクエストパターンに従って重み付けされる。一つの実施の形態において、特別なシステムにおけるユーザの過去の画像リクエストは、後からそれらがリトリーブされるようにメモリに保存される。一つの実施の形態において、ステップ７４４において、ユーザの過去の画像リクエストが入手不可能な場合（システムオペレーションの開始時など）、これらの領域は均等に重み付けされる。この場合において、重み付けは、ユーザがシステム内へリクエストをしているうちに経時的に次第に均等な重み付けから非均等な重み付けへと発展していく。他の実施の形態において、これらの領域には、過去のユーザリクエストが入手不可能な場合に高い関心が持たれると予想される領域に関する先行の知識に応じて、初期の重み付けがなされる。ステップ７４４において決定される重み付けされる差は、真の画像と、現在の及び記憶されたパノラマ画像と、の間で測定される歪みとして考えられる。
【００５７】
　重み付けされた差が求められると、ステップ７５０において、記憶された画像が更新される。一つの実施の形態において、システムは、あるとすれば、現在の画像の歪みが記憶された画像よりも少ない領域を求める。一つの実施の形態において、ある領域に対する歪み測定は、その領域内のタイル毎に歪みを加えることによって行われる。このような領域の各々に対して、記憶された画像内の領域の画像は、現在の画像内の領域の画像と置き換えられる。したがって、領域の現在の画像が記憶された画像へつなぎ合わされ、そこで、記憶された画像内の歪みが減少される。次に、ステップ７６０において、システムは、ユーザ入力が受け取られたかを決定する。一つの実施の形態において、ステップ７６０において受け取られたユーザ入力は、ステップ７４０で受け取られたものと同じユーザ入力であってもよい。ユーザ入力が受け取られなかった場合、オペレーションはステップ７７０へ進む。ステップ７６０でユーザ入力が受け取られた場合、ステップ７６４において、システムはユーザリクエストを完了する。ユーザリクエストが領域のクローズ−アップ画像に対するリクエストである時、リクエストされた領域が記憶された画像からリトリーブされ、リクエストを発信するユーザへ送信される。ステップ７６４において、複数のユーザリクエストに対して、各ユーザリクエストが完了する。ステップ７６４においてユーザが完了した後は、オペレーションはステップ７７０へ進む。
【００５８】
　次に、ステップ７７０において、記憶された画像の領域Ｒzが選択される。本発明の一つの実施の形態において、選択された領域Ｒzは、記憶された画像全体に対する歪みがＰＴＺカメラによって最も改良され得る領域である。ＰＴＺカメラは、パノラマ画像の任意の領域のクローズ−アップ画像を提供することができる。ＰＴＺカメラを用いた領域のクローズアップ画像は、カットオフ周波数の高い画像を提供する。カットオフ周波数が高いことによって、歪みがあるレベルまで減少され得る。従って、歪みにおける最大の改良は、歪みの最も高いレベルを有する記憶されたパノラマ画像内の領域に対応する。最大レベルの歪みを有する領域は、領域Ｒzとして選択される。ステップ７８０において、ＰＴＺカメラは選択された領域Ｒzへ向けられる。次に、オペレーションはステップ７２０へ進む。
【００５９】
　本発明は、複数のユーザへハイブリッドな手動／自動コントロールのマルチリゾリューションビデオシステムを提供する。一つの実施の形態において、ビデオシステムは、オーバービューウィンドウとクローズ−アップウィンドウを提供する。オーバービュー画像ウィンドウは、第１のビデオストリームによって提供される画像をディスプレイする。クローズ−アップウィンドウは、一つ以上の領域のクローズ−アップビデオ画像をディスプレイしてもよい。一つの実施の形態において、ユーザは、クローズ−アップウィンドウにディスプレイする領域を選択する。ユーザが領域を選択すると、システムは、クローズ−アップウィンドウの画像のソースを決定する。クローズ−アップウィンドウの画像のソースは、ＰＴＺカメラ、キャッシュメモリ、又はパノラマカメラであってもよい。ユーザは、システムによって提供されるソースとは異なったソースをリクエストしてもよい。ユーザリクエストが入手できない場合、クローズ−アップウィンドウにどの領域をディスプレイすべきかを、システムが自動的に決定してもよい。
【００６０】
　本発明の他の特徴、態様及び目的は、図面及び請求項を参照することによって得ることができる。本発明の他の実施の形態が、本発明の精神及び請求の範囲を逸脱しない限りにおいて、発展されることが可能であることを理解されたい。
【００６１】
　以上の本発明の好ましい実施の形態についての記述は、図示及び説明のためのみになされている。開示されている具体的な実施の形態に本発明の全てが必ずしも網羅されているわけはなく、また、これらに限定されるものでもない。明らかに、数多くの変更及び変形が可能であることが当業者にとって容易に理解されよう。これらの実施の形態は、本発明の原理を最良に説明するために選択且つ記述されており、これによって、種々の実施の形態に対して本発明発明を理解することが可能となり、種々の変更をもってして考案される特別なし様のために展開されることが可能とする。本発明の範囲は以下の請求の範囲及びそれらと等価なものによって定義されることが意図されるものである。
【００６２】
　具体的に設計された集積回路又は他の電子部品からなる実施の形態の他に、本発明は、コンピュータ技術の当業者にとって明確であろう、従来の汎用の又は専用のディジタルコンピュータ又は本発明の教義によって、プログラミングされたマイクロプロセッサを用いて、好適に実現され得るであろう。
【００６３】
　適切なソフトウェアのコーディングは本発明の開示の教義に基づいた卓越したプログラマーによって容易に準備され得るものであり、このことはソフトウェアの当業者に容易に理解されよう。本発明は、集積回路専用のアプリケーションを準備することによって又は従来のコンポーネント（部品）回路の適切なネットワークを相互接続することによって実現されてもよく、このことは、当業者に容易に理解されるであろう。
【００６４】
　本発明は、本発明の任意のプロセスを実行するようにコンピュータをプログラムするために使用され得る内部又は上部に記憶されるインストラクションを有する記憶媒体である、コンピュータプログラムプロダクトを含む。この記憶媒体は、限定はされないが、フロッピー（Ｒ）ディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び磁気光学ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光学カード、（分子メモリＩＣを含む）ナノシステムを含む任意のタイプのディスク、或いは、インストラクション及び／又はデータを記憶するために好適な任意のタイプのメディア又はデバイス、を含むことができる。
【００６５】
　本発明は、コンピュータリーダブル媒体のいずれか一つに記憶された、汎用及び／又は専用コンピュータ又はマイクロプロセッサの両方のハードウェアをコントロールし、コンピュータ又はマイクロプロセッサが本発明の結果を用いてヒューマンユーザ又は他のメカニズムと対話することを可能とするソフトウェアを含む。このようなソフトウェアは、限定されないが、デバイスドライバ、オペレーティングシステム、及びユーザアプリケーションを含んでいてもよい。最終的に個のようなコンピュータリーダブル媒体は、加算モデル表示及び再構築の少なくとも一つを実行するソフトウェアを更に有する。
【００６６】
　本発明の教示を実現するためのソフトウェアモジュールは、汎用及び／又は専用コンピュータ又はマイクロプロセッサのプログラミング（ソフトウェア）に含まれており、限定はされないが、ソース画像の平面分割、背景及び前景カラーの少なくとも一つの平均化、カラー置換え、誤差を第２の平面へ送り込むことによって、一つの平面でのカラーの置換による誤差の補正、記憶、結果の交信、及び本発明の処理による画像の再構築を含む。
【図面の簡単な説明】
【００６７】
【図１】本発明の一つの実施の形態によるマルチリゾリューションビデオをキャプチャするためのビデオキャプチャシステムを示す図である。
【図２】本発明の一つの実施の形態による複数のユーザへマルチリゾリューションビデオを提供して、複数のユーザからの入力を調整するシステムを示す図である。
【図３】本発明の一つの実施の形態によるマルチリゾリューションビデオを提示するインタラクティブインタフェースを示す図である。
【図４】本発明の一つの実施の形態によるマルチリゾリューションビデオを提供するコントロールシステムを示す図である。
【図５】本発明の一つの実施の形態による複数の領域に分割されたビデオ画像を示す図である。
【図６】本発明の一つの実施の形態による複数のユーザへマルチリゾリューションビデオを提供するコントロールシステムを示す図である。
【図７】本発明の一つの実施の形態による複数のユーザへマルチリゾリューションビデオを提供する方法を示す図である。
【図１】
2004064784.tif 000017
【図２】
2004064784.tif 000018
【図３】
2004064784.tif 000019
【図４】
2004064784.tif 000020
【図５】
2004064784.tif 000021
【図６】
2004064784.tif 000022
【図７】
2004064784.tif 000023