(57)【特許請求の範囲】
【請求項１】
投影領域の一部が重複する第１の投影装置と第２の投影装置とを含む複数の投影装置に画像を投影させる画像処理装置であって、
前記入力画像からオブジェクトを検出する検出手段と、
前記入力画像において、前記第１の投影装置の投影領域に、前記検出手段が検出した前記オブジェクトの全体が含まれ、且つ、前記第１の投影装置と前記第２の投影装置との投影領域の重複領域に、前記オブジェクトの一部が含まれ、且つ、前記第２の投影装置の投影領域のうち前記第１の投影装置の投影領域と重複しない投影領域に前記オブジェクトが含まれない場合、前記第１の投影装置が投影する第１の投影画像に前記オブジェクトが含まれ、前記第２の投影装置が投影する第２の投影画像に前記オブジェクトが含まれないように、前記第１の投影画像及び前記第２の投影画像を含む複数の投影画像を、前記入力画像における前記オブジェクトの位置に基づいて生成する生成手段と、
前記生成手段により生成された前記複数の投影画像を前記複数の投影装置へ出力する出力手段とを有することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記オブジェクトとして顔を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力画像は、動画を構成する画像フレームであり、
前記検出手段は、前記画像フレームごとに、前記オブジェクトの検出を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記検出手段により検出されたオブジェクトに対応する前記入力画像内の座標を特定する特定手段と、
前記検出手段により検出された複数のオブジェクトに対応する複数の座標が前記特定手段により特定された場合、前記複数の座標のうちの第１の座標からの距離と、前記複数の座標のうちの前記第１の座標からの距離上の点から最も近い第２の座標からの距離とが等しい前記入力画像内の座標に基づいて前記入力画像の境界を判別する判別手段とを有し、
前記生成手段は、前記判別手段により判別された前記境界と、前記複数の投影装置のそれぞれの投影領域とに基づいて、前記複数の投影画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記生成手段は、前記入力画像において、前記オブジェクトの全体が前記第１の投影装置と前記第２の投影装置との投影領域の重複領域に含まれる場合であって、前記第１の投影装置の投影領域の方が、前記第２の投影装置の投影領域よりも、前記判別手段により判別された前記境界によって区切られる前記オブジェクトを含む領域を多く含む場合に、前記第１の投影装置が投影する前記第１の投影画像に前記オブジェクトが含まれ、前記第２の投影装置が投影する第２の投影画像に前記オブジェクトが含まれないように、前記複数の投影画像を生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記検出手段により検出されたオブジェクトの面積に対する前記複数の投影装置のそれぞれの投影領域に含まれている前記オブジェクトの面積の割合を算出する算出手段を有し、
前記入力画像において、前記第１の投影装置の投影領域と、前記第２の投影装置の投影領域のうち前記第１の投影装置の投影領域と重複しない投影領域とに跨っているオブジェクトが前記検出手段により検出され、且つ、前記オブジェクトの面積に対する前記第１の投影装置の投影領域に含まれている前記オブジェクトの面積の割合が、前記オブジェクトの面積に対する前記第２の投影装置の撮影領域に含まれている前記オブジェクトの面積の割合よりも高い場合、前記生成手段は、前記第１の投影装置及び前記第２の投影装置の投影領域の重複領域における前記第１の投影装置による前記オブジェクトの投影領域が、前記重複領域における前記第２の投影装置による前記オブジェクトの投影領域よりも大きくなるように前記複数の投影画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、前記入力画像において、前記第１の投影装置の投影領域に前記オブジェクトの全体が含まれ、且つ、前記第１の投影装置と前記第２の投影装置との投影領域の重複領域に、前記オブジェクトの一部が含まれ、且つ、前記第２の投影装置の投影領域のうち前記第１の投影装置の投影領域と重複しない投影領域に前記オブジェクトが含まれない場合、前記第１の投影画像に前記オブジェクトが含まれ、前記第２の投影画像に前記オブジェクトが含まれないように、前記入力画像に基づく画像を表示させる領域と前記最低輝度に対応させる領域とを決定し、前記決定に基づいて前記複数の投影画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生成手段は、前記第２の投影画像のうち、前記オブジェクトに対応する領域の投影画像のデータとして、最低輝度に対応する画像データを生成することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記検出手段により検出された複数のオブジェクトのそれぞれに優先順位を設定する設定手段を有し、
前記生成手段は、前記複数のオブジェクトのそれぞれの優先順位に基づいて前記複数の投影画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
投影領域の一部が重複する第１の投影装置と第２の投影装置とを含む複数の投影装置に画像を投影させる画像処理方法であって、
前記入力画像からオブジェクトを検出する検出工程と、
前記入力画像において、前記第１の投影装置の投影領域に、前記検出工程において検出した前記オブジェクトの全体が含まれ、且つ、前記第１の投影装置と前記第２の投影装置との投影領域の重複領域に、前記オブジェクトの一部が含まれ、且つ、前記第２の投影装置の投影領域のうち前記第１の投影装置の投影領域と重複しない投影領域に前記オブジェクトが含まれない場合、前記第１の投影装置が投影する第１の投影画像に前記オブジェクトが含まれ、前記第２の投影装置が投影する第２の投影画像に前記オブジェクトが含まれないように、前記第１の投影画像及び前記第２の投影画像を含む複数の投影画像を、前記入力画像における前記オブジェクトの位置に基づいて生成する生成工程と、
前記生成工程において生成された前記複数の投影画像を前記複数の投影装置へ出力する出力工程とを有することを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、マルチプロジェクションシステムに用いて好適な技術に関する。
【背景技術】
【０００２】
従来、複数のプロジェクタからの部分画像をタイル状に並べたり、スタックしたりして投影することにより、同一画像を構成するマルチプロジェクションディスプレイが知られている。特にタイル状に並べて投影する場合、投影時にスクリーン上に生ずる境界を目立たなくするために、各プロジェクタの投影領域を一部重ね合わせるように投影することが一般的に行われている。この重なり領域（重畳領域）においては、通常、重なり領域以外に比べて輝度が高くなったり、幾何学的な歪みに起因したボケなどが生じたりするため、この重なり領域の画質改善を行う技術が従来から種々提案されている。
【０００３】
一方、マルチ画面で表示する際に、画像中に存在するオブジェクト（被写体）に境界が重ならないようにして、画像を鑑賞する際の違和感を低減する技術も提案されている。例えば、特許文献１に記載のカメラ制御システムによれば、複数の並べた画面にカメラ映像を表示する時、撮影している被写体が画面の境界をまたがないように、かつすべての被写体が当該複数の画面のいずれかに含まれるようにカメラを制御している。これにより、被写体が画面の境界（フレーム）に隠れてしまっているように見えてしまい、映像を見る側にとって被写体が詳細に見えない等の違和感が生じることを防いでいる。
【０００４】
また、例えば、特許文献２に記載の映像表示システムによれば、タイル状に並べて投影する際に、視覚的に最も注目される頻度の高い画像中央部の広い範囲を高解像度のプロジェクタで投影し、周辺部分を複数の低解像度のプロジェクタで投影している。これにより、表示用スクリーンにおいて複数のプロジェクタによって投影された画像のつなぎ目（境界）が目立たないようにして、かつ規定の画像表示サイズフォーマットに対応した画像投影を行うようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１０９４１号公報
【特許文献２】特開２００７−２０６３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載のカメラ制御システムでは、撮影している被写体の位置に応じてカメラのフレーミング位置を変更して対処するため、入力映像が映画などの固定の映像である場合には、対応ができない。また、被写体が動く場合はカメラのフレーミング位置が頻繁あるいは連続的に変化するため、表示画像が著しく見づらくなってしまう。
【０００７】
また、特許文献２に記載の映像表示システムでは、表示映像の中央部以外に被写体が存在する場合には、被写体を高解像度にすることができない。特に、映画やＴＶドラマなどの映像においては、オブジェクト（被写体）が画面の周囲に存在する場面（シーン）も多い。したがって、このようなシーンを含む映像が入力された場合に、被写体と重畳領域とが重なってしまうことも頻繁に発生し、映像が見にくくなってしまう。
【０００８】
本発明は前述の問題点に鑑み、マルチプロジェクションシステムにより複数の画像を並べて投影する際に、任意の全体画像において被写体が不鮮明になることを防止できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、投影領域の一部が重複する第１の投影装置と第２の投影装置とを含む複数の投影装置に画像を投影させる画像処理装置であって、前記入力画像からオブジェクトを検出する検出手段と、前記入力画像において、前記第１の投影装置の投影領域に、前記検出手段が検出した前記オブジェクトの全体が含まれ、且つ、前記第１の投影装置と前記第２の投影装置との投影領域の重複領域に、前記オブジェクトの一部が含まれ、且つ、前記第２の投影装置の投影領域のうち前記第１の投影装置の投影領域と重複しない投影領域に前記オブジェクトが含まれない場合、前記第１の投影装置が投影する第１の投影画像に前記オブジェクトが含まれ、前記第２の投影装置が投影する第２の投影画像に前記オブジェクトが含まれないように、前記第１の投影画像及び前記第２の投影画像を含む複数の投影画像を、前記入力画像における前記オブジェクトの位置に基づいて生成する生成手段と、前記生成手段により生成された前記複数の投影画像を前記複数の投影装置へ出力する出力手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、オブジェクトの位置、個数、及び動作状態にかかわらず、オブジェクトを避けた位置に重畳領域を配置することができる。これにより、映像の鑑賞者がタイリング投影よる映像を鑑賞する際に重畳領域を目立たなくしたマルチプロジェクションシステムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る画像投影システムの全体構成例を示す図である。
【図２】第１の実施形態の映像サーバの内部構成例を示すブロック図である。
【図３】映像をタイリング投影する処理手順の一例を示すフローチャートである。
【図４】第１の実施形態の重畳領域算出手順の一例を示すフローチャートである。
【図５】第１の実施形態の領域分割する詳細な手順の一例を示す図である。
【図６】実施形態に係る投影領域占有度テーブルの一例を示す図である。
【図７】第１の実施形態の領域分割する詳細な手順の一例を示す図である。
【図８】第２の実施形態の映像サーバの内部構成例を示すブロック図である。
【図９】第２の実施形態の重畳領域算出手順の一例を示すフローチャートである。
【図１０】第２の実施形態の領域分割する詳細な手順の一例を示す図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、添付図面を参照しながら、本発明の実施形態に係るマルチプロジェクションシステムについて説明する。具体的には、タイル状に並べて投影（以下、タイリング投影）する際に、入力された映像内のオブジェクトに応じて重畳領域の位置や幅を動的に変更するタイリング投影システムの好適な実施形態について説明する。
【００１３】
図１は、本実施形態の画像投影システムの全体構成例を示す図である。
図１に示すように、本実施形態に係る画像投影システムは、映像サーバ１と、映像サーバ１に接続された４台のプロジェクタ２ａ〜２ｄと、投影された映像を表示するためのスクリーン３とから構成されている。
【００１４】
映像サーバ１は画像処理装置として機能し、入力映像に対して重畳領域を算出し、タイリング投影を行うためのタイル映像を生成して４台のプロジェクタ２ａ〜２ｄへ出力する。また、映像サーバ１は、本実施形態に係る画像投影システム全体の動作も管理する。４台のプロジェクタ２ａ〜２ｄは、スクリーン３において横縦のサイズが２×２の構成からなるタイリング投影により、映像を形成するように設置されている。ここで、各プロジェクタ２ａ〜２ｄの投影領域４ａ〜４ｄは、図１に示すように隣り合う投影領域が、例えば、個々の投影領域の横縦のサイズの３０〜４０％程度の重なり領域（オーバーラップ領域）５を有するようにする。
【００１５】
図２は、本実施形態の画像投影システムにおける映像サーバ１の内部構成例を示すブロック図である。
図２において、映像サーバ１は、コマンド入力部１２、投影領域記憶部１３、映像入力部１４、オブジェクト設定部１５、重畳領域算出部１６、画像生成部１７、映像出力部１８、表示部１９、及びシステム制御部１１を備えている。そして、これらの各構成を接続するために不図示のバスを備えている。
【００１６】
コマンド入力部１２はボタンなどのインターフェイスからなり、システムの管理者（ユーザ）の各種指示を、バスを介してシステム制御部１１へ出力する。投影領域記憶部１３は、スクリーン３上における横縦のタイリング構成、全体の投影領域の横縦のサイズ、各プロジェクタの投影領域の横縦のサイズ、及びオーバーラップ領域５の横縦のサイズなどの情報を記憶する。映像入力部１４は、投影する全体映像の映像データを入力するためのインターフェイスである。映像入力部１４には、ビデオケーブル、ＬＡＮなどの映像伝達経路やＵＳＢ等の外部ストレージが接続され、それらを介して映像データを受信し、オブジェクト設定部１５へ出力する。なお、映像入力部１４は、静止画像及び動画像のいずれのタイプの映像データも入力することができる。
【００１７】
オブジェクト設定部１５は、入力された映像データから画像解析によりオブジェクト情報を取得する。なお、動画像の場合は、フレームごとにオブジェクト情報を取得する。つまり、入力された映像データから、顔認証などによりオブジェクトを検出し、映像中に存在する１つ以上の人物や物体などのオブジェクトの領域を算出する。そして、これらの情報を重畳領域算出部１６に出力する。重畳領域算出部１６は、オブジェクト設定部１５から入力されたオブジェクト領域情報と、投影領域記憶部１３に記憶されているオーバーラップ領域５の情報とを元に、入力された映像に対して適切な領域分割を行う。そして、後述する投影領域占有度テーブルを用いて、オーバーラップ領域５における重畳領域を算出する。
【００１８】
画像生成部１７は、重畳領域算出部１６において算出した重畳領域に基づき、入力された映像内のそれぞれの投影領域４ａ〜４ｄの対応した部分に対して適切にクロッピングを施す。そして、それぞれのプロジェクタ２ａ〜２ｄ用の４個のタイル画像を生成する。映像出力部１８は、当該生成したタイル画像を、それぞれのプロジェクタ２ａ〜２ｄへ出力するためのものである。システム制御部１１は、不図示のＲＡＭに記憶されている画像投影システムのアプリケーションプログラムに基づいて自ら演算処理等を行い、あるいは上述した各構成要素を制御し、システムを機能させる。表示部１９は、映像サーバ１において各種設定等を行うための画面など、タイリング投影に必要な画面を表示するためのものである。
【００１９】
次に、図３及び図４を参照しながら、本実施形態の画像投影システムの処理の流れについて説明する。図３は、本実施形態において、映像をタイリング投影する処理手順の一例を示すフローチャートである。
システムの管理者がコマンド入力部１２を操作することにより、映像サーバ１に対して処理開始の命令を与える。すると、システム制御部１１が不図示の記憶装置に格納されているシステム制御用のプログラムを不図示のＲＡＭ上で展開し、表示部１９の画面上に必要な情報を提示し、処理を開始する。
【００２０】
まず、ステップＳ３０１において、システム制御部１１は、表示部１９の画面上に必要な情報を提示して、図１における投影領域４ａ〜４ｄの関連したデータを入力するよう促す。本実施形態では、システムの管理者がコマンド入力部１２から、以下のデータを入力したものとして説明する。
・タイリング構成（横×縦）：２×２
・投影領域全体のサイズ（Ｔｘ、Ｔｙ）：８.０ｍ、６.０ｍ
・各プロジェクタの投影領域サイズ（Ｐｘ、Ｐｙ）：５．０ｍ、３．７５ｍ
・オーバーラップ領域５のサイズ（Ｓｘ、Ｓｙ）：２．０ｍ、１．０ｍ
【００２１】
なお、本実施形態においては、４つのプロジェクタ２ａ〜２ｄの投影領域のサイズは同じであるものとする。また、本実施形態においては、投影領域のデータをシステムの管理者が入力しているが、４つのプロジェクタ２ａ〜２ｄから各々異なるテストパターンを投影し、このテストパターンを撮影した画像を解析して上記のデータを入力するようにしてもよい。
【００２２】
そして、ステップＳ３０２において、システム制御部１１は、映像入力部１４を介して映像データを入力する。本実施形態では、例えば図５（ａ）に示すような全体画像５０１を取得するものとして説明する。次に、ステップＳ３０３において、システム制御部１１の制御によりオブジェクト設定部１５は、入力された映像に対して、例えば、顔認識などの識別処理を行い、Ｎ個のオブジェクト（被写体）の領域及び位置を抽出する。図５（ａ）に示す例では、全体画像５０１において５個のオブジェクト領域５０３を抽出することになる。なお、当該抽出したそれぞれのオブジェクト領域５０３に対しては、便宜上、図５（ａ）に示すように、画像の左側から順にインデックスが付与されて管理されるものとする。また、オブジェクト領域５０３を算出する方法としては、公知のいかなる抽出アルゴリズムを用いてよいため、説明を省略する。次に、ステップＳ３０４において、システム制御部１１の制御により重畳領域算出部１６は、重畳領域算出処理を実行する。
【００２３】
図４は、ステップＳ３０４における重畳領域算出処理の詳細な手順の一例を示すフローチャートである。なお、図４に示す各処理は、システム制御部１１の制御により重畳領域算出部１６が行うものである。
まず、ステップＳ４０１において、各オブジェクト領域５０３を基準として、入力された全体画像５０１に対して領域分割を行う。例えば、図５（ａ）に示すように、抽出したオブジェクト領域５０３の例えば重心などの基準点を母点としたボロノイ領域５０４に分割する。
【００２４】
ここで、ボロノイ（Voronoi）領域とは、ある距離空間上の任意の位置に配置された複数個の点（母点）に対して、同一距離空間上の他の点がどの母点に近いかによって分けされた領域のことである。つまり、距離空間内の有限部分集合Ｐ＝｛ｐ1，ｐ2，・・・ｐn｝及び距離関数ｄに対して、
Ｖ（ｐi）＝｛ｐ｜ｄ（ｐ，ｐi）≦ｄ（ｐ，ｐj），ｊ≠ｉ｝
で構成される領域Ｖ（ｐi）のことを指す。図５（ａ）に示す例では、Ｎ＝５であるため、ボロノイ境界５０５により５つのボロノイ領域５０４に分割される。
【００２５】
次に、ステップＳ４０２において、例えば図６（ａ）に示すように、ステップＳ３０３で抽出されたそれぞれのオブジェクト領域５０３が各投影領域にどの程度の割合（％）で含まれているかを示す投影領域占有度テーブル６０１を作成する。図６（ａ）においては、各オブジェクトの最大占有度（１００％）の投影領域のセルは丸印６０２で示している。以下、このような投影領域を優先投影領域と定義する。ここで、最大占有度の投影領域が複数ある場合は、各オブジェクトのボロノイ領域５０４との共通部分の面積が最大の投影領域のセルを優先投影領域とする。
【００２６】
次に、ステップＳ４０３において、カウンターｉを１に初期化する。そして、ステップＳ４０４において、カウンターｉがオブジェクト数Ｎ以内であるかどうかを判断する。この判断の結果、オブジェクト数Ｎ以内である場合は、次のステップＳ４０５に進む。
【００２７】
そして、ステップＳ４０５において、投影領域占有度テーブル６０１と投影領域の境界５０２とに基づき、ｉ番目のボロノイ領域の内部領域分割と投影領域割当とを行う。ここで、内部領域分割とは、１つのボロノイ領域の中で、投影領域の境界５０２により領域を分割する処理である。また、投影領域割当とは、図５（ｂ）に示すように、分割領域に対して、投影領域４ａ〜４ｄに対応した"Ａ"、"Ｂ"、"Ｃ"、"Ｄ"のいずれかのラベル５０６を付与する処理である。
【００２８】
ラベルを付与する処理は次のように行う。まず、ｉ番目のボロノイ領域を包含する投影領域がある場合は、ｉ番目のオブジェクトの優先投影領域のラベル５０６を、当該ボロノイ領域の全体に付与する。一方、そのような投影領域がない場合、ｉ番目のオブジェクトの優先投影領域の境界で、当該ボロノイ領域を内部分割し、各分割領域に適切なラベル５０６を付与する。例えば、２番目のオブジェクトのボロノイ領域を包含する投影領域は存在しない。したがって、２番目のオブジェクトの優先投影領域である「投影領域４ａ」の境界で当該ボロノイ領域を内部分割し、分割領域に対し、図５（ｂ）に示すように"Ａ"と"Ｃ"のラベル５０６を付与する。
【００２９】
次に、ステップＳ４０６において、ｉを１インクリメントし、ステップＳ４０４に戻る。一方、ステップＳ４０４の判断の結果、カウンターｉがオブジェクト数Ｎ以内で無い場合は、ステップＳ４０７に進む。そして、同じラベルが付与された領域をグルーピングし、例えば図５（ｂ）に示すように、各グループの境界に適切な幅ｄを持った重畳領域５０７を設定する。以上により、ステップＳ３０４の重畳領域算出処理を終了する。
【００３０】
図３の説明に戻り、次に、ステップＳ３０５において、システム制御部１１の制御により画像生成部１７は、タイル画像を生成する。図５（ｂ）に示す例では、まず、入力された全体画像５０１を４つの投影領域４ａ〜４ｄに対応した部分にトリミングし、４個の部分画像を求める。次に、各部分画像に対してステップＳ３０４で求めた重畳領域に基づいてクロッピングを施し、図５（ｃ）に示すような各プロジェクタ用のタイル画像５１０ａ〜５１０ｄを算出する。ここで、クロッピングとは、画像における不要部分の画素に最低輝度である黒のデータ（例えば（Ｒ，Ｇ，Ｂ）＝（０，０，０））をセット（付加）する処理である。
【００３１】
そして、ステップＳ３０６において、システム制御部１１の制御により映像出力部１８は、タイル画像５１０ａ〜５１０ｄをそれぞれ、４つのプロジェクタ２ａ〜２ｄを介してスクリーン３上へ投影する。この結果、スクリーン３上には、入力された全体画像を２×２分割でタイリング投影された映像が形成される。この際、投影された映像のオーバーラップ領域５内部の重畳領域ではそれぞれのタイル画像が一致するように投影される。
【００３２】
一方、オーバーラップ領域５における重畳領域以外の部分では、黒の画像が他の黒でないタイル画像と重なるが、全体画像の輝度が十分に高く、黒画像側の黒浮きは無視できる。なお、本実施形態では、重畳領域５０７内部の位置・色・輝度などの補正については特に言及しないが、公知の補正アルゴリズムを用いて補正処理を施してもよい。これにより、さらに表示画像における違和感を軽減することができる。
【００３３】
［他の入力画像の場合］
次に、図３のステップＳ３０２において、例えば図７（ａ）に示すように、映像入力部１４がある程度大きいオブジェクトが映っている全体画像７０１を入力した場合について説明する。次のステップＳ３０３においては、図７（ａ）に示すようなオブジェクト領域７０３が抽出され、ステップＳ３０４の重畳領域算出部１６が実行する重畳領域算出処理では、以下のように行われる。
【００３４】
まず、ステップＳ４０１では、抽出した各オブジェクト領域の重心などの基準点を母点として、ボロノイ境界７０５によりボロノイ領域７０４にボロノイ分割する。次に、ステップＳ４０２では、抽出されたオブジェクト領域７０３を用いて、全体画像７０１の図６（ｂ）に示すような投影領域占有度テーブル６１１を作成する。ただし、図８（ｂ）に示す例では、３番目のオブジェクトに関しては、１００％の占有度を有する投影領域が存在しない。そこで、図６（ｂ）では、最も占有度の高いものを丸印６１２で示している。
【００３５】
ステップＳ４０５では、投影領域占有度テーブル６１１と投影領域の境界７０２とに基づいて、ｉ番目のボロノイ領域の内部領域分割と投影領域割当とを行う。例えば、２番目のオブジェクトにおいては、２番目のボロノイ領域全体が投影領域４ａに包含される。したがって、図７（ｂ）に示すように、この優先投影領域である投影領域４ａを表す"Ａ"のラベル７０６を、２番目のボロノイ領域全体へ付与する。一方、３番目のボロノイ領域の場合は、３番目のオブジェクト全体を包含する投影領域は存在しない。したがって、図６（ｂ）の丸印６１２に示した優先投影領域である投影領域４ｂの境界で内部分割し、３番目のオブジェクトを含む各分割領域に対し"Ｂ"及び"Ｄ"のラベル７０６を付与する。
【００３６】
そして、同じラベルが付与された領域の集合同士をグルーピングして各グループの境界に適切な幅ｄを持った重畳領域７０７を設定し、図７（ｃ）に示すようなタイル画像７１０ａ〜７１０ｄが生成される。
【００３７】
以上のような処理により、１番目のオブジェクト及び２番目のオブジェクトを避けた位置に重畳領域が配置される。一方、３番目のオブジェクトの領域はオーバーラップ領域５をまたいでいるため、３番目のオブジェクトの領域上に重畳領域が配置される。しかしながら、優先投影領域である投影領域４ｂにこの３番目のオブジェクトの広範囲が含まれるように投影されるので、鑑賞者にとっての違和感を低減したタイリング投影を実現することができる。
【００３８】
また、全体画像が静止画像と動画像のいずれの場合も、同様の効果を得ることができ、入力される全体画像が映像ソフトのような固定の映像であっても、リアルタイムに内容が制御可能な映像であっても同様の効果を得ることができる。さらには、重畳領域が目立たない位置に配置されるため、重畳領域の内部に対して厳密に補正処理を加えることを不要にすることができる。
【００３９】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態の画像投影システム全体の構成は図１と同様であるため、その説明は省略する。
【００４０】
図８は、本実施形態における映像サーバ１の内部構成例を示すブロック図である。本実施形態においては、優先順位設定部２０が追加されている点が図２と異なっており、その他の構成は図２と同様である。したがって、図２と共通する構成については説明を省略する。
優先順位設定部２０は、オブジェクト設定部１５が抽出した複数のオブジェクト領域に対する優先順位を設定するためのものである。
【００４１】
次に、本実施形態の画像投影システムの処理について説明する。なお、映像をタイリング投影する処理手順は第１の実施形態で説明した図３と同様であるため、その詳細な説明は省略する。以下、図９及び図１０を参照しながら、本実施形態のタイリング投影システムにおける重畳領域を算出する処理について説明する。本実施形態では、第１の実施形態と同様に、図１０（ａ）に示すような全体画像１００１を取得し、顔認識などの識別処理によりオブジェクト領域１００３を抽出したものとして説明する。
【００４２】
図９は、ステップＳ３０４における重畳領域算出処理の詳細な手順の一例を示すフローチャートである。なお、ステップＳ９０２を除く図９に示す各処理は、システム制御部１１の制御により重畳領域算出部１６が行うものである。
まず、ステップＳ９０１において、抽出した各オブジェクト領域の重心などの基準点を母点として、ボロノイ境界１００５によりボロノイ領域１００４にボロノイ分割を行う。次に、ステップＳ９０２において、重畳領域算出部１６の指示により優先順位設定部２０は、抽出したオブジェクトの優先順位を設定する。以下の説明では、例えば、次のようなオブジェクトの優先順位が設定されたものとする。
４番目＞１番目＞２番目＞５番目＞３番目
【００４３】
優先順位の設定方法としては、任意のアルゴリズムが採用できるものとする。例えば、抽出したオブジェクト領域の面積に応じて優先順位を設定してもよく、当該オブジェクトのピントが合っているかどうかなどのフォーカス情報を基本として優先順位を決定してもよい。また、映像データの付帯情報（メタ情報）に記録された優先順位情報に基づいて設定してもよい。さらには、本実施形態の画像投影システムをビデオ会議システムに適用する場合には、映像中の注目オブジェクト（「話者」、「前話者」、「ホワイトボード」など）を優先順位の上位にし、他のオブジェクトを下位に設定するようにしてもよい。
【００４４】
次に、ステップＳ９０３において、抽出したオブジェクト領域１００３に基づき、図６（ｃ）に示すような投影領域占有度テーブル６２１を作成する。本実施形態では、投影領域占有度テーブル６２１における各オブジェクトの丸印６２３に示す優先投影領域は、オブジェクトの優先順位６２２を用いて決定される。
【００４５】
例えば、優先順位６２２が１位の４番目のオブジェクトについては、そのボロノイ領域との共通部分の面積が最大の投影領域４ｂを優先投影領域とする。一方、優先順位が２位以下の各オブジェクトについては、最大占有度の投影領域が複数あり、かつ、優先順位６２２が上位であるオブジェクトの優先投影領域の中に一致するものがある場合、その投影領域を当該オブジェクトの優先投影領域とする。なおこの処理は、優先順位が下位のオブジェクトの優先投影領域をなるべく上位のオブジェクトの当該優先投影領域に揃えることを目的としている。この処理とステップＳ９０６のラベル付け処理との組み合わせにより、上位のオブジェクトの優先投影領域のラベル１００６がより多くなる。そして、ステップＳ９０４〜Ｓ９０８では、図４のステップＳ４０４〜Ｓ４０８と同様の処理により重畳領域１００７を算出する。
【００４６】
図１０（ｂ）に示す例では、３番目のオブジェクトのボロノイ領域については、当該ボロノイ領域を全て包含する投影領域は存在しない。したがって、ステップＳ９０６では、当該３番目のオブジェクトの優先投影領域である投影領域４ｂの境界１００２で、当該ボロノイ領域を内部分割し、各分割領域へ"Ｂ"、"Ａ"、"Ｃ"のラベル１００６を付与する。その結果、ステップＳ３０５では、図１０（ｃ）に示すような４つのタイル画像１０１０ａ〜１０１０ｄが生成される。
【００４７】
以上のように本実施形態によれば、優先順位が上位のオブジェクトの周囲が単一のプロジェクタを介してより広く投影されるようになる。このため、投影された映像における違和感をさらに軽減することができる。
【００４８】
（その他の実施形態）
以上の実施形態では、全体画像に存在する"人物"をオブジェクトとして抽出する場合の実施形態について示したが、本発明はそれに限らない。例えば、プレゼンテーション資料の画像を入力し、当該資料を構成する"文字や単語、あるいは文章"や"図表"などをオブジェクトとして抽出した場合も同様の効果が得られる。さらには、関連のあるオブジェクト同士のまとまり（グループ）を１つのオブジェクトの単位として、本発明を適応しても同様の効果が得られる。
【００４９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５０】
１５  オブジェクト設定部、１６  重畳領域算出部、１７  画像生成部、１８  映像出力部
【図１】
0005645448.tif 000002
【図２】
0005645448.tif 000003
【図３】
0005645448.tif 000004
【図４】
0005645448.tif 000005
【図５】
0005645448.tif 000006
【図６】
0005645448.tif 000007
【図７】
0005645448.tif 000008
【図８】
0005645448.tif 000009
【図９】
0005645448.tif 000010
【図１０】
0005645448.tif 000011