(57)【特許請求の範囲】
【請求項１】
投影装置から被投影体へ投影する投影画像を生成する画像処理装置であって、
撮像領域の少なくとも一部が重複された複数の撮像装置により前記被投影体に表示される表示画像を撮像した複数の撮像画像に基づいて、前記投影画像から前記被投影体に表示すべき入力画像への幾何変換量である第一の変換量をそれぞれ導出する第一の導出手段と、
前記複数の撮像装置の撮像領域同士が重複する重複領域に関する情報を取得する第一の取得手段と、
前記第一の導出手段により導出された複数の第一の変換量と、前記第一の取得手段により取得された前記重複領域に関する情報とに基づいて、前記投影画像から前記入力画像への幾何変換量である第二の変換量を導出する第二の導出手段と、
前記第一の導出手段により導出された第一の変換量と、前記第二の導出手段により導出された第二の変換量とに基づいて、前記入力画像を前記被投影体に表示するための前記投影画像を生成する生成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記入力画像と、前記被投影体上に表示された前記入力画像を前記複数の撮像装置により撮像した複数の撮像画像との画素間の対応関係を表す第一の対応情報をそれぞれ取得する第二の取得手段と、
前記投影画像と、前記投影装置から前記被投影体へ投影画像を投影したときに前記被投影体上に表示される表示画像を前記複数の撮像装置により撮像した複数の撮像画像との画素間の対応関係を表す第二の対応情報をそれぞれ取得する第三の取得手段と、をさらに備え、
前記第一の導出手段は、前記第一の対応情報と前記第二の対応情報とに基づいて、前記複数の第一の変換量を導出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第二の導出手段は、前記投影画像から前記入力画像への幾何変換量が、画像内においてなだらかに変化するように前記第二の変換量を導出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第二の導出手段は、前記重複領域に対応する領域において、前記第二の変換量を導出することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第二の導出手段は、前記重複領域とその周辺の領域とを含む所定領域に対応する領域において、前記第二の変換量を導出することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記第二の導出手段は、前記複数の第一の変換量を重み付け加算することで、前記第二の変換量を導出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第二の導出手段は、前記複数の第一の変換量を、前記重複領域の中心位置に対応する位置を基準として重み付け加算することで、前記第二の変換量を導出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第二の導出手段は、前記複数の第一の変換量を、前記重複領域内において前記入力画像の周波数が最も低い位置に対応する位置を基準として重み付け加算することで、前記第二の変換量を導出することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
投影装置から被投影体へ投影する投影画像を生成する画像処理方法であって、
撮像領域の少なくとも一部が重複された複数の撮像装置により前記被投影体に表示される表示画像を撮像した複数の撮像画像に基づいて、前記投影画像から前記被投影体に表示すべき入力画像への幾何変換量である第一の変換量をそれぞれ導出するステップと、
前記複数の撮像装置の撮像領域同士が重複する重複領域に関する情報を取得するステップと、
複数の前記第一の変換量と、前記重複領域に関する情報とに基づいて、前記投影画像から前記入力画像への幾何変換量である第二の変換量を導出するステップと、
前記第一の変換量と前記第二の変換量とに基づいて、前記入力画像を前記被投影体に表示するための前記投影画像を生成するステップと、を含むことを特徴とする画像処理方法。
【請求項１０】
前記投影装置と、
前記複数の撮像装置と、
請求項１から８のいずれか１項に記載の画像処理装置と、を備えることを特徴とする画像投影システム。
【請求項１１】
前記投影装置を複数備え、
前記画像処理装置は、前記入力画像を複数の領域に分割した部分画像を前記被投影体へ表示するための前記投影画像を、前記複数の投影装置についてそれぞれ生成することを特徴とする請求項１０に記載の画像投影システム。
【請求項１２】
コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置を用いて被投影体上に画像を投影するための画像処理に関する。
【背景技術】
【０００２】
従来、複数の投影装置（プロジェクタ）を用い、各投影装置から投影される投影画像をスクリーン上でつなぎ合わせて１つの大きな画像を投影することを可能とした、マルチプロジェクションシステムが提案されている。マルチプロジェクションシステムにおいては、投影画像同士の重畳領域が滑らかに繋がるように、投影画像を幾何補正する必要がある。投影画像の幾何補正は、プロジェクタが投影する投影画像の特徴点と、プロジェクタにより投影されたスクリーン上の投影画像を撮像した撮像画像の特徴点との対応関係に基づいて行うことができる。
特許文献１には、スクリーン上に投影された画像を撮像する複数の撮像装置の撮像画像を用いて、投影画像の幾何補正を行う点が開示されている。この特許文献１では、複数の撮像装置の撮像画像の座標系を統一し、統一後の座標系上での画像投影範囲を基準として、投影画像を幾何補正している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６１５５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載の技術にあっては、投影画像の幾何補正を適切に行うために、スクリーンに対する複数の撮像装置の位置姿勢や撮像パラメータ（焦点距離、画像主点位置、歪曲収差など）が正確に求まっている必要がある。これらのパラメータに誤差が含まれていると、複数の撮像装置の撮像領域が重複する重複領域において、投影後のスクリーン上の画像が破たんしてしまうためである。しかしながら、これらのパラメータは、高精度に推定することが困難であり、推定結果には必ず誤差が含まれてしまう。
そこで、本発明は、複数の撮像装置の撮像画像を用いて投影画像の幾何補正を行った場合の、投影後の画像の破たんを抑制することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る画像処理装置の一態様は、投影装置から被投影体へ投影する投影画像を生成する画像処理装置であって、撮像領域の少なくとも一部が重複された複数の撮像装置により前記被投影体に表示される表示画像を撮像した複数の撮像画像に基づいて、前記投影画像から前記被投影体に表示すべき入力画像への幾何変換量である第一の変換量をそれぞれ導出する第一の導出手段と、前記複数の撮像装置の撮像領域同士が重複する重複領域に関する情報を取得する第一の取得手段と、前記第一の導出手段により導出された複数の第一の変換量と、前記第一の取得手段により取得された前記重複領域に関する情報とに基づいて、前記投影画像から前記入力画像への幾何変換量である第二の変換量を導出する第二の導出手段と、前記第一の導出手段により導出された第一の変換量と、前記第二の導出手段により導出された第二の変換量とに基づいて、前記入力画像を前記被投影体に表示するための前記投影画像を生成する生成手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、複数の撮像装置の撮像画像を用いて投影画像の幾何補正を行った場合の、投影後の画像の破たんを抑制することができる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態の画像処理装置の構成を示すブロック図である。
【図２】画像投影システムの構成例である。
【図３】画像処理部の構成を示すブロック図である。
【図４】画像処理装置の動作を示すフローチャートである。
【図５】入力／撮像画像対応情報を示す図である。
【図６】対応取得用パターン画像とその撮像画像との一例である。
【図７】投影／撮像画像対応情報の算出方法を説明する図である。
【図８】投影画像補正部の構成を示すブロック図である。
【図９】投影画像補正処理を示すフローチャートである。
【図１０】重複領域の一例を示す図である。
【図１１】第一の実施形態の効果を説明する図である。
【図１２】重複領域の大きさが投影画像に及ぼす影響について説明する図である。
【図１３】第二の実施形態の効果を説明する図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、本実施形態における画像処理装置を備える画像投影システムの構成例である。この画像投影システムは、入力画像を複数の領域に分割して部分画像（投影画像）を、それぞれ複数の投影装置（投影部）によって被投影体上に投影するシステムである。また、この画像投影システムは、複数の投影部により投影される複数の投影画像の一部を重畳させ、１つの被投影体上でつなぎ合わせて１つの画像を投影するシステムである。つまり、この画像投影システムは、個々の投影部の表示可能範囲を超えるサイズでの画像表示を可能とするマルチプロジェクションシステムである。なお、本明細書において、入力画像とは、最終的に被投影体上に表示すべき画像を指す。
【０００９】
この画像投影システムは、図１に示すように、複数の撮像部（カメラ）１０１、１０２と、画像処理装置２００と、複数の投影部（プロジェクタ）３０１〜３０３と、表示部４００と、を備える。画像処理装置２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、操作部２０４、表示制御部２０５、撮像制御部２０６、デジタル信号処理部２０７、外部メモリ制御部２０８、記憶メディア２０９、画像処理部２１０、およびバス２１１を備える。
【００１０】
画像処理装置２００のＣＰＵ２０１は、画像処理装置２００における動作を統括的に制御するものであり、バス２１１を介して、各構成部（２０２〜２１０）を制御する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリアとして機能する。ＲＡＭ２０２には、後述する撮像画像や投影画像等のデータが一時的に格納されてもよい。ＲＯＭ２０３は、ＣＰＵ２０１が処理を実行するために必要なプログラムを記憶する。操作部２０４は、ユーザが入力操作を行うためのものであり、各種設定ボタンなどが含まれる。表示制御部２０５は、モニタ等の表示部４００に表示される画像や文字の表示制御や、投影部３０１〜３０３を介して被投影体であるスクリーン（不図示）に表示される画像や文字の表示制御を行う。撮像制御部２０６は、ＣＰＵ２０１が実行する処理、または操作部２０４を介して入力されたユーザの指示に基づいて撮像部１０１および１０２を制御する。
【００１１】
デジタル信号処理部２０７は、バス２１１を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行うことで、デジタル画像データを生成する。外部メモリ制御部２０８は、ＰＣその他メディアである外部メモリ２０９に繋ぐためのインタフェースである。外部メモリ２０９は、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ等を含む。なお、ＣＰＵ２０１が処理を実行するために必要なプログラムは、外部メモリ２０９に記憶されていてもよい。画像処理部２１０は、各投影部３０１〜３０３からスクリーンへ投影する投影画像をそれぞれ生成する。このとき画像処理部２１０は、撮像部１０１、１０２から取得された撮像画像（あるいは、デジタル信号処理部２０７から出力されたデジタル画像データ）を利用して、後述する画像処理を行い、各投影部３０１〜３０３が投影する部分画像を幾何補正する。
投影部３０１〜３０３は、画像処理装置２００の表示制御部２０５による表示制御に従い、１つのスクリーンに対してそれぞれ部分画像を投影する。撮像部１０１および１０２は、複数のレンズおよびＣＭＯＳやＣＣＤなどの撮像素子などから構成される。本画像投影システムにおいては、撮像部１０１および１０２は、それぞれ異なる視点から被写体を撮像できるように構成されている。本実施形態では、被写体は、投影部３０１〜３０３によって投影画像が投影されたときにスクリーン上に表示される表示画像である。
【００１２】
図１に示す各要素の機能は、それぞれ専用のハードウェアによって実現することができる。その場合、画像処理装置２００の各要素（２０２〜２１０）の機能は、ＣＰＵ２０１の制御に基づいて動作する。なお、図１に示す各要素のうち少なくとも一部の機能が、ＣＰＵ２０１が所定のプログラムを実行することで実現されるようにしてもよい。
図２は、画像投影システムの構成例であり、撮像部１０１、１０２と、投影部３０１〜３０３と、投影部３０１〜３０３が画像を投影するスクリーン５０１との位置関係を示している。図２（ａ）は、それぞれの配置を上方から見た図、図２（ｂ）は、スクリーン５０１を正面から見た図である。本実施形態では、スクリーン５０１は、巨大な平面スクリーンであるとする。
図２（ａ）において、撮像部１０１、１０２から伸びている点線は、各撮像部の撮像画角を示している。また、投影部３０１〜３０２から伸びている実線は、各投影部の投影画角を示している。本実施形態では、撮像部１０１とスクリーン５０１、撮像部１０２とスクリーン５０１は、それぞれ概略正対関係にあるものとする。
【００１３】
図２（ｂ）において、点線１１１により囲まれた領域は、撮像部１０１の撮像領域であり、点線１１２により囲まれた領域は、撮像部１０２の撮像領域である。また、実線３１１により囲まれた領域は、投影部３０１の投影領域であり、実線３１２により囲まれた領域は、投影部３０２の投影領域であり、実線３１３により囲まれた領域は、投影部３１３の投影領域である。このように、投影部３０１〜３０３は、投影領域３１１と投影領域３１２との一部、および投影領域３１２と投影領域３１３との一部が、それぞれ重なるように配置されている。また、撮像部１０１は、撮像領域１１１に投影領域３１１と投影領域３１２と投影領域３１３の一部とが含まれるように配置され、撮像部１０２は、撮像領域１１２に投影領域３１２と投影領域３１３と投影領域３１１の一部とが含まれるように配置されている。つまり、撮像部１０１と撮像部１０２とは、撮像領域１１１と撮像領域１１２とが一部重複するように配置されている。
【００１４】
なお、本実施形態では、図２に示すように、スクリーン５０１の形状を平面として説明するが、スクリーン５０１の形状は円筒であっても、球面のような複雑な形状であってもよい。さらに、本実施形態では、２つの撮像部と３つの投影部とを備えるシステムについて説明するが、撮像部と投影部とはそれぞれ複数あればよく、上記に限定されない。また、撮像部と投影部との配置位置および姿勢についても、上記に限定されるものではない。
また、本実施形態では、複数の投影部を備えるマルチプロジェクションシステムについて説明するが、投影部を１つのみ備えるシステムであってもよい。この場合、１つの投影部から投影画像を投影したときにスクリーン上に表示される表示画像を、複数の撮像部により撮像領域を少なくとも一部重複させて撮像する構成であればよい。
【００１５】
次に、画像処理部２１０の具体的構成について説明する。
図３は、画像処理部２１０の構成を示すブロック図である。画像処理部２１０は、撮像データ取得部２２１と、入力／撮像画像対応情報取得部２２２と、投影／撮像画像対応情報算出部２２３と、投影画像補正部２２４と、を備える。
撮像データ取得部２２１は、撮像部１０１と撮像部１０２とがそれぞれ撮像した撮像画像を取得する。入力／撮像画像対応情報取得部２２２（以下、「対応情報取得部２２２」という。）は、入力画像と撮像画像との対応情報（第一の対応情報）をＲＡＭ２０２から取得する。第一の対応情報は、例えば、撮像画像の画像座標系から入力画像の画像座標系への変換式で表されるような、入力画像と、スクリーン５０１に表示された入力画像を撮像した撮像画像との画素間の対応関係を示す情報である。対応情報取得部２２２は、撮像部１０１および１０２について、それぞれ第一の対応情報を取得する。
【００１６】
投影／撮像画像対応情報算出部２２３（以下、「対応情報算出部２２３」という。）は、投影画像と、投影画像を投影されたスクリーン５０１上の撮像領域を撮像した撮像画像との対応情報（第二の対応情報）を算出する。第二の対応情報は、例えば、投影画像の画像座標系から撮像画像の画像座標系への変換式で表されるような、投影画像と、投影画像が投影されたときにスクリーン５０１に表示される表示画像を撮像した撮像画像との画素間の対応関係を示す情報である。対応情報算出部２２３は、投影部３０１〜３０３について、それぞれ撮像部１０１に対する第二の対応情報と、撮像部１０２に対する第二の対応情報とを取得する。
投影画像補正部２２４は、対応情報取得部２２２が取得した第一の対応情報と、対応情報算出部２２３が算出した第二の対応情報とに基づいて、入力画像を各投影部３０１〜３０３の投影用に分割した部分画像を補正する。そして、投影画像補正部２２４は、補正した部分画像を各投影部３０１〜３０３からスクリーン５０１へ投影する投影画像として表示制御部２０５へ出力する。
【００１７】
図４は、画像処理装置２００の動作を示すフローチャートである。本実施形態では、図１および図３で示す各要素が、それぞれＣＰＵ２０１の制御に基づいて専用のハードウェアとして動作することで、図４の処理が実現される場合について説明する。ただし、ＣＰＵ２０１が所定のプログラムを実行することにより、図４の処理が実現されるようにしてもよい。
まずＳ１において、画像処理部２１０の対応情報取得部２２２は、ＲＡＭ２０２から入力画像と撮像画像との対応関係を示す第一の対応情報を取得する。
図５は、第一の対応情報について説明する図である。画像６０１は入力画像、画像６１１は撮像部１０１の撮像画像、画像６１２は撮像部１０２の撮像画像を示している。本実施形態では、入力画像６０１と撮像画像６１１との対応関係、および入力画像６０１と撮像画像６１２との対応関係を、それぞれスクリーン座標系を介して表す。スクリーン座標系は、スクリーン５０１のスクリーン面を示す２次元の座標系である。本実施形態では、第一の対応情報は、次の３つの情報を含む。１つ目は、スクリーン座標系から入力画像６０１の画像座標系への変換係数である。２つ目は、撮像部１０１の撮像画像６１１の画像座標系からスクリーン座標系への変換係数である。３つ目は、撮像部１０２の撮像画像６１２の画像座標系からスクリーン座標系への変換係数である。
【００１８】
スクリーン座標系から入力画像６０１の画像座標系への変換係数は、スクリーン５０１に入力画像６０１がどのように表示されているかを示す情報である。具体的には、当該情報は、スクリーン５０１上の投影領域５０２に入力画像６０１を表示する際の、入力画像６０１のスクリーン５０１への表示位置、表示サイズ（表示スケール）、傾きなどの情報を含む。スクリーン座標系から入力画像６０１の画像座標系への変換式は（１）式により表される。
【００１９】
【数１】
0006594170.tif 000002
【００２０】
上記（１）式において、（ｌｕ，ｌｖ）は、入力画像６０１の画像座標系での座標値、（ｘ，ｙ）は、スクリーン座標系での座標値である。また、Ｓは、上記表示サイズを設定するパラメータ、［ｒ１１，ｒ１２，ｒ１３；ｒ２１，ｒ２２，ｒ２３；ｒ３１，ｒ３２，ｒ３３］は、上記傾きを設定する回転行列、（ｍｕ，ｍｖ）は、上記表示位置を設定するパラメータである。それぞれのパラメータをユーザが設定することで、入力画像６０１のスクリーン５０１への表示位置、表示サイズおよび傾きを決定することができる。ユーザが設定したこれらのパラメータは、ＲＡＭ２０２に格納される。
本実施形態では、各パラメータを、Ｓ＝１．０、ｒ１１＝１．０、ｒ１２＝０．０、ｒ１３＝０．０、ｒ２１＝０．０、ｒ２２＝１．０、ｒ２３＝０．０、ｒ３１＝０．０、ｒ３２＝０．０、ｒ３３＝１．０、ｍｕ＝０．０、ｍｖ＝０．０に設定する。つまり、（ｌｕ，ｌｖ）＝（ｘ，ｙ）とし、スクリーン座標系から入力画像６０１の画像座標系への変換式を省略して説明を簡略化する。
【００２１】
次に、撮像部１０１の画像座標系からスクリーン座標系への変換係数について説明する。撮像部１０１の撮像画像６１１の画像座標系からスクリーン座標系への変換係数は、撮像部１０１がスクリーン５０１のどこを撮像しているかを示す情報である。本実施形態では、撮像部１０１の撮像画像６１１の画像座標系からスクリーン座標系への変換式に、撮像部１０１の撮像画像６１１からスクリーンン５０１上の撮像領域１１１への射影変換の変換式を使用する。射影変換（ホモグラフィ）の変換式を（２）式に示す。
ｕ＝ｘ＊ａ＋ｙ＊ｂ＋ｃ−ｘ＊ｇ＊ｕ−ｙ＊ｈ＊ｕ，
ｖ＝ｘ＊ｄ＋ｙ＊ｅ＋ｆ−ｘ＊ｇ＊ｖ−ｙ＊ｈ＊ｖ  ………（２）
上記（２）式において、（ｘ，ｙ）は、元平面の座標値、（ｕ，ｖ）は、目的平面の座標値、（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）は、射影変換係数である。ここで、元平面は撮像画像６１１であり、目的平面はスクリーン５０１である。
【００２２】
対応情報取得部２２２は、撮像部１０１の撮像画像６１１の画像座標系からスクリーン座標系への変換式として、ＲＡＭ２０２から上記の射影変換係数を取得する。撮像部１０２の撮像画像６１２の画像座標系からスクリーン座標系への変換式についても同様である。対応情報取得部２２２は、撮像部１０２の撮像画像６１２の画像座標系からスクリーン座標系への変換式に、撮像部１０２の撮像画像６１２からスクリーン５０１上の撮像領域１１２への射影変換の変換式を使用する。そして、対応情報取得部２２２は、その変換式における射影変換係数をＲＡＭ２０２から取得する。
図４のＳ１では、対応情報取得部２２２は、撮像部１０１、１０２の撮像画像の画像座標系からスクリーン座標系への変換係数を上記（２）式に適用し、スクリーン座標系から入力画像の画像座標系への変換係数を上記（１）式に適用する。これにより、対応情報取得部２２２は、各撮像部の撮像画像から入力画像への変換式をそれぞれ取得することができる。対応情報取得部２２２は、撮像画像から入力画像への変換式（変換係数）を、第一の対応情報として投影画像補正部２２４へ出力する。
【００２３】
なお、本実施形態では、射影変換係数をＲＡＭ２０２から取得しているが、射影変換係数をスクリーン／撮像部較正によって算出してもよい。その場合、対応情報取得部２２２は、スクリーン上に４点の特徴点を生成し、その特徴点のスクリーン座標系での座標値を実際に計測する。次に、対応情報取得部２２２は、スクリーン上の特徴点を撮像部によって撮像し、撮像画像上での当該特徴点の座標値を求める。対応情報取得部２２２は、これら２つの座標値を対応付けることにより、射影変換係数を算出することができる。
また、本実施形態では、スクリーン座標系を介して表される、入力画像と撮像画像との対応情報を取得したが、スクリーン座標系を介さずに、入力画像と撮像画像との対応関係を直接取得してもよい。また、例えば「Z. Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000」に記載された、所謂ｚｈａｎｇの手法を用いてもよい。このｚｈａｎｇの手法は、スクリーンに投影した特徴点を用いて撮像部較正を行い、撮像部の画像座標系からスクリーン座標系への変換を推定する手法である。
【００２４】
Ｓ２では、表示制御部２０５は、投影部３０１〜３０３のうち、いずれか１つの投影部に対し、予め設定された対応情報取得用のパターン画像をスクリーン５０１に投影するよう指示する。図６（ａ）は、パターン画像ＰＴの一例である。本実施形態では、図６（ａ）に示すように、画像全体に多数の円が規則的に描画されたパターン画像ＰＴを用いる。しかしながら、パターン画像ＰＴは、図６（ａ）に示す画像に限定されず、特徴部を抽出可能な画像であれば、自然画であっても適用可能である。
Ｓ３では、撮像制御部２０６は、撮像部１０１および１０２に対し、パターン画像ＰＴが投影されているスクリーン５０１の各撮像領域１１１および１１２を撮像するよう指示する。そして、画像処理部２１０の撮像データ取得部２２１は、撮像部１０１、１０２がそれぞれ撮像した画像を取得する。図６（ｂ）に示す画像６２１は、投影部３０１によって図６（ａ）に示すパターン画像ＰＴが投影されたスクリーン５０１の撮像領域１１１を、撮像部１０１が撮像した画像である。また、図６（ｃ）に示す画像６２２は、投影部３０１によって図６（ａ）に示すパターン画像ＰＴが投影されたスクリーン５０１の撮像領域１１２を、撮像部１０２が撮像した画像である。
【００２５】
投影部３０１がパターン画像ＰＴを投影するスクリーン５０１上の領域は、上述したように、図２に示す投影領域３１１である。この図２に示すように、投影領域３１１は、撮像部１０１の撮像領域１１１内に収まっているため、図６（ｂ）に示すように、撮像部１０１の撮像画像６２１にはパターン画像ＰＴが全て写る。一方、撮像部１０２の撮像領域１１２には、投影領域３１１の一部のみしか含まれないため、図６（ｃ）に示すように、撮像部１０２の撮像画像６２２にはパターン画像ＰＴの一部のみしか写らない。
Ｓ４では，表示制御部２０５は、全ての投影部３０１〜３０３がパターン画像ＰＴを投影し、それを全ての撮像部１０１、１０２が撮像したか否かを判定する。表示制御部２０５は、パターン画像ＰＴを投影していない投影部が存在すると判定するとＳ２に戻り、全ての投影部３０１〜３０３がパターン画像ＰＴを投影し、それを全ての撮像部１０１、１０２が撮像していると判定するとＳ５に移行する。
【００２６】
Ｓ５では、対応情報算出部２２３は、撮像画像と投影画像との対応関係を示す第二の対応情報を算出する。まず、対応情報算出部２２３は、パターン画像ＰＴ（図６（ａ））と、パターン画像ＰＴが投影されたスクリーン５０１を撮像した撮像画像６２１、６２２（図６（ｂ）、図６（ｃ））との対応点をそれぞれ取得する。この対応情報算出部２２３における処理の詳細については、投影部３０１がパターン画像ＰＴを投影したスクリーン５０１を撮像部１０１および１０２が撮像した場合を例に、図７を用いて説明する。
図７（ａ）は、投影部３０１の投影画像（パターン画像ＰＴ）、撮像部１０１の撮像画像６２１、および撮像部１０２の撮像画像６２２を示している。図７（ｂ）は、図７（ａ）に示す各元画像の領域Ａを拡大した一部拡大画像である。また、図７（ｃ）は、図７（ｂ）に示す一部拡大画像から特徴点を検出した特徴点検出画像である。本実施形態では、パターン画像ＰＴに描画された円が特徴部となり、円の中心点が特徴点となる。図７（ｂ）の円７０１、７０２は、撮像部１０１、１０２の撮像画像６２１、６２２に含まれる円であり、それぞれパターン画像ＰＴに含まれる円７０３を撮像したものである。円７０１〜７０３は、スクリーン５０１上において同一の点を示している。また、図７（ｃ）の領域７０４、７０５は、撮像部１０１、１０２の撮像画像６２１、６２２に含まれる４つの特徴点（円中心）に囲まれた領域であり、領域７０６は、パターン画像ＰＴに含まれる４つの特徴点（円中心）に囲まれた領域である。領域７０４〜７０６は、スクリーン５０１上において同一の領域を示している。
【００２７】
図４のＳ５においては、対応情報算出部２２３は、投影部３０１が投影した投影画像（パターン画像ＰＴ）と、撮像部１０１の撮像画像６２１および撮像部１０２の撮像画像６２２とをそれぞれ対応付ける。具体的には、対応情報算出部２２３は、同一の点を示す撮像画像６２１の特徴点とパターン画像ＰＴの特徴点とを対応付け、同一の点を示す撮像画像６２２の特徴点とパターン画像ＰＴの特徴点とを対応付ける。つまり、対応情報算出部２２３は、撮像画像６２１の円７０１の中心とパターン画像ＰＴの円７０３の中心とが同一の点であり、撮像画像６２２の円７０２の中心とパターン画像ＰＴの円７０３の中心とが同一の点であることを算出する。そして、この処理を撮像画像に含まれるすべての円について行うことにより、撮像画像に含まれる全ての特徴点と、投影画像の特徴点とを対応付ける。
【００２８】
本実施形態では、対応情報算出部２２３は、画像から円検出処理により円を検出し、ラベリング処理を行うことで上記対応付けを実現する。なお、特徴点の対応付けの方法はこれに限らず、対応点探索やブロックマッチングなどの方法を用いてもよい。
次に、対応情報算出部２２３は、特徴点の対応付け結果に基づいて、元平面から目的平面への射影変換式を算出する。ここで、元平面は投影部３０１の投影画像であり、目的平面は撮像部１０１の撮像画像および撮像部１０２の撮像画像である。
つまり、対応情報算出部２２３は、上述したＳ１における処理と同様に、上記（２）式の射影変換係数を算出することにより、投影画像から撮像画像への射影変換式を求めることができる。上記（２）式においては、８個の射影変換係数が存在するため、これらの射影変換係数を算出するためには４点の対応点が必要である。ここで、上述した特徴点の対応付けにより、撮像部１０１の撮像画像の領域７０４と投影部３０１の投影画像の領域７０６とが対応していることがわかっている。したがって、対応情報算出部２２３は、領域７０４を構成する４つの特徴点の座標値と領域７０６を構成する４つの特徴点の座標値とを用いて連立方程式を解くことにより、領域７０４と領域７０６との射影変換式を求めることができる。
【００２９】
対応情報算出部２２３は、上記の処理を撮像部１０１の撮像画像内の全ての領域について行うことにより、投影部３０１の投影画像から撮像部１０１の撮像画像への射影変換式を算出することができる。投影部３０１の投影画像から撮像部１０２の撮像画像への射影変換式についても同様である。また、投影部３０２および３０３についても同様である。対応情報算出部２２３は、算出した射影変換式群（変換係数群）を第二の対応情報として投影画像補正部２２４へ出力する。
【００３０】
Ｓ６では、投影画像補正部２２４は、対応情報取得部２２２が出力した各撮像部の撮像画像から入力画像への変換式群（第一の対応情報）を取得する。また、投影画像補正部２２４は、対応情報算出部２２３が出力した各投影部の投影画像から各撮像部の撮像画像への変換式群（第二の対応情報）を取得する。さらに、投影画像補正部２２４は、ＲＡＭ２０２から入力画像を取得する。そして、投影画像補正部２２４は、取得した各情報に基づいて、スクリーン５０１に入力画像を表示するために各投影部が投影すべき投影画像をそれぞれ生成し、生成した投影画像を表示制御部２０５へ出力する。投影画像補正部２２４が実行する投影画像生成処理の詳細については後述する。
Ｓ７では、表示制御部２０５は、投影画像補正部２２４から入力された各投影部の投影画像を、それぞれ対応する投影部へ出力する。これにより、投影部３０１〜３０３は、投影画像をスクリーン５０１へ投影する。
【００３１】
以下、投影画像補正部２２４が実行する投影画像生成処理について詳細に説明する。
図８は、投影画像補正部２２４の構成を示すブロック図である。投影画像補正部２２４は、第一の変換量算出部２２４ａと、重複領域算出部２２４ｂと、第二の変換量算出部２２４ｃと、投影画像生成部２２４ｄと、を備える。
第一の変換量算出部２２４ａは、第一の対応情報と第二の対応情報とに基づいて、各投影部の投影画像から入力画像への幾何変換量を第一の変換量として算出する。この第一の変換量算出部２２４ａは、第一の変換量として、投影画像の画像座標系から入力画像の画像座標系への変換式を、各撮像部の撮像画像の画像座標系を介してそれぞれ算出する。重複領域算出部２２４ｂは、撮像部１０１の撮像領域１１１と撮像部１０２の撮像領域１１２とが重複する重複領域に関する情報を算出する。
【００３２】
第一の変換量算出部２２４ａは、第一の変換量を、撮像部１０１の対応情報と撮像部１０２の対応とに基づいてそれぞれ算出するため、撮像画像の重複領域に対応する領域においては、複数（重複する撮像画像の数）の第一の変換量が求まることになる。第二の変換量算出部２２４ｃは、重複領域における複数の第一の変換量を単一の変換量へと統一し、統一した新たな変換量（投影画像から入力画像への幾何変換量）を第二の変換量として算出する。投影画像生成部２２４ｄは、第一の変換量と第二の変換量に基づいて、入力画像をスクリーン５０１に表示するための各投影部の投影画像を生成する。
図９は、投影画像補正部２２４が実行する投影画像生成処理の手順を示すフローチャートである。この投影画像生成処理は、図４のＳ６において実行される。つまり、本実施形態では、図８で示す各要素が、それぞれＣＰＵ２０１の制御に基づいて専用のハードウェアとして動作することで、図９の処理が実現される場合について説明する。ただし、ＣＰＵ２０１が所定のプログラムを実行することにより、図９の処理が実現されるようにしてもよい。
【００３３】
まず、第一の変換量算出部２２４ａは、第一の対応情報と第二の対応情報とに基づいて、各投影部の投影画像の画像座標系から入力画像の画像座標系へ変換する変換式（第一の変換量）を算出する。第一の変換量の算出処理は、Ｓ６１〜Ｓ６４において、以下のとおり実行される。以下、第一の変換量の算出処理について、投影部３０１の投影画像の座標値に対応する入力画像の座標値を算出する例を用いて説明する。
Ｓ６１において、第一の変換量算出部２２４ａは、投影部３０１の投影画像の着目画素の座標値（ｐｕ，ｐｖ）を取得し、Ｓ６２に移行する。Ｓ６２では、第一の変換量算出部２２４ａは、図４のＳ５において算出された射影変換係数を適用し、投影画像の座標値(ｐｕ，ｐｖ)に対応する撮像画像の座標値（ｃｕ，ｃｖ）を算出する。このＳ６２では、第一の変換量算出部２２４ａは、撮像画像の座標値（ｃｕ，ｃｖ）として、撮像部１０１の撮像画像の座標値（ｃｕ＿１，ｃｖ＿１）と、撮像部１０２の撮像画像の座標値（ｃｕ＿２，ｃｖ＿２）とを算出する。
【００３４】
次にＳ６３において、第一の変換量算出部２２４ａは、図４のＳ１において取得された射影変換係数を適用し、Ｓ６２において算出した撮像画像の座標値（ｃｕ，ｃｖ）に対応するスクリーン５０１のスクリーン座標系における座標値（ｘ，ｙ）を算出する。つまり、このＳ６３では、第一の変換量算出部２２４ａは、各撮像部の撮像画像の座標値（ｃｕ＿１，ｃｖ＿１）、(ｃｕ＿２，ｃｖ＿２)にそれぞれ対応するスクリーン座標系における座標値（ｘ＿１，ｙ＿１）、（ｘ＿２，ｙ＿２）を算出する。
Ｓ６４では、第一の変換量算出部２２４ａは、図４のＳ１において取得されたスクリーン座標系から入力画像の画像座標系への変換式に基づいて、Ｓ６３において算出されたスクリーン座標（ｘ，ｙ）を入力画像の座標値（ｌｐｕ，ｌｐｖ）へ変換する。つまり、Ｓ６４では、第一の変換量算出部２２４ａは、各撮像部について算出されたスクリーン座標系の座標値（ｘ＿１，ｙ＿１）、（ｘ＿２，ｙ＿２）にそれぞれ対応する入力画像の座標値（ｌｐｕ＿１，ｌｐｖ＿１）、（ｌｐｕ＿２，ｌｐｖ＿２）を算出する。
【００３５】
Ｓ６１〜Ｓ６４までの処理により、投影部３０１の投影画像の座標値に対応する入力画像の座標値を算出することができる。本実施形態では、投影画像の座標値に対応する入力画像の座標値は、スクリーン５０１上の投影領域の一部の領域において２つの値を持つ。一部の領域とは、撮像部１０１の撮像領域１１１と撮像部１０２の撮像領域１１２とが重複する重複領域に対応する領域である。また、２つの値とは、撮像部１０１の撮像画像の画像座標系を介して算出した入力画像の座標値（ｌｐｕ＿１，ｌｐｖ＿１）と、撮像部１０２の撮像画像の画像座標系を介して算出した入力画像の座標値（ｌｐｕ＿２，ｌｐｖ＿２）とである。そして、撮像領域の重複領域において、投影画像の１つの座標値（ｐｕ，ｐｖ）に対応する２つの入力画像の座標値（ｌｐｕ＿１，ｌｐｖ＿１）と（ｌｐｕ＿２，ｌｐｖ＿２）とは、それぞれ異なる値となる。
なお、重複領域外においては、投影画像の１つの座標値（ｐｕ，ｐｖ）に対応する入力画像の座標値は、１つのみ算出される。具体的には、重複領域に含まれない投影部３０１の投影画像の座標値に対応する入力画像の座標値は、撮像部１０１の撮像画像の画像座標系を介して１つのみ算出される。同様に、重複領域に含まれない投影部３０３の投影画像の座標値に対応する入力画像の座標値は、撮像部１０２の撮像画像の画像座標系を介して１つのみ算出される。
【００３６】
次にＳ６５では、重複領域算出部２２４ｂは、撮像部１０１の撮像領域１１１と撮像部１０２の撮像領域１１２とが重複する重複領域を算出する。具体的には、重複領域算出部２２４ｂは、重複領域に関する情報として、図１０に示すように、撮像領域１１１と撮像領域１１２との重複領域１３１の中心位置１３２と大きさ（幅）１３３とを算出する。なお、本実施形態では説明を簡単にするために、重複領域１３１の形状を長方形としているが、その他の形状を有していてもよい。その場合には、重複領域算出部２２４ｂは、重複領域１３１に関する情報として、重複領域１３１の形状を示す情報を算出してもよい。
重複領域算出部２２４ｂは、撮像領域が重複している複数の撮像部のうち、いずれか１つの撮像部の画像座標系において、重複領域１３１の中心位置１３２の座標値と幅１３３に相当する画素数とを算出する。本実施形態では、撮像部１０１の画像座標系において、重複領域１３１の中心位置１３２の座標値と幅１３３に相当する画素数とを算出するものとする。重複領域算出部２２４ｂは、中心位置１３２の座標値を（ｃｅｎｔｅｒｕ，ｃｅｎｔｅｒｖ）、幅１３３をｗｉｄｔｈとして算出する。
【００３７】
Ｓ６６では、第二の変換量算出部２２４ｃは、Ｓ６４において算出された入力画像の座標値（ｌｐｕ，ｌｐｖ）を補正する。具体的には、第二の変換量算出部２２４ｃは、重複領域１３１において算出されている２つの入力画像の座標値（ｌｐｕ＿１，ｌｐｖ＿１）、（ｌｐｕ＿２，ｌｐｖ＿２）を、１つの座標値（ｌｐｕ，ｌｐｖ）に変換する。座標値（ｌｐｕ，ｌｐｖ）の算出式を下記（３）式に示す。下記（３）式において、ｗは、重複領域１３１の幅方向における中心位置１３２からの距離に応じた重みである。また、下記（３）式において、ｃｕは、重複領域１３１の中心位置１３２の座標値ｃｅｎｔｅｒｕの算出基準とした撮像部の画像座標系における座標値であり、本実施形態では撮像部１０１の画像座標系における座標値ｃｕ＿１を用いる。
【００３８】
【数２】
0006594170.tif 000003
【００３９】
第二の変換量算出部２２４ｃは、上記の処理を重複領域１３１の全ての座標値について行う。なお、ここでは、投影部３０１の投影画像の座標値に対応する入力画像の座標値を算出する例について説明したが、投影部３０２および３０３についても同様である。
このように、図９のＳ６６では、第二の変換量算出部２２４ｃは、撮像領域の重複領域に対応する領域において、各投影部３０１〜３０３の投影画像の各画素の座標値（ｐｕ，ｐｖ）に対応する入力画像の座標値（ｌｐｕ，ｌｐｖ）を１つずつ算出する。つまり、第二の変換量算出部２２４ｃは、撮像領域の重複領域に対応する領域において、投影画像から入力画像への幾何変換量である第二の変換量を、複数の投影部のそれぞれについて１つずつ算出する。
【００４０】
なお、本実施形態では、２つの撮像部の撮像領域が幅方向（図１０における左右方向）に重複している場合について説明した。しかしながら、３つ以上の撮像部の撮像領域が重複している場合であっても、重複している方向が上記の幅方向以外であっても、同様の処理が可能である。また、本実施形態では、重複領域の中心位置を基準として重みｗを算出しているが、重みｗの算出の基準位置はこれに限らず、重複領域内で最も低周波な位置（テクスチャレス領域）を基準位置としてもよい。この場合、格子パターンが含まれるような入力画像についても、適切に投影後の画像の破たんを抑制することができる。さらに、本実施形態では、複数の撮像部の撮像画像に基づいて算出された複数の座標値を、重み付け加算して統一した座標値を算出しているが、算出方法はこれに限らず、内挿法などを適用することもできる。
【００４１】
Ｓ６７では、投影画像生成部２２４ｄは、スクリーン５０１に入力画像を表示するために各投影部３０１〜３０３が投影すべき投影画像を生成する。このＳ６７では、投影画像生成部２２４ｄは、第一の変換量および第二の変換帳を用い、下記（４）式を適用することにより、入力画像から各投影部３０１〜３０３の投影画像を生成する。
ｄｓｔ（ｐｕ，ｐｖ）＝ｓｒｃ（ｌｐｕ，ｌｐｖ）  ………（４）
つまり、投影画像生成部２２４ｄは、重複領域外に対応する領域おいては、第一の変換量を用いて幾何変換を行うことで、入力画像から投影画像を生成する。一方、投影画像生成部２２４ｄは、重複領域に対応する領域においては、第二の変換量を用いて幾何変換を行うことで、入力画像から投影画像を生成する。このように、第二の変換量を用いることにより、投影画像生成部２２４ｄは、投影画像を一意に定めることができる。なお、実際の処理では、投影画像の座標値（ｐｕ，ｐｖ）が整数であるのに対し、入力画像の座標値（ｌｐｕ，ｌｐｖ）は実数であるため、補間処理が必要である。
以上の処理により、各投影部３０１〜３０３の投影画像が生成される。投影画像生成部２２４ｄは、生成した投影画像を表示制御部２０５に出力し、表示制御部２０５は、入力された投影画像を各投影部３０１〜３０３に出力する。これにより、各投影部３０１〜３０３からスクリーン５０１に画像が投影される。
【００４２】
図１１は、本実施形態の効果を説明するための図である。図１１（ａ）において、二点鎖線で囲まれた領域３２０は、スクリーン５０１上の投影領域である。また、一点鎖線１３４は、重複領域１３１の中心線である。図１１（ｂ）は、入力画像を示している。
図１１（ｃ）は、比較例において投影領域３２０に投影される画像である。比較例は、中心線１３４に対して左側の投影領域に投影する画像を、撮像部１０１の対応情報に基づいて算出される変換量をもとに生成し、右側の投影領域に投影する画像を、撮像部１０２の対応情報に基づいて算出される変換量をもとに生成した。この場合、重複領域１３１の中心線１３４の位置で、投影された画像が破たんしていることがわかる。これは、撮像部１０１および撮像部１０２とスクリーン５０１との較正によって求められた第一の対応情報に誤差が含まれており、その誤差を含んだ状態で、中心線１３４の位置において投影画像生成の基準となる撮像部を変更したためである。
【００４３】
これに対して、本実施形態では、投影画像補正部２２４は、撮像部１０１、１０２の撮像領域同士が重複する重複領域１３１において、撮像部１０１と撮像部１０２との双方の対応情報に基づいてそれぞれ算出された変換量をもとに、投影画像を生成する。具体的には、投影画像補正部２２２４は、重複領域１３１において、撮像部１０１と撮像部１０２との双方の対応情報に基づいてそれぞれ算出された複数の第一の変換量を補間（ブレンド）して第二の変換量を算出する。そして、重複領域１３１においては、第二の変換量をもとに投影画像を生成する。本実施形態において投影領域３２０に投影される画像を図１１（ｄ）に示す。このように、重複領域１３１において、投影した画像の破たんを抑制することができている。
以上のように、本実施形態では、画像処理装置２００は、複数の撮像部の撮像画像を用いて投影画像の幾何補正を行った場合の、投影後の画像の破たんを抑制することができる。
【００４４】
各投影部の投影画像の生成に際し、画像処理装置２００は、入力画像と撮像画像との画素間の対応関係を表す第一の対応情報を取得すると共に、投影画像と撮像画像との画素間の対応情報を表す第二の対応情報を算出する。そして、画像処理装置２００は、第一の対応情報と第二の対応情報とに基づいて、投影画像から入力画像への幾何変換量である第一の変換量を算出する。このとき算出される第一の変換量は、複数の撮像部１０１、１０２の撮像画像に基づいてそれぞれ算出される。そのため、撮像部／スクリーン較正や撮像部較正（カメラキャリブレーション）の誤差により第一の対応情報に誤差が含まれている場合、撮像領域の重複領域に対応する領域において第一の変換量は複数の値を持つ。
投影画像から入力画像への幾何変換量である第一の変換量が複数存在すると、投影部の投影画像の生成に際し、入力画像をもとに投影画像を一意に定めることができない。また、ある基準線を境に投影画像生成の基準となる撮像部を変更すると、上述した図１１（ｃ）に示すように、上記基準線（図１１（ｃ）では中心線１３４）において投影後の画像が破たんしてしまう。
【００４５】
これに対して本実施形態では、画像処理装置２００は、撮像領域の重複領域に対応する領域において、複数の第一の変換量を単一の変換量に変換した第二の変換量を算出する。具体的には、画像処理装置２００は、複数の第一の変換量を重み付け加算することで、第二の変換量を算出する。このとき、画像処理装置２００は、複数の第一の変換量を、重複領域の中心位置を基準として重み付け加算する。つまり、第二の変換量は、重複領域の中心位置からの距離に応じて変化し、画像処理装置２００は、投影画像から入力画像への幾何変換量が画像内においてなだらかに変化するように第二の変換量を算出することができる。
したがって、画像処理装置２００は、撮像部／スクリーン較正や撮像部較正（カメラキャリブレーション）に含まれる誤差が原因で発生する、撮像領域の重複領域における投影後の画像の破たんを適切に抑制することができる。
【００４６】
（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
上記第一の実施形態においては、撮像領域の重複領域に投影される投影画像の座標値に対して、第二の変換量を算出する場合について説明した。第二の実施形態では、重複領域の周辺領域に対応する領域に投影される投影画像の座標値に対しても、第二の変換量を算出する場合について説明する。
重複領域の大きさが小さい（横幅が狭い）場合、第一の実施形態のように重複領域において第二の変換量を算出し、投影画像を生成しても、観察者には画像が急激に変化しているように見える。つまり、観察者は、画像が破たんしているように感じてしまう。そこで、第二の実施形態では、重複領域の外側の領域に投影される投影画像の座標値についても第二の変換量を算出することにより、投影後の画像の破たんを抑制するようにする。以下、第二の実施形態について、上述した第一の実施形態とは異なる部分を中心に説明する。
【００４７】
まず、重複領域の大きさ（幅）が投影後の画像に及ぼす影響について、図１２を用いて説明する。
図１２は、入力画像に示すような１本の直線を投影した場合の、重複領域１３１の幅の違いによる投影後の画像の違いを示している。投影画像を補正せずに投影した場合（投影画像補正前）、重複領域１３１の幅の大きさにかかわらず、投影後の画像は１本の直線とはならず、画像が破たんする。ここで、投影画像補正前とは、重複領域１３１内の基準位置の左側の投影領域に投影する画像を撮像部１０１の対応情報をもとに生成し、基準位置の右側の投影領域に投影する画像を撮像部１０２の対応情報をもとに生成した場合の投影画像である。
【００４８】
図１２の投影画像補正後の画像は、上述した第一の実施形態における投影後の画像である。この場合、重複領域１３１の幅が大きい場合には、入力画像の直線に対応する線は傾いてはいるものの１本の線となっており、投影後の画像の破たんを最小限にとどめることができる。これに対して、重複領域１３１の幅が小さい場合には、入力画像の直線に対応する線が一本の線にはなっているものの、その傾きは大きく、小さな領域で急激に画像が変化している。つまり、投影後の画像の破たんを防げているとは言えない。このように、投影後の画像の破たんは、重複領域１３１の幅に大きく左右される。重複領域１３１の幅が十分に大きければ、重複領域１３１内に投影される投影画像の補正のみで、投影後の画像の破たんを抑制することができる。しかしながら、重複領域１３１の幅が小さい場合は、重複領域１３１の外側の領域に投影される投影画像についても補正が必要である。
【００４９】
上述した第一の実施形態では、第二の変換量算出部２２４ｃは、重複領域の幅にかかわらず、重複領域に対応する領域おいては、上記（３）式により入力画像の座標値（ｌｐｕ，ｌｐｖ）を算出した。これに対して、本実施形態では、第二の変換量算出部２２４ｃは、重複領域の幅に応じて、第二の変換量の算出方法を変更する。
具体的には、第二の変換量算出部２２４ｃは、重複領域１３１の幅の大きさが予め設定された閾値ｔｈｒｅｓｈ以上である場合には、第一の実施形態と同様に、上記（３）式により補正後の入力画像の座標値（ｌｐｕ，ｌｐｖ）を算出する。一方、第二の変換量算出部２２４ｃは、重複領域１３１の幅の大きさが上記閾値ｔｈｒｅｓｈ未満である場合には、下記（５）式により補正後の入力画像の座標値（ｌｐｕ，ｌｐｖ）を算出する。ここで、閾値ｔｈｒｅｓｈは、スクリーンの大きさ、観察者の視力、視聴環境、投影する画像の内容などによって決定される。この閾値ｔｈｒｅｓｈは、ユーザが状況に応じて決定してもよい。
【００５０】
【数３】
0006594170.tif 000004
【００５１】
上記（５）式において、（ｔｒｕ１，ｔｒｖ１）は、重複領域の左端における変換量、(ｔｒｕ２、ｔｒｖ２)は、重複領域の右端における変換量である。また、（ｌｐｕ＿１，ｌｐｖ＿１）は、撮像部１０１の撮像画像に基づいて算出した重複領域の左端の入力画像における座標値、（ｌｐｕ＿２，ｌｐｖ＿２）は、撮像部１０２の撮像画像に基づいて算出した重複領域の右端の入力画像における座標値である。さらに、（ｐｕ１，ｐｖ１）は、重複領域の左端の投影画像における座標値、（ｐｕ２，ｐｖ２）は、重複領域の右端の投影画像における座標値である。また、（ｌｐｕ，ｌｐｖ）は、最終的に求めたい入力画像における座標値であり、（ｐｕ，ｐｖ）は、投影画像の座標値である。（ｃｕ，ｃｖ）は、撮像画像における座標値であり、（ｃｅｎｔｅｒｕ，ｃｅｎｔｅｒｖ）は、重複領域１３１の中心位置の座標値である。また、上記（５）式において、ｃｕは、重複領域１３１の中心位置１３２の座標値ｃｅｎｔｅｒｕの算出基準とした撮像部の画像座標系における座標値であり、本実施形態では撮像部１０１の画像座標系における座標値ｃｕ＿１を用いる。
【００５２】
第二の変換量算出部２４４ｃは、上記（５）式を適用することにより、第二の変換量を算出する領域を重複領域１３１の周辺領域まで拡大し、拡大した所定領域において第二の変換量がなだらかに変化することを実現している。なお、第二の変換量の算出方法は上記に限定されず、撮像できていない領域の変換量を外挿法により推定し、推定した変換量を用いて第一の実施形態と同様に重み付け加算する方法を適用してもよい。
図１３は、本実施形態の効果を説明するための図である。図１３（ａ）〜（ｄ）は、重複領域１３１の幅が異なることを除いては、図１１（ａ）〜（ｄ）と同様である。
図１３（ｄ）に示すように、重複領域１３１においてのみ、投影後の画像の破たんを軽減するように投影画像を生成した場合、線に切れ目はなく、一本の線に補正することはできている。しかしながら、小さな領域で線の位置が急激に変化することになるため、観察者から見ると画像が破たんしているように見える。
【００５３】
これに対して、本実施形態では、重複領域１３１の外側の領域に対しても投影後の画像の破たんを軽減するように投影画像を生成する。本実施形態において、投影領域３２０に投影される画像を図１３（ｅ）に示す。重複領域１３１の外側の領域を含む補正領域１３５について補正を施すことにより、図１３（ｄ）に示す画像よりも画像の変化をなだらかにすることができている。このように、投影後の画像の破たんを最小限にとどめることができる。
以上のように、本実施形態では、画像処理装置２００は、重複領域の幅が閾値ｔｈｒｅｓｈ未満である場合、重複領域とその周辺の領域とを含む所定領域において、複数の第一の変換量に基づいて第二の変換量を算出する。ここで、上記所定領域は、重複領域を含む閾値ｔｈｒｅｓｈに相当する幅を有する領域である。これにより、画像処理装置２００は、より適切に投影後の画像の破たんを抑制することができる。
【００５４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５５】
１０１，１０２…撮像部、２００…画像処理装置、３０１〜３０３…投影部、２０５…表示制御部、２０６…撮像制御部、２１０…画像処理部、２２１…撮像データ取得部、２２２…入力／撮像画像対応情報取得部、２２３…投影／撮像画像対応情報算出部、２２４…投影画像補正部、２２４ａ…第一の変換量算出部、２２４ｂ…重複領域算出部、２２４ｃ…第二の変換量算出部、２２４ｄ…投影画像生成部
【図１】
0006594170.tif 000005
【図２】
0006594170.tif 000006
【図３】
0006594170.tif 000007
【図４】
0006594170.tif 000008
【図５】
0006594170.tif 000009
【図６】
0006594170.tif 000010
【図７】
0006594170.tif 000011
【図８】
0006594170.tif 000012
【図９】
0006594170.tif 000013
【図１０】
0006594170.tif 000014
【図１１】
0006594170.tif 000015
【図１２】
0006594170.tif 000016
【図１３】
0006594170.tif 000017