(57)【特許請求の範囲】
【請求項１】
複数の投影手段から複数の画像を同時に投影することで１枚の画像を表示する投影システムにおいて、前記複数の投影手段に接続される画像処理装置であって、
前記複数の投影手段から投影された複数の投影画像を、複数の撮像手段を有する撮像装置を用いて互いに異なる視点位置から撮像することによって得られた、複数の撮像画像を入力する入力手段と、
前記複数の撮像画像における、それぞれが前記複数の投影画像のうちの一つに対応する画像領域である複数の投影領域の中で、対応する投影画像よりも画素数が少ない投影領域が存在する場合に、前記複数の撮像画像を用いて、少なくとも前記対応する投影画像よりも画素数が少ない投影領域の解像度が向上した高解像度画像を生成する生成手段と、
前記複数の投影手段からの投影により表示される１枚の画像において、前記複数の投影手段から投影される各画像に対応する領域を示す領域情報を取得する取得手段と、
前記領域情報が示す各領域において、位置合わせの為の基準点を設定する設定手段と、
前記投影領域の中で、前記基準点に対応する点を検出する検出手段と、
前記高解像度画像に基づいて、前記複数の投影手段から投影される画像を変形させるための変形パラメータであって、前記複数の投影手段から投影される各画像が、前記領域情報が示す対応する領域にそれぞれ投影されるように、前記変形パラメータを決定する決定手段と
を有し、
前記決定手段は、前記検出手段により検出された点と、前記設定手段によって設定された前記基準点とが重なるように前記変形パラメータを決定する
ことを特徴とする画像処理装置。
【請求項２】
前記複数の撮像画像は、第一の投影手段から投影された第一の投影画像を複数の異なる視点位置から撮像した第一の撮像画像群と、前記第一の投影手段とは異なる第二の投影手段から投影された第二の投影画像を複数の異なる視点位置から撮像した第二の撮像画像群とを含み、
前記生成手段は、前記第一の撮像画像群を用いて第一の高解像度画像を生成し、前記第二の撮像画像群を用いて第二の高解像度画像を生成し、
前記決定手段は、前記第一の高解像度画像を用いて前記第一の投影手段に対応する第一の変形パラメータを決定し、前記第二の高解像度画像を用いて前記第二の投影手段に対応する第二の変形パラメータを決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、前記領域情報が示す各領域の四隅を前記基準点として設定し、
前記検出手段は、前記投影領域についてコーナー検出処理を行うことにより、前記基準点に対応する点を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記生成手段は、前記複数の撮像画像を用いて超解像処理を行うことにより、前記高解像度画像を生成することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記複数の撮像画像は、前記投影領域の画素数が対応する投影画像の画素数よりも大きい複数の望遠画像と、前記複数の望遠画像よりも画角が広い少なくとも一枚の広角画像とを含み、
前記広角画像における投影領域の画素数が対応する投影画像の画素数よりも大きい場合には、前記決定手段は前記広角画像を用いて前記変形パラメータを決定し、
前記広角画像における投影領域の画素数が対応する投影画像の画素数よりも小さい場合には、
前記生成手段は、前記複数の望遠画像をスティッチ合成することで前記高解像度画像を生成し、前記決定手段は、前記高解像度画像を用いて前記変形パラメータを決定する
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の画像処理装置と、該画像処理装置に接続された前記複数の投影手段とを有する投影システム。
【請求項７】
前記複数の投影手段は、前記決定手段によって決定された前記変形パラメータを用いて変形された画像を投影することで、１枚の画像を表示することを特徴とする請求項６に記載の投影システム。
【請求項８】
複数の投影手段から複数の画像を同時に投影することで１枚の画像を表示する投影システムにおいて、前記複数の投影手段に接続される画像処理装置によって実行される画像処理方法であって、
前記複数の投影手段から投影された複数の投影画像を、複数の撮像手段を有する撮像装置を用いて互いに異なる視点位置から撮像することによって得られた、複数の撮像画像を入力する入力工程と、
前記複数の撮像画像における、それぞれが前記複数の投影画像のうちの一つに対応する画像領域である複数の投影領域の中で、対応する投影画像よりも画素数が少ない投影領域が存在する場合に、前記複数の撮像画像を用いて、少なくとも前記対応する投影画像よりも画素数が少ない投影領域の解像度が向上した高解像度画像を生成する生成工程と、
前記複数の投影手段からの投影により表示される１枚の画像において、前記複数の投影手段から投影される各画像に対応する領域を示す領域情報を取得する取得工程と、
前記領域情報が示す各領域において、位置合わせの為の基準点を設定する設定工程と、
前記投影領域の中で、前記基準点に対応する点を検出する検出工程と、
前記高解像度画像に基づいて、前記複数の投影手段から投影される画像を変形させるための変形パラメータであって、前記複数の投影手段から投影される各画像が、前記領域情報が示す対応する領域にそれぞれ投影されるように、前記変形パラメータを決定する決定工程と
を含み、
前記決定工程では、前記検出工程で検出された点と、前記設定工程で設定された前記基準点とが重なるように前記変形パラメータを決定する
むことを特徴とする画像処理方法。
【請求項９】
コンピュータを請求項１乃至５のいずれか一項に記載の画像処理装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像投影装置により単一画像を投影する画像投影システムに関する。
【背景技術】
【０００２】
従来、複数のプロジェクタから互いに異なる投影領域に画像を投影し、これらの投影画像をつなぎ合わせることで単一の画像を表示する方法が提案されている（例えば、特許文献１、２）。特許文献１では、投影領域が重複するように配置した複数のプロジェクタから校正用パターンを投影し、それらを基に投影画像に幾何補正等の補正処理を施すことにより、各投影画像を簡便につなぎ合わせている。特許文献２では、重複領域の輝度を空間周波数に応じて補正することにより、重複領域の位置ずれによる解像感の劣化を抑制している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００５−５００７５６号公報
【特許文献２】特開２００９−２６０９３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、複数のプロジェクタによって構成される表示領域の画面解像度に対してカメラのセンサ画素数が小さい場合に、投影画像間の位置ずれが大きくなり重畳領域の解像感が損なわれるという課題があった。また、特許文献２では、そもそも位置ずれ自体を軽減できず、特に高周波成分を含む画像を表示した際に解像感が損なわれるという課題があった。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、複数の投影手段から複数の画像を同時に投影することで１枚の画像を表示する投影システムにおいて、前記複数の投影手段に接続される画像処理装置であって、前記複数の投影手段から投影された複数の投影画像を、複数の撮像手段を有する撮像装置を用いて互いに異なる視点位置から撮像することによって得られた、複数の撮像画像を入力する入力手段と、前記複数の撮像画像における、それぞれが前記複数の投影画像のうちの一つに対応する画像領域である複数の投影領域の中で、対応する投影画像よりも画素数が少ない投影領域が存在する場合に、前記複数の撮像画像を用いて、少なくとも前記対応する投影画像よりも画素数が少ない投影領域の解像度が向上した高解像度画像を生成する生成手段と、前記複数の投影手段からの投影により表示される１枚の画像において、前記複数の投影手段から投影される各画像に対応する領域を示す領域情報を取得する取得手段と、前記領域情報が示す各領域において、位置合わせの為の基準点を設定する設定手段と、前記投影領域の中で、前記基準点に対応する点を検出する検出手段と、前記高解像度画像に基づいて、前記複数の投影手段から投影される画像を変形させるための変形パラメータであって、前記複数の投影手段から投影される各画像が、前記領域情報が示す対応する領域にそれぞれ投影されるように、前記変形パラメータを決定する決定手段とを有し、前記決定手段は、前記検出手段により検出された点と、前記設定手段によって設定された前記基準点とが重なるように前記変形パラメータを決定することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、複数のプロジェクタを用いて単一の画像を表示する際に、投影画像間の位置ずれを抑制しつつ解像感を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】実施例１に係る画像処理装置のシステム構成の一例を示す図である。
【図２】実施例１に係る複数の撮像部を備えた多眼方式による撮像装置の一例を示す図である。
【図３】実施例１において、撮像装置で撮像した画像データを基に、複数のプロジェクタの投影領域をつなぎ合わせた単一の画像を表示する様子を示す図である。
【図４】実施例１に係る画像処理装置の機能構成図である。
【図５】実施例１に係る画像処理装置における画像処理の流れを示すフローチャートである。
【図６】幾何補正用画像の一例を示す図であり、（ａ）は無地の白画像、（ｂ）は格子模様の格子画像である。
【図７】撮像画像データの一例を示す図である。
【図８】補正係数算出用画像生成処理の流れを示すフローチャートである。
【図９】各投影領域の画素数を算出する過程を示す図である。
【図１０】実施例１における高解像度化処理を説明する図である。
【図１１】補正係数算出処理の流れを示すフローチャートである。
【図１２】表示領域と表示用画像との対応関係を示す図である。
【図１３】高解像度画像と部分画像との対応関係を示す図である。
【図１４】画像補正処理の流れを示すフローチャートである。
【図１５】表示用画像と部分画像の対応関係を示す図である
【図１６】実施例２に係る複数の撮像部を備えた多眼方式による撮像装置の一例を示す図である。
【図１７】実施例２において、撮像装置で撮像した画像データを基に、複数のプロジェクタの投影領域をつなぎ合わせた単一の画像を表示する様子を示す図である。
【図１８】撮像画像データの一例を示す図である。
【図１９】実施例２における高解像度化処理を説明する図である。
【発明を実施するための形態】
【０００８】
（実施例１）
まず、本実施例に係る画像処理装置のシステム構成例について説明する。
【０００９】
図１は、本実施例に係る画像処理装置１００のシステム構成の一例を示す図である。同図において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１８を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。
【００１０】
ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。
【００１１】
ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータの読み出し、およびＨＤＤ１０５へのデータの書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そしてＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。
【００１２】
撮像インタフェイス（Ｉ／Ｆ）１０６は、複数の撮像部（カメラユニット）を備えた撮像装置１０７を接続する、例えばＵＳＢやＩＥＥE１３９４などのシリアルバスインタフェイスである。ＣＰＵ１０１は、撮像Ｉ／Ｆ１０６を介して撮像装置１０７を制御し、撮像を行うことが可能である。さらに、ＣＰＵ１０１は、撮像Ｉ／Ｆ１０６を介して撮像装置１０７から撮像したデータを読み込むことが可能である。
【００１３】
入力インタフェイス（Ｉ／Ｆ）１０８は、キーボードやマウスなどの入力デバイス１０９を接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０８を介して入力デバイス１０９からデータを読み込むことが可能である。
【００１４】
出力インタフェイス（Ｉ／Ｆ）１１０〜１１３は、画像をスクリーンなどに投影することにより表示する画像投影装置（プロジェクタ）１１４〜１１７を接続する、例えばＤＶＩやＨＤＭＩ等の映像出力インタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１１０〜１１３を介してプロジェクタ１１４〜１１７にデータを送り、表示を実行させることができる。
【００１５】
図２は、実施例１に係る、複数の撮像部を備えた多眼方式による撮像装置１０７の一例を示した図である。撮像装置１０７には、画像を撮像する９個の撮像部２０１〜２０９を備えている。９個の撮像部は、正方格子上に均等に配置されている。
【００１６】
撮像の指示を受けると、撮像部２０１〜２０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数の画像（デジタルデータ）が同時に取得される。
【００１７】
このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像した画像データ（多視点画像データ）を得ることができる。
【００１８】
なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されない。また、ここでは９個の撮像部が正方格子上に均等に配置される例について説明したが、各撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。
【００１９】
さらに、上述のような複数の撮像部を備えた撮像装置を用いる代わりに、一つの撮像部を有する撮像装置を用いて撮像位置を変えながら複数回撮像することで、多視点画像データを得るようにしてもよい。
【００２０】
本実施例では、図２に示す撮像装置１０７で同時に撮像した画像データを基に、４個のプロジェクタ１１４〜１１７の投影領域をつなぎ合わせて後述の表示領域を構成し、単一の画像を表示する場合について説明する。図３は、撮像装置１０７で同時に撮像した画像データを基に、複数のプロジェクタの投影領域をつなぎ合わせた単一の画像を表示する様子を示す図である。異なる３種類の破線でそれぞれ示された３つの矩形領域３０１〜３０３は、撮像装置１０７における複数の撮像部のうちの３つの撮像部についての撮像範囲をそれぞれ示している。すなわち、撮像範囲３０１は撮像部２０４に、撮像範囲３０２は撮像部２０５に、撮像範囲３０３は撮像部２０６にそれぞれ対応している。スクリーン３０４にはプロジェクタ１１４〜１１７による４つの投影領域３０５〜３０８が部分的に重複するように投影されている。そして、斜線で示された領域３０９は表示領域であり、ここに４つの投影領域３０５〜３０８がつなぎ合わされて表示される。
【００２１】
この際、一の撮像部（個眼）で撮像した画像上において、投影領域に対応する画素数が各プロジェクタ１１４〜１１７の画面解像度よりも小さい場合は、複数の撮像部で撮像した画像を基に投影領域をつなぎ合わせるための処理を行う。なお、撮像部２０１〜２０９は全て同じ画角及びセンサ画素数であり、かつスクリーン３０４に正対しているものとする。
【００２２】
また、プロジェクタの数は４つに限定されるものではなく、例えば６つや９つ等、任意の数で構わないことは言うまでもない。
【００２３】
図４は、本実施例に係る画像処理装置１００の機能構成図である。この図４に示される構成は、画像処理アプリケーションソフトウェアとして実現される。すなわち、ＣＰＵ１０１がＨＤＤ１０５等に格納された各種ソフトウェア（コンピュータプログラム）を実行することで実現される。
【００２４】
画像処理装置１００は、校正用パターン画像の画像データ、撮像パラメータ、プロジェクタ情報および表示用画像の画像データを入力デバイス１０９あるいはＨＤＤ１０５等の記憶装置から取得する。撮像パラメータには、各撮像部２０１〜２０９の露光時間やＩＳＯ感度等の撮像条件を含む。そして、プロジェクタ情報には、プロジェクタ１１４〜１１７の画面解像度の情報を含む。
【００２５】
撮像装置制御部４０１は、取得された撮像パラメータに含まれる撮像条件に基づき、撮像装置１０７に対して撮像命令を送る。撮像装置１０７は受け取った撮像命令に基づき撮像を行うと、撮像された画像データが撮像Ｉ／Ｆ１０６を介して補正係数算出用画像生成部４０２に送られる。
【００２６】
補正係数算出用画像生成部４０２は、取得されたプロジェクタ情報に含まれるプロジェクタの画面解像度と撮像装置１０７から受け取った撮像画像データに基づき、補正係数算出用画像データを生成する。生成された補正係数算出用画像データは補正係数算出部４０３に送られる。
【００２７】
補正係数算出部４０３は、受け取った補正係数算出用画像データに基づいて、表示用画像に対して幾何補正を施すために必要な補正係数を算出する。算出された補正係数は画像補正部４０４に送られる。
【００２８】
画像補正部４０４は、取得された表示用画像データに幾何補正処理を施し、補正画像データを生成する。生成された補正画像データは画像出力部４０５に送られる。
【００２９】
画像出力部４０５は、校正用パターン画像データおよび補正画像データを出力Ｉ／Ｆ１１０〜１１３を介してプロジェクタ１１４〜１１７に出力する。
【００３０】
図５は、本実施例に係る画像処理装置１００における画像処理の流れを示すフローチャートである。実際には、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３あるいはＨＤＤ１０５からＲＡＭ１０２上に読み込んだ後に、ＣＰＵ１０１によって該プログラムを実行することによって当該処理が実行される。
【００３１】
ステップ５０１において、画像処理装置１００は、校正用パターン画像としての幾何補正用画像の画像データ、撮像パラメータ、プロジェクタ情報、表示用画像の画像データを取得する。図６は、幾何補正用画像の一例を示す図であり、（ａ）は無地の白画像、（ｂ）は格子模様の格子画像である。以下では、（ａ）の白画像を幾何補正用画像に採用した場合を例に説明するものとする。
【００３２】
ステップ５０２において、画像出力部４０５は、取得した校正用パターン画像の画像データをプロジェクタ１１４〜１１７に出力する。これを受けて各プロジェクタ１１４〜１１７は、スクリーン３０４に校正用パターン画像（白画像）を投影する。
【００３３】
ステップ５０３において、撮像装置制御部４０１は、撮像命令を撮像装置１０７に与え、撮像装置１０７から撮像画像（スクリーンに投影された白画像を撮像した画像）のデータを取得する。この際、プロジェクタ１１４〜１１７の全投影状態と、プロジェクタ毎の個別の投影状態の２種類の撮像画像データを取得する。図７は、本ステップで取得される撮像画像データの一例を示す図である。画像セット０は、白画像が全てのプロジェクタによってスクリーン３０４に投影された状態を撮像した画像の組である。画像セット１〜画像セット４は、白画像が個別のプロジェクタによってスクリーン３０４に投影された状態を撮像した画像の組である。画像セット１はプロジェクタ１１４に、画像セット２はプロジェクタ１１５に、画像セット３はプロジェクタ１１６に、画像セット４はプロジェクタ１１７にそれぞれ対応する。そして、いずれの画像セットも、撮像部２０１〜２０９に対応した計９枚の画像を含んでいる。
【００３４】
ステップ５０４において、補正係数算出用画像生成部４０２は、ステップ５０１で取得したプロジェクタ情報及びステップ５０３で取得した撮像画像データを基に、補正係数算出用画像データを生成する。具体的には、まず、プロジェクタ情報に含まれる各プロジェクタの画面解像度と、撮像画像の各プロジェクタの投影領域における画素数とを比較する。比較の結果、プロジェクタの画面解像度の方が小さい場合は、撮像画像に含まれる画像のうち撮像部２０５で撮像した画像を補正係数算出用画像とする。逆に、プロジェクタの画面解像度の方が大きい場合は、撮像部２０１〜２０９で撮像した複数の画像を用いて高解像度処理を行って補正係数算出用画像を生成する。この補正係数算出用画像生成処理の詳細については後述する。
【００３５】
ステップ５０５において、補正係数算出部４０３は、生成された補正係数算出用画像データを基に、表示用画像への幾何補正処理の際に使用する補正係数を算出する。補正係数算出処理の詳細については後述する。
【００３６】
ステップ５０６において、画像補正部４０４は、生成された補正係数を用いて表示用画像に対し幾何補正処理を施し、プロジェクタ１１４〜１１７で投影するための補正画像データを生成する。この補正処理の詳細については後述する。
【００３７】
ステップ５０７において、画像出力部４０５は、生成された補正画像データをプロジェクタ１１４〜１１７に出力する。これを受けて各プロジェクタ１１４〜１１７は、スクリーン３０４に補正画像を投影する。
【００３８】
以上の処理により、表示用画像データが、複数のプロジェクタ１１４〜１１７によって単一の画像として投影される。
【００３９】
＜補正係数算出用画像生成処理＞
図８は、補正係数算出用画像生成処理の流れを示すフローチャートである。
【００４０】
ステップ８０１において、補正係数算出用画像生成部４０２は、撮像画像のデータを受け取る。
【００４１】
ステップ８０２において、補正係数算出用画像生成部４０２は、プロジェクタ情報より、各プロジェクタ１１４〜１１７の画面解像度を取得する。画面解像度の情報は、例えば、１９２０×１０８０など、幅：Ｗの画素の数と高さ：Ｈの画素の数で与えられる。
【００４２】
ステップ８０３において、補正係数算出用画像生成部４０２は、受け取った撮像画像データからプロジェクタ１１４〜１１７の投影領域をそれぞれ検出し、各投影領域の画素数を算出する。この画素数算出処理では、撮像画像データ内の画像セット１〜４に各々含まれる所定の撮像部（ここでは、撮像部２０５とする。）で撮像された４枚の画像を使用する。なお、これら４枚の画像を、プロジェクタ１１４〜１１７の順にそれぞれ投影領域検出用画像１〜投影領域検出用画像４と便宜的に呼ぶこととする。図９は、各投影領域の画素数を算出する過程を示す図である。最初に、投影領域検出用画像１〜４に対して閾値処理による二値化を行う。これにより、投影領域検出用画像１〜４の画素値が輝度値に変換される。そして、予め設定しておいた閾値thと、投影領域検出用画像１〜４の各画素における輝度値とを比較し、輝度値が閾値th以上の画素を投影領域、輝度値が閾値thより小さい画素をその他の領域とし、それぞれ異なるラベル値を与えた二値画像１〜４を生成する。そして、二値画像１〜４に含まれる投影領域の画素数をそれぞれカウントする。Ｔ１〜Ｔ４は、カウントされた画素数を表す。
【００４３】
ステップ８０４において、補正係数算出用画像生成部４０２は、ステップ８０２で取得したプロジェクタ１１４〜１１７の画面解像度から求められる画素数とステップ８０３で取得した各投影領域の画素数とを比較する。具体的には、まず、画面解像度のＷとＨとの積を求め、求められた値をＳとする（Ｗ×Ｈ＝Ｓ）。そして、得られた値ＳとＴ１〜Ｔ４とを比較する。その結果、画面解像度から求められる画素数Sが、各投影領域の画素数Ｔ１〜Ｔ４のいずれか１つよりも大きい場合はステップ８０５へ進む。一方、画面解像度から求められる画素数Sが、どのＴ１〜Ｔ４よりも小さい場合は、撮像画像データ内の各画像セットに含まれる所定の撮像部で撮像した画像（例えば、撮像部２０５で撮像した画像）を補正係数算出用画像に決定しステップ８０６に進む。
【００４４】
ステップ８０５において、補正係数算出用画像生成部４０２は、撮像画像を基に高解像度化処理（本実施例では超解像処理）を行い、補正係数算出用画像を生成する。図１０は、本実施例における高解像度化処理の様子を説明する図である。図１０に示すように、画像セット０〜４に対しそれぞれ超解像処理を施し、高解像度画像０〜４を生成する。超解像処理としては、ＭＡＰ(Ｍａｘｉｍｕｍ  Ａ  Ｐｏｓｔｅｒｉｏｒ)法やＩＢＰ（Ｉｔｅｒａｔｉｖｅ  Ｂａｃｋ  Ｐｒｏｊｅｃｔｉｏｎ）法などの既存の方法が適用可能である。以下、ＭＡＰ法を用いて画像セット０から高解像度画像０を生成する場合について述べる。ＭＡＰ法は、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。具体的には、下記に示す式（１）に従い高解像度画像に対するある先見情報と画像間の位置ずれを表すパラメータを利用し、事後確率を最大化する最適問題として高解像度画像の推定を行う。
【００４５】
【数１】
0005955003.tif 000002
【００４６】
ここで、Ｘは高解像度画像０、Ykは画像セット０に含まれる画像データである。Ｄはあらかじめ設定しておいたダウンサンプリング処理を表す行列である。Ｂはあらかじめ設定しておいたＰＳＦによる劣化処理を行う行列である。Ｍは画像データ間の位置ずれを表す行列であり、撮像部２０５で撮像した画像を基準に他の画像の位置ずれ量を推定することで求める。Ｃは推定された高解像度画像０に適用される線形フィルタを表す行列であり、例えばラプラシアンフィルタ等が適用できる。σは画像セット０に含まれる画像データのノイズ量の標準偏差、αは平滑化度合いを調整するパラメータである。式（１）に示す最小化問題を最急降下法を用いて解くことで、画像セット０に含まれる画像データから高解像度画像０を推定する。このような超解像処理を画像セット０〜４にそれぞれ施して生成された高解像度画像０〜４が、補正係数算出用画像となる。
【００４７】
ステップ８０６において、補正係数算出用画像生成部４０２は、生成された補正係数算出用画像データを補正係数算出部４０３に出力し、本処理を終了する。
【００４８】
なお、上記ステップ８０４においては、プロジェクタ１１４〜１１７の画面解像度から求められる画素数と投影領域の画素数との比較を行った。しかし、例えば、投影領域に外接する矩形を検出しその幅Ｗ’および高さＨ’を画面解像度のＷおよびＨと比較するなどの方法でも構わない。
【００４９】
また、プロジェクタ１１４〜１１７の画面解像度（画素数）と投影領域の画素数との関係が予め分かっていれば、その情報をＨＤＤ１０５等に記憶しておき、ステップ８０２〜ステップ８０４のステップを省くようにしてもよい。
【００５０】
＜補正係数算出処理＞
図１１は、補正係数算出処理の流れを示すフローチャートである。
【００５１】
ステップ１１０１において、補正係数算出部４０３は、補正係数算出用画像のデータを受け取る。なお、以下の説明では、補正係数算出用画像データとして高解像度画像０〜４の画像データが含まれるものとして説明する。
【００５２】
ステップ１１０２において、補正係数算出部４０３は、表示用画像を投影する表示領域を決定する。具体的には、受け取った高解像度画像データのうち高解像度画像０をユーザが参照しながら、表示領域となる矩形領域をマウス等で指定する。そして、当該指定された領域が表示領域に設定される。この場合において、設定される表示領域のアスペクト比は表示用画像と同一にする。ここで、図１２に示すように表示領域の四隅の画素をそれぞれＰ００〜P０３とし、このＰ００〜P０３に対応する表示用画像の四隅の画素をそれぞれＱ００〜Ｑ０３とする。
【００５３】
ステップ１１０３において、補正係数算出部４０３は、表示用画像と高解像度画像０との間の補正係数（幾何変換係数）を、ステップ１１０２で設定された表示領域の四隅Ｐ００〜Ｐ０３および表示用画像の四隅Ｑ００〜Ｑ０３を用いて算出する。算出される幾何変換係数が、図１２において、ａ00〜ａ07で示されている。以下、幾何変換係数の算出方法について述べる。
【００５４】
表示用画像内の画素を（ｘ、ｙ）、高解像度画像０内の画素を（ｘ”、ｙ”）としたとき、ａ00〜ａ07、ｘ、ｙ、ｘ”、ｙ”、の関係は式（２）で表すことができる。
【００５５】
【数２】
0005955003.tif 000003
【００５６】
式（２）を展開し、高解像度画像０の四隅の画素Ｐ００〜Ｐ０３の座標と、Ｐ００〜Ｐ０３に対応する表示用画像の四隅の画素Ｑ００〜Ｑ０３の座標を用いることで、式（３）の連立方程式を導くことができる。
【００５７】
【数３】
0005955003.tif 000004
【００５８】
ここで、Ｐ００〜Ｐ０３の座標をそれぞれ（ｘ0、ｙ0）〜（ｘ3、ｙ3）、Ｑ００〜Ｑ０３の座標をそれぞれ（ｘ”0、ｙ”0）〜（ｘ”3、ｙ”3）とする。この式（３）で示される連立方程式を解くことによって幾何変換係数ａ00〜ａ07が算出される。
【００５９】
ステップ１１０４において、補正係数算出部４０３は、高解像度画像１〜４と補正画像との間の幾何変換係数を算出する。ここで、補正画像データは、プロジェクタ１１４〜１１７で各々投影される部分画像データ（部分画像ｍ、ｍ＝１〜４  以下、同じ。）からなる。算出される幾何変換係数が、図１３において、ａm0〜ａm7（ａ10〜ａ17、ａ20〜ａ27、ａ30〜ａ37、ａ40〜ａ47）で示されている。以下、算出方法について述べる。
【００６０】
まず、高解像度画像１〜４のそれぞれに対してコーナー検出処理を施し、部分画像１〜４の四隅の画素Ｐｍ０〜Ｐｍ３に対応する高解像度画像１〜４の四隅の画素Ｑｍ０〜Ｑｍ３を検出する（図１３参照）。以下、これらの対応する画素の座標を用いてステップ１１０３と同様に４組の幾何変換係数ａm0〜ａm7を算出する。高解像度画像１〜４内の画素を（ｘ”、ｙ”）、部分画像１〜４内の画素を（ｘ’、ｙ’）、としたときａm0〜ａ07、ｘ”、ｙ”、ｘ’、ｙ’の関係は式（４）で表すことができる。
【００６１】
【数４】
0005955003.tif 000005
【００６２】
式（４）を展開し、部分画像１〜４の四隅の画素Ｐｍ０〜Ｐｍ３の座標と、Ｐｍ０〜Ｐｍ３に対応する高解像度画像１〜４の画素Ｑｍ０〜Ｑｍ３の座標を用いることで、式（５）の連立方程式を導くことができる。
【００６３】
【数５】
0005955003.tif 000006
【００６４】
ここで、Ｐｍ０〜Ｐｍ３の座標をそれぞれ（ｘ”0、ｙ”0）〜（ｘ”3、ｙ”3）、Ｑ00〜Ｑ03の座標をそれぞれ（ｘ’0、ｙ’0）〜（ｘ’3、ｙ’3）とする。この式（５）で示される連立方程式を解くことによって幾何変換係数ａm0〜ａm7が算出される。
【００６５】
ステップ１１０５において、補正係数算出部４０３は、ステップ１１０３及びステップ１１０４で各々算出された幾何変換係数ａ00〜ａ07とａm0〜m7（ａ10〜ａ17、ａ20〜ａ27、ａ30〜ａ37、ａ40〜ａ47）を補正係数として出力する。
【００６６】
なお、本実施例では、ステップ１１０２においてユーザの手動による指定に基づいて表示領域を設定することとしたが、表示領域の設定方法はこれに限るものではない。例えば、高解像度画像０からプロジェクタ１１４〜１１７による投影領域を検出し、検出された投影領域に内接するように表示領域を自動で設定してもよい。
【００６７】
＜画像補正処理＞
図１４は、画像補正処理の流れを示すフローチャートである。
【００６８】
ステップ１４０１において、画像補正部４０４は、表示用画像のデータを受け取る。
【００６９】
ステップ１４０２において、画像補正部４０４は、補正係数算出部４０３から補正係数を取得する。
【００７０】
ステップ１４０３において、画像補正部４０４は、処理対象とする画像を選択する。処理開始直後の時点では、初期化処理により、処理対象画像として部分画像１が選択される。
【００７１】
ステップ１４０４において、画像補正部４０４は、選択された処理対象画像における処理対象画素｛座標：（ｘ’、ｙ’）｝を選択する。処理開始直後の時点では、初期化処理により、（０，０）が座標の初期値として選択される。
【００７２】
ステップ１４０５において、画像補正部４０４は、取得した補正係数（幾何変換係数）を用いて処理対象画素に対応する表示用画像上の画素｛座標：（ｘ、ｙ）｝を算出する。この際、図１５に示すように、幾何変換係数ａ00〜07および幾何変換係数（ａ10〜ａ17、ａ20〜ａ27、ａ30〜ａ37、ａ40〜ａ47）のうち処理対象画像に対応したものを用いて算出処理を行う。例えば、処理対象画像として部分画像１が選択されている場合であれば、まず、幾何変換係数ａ10〜ａ17を用いて選択された処理対象画素に対応する処理対象画像上の座標（ｘ”、ｙ”）を式（４）に従って算出する。その後、幾何変換係数ａ00〜07を用いて、算出された座標（ｘ”、ｙ”）に対応する表示用画像上の座標（ｘ、ｙ）を式（２）に従って算出する。
【００７３】
ステップ１４０６において、画像補正部４０４は、算出した表示用画像上の座標（ｘ、ｙ）に対応する画素値を算出し、選択された処理対象画素｛座標：（ｘ’、ｙ’）｝の画素値とする。
【００７４】
ステップ１４０７において、画像補正部４０４は、処理対象画像内のすべての画素について画素値が算出されたかどうかを判定する。算出されていない画素がある場合はステップ１４０４へ戻り、次の画素が選択される。一方、すべての画素について画素値が算出されていれば、ステップ１４０８へ進む。
【００７５】
ステップ１４０８において、画像補正部４０４は、すべての部分画像１〜４について処理が終了したかどうかを判定する。未処理の部分画像があれば、ステップ１４０３へ戻り、次の部分画像を処理対象画像に選択する。一方、すべての部分画像について処理が終了していれば、ステップ１４０９へ進む。
【００７６】
ステップ１４０９において、画像補正部４０４は、幾何補正処理のされた部分画像１〜４の画像データを画像出力部４０５に出力する。
【００７７】
そして、幾何補正処理のされた部分画像１〜４がプロジェクタ１１４〜１１７によってスクリーン３０４に投影される。
【００７８】
このように本実施例によれば、複数のプロジェクタによって投影される画像をつなぎ合わせて単一の画像を表示する際に、各画像に対し適切な補正がなされる。その結果、投影画像間の位置ずれを抑制し解像感を向上させることができる。
【００７９】
（実施例２）
実施例１では、画角の等しい撮像部を複数備えた撮像装置を用いて、スクリーンに投影された校正用パターン画像を撮像する態様について説明した。次に、画角の異なる撮像部を複数備えた撮像装置を使用する態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【００８０】
図１６は、実施例２に係る、複数の撮像部を備えた多眼方式による撮像装置１６１０の一例を示した図である。本実施例に係る撮像装置１６１０は、二種類の撮像部で構成される。１つは中央に位置する撮像部１６０１であり、もう１つはその周囲を囲むように配置される撮像部１６０２〜１６０９である。撮像部１６０１と撮像部１６０２〜１６０９とでは焦点距離が異なり、後者の焦点距離の方が長い。そのため、図１７に示すように撮像部１６０２〜１６０９による撮像範囲は、撮像部１６０１による撮像範囲と比較して小さくなる。
【００８１】
図１８は、本実施例に係る撮像装置１６１０によって、スクリーンに投影された校正用パターン画像を撮像した撮像画像データの一例を示す図である。実施例１と同様、画像セット０は全てのプロジェクタによって投影された状態を撮像した画像の組であり、画像セット１〜画像セット４は、それぞれ別個のプロジェクタによって投影された状態を撮像した画像の組である。そして、画像セット１〜４はプロジェクタ１１４〜１１７にそれぞれ対応しており、いずれの画像セットも、撮像部１６０１〜１６０９に対応した計９枚の画像が含まれている。
【００８２】
上記のような撮像画像データが得られる本実施例では、実施例１と比較し、図８のフローチャートのステップ８０５で行う高解像度化処理の内容が異なってくる。以下、本実施例における高解像度化処理について説明する。
【００８３】
本実施例におけるステップＳ７０５では、撮像画像データ１８０１に含まれる画像セット０〜４にそれぞれスティッチ処理を施すことにより、図１９に示されるような高解像度画像０〜４からなる画像データを生成する。スティッチ処理としては、例えば以下に述べる方法が適用可能である。まず、各画像セット中の撮像部１６０２〜１６０９で撮像された画像と、それらの画像に対応する撮像部１６０１で撮像された画像内の領域との差分を算出する。そして、算出された差分に応じた補正処理を撮像部１６０２〜１６０９で撮像された画像に対して実行する。最後に、補正後の各画像を合成し、高解像度画像を生成する。なお、スティッチ処理の他の方法として、撮像画像内から抽出した特徴点をマッチングさせることにより画像をつなぎ合わせる方法なども適用可能である。
【００８４】
上記のような処理を図１９で示される画像セット０〜４にそれぞれ施すことにより、高解像度画像０〜４が生成され、それらが補正計数算出用画像として、補正計数算出部４０３に出力される。
【００８５】
その余の処理は、実施例1と同じであるので、以降の説明は省略する。
【図１】
0005955003.tif 000007
【図２】
0005955003.tif 000008
【図３】
0005955003.tif 000009
【図４】
0005955003.tif 000010
【図５】
0005955003.tif 000011
【図６】
0005955003.tif 000012
【図７】
0005955003.tif 000013
【図８】
0005955003.tif 000014
【図９】
0005955003.tif 000015
【図１０】
0005955003.tif 000016
【図１１】
0005955003.tif 000017
【図１２】
0005955003.tif 000018
【図１３】
0005955003.tif 000019
【図１４】
0005955003.tif 000020
【図１５】
0005955003.tif 000021
【図１６】
0005955003.tif 000022
【図１７】
0005955003.tif 000023
【図１８】
0005955003.tif 000024
【図１９】
0005955003.tif 000025