(57)【要約】【課題】違和感の少ないタイル表示用の画像を簡単に生成できるようにする。【解決手段】投影状態検知部２０３は、複数の投影装置からそれぞれ投影される画像の投影画面の情報を投影画面撮影装置から取得する。そして、取得された各投影画面の情報から、前記各投影画面の位置及び形状を検知する。次に、投影画面設定部２０４は、この検知結果に基づいて、投影画面間における所定の幅からなる隙間領域を取り除いて前記各投影画面の間隔を調整する。そして、画像補正算出部２０５は、調整された間隔における各投影画面の位置と、前記複数の投影装置から投影する投影画像の位置との関係を算出する。【選択図】図２
2012113244.tif 000002
【特許請求の範囲】
【請求項１】
複数の投影装置からそれぞれ投影される画像の投影画面の情報を取得する取得手段と、
前記取得手段により取得された各投影画面の情報から、前記各投影画面の位置及び形状を検知する検知手段と、
前記検知手段の検知結果に基づいて、前記投影画面間における所定の幅からなる隙間領域を取り除いて前記各投影画面の間隔を調整する調整手段と、
前記調整手段により調整された間隔における前記各投影画面の位置と、前記複数の投影装置から投影する投影画像の位置との関係を算出する算出手段と、
前記算出手段によって算出された関係に従って、前記複数の投影装置から投影する投影画像を補正する補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記調整手段は、前記投影画面間の距離に応じて、前記所定の幅を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、前記投影画像を回転させることによって補正することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記算出手段は、前記各投影画面の面積が最大になるように前記投影画像の位置との関係を算出することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記検知手段は、前記各投影画面の四隅の位置を検知することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
複数の投影装置からそれぞれ投影される画像の投影画面の情報を取得する取得工程と、
前記取得工程において取得された各投影画面の情報から、前記各投影画面の位置及び形状を検知する検知工程と、
前記検知工程における検知結果に基づいて、前記投影画面間における所定の幅からなる隙間領域を取り除いて前記各投影画面の間隔を調整する調整工程と、
前記調整工程において調整された間隔における前記各投影画面の位置と、前記複数の投影装置から投影する投影画像の位置との関係を算出する算出工程と、
前記算出工程において算出された関係に従って、前記複数の投影装置から投影する投影画像を補正する補正工程とを有することを特徴とする画像処理方法。
【請求項７】
複数の投影装置からそれぞれ投影される画像の投影画面の情報を取得する取得工程と、
前記取得工程において取得された各投影画面の情報から、前記各投影画面の位置及び形状を検知する検知工程と、
前記検知工程における検知結果に基づいて、前記投影画面間における所定の幅からなる隙間領域を取り除いて前記各投影画面の間隔を調整する調整工程と、
前記調整工程において調整された間隔における前記各投影画面の位置と、前記複数の投影装置から投影する投影画像の位置との関係を算出する算出工程と、
前記算出工程において算出された関係に従って、前記複数の投影装置から投影する投影画像を補正する補正工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、複数の投影装置から投影して画像をタイル表示するために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、投影装置を複数台用いてタイル表示する場合に、境界が目立たないように表示する技術として、オーバーラップ領域を設け、オーバーラップ領域で接続が目立たないようにする画像処理技術が知られている。例えば特許文献１には、投影画面を撮影してオーバーラップ領域を検出し、投影画面の位置を調整する技術が開示されており、例えば特許文献２には、同様にオーバーラップ領域の位置ずれ量を検出する技術が開示されている。また、例えば特許文献３には、オーバーラップ領域に表示される画像の歪みなどを補正する技術も開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−４３２７４号公報
【特許文献２】特開２００７−１５８３９８号公報
【特許文献３】特開２００６−１４３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術において違和感の少ない画像をスクリーン等に表示するためには、オーバーラップ領域を正確に検知し、オーバーラップ領域の輝度補正、色度補正などの各種画像処理を正確に行う必要がある。そのため、処理が複雑になり演算するためのコストが高くなるという課題がある。
【０００５】
本発明は前述の問題点に鑑み、違和感の少ないタイル表示用の画像を簡単に生成できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、複数の投影装置からそれぞれ投影される画像の投影画面の情報を取得する取得手段と、前記取得手段により取得された各投影画面の情報から、前記各投影画面の位置及び形状を検知する検知手段と、前記検知手段の検知結果に基づいて、前記投影画面間における所定の幅からなる隙間領域を取り除いて前記各投影画面の間隔を調整する調整手段と、前記調整手段により調整された間隔における前記各投影画面の位置と、前記複数の投影装置から投影する投影画像の位置との関係を算出する算出手段と、前記算出手段によって算出された関係に従って、前記複数の投影装置から投影する投影画像を補正する補正手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、高精度な画像処理が不要となり、安価な構成により違和感の少ない画像を簡単にタイル表示することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像投影システムの全体構成例を示す図である。
【図２】実施形態に係る投影画像補正装置の構成例を示すブロック図である。
【図３】補正値を設定する処理手順の一例を示すフローチャートである。
【図４】４つの投影画面を含むスクリーンの一例を示す図である。
【図５】投影画面の情報を抽出する処理手順の一例を示すフローチャートである。
【図６】画像領域を設定する処理手順の一例を示すフローチャートである。
【図７】投影画面間に存在する隙間設定領域の一例を示す図である。
【図８】隙間設定領域幅と画面間距離との関係を示す図である。
【図９】入力画像と表示領域との関係を示す図である。
【図１０】各投影画面に分割する位置を示す図である。
【図１１】入力画像と表示領域との間における座標の関係を示す図である。
【図１２】補正値を算出する処理手順の一例を示すフローチャートである。
【図１３】入力画像と投影画面との位置関係を示す図である。
【図１４】各投影画面に表示される画像の一部を示す図である。
【図１５】第２の実施形態に係る画像投影システムの全体構成例を示す図である。
【図１６】補正値を設定する処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る投影画像補正装置１０３を含む画像投影システムの全体構成例を示す図である。
図１において、画像投影システムは、投影画像送出装置１０１、投影画面撮影装置１０２、投影画像補正装置１０３、第１の投影装置１０４〜第４の投影装置１０７、及びスクリーン１０８から構成されている。
【００１０】
投影画像送出装置１０１は、投影用の画像を出力するためのものであり、投影画面撮影装置１０２は、スクリーン１０８に表示された画像（投影画面）全体を撮影するためのものである。投影画像補正装置１０３は、撮影された各投影画面に基づいて画像を補正するためのものである。第１の投影装置１０４〜第４の投影装置１０７は、それぞれ補正された画像を投影するためのものであり、投影画像補正装置１０３の指示に従って、投影画面を上下左右に微調整することができる。また、スクリーン１０８は投影された画像を表示するためのものである。
【００１１】
図２は、本実施形態に係る投影画像補正装置１０３の構成例を示すブロック図である。
図２において、ＭＰＵ２０１は、投影画像補正装置１０３全体を制御するものであり、各構成に対してデータの受け渡しと処理命令とを行う。なお、投影画像送出装置１０１から出力された画像は入力端子２０２に入力される。
【００１２】
投影状態検知部２０３は、投影画面撮影装置１０２により撮影された各投影画面（画像情報）を取得する。そして、取得した画像情報を解析し、投影画面に関する情報を検知する。投影画面設定部２０４は、検知結果として取得したこれらの情報から、仮想的な投影画面の表示領域を設定する。画像補正算出部２０５は、投影画面設定部２０４により設定された表示領域に収まるように、入力画像の画像サイズに合わせた補正を行うための補正値を算出する。
【００１３】
第１の画像補正処理部２０６〜第４の画像補正処理部２０９は、画像補正算出部２０５により算出された補正値を用いて投影画像の補正処理を行う。そして、それぞれ第１の出力端子２１０〜第４の出力端子２１３を介して、補正された画像を第１の投影装置１０４〜第４の投影装置１０７に出力する。モード設定スイッチ２１４は、ＭＰＵ２０１にモードを設定するためのスイッチである。本実施形態においては、初期設定モードと通常モードとの２種類のモードがある。初期設定モードは、投影する画像の補正値を算出するモードであり、通常モードは初期設定モードで算出された補正値を用いて画像を補正して表示するモードである。
【００１４】
図３は、初期設定モードにおいて補正値を設定する処理手順の一例を示すフローチャートである。
まず、ステップＳ３０１において、投影画面設定部２０４は調整用画像を生成し、それぞれ第１の出力端子２１０〜第４の出力端子２１３を介して第１の投影装置１０４〜第４の投影装置１０７に出力する。なお、調整用画像については後述する。
【００１５】
次に、ステップＳ３０２において、投影状態検知部２０３は、投影画面撮影装置１０２において撮影された調整用画像（投影画面）を取り込む。そして、ステップＳ３０３において、投影状態検知部２０３は、取得した画像から投影画面の位置及び形状を解析する。次に、ステップＳ３０４において、投影画面設定部２０４は、仮想的な投影画面の画像領域を設定する。そして、ステップＳ３０５において、画像補正算出部２０５は、投影画面を補正するための補正値を算出する。最後に、ステップＳ３０６において、画像補正算出部２０５は、第１の画像補正処理部２０６〜第４の画像補正処理部２０９へ補正値を設定する。
【００１６】
第１の投影装置１０４〜第４の投影装置１０７はそれぞれ、スクリーン１０８内に全ての投影画面が入るように投影し、投影画面撮影装置１０２は、図４に示すように、全ての投影画面が同一画面内に入るように撮影する。この際、ＭＰＵ２０１は投影画面設定部２０４に指示を出し、撮影する際に投影画面の形状を判別しやすいように投影装置毎に調整用画像を表示する。調整用画像は、図４に示すように一様な色で構成される四角形の画像であり、その四隅は無色もしくは中心部と異なる色で構成されるが、四隅の色は統一されている。また、各々の投影装置１０４〜１０７から投影される画面の色が互いに異なるようにし、画像の四隅を着色する場合は近隣の投影画面と誤判別させないため、異なる色を表示させる。
【００１７】
図５は、図３のステップＳ３０３において、投影状態検知部２０３により調整用画像から投影画面の情報を抽出する処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、ループカウンターＮを１に初期化する。そして、ステップＳ５０２において、ループカウンターＮが投影画面数を超えているか否かを判定する。この判定の結果、超えている場合は処理を終了する。一方、超えていない場合は、ステップＳ５０３以降の処理を行う。
【００１８】
次に、ステップＳ５０３において、Ｎ番目の投影画面の色からその色領域を抽出する。そして、ステップＳ５０４において、画像の表示されている四隅の情報を抽出する。次に、ステップＳ５０５において、次の投影画面の処理に移るため、ループカウンターＮを１つインクリメントする。
【００１９】
図６は、図３のステップＳ３０４において、投影画面設定部２０４により投影画面の画像領域を設定する処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、全投影画面を覆う長方形の領域を設定する。例えば、図７（ａ）に示すように破線で囲まれた領域が覆う領域であり、この領域を仮想表示領域とする。本実施形態では仮想表示領域は長方形の領域となっているが、正方形であっても構わない。
【００２０】
次に、ステップＳ６０２において、各投影画面に対し、図８（ａ）に示すような投影画面間の距離Ｌを取得する。そして、ステップＳ６０３において、投影画面間の距離Ｌから隙間設定領域幅Ｓを算出する。ここで、図７（ａ）に示す領域７０１は、所定の幅からなる隙間設定領域を示している。この隙間設定領域幅Ｓは、以下の式（１）により算出される。
Ｓ＝α＊Ｌ      （Ｌ≦ｍ）
Ｓ＝β＊Ｌ＋Ａ  （ｍ＜Ｌ≦ｎ）      ・・・式（１）
Ｓ＝Ｂ          （Ｌ＞ｎ）
ただし、α＞β、ｍ＜ｎとする。
【００２１】
図８（ｂ）に示すように、投影画面間の距離Ｌが値ｍまでは、傾きαに比例して隙間設定領域幅Ｓが大きくなる。次に、投影画面間の距離Ｌがｍより大きくｎ以下となる場合には、傾きβに比例して隙間設定領域幅Ｓが大きくなる。そして、投影画面間の距離Ｌがｎより大きくなる場合には、隙間設定領域幅Ｓは一定となる。なお、図８に示す例では、横方向の幅について示しているが、縦方向の幅についても同様である。
【００２２】
次に、ステップＳ６０４において、仮想表示領域から隙間設定領域を取り除く。例えば、図７（ｂ）に示すように、隙間設定領域に相当する領域７０１を取り除いて間隔を調整する。そして、第１の投影装置１０４〜第４の投影装置１０７に対し、領域７０１を取り除くように、画像を投影する領域を平行移動させるよう指示する。ここで、仮想表示領域の幅及び高さをそれぞれＤｗ、Ｄｈとし、隙間設定領域を取り除いた領域の幅及び高さをそれぞれＥｗ、Ｅｈとし、さらに隙間設定領域幅の横方向と縦方向をそれぞれＳｗ、Ｓｈとする。この場合、以下に示す関係が成り立つ。
Ｅｗ＝Ｄｗ−Ｓｗ
Ｅｈ＝Ｄｈ−Ｓｈ
【００２３】
次に、ステップＳ６０５において、入力画像及び仮想表示領域のアスペクト比を比較する。そして、ステップＳ６０６において、入力画像が仮想表示領域上において最大面積で投影可能となる位置を算出する。ここで、例えば、図９（ａ）に示すように入力画像の幅及び高さをそれぞれＩｗ、Ｉｈとし、仮想表示領域の幅及び高さをそれぞれＥｗ、Ｅｈとする。
【００２４】
ここで、入力画像の幅Ｉｗと仮想表示領域の幅Ｅｗとが等しくなるように入力画像を拡大または縮小し、入力画像の高さＩｈよりも仮想表示領域の高さＥｈが大きい場合について説明する。まず、図９（ｂ）に示すように、差分領域である隙間領域９０１が小さくなるように入力画像領域９０２を１ピクセルステップ毎に移動させる。そして、入力画像領域９０２内において４つの投影画面の面積の和が最大となるような位置を探索し、表示領域を算出する。
【００２５】
次に、ステップＳ６０７において、投影画面間の分割位置と分割中心線との関係を算出する。例えば図１０に示す破線１００１を分割中心線とし、４つの画面に分割する。そして、外枠と分割中心線とで囲まれた領域（仮想分割担当画面）を各投影装置の出力領域として設定する。
【００２６】
次に、ステップＳ６０８において、入力画像と算出した表示領域とで対応する座標情報を取得する。図１１（ａ）は入力画像の一例を示す図であり、図１１（ｂ）は、入力画像と同じアスペクト比で構成される表示領域を示す図である。このように、表示領域を入力画像と同サイズ以上となる面積に設定し、入力画像と表示領域との画像空間的な対応を取りやすくする。また、画像の左下の角を基準となる原点（０，０）とすると、図１１（ａ）に示す入力画像の座標１１０１は（ｘ、ｙ）と表現でき、図１１（ｂ）に示す表示領域の座標１１０２は係数ｋを用いて（ｋ＊ｘ、ｋ＊ｙ）と表現することができる。
【００２７】
図１２は、図３のステップＳ３０５において、画像補正算出部２０５が補正値を算出する処理手順の一例を示すフローチャートである。
まず、ステップＳ１２０１において、ループカウンターＮを１に初期化する。そして、ステップＳ１２０２において、ループカウンターＮが投影画面数を超えているか否かを判定する。この判定の結果、超えている場合は処理を終了し、超えていない場合は、ステップＳ１２０３以降の補正値算出処理を行う。
【００２８】
次に、ステップＳ１２０３において、入力画像におけるＮ番目の投影画面向けの座標情報を取得する。そして、ステップＳ１２０４において、例えば図１３に示すように、入力画像から投影画面への表示領域を抽出する。次に、ステップＳ１２０５において、投影画面の幾何形状の情報を取得する。具体的には、図６のステップＳ６０８で取得した座標情報と、図５のステップＳ５０４で取得した投影画面毎の四隅の情報とを用いて、投影画面の幾何形状の情報を取得する。
【００２９】
次に、ステップＳ１２０６において、入力画像と投影画面の幾何形状との関係から補正値を算出する。具体的にはまず、第１の投影装置１０４〜第４の投影装置１０７から出力される画像のアスペクト比と実際にスクリーン１０８に投影された画面との幾何形状を比較し、投影時に生じた幾何形状の変化について判断する。図１３に示す例では、左上、左下、右下の投影画面は、スクリーン１０８に対してそれぞれ傾斜している。そこで、補正値としてそれぞれの幾何的な回転角を算出する。
【００３０】
次に、ステップＳ１２０７において、次の投影画面の処理に移るため、ループカウンターＮを１つインクリメントする。このようにＮ番目の投影画面まで補正値算出処理が終了すると、初期設定モードが終了する。
【００３１】
初期設定モードが終了すると、第１の画像補正処理部２０６〜第４の画像補正処理部２０９は、初期設定モードを終了する旨及び通常モードへ変更を促す旨の画像を生成し、それぞれ第１の投影装置１０４〜第４の投影装置１０７に出力する。これによりスクリーン１０８に初期設定モードの終了及びモード設定スイッチ２１４から通常モードへ変更するよう促す旨の画面が表示される。なお、第１の画像補正処理部２０６〜第４の画像補正処理部２０９の何れかでのみこのような画像を生成するようにしてもよい。また、モード設定スイッチ２１４が機械的なスイッチでなく、電子的なスイッチである場合には、初期設定モード終了後に自動的に通常モードに移行してもよい。
【００３２】
次に、第１の画像補正処理部２０６〜第４の画像補正処理部２０９は、入力端子２０２から入力された入力画像に対し、画像補正算出部２０５により得られた補正値を元に補正処理を行う。そして、それぞれ第１の出力端子２１０〜第４の出力端子２１３を介して、補正された画像をそれぞれ第１の投影装置１０４〜第４の投影装置１０７に出力する。このとき、補正処理において、入力画像から出力する領域を抽出し、先に得られた補正値を元に補正する。
【００３３】
図１３に示すように傾いている投影画面が存在する場合、補正値としてそれぞれの投影画面の幾何的な回転角情報が得られるため、逆方向に回転させるように画像を補正する。ここで、回転による補正処理では、アフィン変換を用いる。画像におけるある座標を（ｘ、ｙ）とし、ａ1、ａ2、ｂ1、ｂ2、ｃ1、ｃ2を角度などに関する係数とすると、補正後の座標（Ｘ，Ｙ）は、以下のように求めることができる。
Ｘ＝ａ1＊ｘ＋ｂ1＊ｙ＋ｃ1
Ｙ＝ａ2＊ｘ＋ｂ2＊ｙ＋ｃ2
【００３４】
なお、図１４（ａ）は、図１３に示す左上の投影画面における補正後の画像を示す図であり、図１４（ｂ）は、図１３に示す右上の投影画面における補正後の画像を示す図である。また、図１４（ｃ）は、図１３に示す左下の投影画面における補正後の画像を示す図である、図１４（ｄ）は、図１３に示す右下の投影画面における補正後の画像を示す図である。
【００３５】
本実施形態では、投影画面が傾いている場合にアフィン変換により補正する例についてしたが、台形などその他の幾何形状の場合も同様であり、その他の補正方法を用いてもよい。また、本実施形態では、４台の投影装置を用いた例について説明したが、２台以上の投影装置であれば同様の効果を得ることができる。
【００３６】
以上のように本実施形態によれば、タイル表示を行う際に投影画面間に隙間が生じた場合、投影画面間を接続させず、隙間を残したまま表示する。このように隙間が存在することにより、異なる投影画面間の空間的対比効果による影響がなくなり、従来のタイル表示の手法で求められる高精度での位置合わせ及び画像処理が不要となり、安価な回路システムでの構成が可能となる。
【００３７】
また、投影画面間に隙間が存在すると隙間の領域に投影されない画像領域が発生するが、本実施形態では投影画面間の距離に応じて、隙間の面積を制御するようにした。これにより、画像が投影されない領域を小さくすることができ、発生する投影画面の不連続性を最小限に抑えることができる。さらに、投影画面の幾何形状の情報を取得し、例えば、投影画面が傾いている場合は、投影する画像を逆回転させた補正を行うことにより、違和感の少ない画像を表示することができる。
【００３８】
（第２の実施形態）
第１の実施形態では、投影画像送出装置１０１と投影画像補正装置１０３とは別々の装置として説明したが、本実施形態に示すように、１つの装置で構成するようにしてもよい。例えば、図１５に示すように、パーソナルコンピュータ（ＰＣ）１５０１に、第１の実施形態で説明した投影画像補正装置１０３の機能をコンピュータ上で動作するソフトウェアとして備えるようにしてもよい。この場合、投影画像補正装置の構成は、図２と同様であるが、モード設定スイッチ２１４はソフトウェアとして機能するものとし、モードの切り替えを自動的に行うものとする。
【００３９】
図１６は、本実施形態において、補正値を設定する処理手順の一例を示すフローチャートである。
複数の投影装置から画像を補正して出力する状態にした場合、まず、ステップＳ１６０１においてモード設定スイッチ２１４により初期設定モードに設定する。ステップＳ３０１〜Ｓ３０５までの処理は、図３と同様であるため、説明は省略する。以上のように補正値を算出すると、ステップＳ１６０２において、モード設定スイッチ２１４により初期設定モードから通常モードへ切り替える。そして、ステップＳ１６０３において、第１の画像補正処理部２０６〜第４の画像補正処理部２０９はそれぞれ、補正値を基づいて入力画像を補正し、それぞれ第１の投影装置１０４〜第４の投影装置１０７に出力する。
【００４０】
以上のように本実施形態によれば、１つの装置に集約するようにしたので、簡単な装置の組合せによりさらにコストを抑え、違和感の少ない画像を表示することができる。
【００４１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４２】
２０１  ＭＰＵ
２０３  投影状態検知部
２０４  投影画面設定部
２０５  画像補正算出部
２０６  第１の画像補正処理部
２０７  第２の画像補正処理部
２０８  第３の画像補正処理部
２０９  第４の画像補正処理部
【図１】
2012113244.tif 000003
【図２】
2012113244.tif 000004
【図３】
2012113244.tif 000005
【図４】
2012113244.tif 000006
【図５】
2012113244.tif 000007
【図６】
2012113244.tif 000008
【図７】
2012113244.tif 000009
【図８】
2012113244.tif 000010
【図９】
2012113244.tif 000011
【図１０】
2012113244.tif 000012
【図１１】
2012113244.tif 000013
【図１２】
2012113244.tif 000014
【図１３】
2012113244.tif 000015
【図１４】
2012113244.tif 000016
【図１５】
2012113244.tif 000017
【図１６】
2012113244.tif 000018