(57)【要約】【課題】複数の画像投影装置を用いてコンテンツ画像を投影させる画像処理装置において、校正用の画像を撮影する際に、校正用の画像の撮影に失敗することを低減させる。【解決手段】画像処理装置は、複数の画像投影装置を用いて、コンテンツ画像の校正に用いる複数の校正用画像を、投影面に順次に投影する投影制御部と、撮影装置を用いて、投影面に投影される複数の校正用画像を順次に撮影する撮影制御部と、複数の校正用画像の撮影条件を管理する撮影条件管理部と、を有し、撮影条件管理部は、投影面に投影される複数の校正用画像のうち、一の校正用画像の前記撮影条件を決定し、決定された撮影条件を用いて、投影面に投影される複数の校正用画像のうち、一の校正用画像とは異なる他の校正用画像の撮影条件を決定する。【選択図】図７
2018152671.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像投影装置を用いて投影面にコンテンツ画像を投影する画像処理システムで前記複数の画像投影装置を制御する画像処理装置であって、
前記複数の画像投影装置を用いて、前記コンテンツ画像の校正に用いる複数の校正用画像を、前記投影面に順次に投影する投影制御部と、
撮影装置を用いて、前記投影面に投影される前記複数の校正用画像を順次に撮影する撮影制御部と、
前記複数の校正用画像の撮影条件を管理する撮影条件管理部と、
を有し、
前記撮影条件管理部は、
前記投影面に投影される前記複数の校正用画像のうち、一の校正用画像の前記撮影条件を決定し、
前記決定された撮影条件を用いて、前記投影面に投影される前記複数の校正用画像のうち、前記一の校正用画像とは異なる他の校正用画像の前記撮影条件を決定する、画像処理装置。
【請求項２】
前記撮影条件は、前記画像投影装置の投影に関する設定値を含む、請求項１に記載の画像処理装置。
【請求項３】
前記投影に関する設定値は、前記画像投影装置の輝度、又はコントラストの設定値を含む、請求項２に記載の画像処理装置。
【請求項４】
前記撮影条件は、前記撮影装置の撮影に関する設定値を含む、請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記撮影に関する設定値は、前記撮影装置の露出、露光、又はコントラストの設定値を含む、請求項４に記載の画像処理装置。
【請求項６】
前記撮影条件管理部が決定した前記一の校正用画像の前記撮影条件を記憶する記憶部を有し、
前記撮影条件管理部は、前記記憶部に記憶した前記撮影条件を用いて、前記投影面に投影される前記複数の校正用画像の撮影条件を決定する、請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記複数の画像投影装置の各々は、隣接する画像投影装置と投影領域の少なくとも一部が重複するように配置され、
前記画像処理システムは、前記複数の画像投影装置を用いて、前記複数の画像投影装置の各々が投影する投影画面よりも大きい投影画面に前記コンテンツ画像を投影する、請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
複数の画像投影装置を用いて投影面にコンテンツ画像を投影する画像処理システムであって、
前記複数の画像投影装置を用いて、前記コンテンツ画像の校正に用いる複数の校正用画像を、前記投影面に順次に投影する投影制御部と、
撮影装置を用いて、前記投影面に投影される前記複数の校正用画像を順次に撮影する撮影制御部と、
前記複数の校正用画像の撮影条件を管理する撮影条件管理部と、
を有し、
前記撮影条件管理部は、
前記投影面に投影される前記複数の校正用画像のうち、一の校正用画像の前記撮影条件を決定し、
前記決定された撮影条件を用いて、前記投影面に投影される前記複数の校正用画像のうち、前記一の校正用画像とは異なる他の校正用画像の前記撮影条件を決定する、画像処理システム。
【請求項９】
複数の画像投影装置を用いて投影面にコンテンツ画像を投影する画像処理システムにおける画像処理方法であって、
複数の画像投影装置を制御するコンピュータが、
前記複数の画像投影装置を用いて、前記コンテンツ画像の校正に用いる複数の校正用画像を、前記投影面に順次に投影し、
撮影装置を用いて、前記投影面に投影される前記複数の校正用画像を順次に撮影し、
前記投影面に投影される前記複数の校正用画像のうち、一の校正用画像の撮影条件を決定し、
前記決定された撮影条件を用いて、前記投影面に投影される前記複数の校正用画像のうち、前記一の校正用画像とは異なる他の校正用画像の前記撮影条件を決定する、画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
複数のプロジェクタを並べて設置し、個々のプロジェクタは映像の一部分を投影して、全体として大きな映像を投影するマルチプロジェクションシステムが知られている（例えば、特許文献１参照）。
【０００３】
また、これに関連する技術として、複数のプロジェクタで投影した校正用画像をカメラで撮影し、撮影した複数の校正用画像を用いて、各プロジェクタで投影する投影画像を作成する投影システムが知られている（例えば、特許文献２、３参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、特許文献２、３に開示された技術では、互いに隣り合うプロジェクタ（画像投影装置）を用いて投影した複数の校正画像を、カメラを用いて順次に撮影し、撮影した複数の校正用画像を用いて各プロジェクタで投影する投影画像を作成することができる。
【０００５】
しかし、従来の技術では、複数の校正用画像を撮影する際に、例えば、カメラの露光条件や、プロジェクタの輝度等の撮影条件が合わずに、校正用画像の撮影に失敗する場合がある。
【０００６】
本発明の実施の形態は、上記問題点に鑑みてなされたものであって、複数の画像投影装置を用いてコンテンツ画像を投影させる画像処理装置において、校正用の画像を撮影する際に、校正用の画像の撮影に失敗することを低減させる。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の一実施形態に係る画像処理装置は、複数の画像投影装置を用いて投影面にコンテンツ画像を投影する画像処理システムで前記複数の画像投影装置を制御する画像処理装置であって、前記複数の画像投影装置を用いて、前記コンテンツ画像の校正に用いる複数の校正用画像を、前記投影面に順次に投影する投影制御部と、撮影装置を用いて、前記投影面に投影される前記複数の校正用画像を順次に撮影する撮影制御部と、前記複数の校正用画像の撮影条件を管理する撮影条件管理部と、を有し、前記撮影条件管理部は、前記投影面に投影される前記複数の校正用画像のうち、一の校正用画像の前記撮影条件を決定し、前記決定された撮影条件を用いて、前記投影面に投影される前記複数の校正用画像のうち、前記一の校正用画像とは異なる他の校正用画像の前記撮影条件を決定する。
【発明の効果】
【０００８】
本発明の実施の形態によれば、複数の画像投影装置を用いてコンテンツ画像を投影させる画像処理装置において、校正用の画像を撮影する際に、校正用の画像の撮影に失敗することを低減させることができる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態に係る画像処理システムの構成の一例を示す図である。
【図２】一実施形態に係る校正用の画像の撮影について説明するための図（１）である。
【図３】一実施形態に係る校正用の画像の撮影について説明するための図（２）である。
【図４】一実施形態に係る校正用の画像の撮影について説明するための図（３）である。
【図５】一実施形態に係るプロジェクタのハードウェア構成の例を示す図である。
【図６】一実施形態に係る画像処理装置のハードウェア構成の例を示す図である。
【図７】一実施形態に係る画像処理システムの機能構成図である。
【図８】一実施形態に係る画像処理システムの処理の流れを示すフローチャートである。
【図９】一実施形態に係る校正用画像の撮影処理の一例を示すフローチャートである。
【図１０】一実施形態に係る校正用画像の撮影処理の別の一例を示すフローチャートである。
【図１１】一実施形態に係る画像処理システムの構成の別の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
【００１１】
＜システムの構成＞
図１は一実施形態に係る画像処理システムの構成の一例を示す図である。画像処理システム１００は、複数のプロジェクタ（画像投影装置）１０１−１、１０１−２、１０１−３、及び画像処理装置１０２が、互いに通信可能に接続されている。なお、以下の説明の中で、複数のプロジェクタ１０１−１〜１０１−３のうちの任意のプロジェクタを示す場合「プロジェクタ１０１」を用いる。また、複数のプロジェクタ１０１−１〜１０１−３の数は一例であり、プロジェクタ１０１の数は４台以上であっても良い。
【００１２】
図１の例では、複数のプロジェクタ１０１−１〜１０１−３、及び画像処理装置１０２は、無線ＬＡＮ（Local Area Network）のアクセスポイント１０５に接続されており、無線ＬＡＮ通信により互いに通信可能である。なお、画像処理装置１０２と、複数のプロジェクタ１０１−１〜１０１−３との間の通信手段は、例えば、有線ＬＡＮや、ＵＷＢ（Ultra Wide Band）等の他の通信手段であっても良い。
【００１３】
プロジェクタ１０１は、投影面１０６に投影画像を投影する画像投影装置である。画像処理システム１００は、例えば図１に示すように、プロジェクタ１０１−１の投影領域１０７−１と、プロジェクタ１０１−１に隣接するプロジェクタ１０１−２の投影領域１０７−２との一部が重複するように配置されている。また、プロジェクタ１０１−２の投影領域１０７−２と、プロジェクタ１０１−２に隣接するプロジェクタ１０１−３の投影領域１０７−３との一部が重複するように配置されている。
【００１４】
これにより、画像処理システム１００は、３つの投影領域１０７−１〜１０７−３を用いて、例えば、１つのコンテンツ画像（動画、又は静止画）１０８を投影することができる。
【００１５】
また、プロジェクタ１０１は、投影対象となる画像データを記憶する、例えば、ＵＳＢ（Universal Serial Bus）メモリ等の外部記憶装置１０９を接続するためのインタフェースを有している。なお、プロジェクタ１０１は、投影対象となる画像データを、無線ＬＡＮ等のネットワークを介して取得するものであっても良い。
【００１６】
画像処理装置１０２は、例えば、ノートＰＣ（Personal Computer）、タブレット端末等の情報処理装置であり、複数のプロジェクタ１０１−１〜１０１−３と、例えば、無線ＬＡＮ通信により画像データや、制御情報等の送受信を行うことができる。
【００１７】
画像処理装置１０２は、複数のプロジェクタ１０１−１〜１０１−３を用いて、投影面１０６に、各プロジェクタ１０１の各々が投影する投影画面よりも大きい投影画面にコンテンツ画像１０８を投影するマルチ投影（マルチプロジェクション）の制御を行う。
【００１８】
カメラ１０３は、投影面１０６に投影された校正用の画像を撮影するための撮影装置であり、例えば、ＵＳＢケーブル等により画像処理装置１０２に接続されている。なお、カメラ１０３は、例えば、画像処理装置１０２や、プロジェクタ１０１等に内蔵されたカメラであっても良く、画像処理装置１０２の制御により撮影画像を取得できるものであれば良い。
【００１９】
（校正用画像の撮影について）
図１〜３は、一実施形態に係る校正用の画像の撮影について説明するための図である。画像処理システム１００では、複数のプロジェクタ１０１−１〜１０１−３でそれぞれの投影領域１０７−１〜１０７−３に、分割された投影画像を投影し、全体で大きなコンテンツ画像を投影する。
【００２０】
投影のための準備として、画像処理装置１０２は、各プロジェクタ１０１で投影した校正用の画像をカメラ１０３で撮影し、撮影された校正用の画像を用いて、各プロジェクタ用の投影画像を生成する。
【００２１】
図２の例では、カメラ１０３で、各プロジェクタ１０１で投影した校正用の画像を１回でまとめて撮影する場合の例が示されている。この場合、カメラ１０３は、各プロジェクタ１０１の投影領域１０７−１〜１０７−３より広い撮影範囲２０１を撮影することになるので、例えば、背後に壁等があって距離が取れない場合や、プロジェクタ１０１の数が増えた場合等には、対応が困難である。
【００２２】
そのため、例えば、図３、４に示すように、カメラ１０３で、各プロジェクタ１０１で撮影した校正用の画像を、複数回に分けて順次に撮影することが望ましい。
【００２３】
図３の例では、画像処理装置１０２は、プロジェクタ１０１−１、１０１−２で校正用の画像を投影し、投影された校正用の画像を含むように、投影領域１０７−１、１０７−２より広い撮影範囲３０１をカメラ１０３で撮影する。
【００２４】
続いて、画像処理装置１０２は、図４に示すように、プロジェクタ１０１−２、１０１−３で校正用の画像を投影し、投影された校正用の画像を含むように、投影領域１０７−２、１０７−３より広い撮影範囲４０１をカメラ１０３で撮影する。
【００２５】
画像処理装置１０２は、プロジェクタの数が４台以上ある場合、同様にして、順次に校正用の画像を撮影する。
【００２６】
この方法を用いることにより、例えば、背後に壁等があって距離が取れない場合や、プロジェクタ１０１の数が増えた場合等でも対応が容易になる。さらに、この方法を用いることにより、円柱状のものに画像を投影する場合等、一度に全体を撮影することが困難な場所でも、校正用の画像を撮影することができるようになる。
【００２７】
本実施形態に係る画像処理装置１０２は、このように、複数のプロジェクタ１０１−１〜１０１−３を用いて、コンテンツ画像１０８の校正に用いる校正用の画像を順次に投影させ、カメラ１０３を用いて、投影される校正用の画像を順次に撮影するものとする。
【００２８】
この場合、校正用の画像を撮影するための撮影条件は様々であり、適切な設定で撮影を行わないと、校正用の画像の撮影に失敗が発生する場合がある。このような場合、校正用の画像の撮影におけるリトライ回数が増え、校正用の画像の撮影に時間が長くなると言う問題がある。これは、特にプロジェクタ１０１の台数が多いシステムでは、大きな問題となる。
【００２９】
そこで、本実施形態に係る画像処理装置１０２は、カメラ１０３で撮影する複数の校正用画像のうち、一枚目の校正用の画像を撮影する際に、撮影に成功したときの撮影条件を記憶部に記憶しておく。また、画像処理装置１０２は、２枚目以降の校正用の画像を撮影する際の撮影条件に、記憶部に記憶した撮影条件を自動的に反映させる。
【００３０】
例えば、撮影条件には、プロジェクタ１０１の輝度、コントラスト等、投影する画像の明るさに関する設定値等が含まれる。
【００３１】
好ましくは、撮影条件には、例えば、カメラ１０３の露出（又は露光）、コントラスト等、撮影する画像の明るさに関する設定値等が含まれる。
【００３２】
上記の構成により、本実施形態に係る画像処理装置１０２は、２枚目以降の校正用の画像を、既に撮影に成功したときの撮影条件を用いて撮影することができるので、校正用の画像の撮影に失敗することを低減させることができる。
【００３３】
＜ハードウェア構成＞
（プロジェクタのハードウェア構成）
図５は、一実施形態に係るプロジェクタのハードウェア構成の例を示す図である。プロジェクタ１０１は、一般的なコンピュータの構成を含み、例えば、ＣＰＵ（Central Processing Unit）５０１、メモリ５０２、ストレージ部５０３、通信Ｉ／Ｆ（Interface）５０４、外部接続Ｉ／Ｆ５０５、画像処理部５０６、音声出力部５０７、画像投影部５０８、操作部５０９、及びバス５１０等を有する。
【００３４】
ＣＰＵ５０１は、メモリ５０２やストレージ部５０３等からプログラムやデータを読出し、処理を実行することでプロジェクタ１０１が備える各機能を実現する演算装置である。メモリ５０２は、例えば、ＣＰＵ５０１のワークエリア等として使用されるＲＡＭ（Random Access Memory）や、プロジェクタ１０１の起動プログラム等を格納するＲＯＭ（Read Only Memory）等を含む。
【００３５】
ストレージ部５０３は、プロジェクタ１０１のプログラムや、画像データ等を記憶する大容量の記憶手段であり、例えば、ＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等によって構成される。
【００３６】
通信Ｉ／Ｆ５０４は、画像処理装置１０２や、他のプロジェクタ１０１等と通信するための、例えば、無線ＬＡＮ、有線ＬＡＮ等の通信インタフェースである。
【００３７】
外部接続Ｉ／Ｆ５０５は、例えば、ＵＳＢメモリ等の外部記憶装置１０９を接続するためのインタフェースである。
【００３８】
画像処理部５０６は、投影する画像データに対して、例えば、コントラストの変更、デコード、変倍、切り出し等の様々な画像処理を実行する。
【００３９】
音声出力部５０７は、画像データ（例えば、動画データ）に含まれる音声を出力する音声回路や、スピーカ等によって構成される。
【００４０】
画像投影部５０８は、画像を投影面１０６に投影するための、光源、表示素子、投影レンズ等を含む。操作部５０９は、利用者の操作を受付けるための、キーや、タッチパネル等の入力デバイスである。バス５１０は、上記各構成に接続され、アドレス信号、データ信号、各種制御信号等を伝達する。
【００４１】
（画像処理装置のハードウェア構成）
図４は、一実施形態に係る画像処理装置のハードウェア構成の例を示す図である。画像処理装置１０２は、一般的なコンピュータの構成を有しており、例えば、ＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、ストレージ部６０４、通信Ｉ／Ｆ６０５、外部接続Ｉ／Ｆ６０６、表示部６０７、入力部６０８、及びバス６０９等を有する。
【００４２】
ＣＰＵ６０１は、ＲＯＭ６０３やストレージ部６０４等からプログラムやデータをＲＡＭ６０２上に読み出し、処理を実行する演算装置である。ＲＡＭ６０２は、ＣＰＵ６０１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ６０３は、例えば、画像処理装置１０２の起動時に実行されるＢＩＯＳ（Basic Input / Output System）や、各種の設定等を記憶する不揮発性のメモリであり、例えば、フラッシュＲＯＭ等で構成される。
【００４３】
ストレージ部６０４は、例えば、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置であり、例えば、ＨＤＤ、ＳＳＤ等で構成される。
【００４４】
通信Ｉ／Ｆ６０５は、画像処理装置１０２を複数のプロジェクタ１０１−１〜１０１−３と接続して、通信を行うための、例えば、無線ＬＡＮ、有線ＬＡＮ等の通信インタフェースである。
【００４５】
外部接続Ｉ／Ｆ６０６は、例えば、カメラ１０３、外部記憶装置１０９等の外部装置を、画像処理装置１０２に接続するためのインタフェースである。
【００４６】
表示部６０７は、画像処理装置１０２による処理結果等を表示する、例えば、ＬＣＤディスプレイ等の表示装置である。入力部６０８は、画像処理装置１０２へのユーザの操作を受付けるための、例えば、キーボード、マウス、タッチパネル等の入力装置である。バス６０９は、上記各構成に接続され、アドレス信号、データ信号、及び各種制御信号等を伝達する。
【００４７】
＜機能構成＞
図７は、一実施形態に係る画像処理システムの機能構成図である。なお、画像処理システム１００に含まれる各プロジェクタ１０１は、図４に示すプロジェクタ１０１−１と同様の構成を有しているものとする。
【００４８】
（画像処理装置の機能構成）
画像処理装置１０２は、例えば、図６のＣＰＵ６０１で所定のプログラムを実行することにより、通信制御部７０１、投影制御部７０２、撮影制御部７０３、撮影条件管理部７０４、記憶部７０５、投影画像生成部７０６、投影画像配信部７０７、及びコンテンツ画像投影部７０８等を実現している。
【００４９】
通信制御部７０１は、例えば、図６の通信Ｉ／Ｆ６０５を用いて、画像処理装置１０２を複数のプロジェクタ１０１−１〜１０１−３に接続し、通信を行う。例えば、通信制御部７０１は、無線ＬＡＮのアクセスポイント１０５に接続し、予め設定された各プロジェクタのＩＰ（Internet Protocol）アドレスを用いて、複数のプロジェクタ１０１−１〜１０１−３と通信を行う。
【００５０】
投影制御部７０２は、複数のプロジェクタ１０１−１〜１０１−３を用いて、画像処理システムで投影するコンテンツ画像１０８の校正に用いる複数の校正用の画像（以下、校正用画像と呼ぶ）を、投影面１０６に順次に投影する。例えば、投影制御部７０２は、図３に示すようにプロジェクタ１０１−１、１０１−２を用いて、１つ以上の校正用画像を投影し、図４に示すようにプロジェクタ１０１−２、１０１−３を用いて、１つ以上の校正用画像を投影する。
【００５１】
例えば、投影制御部７０２は、通信制御部７０１を介して、各プロジェクタ１０１に校正用画像を送信し、送信した校正用画像の投影を指示することにより、各プロジェクタ１０１に校正用画像を投影させることができる。
【００５２】
撮影制御部７０３は、カメラ（撮影装置）１０３を用いて、投影面１０６に投影される複数の校正用画像を順次に撮影する。例えば、撮影制御部７０３は、図３に示すように、プロジェクタ１０１−１、１０１−２で投影される１つ以上の校正用画像を順次に撮影し、図４に示すように、プロジェクタ１０１−２、１０１−３で投影される１つ以上の校正用画像を順次に撮影する。
【００５３】
撮影条件管理部７０４は、複数のプロジェクタ１０１−１〜１０１−３の投影パラメータ（投影に関する設定値）、又はカメラ１０３の撮影パラメータ（撮影に関する設定値）を含む撮影条件を管理する。例えば、撮影条件管理部７０４は、投影制御部７０２が、図３に示すようにプロジェクタ１０１−１、１０１−２を用いて校正用画像を投影するときの、プロジェクタ１０１が投影する画像の輝度やコントラスト等の設定値を決定する。
【００５４】
また、撮影条件管理部７０４は、撮影制御部７０３が、図３に示すようにプロジェクタ１０１−１、１０１−２で投影される校正用画像を撮影するときの、カメラ１０３が撮影する画像の露出（又は露光）、コントラスト等の設定値を決定する。
【００５５】
さらに、撮影条件管理部７０４は、投影面１０６に投影される複数の校正用画像のうち、１つの校正用画像を撮影する際の撮影条件を記憶部７０５に記憶し、記憶した撮影条件を、２つめ以降の校正用画像を撮影する際の撮影条件に反映する。
【００５６】
記憶部７０５は、例えば、撮影条件管理部７０４が管理する撮影条件の情報、画像処理システム１００で投影するコンテンツ画像１０８、プロジェクタ１０１に接続するための接続情報等、様々な情報を記憶する。なお、記憶部７０５は、例えば、図６のＲＡＭ６０２、ストレージ部６０４、及び図６ＣＰＵ６０１で実行されるプログラム等によって実現される。
【００５７】
投影画像生成部７０６は、撮影制御部７０３が撮影した複数の校正用画像を用いて、画像処理システム１００でコンテンツ画像１０８を投影する際に、各プロジェクタ１０１が投影する各プロジェクタ１０１用の投影画像を生成する。
【００５８】
例えば、図１に示す画像処理システム１００において、コンテンツ画像１０８を単純に３分割して、複数のプロジェクタ１０１−１〜１０１−３で投影しただけでは、投影領域が重複する重複領域の明るさが、他の領域より明るくなってしまう。そこで、投影画像生成部７０６は、撮影制御部７０３が撮影した複数の校正用画像を用いて、重複領域の明るさを調整し、重複領域の明るさが他の領域と同様の明るさとなるように、各プロジェクタ用の投影画像を生成する。
【００５９】
好ましくは、投影画像生成部７０６は、特許文献２、３と同様にして、各プロジェクタ用の投影画像における台形歪や、局所的な歪等の補正も行う。
【００６０】
投影画像配信部７０７は、投影画像生成部７０６が生成した各プロジェクタ１０１用の投影画像を、複数のプロジェクタ１０１−１〜１０１−３に配信する。例えば、投影画像配信部７０７は、通信制御部７０１を介して、複数のプロジェクタ１０１−１〜１０１−３に、各プロジェクタ用の投影画像を送信する。また、別の一例として、投影画像配信部７０７は、外部記憶装置１０９等を介して、複数のプロジェクタ１０１−１〜１０１−３に、各プロジェクタ用の投影画像を配信するものであっても良い。
【００６１】
コンテンツ画像投影部７０８は、投影画像配信部７０７が配信した各プロジェクタ用の投影画像を、複数のプロジェクタ１０１−１〜１０１−３に投影させることにより、コンテンツ画像１０８を投影面１０６に投影させる。
【００６２】
（プロジェクタの機能構成）
プロジェクタ１０１は、例えば、図５のＣＰＵ５０１で所定のプログラムを実行することにより、通信制御部７１１、校正用画像取得部７１２、投影画像取得部７１３、投影処理部７１４、及び記憶部７１５等を実現している。
【００６３】
通信制御部７１１は、例えば、図５の通信Ｉ／Ｆ５０４を用いて、プロジェクタ１０１を画像処理装置１０２に接続し、通信を行う。例えば、通信制御部７１１は、無線ＬＡＮのアクセスポイント１０５に接続し、画像処理装置１０２からの要求に応じて、画像処理装置１０２と通信を行う。
【００６４】
校正用画像取得部７１２は、校正用画像を、画像処理装置１０２、記憶部７１５、又は外部記憶装置１０９等から取得する。例えば、校正用画像取得部７１２は、画像処理装置１０２から送信される校正用画像を、通信制御部７１１を介して取得して、記憶部７１５に記憶する。
【００６５】
投影画像取得部７１３は、画像処理装置１０２の投影画像配信部７０７が配信する、各プロジェクタ１０１の投影画像のうち、自装置に対応する投影画像を取得する。例えば、投影画像取得部７１３は、画像処理装置１０２から送信される自装置に対応する投影画像を、通信制御部７１１を介して取得する。別の一例として、投影画像取得部７１３は、投影画像配信部７０７が、外部記憶装置１０９に記憶した自装置に対応する対応画像を、外部記憶装置１０９から取得するものであっても良い。
【００６６】
投影処理部７１４は、画像処理装置１０２の投影制御部７０２の制御に従って、校正用画像取得部７１２が取得した校正用画像を投影面１０６に投影する。また、投影処理部７１４は、画像処理装置１０２のコンテンツ画像投影部７０８からの制御に従って、投影画像取得部７１３が取得した、投影画像を投影面１０６に投影する。
【００６７】
記憶部７１５は、例えば、図５のメモリ５０２、ストレージ部５０３、及び図５のＣＰＵ５０１で実行されるプログラム等によって実現され、校正用画像や、投影画像等を記憶する。
【００６８】
なお、プロジェクタ１０１−１は、校正用画像や、投影画像等を記憶部７１５に代えて、外部記憶装置１０９等に記憶するものであっても良い。
【００６９】
＜処理の流れ＞
続いて、本実施形態に係る画像処理システム１００における画像処理方法の処理の流れについて説明する。
【００７０】
（画像処理システムの処理の流れ）
図８は、一実施形態に係る画像処理システムの処理の流れを示すフローチャートである。この処理は、画像処理システム１００において、複数のプロジェクタ１０１を用いて、投影面１０６にコンテンツ画像１０８を投影するマルチプロジェクションを行う場合の処理の概要を示している。なお、図８に示す処理の開始時点において、例えば、図１に示すように、複数のプロジェクタ１０１−１〜１０１−３の設置が完了しているものとする。
【００７１】
ステップＳ８０１において、画像処理装置１０２の通信制御部７０１は、複数のプロジェクタ１０１−１〜１０１−３との間の通信を接続する。
【００７２】
例えば、複数のプロジェクタ１０１−１〜１０１−３は、利用者等によって設置され、電源が投入されたとき、自動的に無線ＬＡＮのアクセスポイント１０５等に接続する。また、画像処理装置１０２の通信制御部７０１は、例えば、無線ＬＡＮのアクセスポイント１０５等に接続し、予め設定されたＩＰアドレス等を用いて、複数のプロジェクタ１０１−１〜１０１−３と通信を行う。
【００７３】
ステップＳ８０２において、画像処理装置１０２は、校正用画像の撮影処理を実行する。なお、校正用画像の撮影処理については、図９、１０を用いて詳述する。
【００７４】
ステップＳ８０３において、画像処理装置１０２の投影画像生成部７０６は、ステップＳ８０２で撮影された複数の校正用画像を用いて、各プロジェクタ用の画像処理パラメータを算出する。
【００７５】
例えば、投影画像生成部７０６は、前述したように、複数のプロジェクタ１０１−１〜１０１−３の投影領域１０７−１〜１０７−３が重複する重複領域の明るさを算出する。
【００７６】
好ましくは、投影画像生成部７０６は、特許文献２、３と同様にして、各プロジェクタ用の投影画像における台形歪や、局所的な歪等の補正を行うための補正パラメータ等も算出する。
【００７７】
ステップＳ８０４において、画像処理装置１０２の投影画像生成部７０６は、算出された各プロジェクタ用の画像処理パラメータを用いて、各プロジェクタ用の投影画像を生成する。
【００７８】
例えば、投影画像生成部７０６は、図１のプロジェクタ１０１−１用の投影画像を生成する場合、投影領域１０７−１に投影する画像をコンテンツ画像から切り出し、算出された画像処理パラメータを用いて、重複領域の明るさを変更（暗く）する。
【００７９】
好ましくは、投影画像生成部７０６は、画像処理パラメータを用いて、台形歪や、局所的な歪等の補正も行う。
【００８０】
同様にして、投影画像生成部７０６は、プロジェクタ１０１−２、１０１−３が投影する投影画像を生成する。
【００８１】
ステップＳ８０５において、画像処理装置１０２の投影画像配信部７０７は、生成された各プロジェクタ用の投影画像を、複数のプロジェクタ１０１−１〜１０１−３に配信する。例えば、投影画像配信部７０７は、通信制御部７０１を介して、各プロジェクタ用の投影画像を、複数のプロジェクタ１０１−１〜１０１−３に送信する。
【００８２】
ステップＳ８０８において、画像処理装置１０２のコンテンツ画像投影部７０８は、複数のプロジェクタ１０１−１〜１０１−３を用いてコンテンツ画像を投影する。例えば、コンテンツ画像投影部７０８は、通信制御部７０１を介して、複数のプロジェクタ１０１−１〜１０１−３に、ステップＳ８０５で配信した投影画像の投影を指示する。
【００８３】
（校正用画像の撮影処理１）
図９は、一実施形態に係る校正用画像の撮影処理の一例を示すフローチャートである。この処理は、図８のステップＳ８０２の処理に対応している。
【００８４】
ステップＳ９０１において、画像処理装置１０２の投影制御部７０２は、例えば、図３に示すように、プロジェクタ１０１−１、１０１−２を用いて、校正用画像を投影面１０６に投影させる。例えば、投影制御部７０２は、通信制御部７０１を介して、プロジェクタ１０１−１、１０１−２に校正用画像を送信し、撮影条件管理部７０４によって通知（決定）された投影パラメータ（輝度、コントラスト、大きさ等）で投影を指示する。
【００８５】
このとき、撮影条件管理部７０４は、初回の投影時には、例えば、記憶部７０５に記憶された既定の投影パラメータを投影制御部７０２に通知し、２回目以降の投影時には、ステップＳ９０４で変更された投影パラメータを投影制御部７０２に通知する。
【００８６】
ステップＳ９０２において、画像処理装置１０２の撮影制御部７０３は、例えば、図３に示すように、カメラ（撮影装置）１０３を用いて、投影面１０６に投影された校正用画像を撮影する。例えば、撮影制御部７０３は、撮影条件管理部７０４によって通知（決定）された撮影パラメータ（露出、露光、コントラスト等）で、投影領域１０７−１、１０７−２を含む撮影範囲３０１の画像を撮影する。
【００８７】
このとき、撮影条件管理部７０４は、初回の撮影時には、例えば、記憶部７０５に記憶された既定の撮影パラメータを撮影制御部７０３に通知し、２回目以降の撮影時には、ステップＳ９０４で変更された撮影パラメータを撮影制御部７０３に通知する。
【００８８】
なお、カメラ１０３の撮影領域は、図１の例では、利用者がカメラ１０３の位置を調整することによって行われる。
【００８９】
また、別の一例として、撮影制御部７０３は、プロジェクタ１０１に備えられた、プロジェクタ１０１の投影領域、及びその周辺を撮影するカメラを用いて、投影面１０６に投影された校正用画像を撮影するものであっても良い。
【００９０】
なお、例えば、特許文献２に開示された技術のように、プロジェクタ１０１−１、１０１−２で投影された複数の校正用画像を撮影する場合は、ステップＳ９０１、Ｓ９０２の処理を必要な回数だけ実行する。
【００９１】
ステップＳ９０３において、画像処理装置１０２の撮影条件管理部７０４は、撮影された校正用画像の品質（例えば、明るさ、コントラスト、大きさ等）が、所定の範囲内であるかを判断する。なお、所定の範囲は、撮影された校正用画像の品質が、図８のステップＳ８０３以降の処理で利用可能であると判断するための品質が、予め定められているものとする。
【００９２】
撮影された校正用画像の品質が所定の範囲内であると判断された場合、すなわち、撮影された校正用画像が利用可能であると判断された場合、撮影条件管理部７０４は、処理をステップＳ９０５に移行させる。
【００９３】
一方、撮影された校正用画像の品質が所定の範囲内でないと判断された場合、すなわち、撮影された校正用画像が利用可能でないと判断された場合、撮影条件管理部７０４は、処理をステップＳ９０４に移行させる。
【００９４】
ステップＳ９０４に移行すると、撮影条件管理部７０４は、プロジェクタ１０１−１、１０１−２の撮影条件（投影パラメータ、又は撮影パラメータ）を変更する。例えば、撮影条件管理部７０４は、投影パラメータ及び撮影パラメータの少なくとも一部が異なる複数の撮影条件を予め記憶しておき、記憶した複数の撮影条件を順次に呼び出すことにより、投影パラメータ、又は撮影パラメータを変更する。
【００９５】
また、撮影条件管理部７０４は、ステップＳ９０２で撮影された画像を解析して、解析結果に応じて投影パラメータ、又は撮影パラメータを変更するもの等であっても良い。
【００９６】
ステップＳ９０５に移行すると、画像処理装置１０２の撮影条件管理部７０４は、品質が所定の範囲内であると判断された校正用画像、及び品質が所定の範囲内であると判断された校正用画像の撮影条件を記憶部７０５に記憶する。
【００９７】
ステップＳ９０６において、画像処理装置１０２の投影制御部７０２は、例えば、図４に示すように、プロジェクタ１０１−２、１０１−３を用いて、校正用画像を投影面１０６に投影させる。例えば、投影制御部７０２は、通信制御部７０１を介して、プロジェクタ１０１−２、１０１−３に校正用画像を送信し、撮影条件管理部７０４によって通知された投影パラメータで投影を指示する。
【００９８】
このとき、撮影条件管理部７０４は、初回の投影時には、ステップＳ９０５で記憶部７０５に記憶した、品質が所定の範囲内であると判断された校正用画像の撮影条件に含まれる投影パラメータを投影制御部７０２に通知する。また、撮影条件管理部７０４は、２回目以降の投影時には、ステップＳ９０９で変更された投影パラメータを投影制御部７０２に通知する。
【００９９】
ステップＳ９０７において、画像処理装置１０２の撮影制御部７０３は、例えば、図４に示すように、カメラ１０３を用いて、投影面１０６に投影された校正用画像を撮影する。例えば、撮影制御部７０３は、撮影条件管理部７０４によって通知（決定）された撮影パラメータ（露出、露光、コントラスト等）で、投影領域１０７−２、１０７−３を含む撮影範囲３０１の画像を撮影する。
【０１００】
このとき、撮影条件管理部７０４は、初回の撮影時には、ステップＳ９０５で記憶部７０５に記憶した、品質が所定の範囲内であると判断された校正用画像の撮影条件に含まれる撮影パラメータを撮影制御部７０３に通知する。また、撮影条件管理部７０４は、２回目以降の投影時には、ステップＳ９０９で変更された撮影パラメータを投影制御部７０２に通知する。
【０１０１】
なお、例えば、特許文献２に開示された技術のように、プロジェクタ１０１−２、１０１−３で投影された複数の校正用画像を撮影する場合は、ステップＳ９０６、Ｓ９０７の処理を必要な回数だけ実行する。
【０１０２】
ステップＳ９０８において、画像処理装置１０２の撮影条件管理部７０４は、ステップＳ９０３と同様に、撮影された校正用画像の品質が、所定の範囲内であるかを判断する。
【０１０３】
撮影された校正用画像の品質が所定の範囲内であると判断された場合、すなわち、撮影された校正用画像が利用可能であると判断された場合、撮影条件管理部７０４は、処理をステップＳ９１０に移行させる。
【０１０４】
一方、撮影された校正用画像の品質が所定の範囲内でないと判断された場合、すなわち、撮影された校正用画像が利用可能でないと判断された場合、撮影条件管理部７０４は、処理をステップＳ９０９に移行させる。
【０１０５】
ステップＳ９０９に移行すると、撮影条件管理部７０４は、ステップＳ９０４と同様に、プロジェクタ１０１−２、１０１−３の撮影条件（投影パラメータ、又は撮影パラメータ）を変更する。
【０１０６】
ステップＳ９１０に移行すると、画像処理装置１０２の撮影条件管理部７０４は、品質が所定の範囲内であると判断された校正用画像を記憶部７０５に記憶する。
【０１０７】
なお、プロジェクタ１０１の台数が４台以上である場合、ステップＳ９０６〜Ｓ９１０の処理を、４台目以降のプロジェクタに対して順次に実行すれば良い。
【０１０８】
上記の処理により、画像処理装置１０２は、ステップＳ９０１〜Ｓ９０５で第１の校正用画像の撮影に成功したときの撮影条件を用いて、ステップＳ９０６〜Ｓ９１０で第２の校正用画像以降の撮影を行う。第２の校正用画像の撮影は、第１の撮影用画像の撮影が行われた場所の近傍で行われるので、同じ撮影条件を用いて第２の校正用画像の撮影を行うことにより、撮影に失敗する可能性が低くなる。
【０１０９】
従って、上記の処理により、複数のプロジェクタ（画像投影装置）１０１を用いてコンテンツ画像１０８を投影させる画像処理装置１０２において、校正用の画像を撮影する際に、校正用の画像の撮影に失敗することを低減させることができる。
【０１１０】
（校正用画像の撮影処理２）
図１０は、一実施形態に係る校正用画像の撮影処理の別の一例を示すフローチャートである。この処理は、図９に示した校正用画像の撮影処理の別の一例である。
【０１１１】
なお、図１０のステップＳ９０１〜Ｓ９０８の処理は、図９に示す処理と同様なので、ここでは図９に示す処理との相違点を中心に説明を行う。
【０１１２】
ステップＳ１００１において、画像処理装置１０２の撮影条件管理部７０４は、ステップＳ９０８で品質が所定の範囲内であると判断された校正用画像、及び品質が所定の範囲内であると判断された校正用画像の撮影条件を記憶部７０５に記憶する。
【０１１３】
上記の処理により、撮影条件管理部７０４は、最後に校正用画像の撮影に成功したときの撮影条件を記憶部７０５に記憶することができる。記憶部７０５に記憶された撮影条件は、例えば、次の校正用画像の撮影を行うときに用いることができる。
【０１１４】
例えば、プロジェクタ１０１の台数が４台である場合、図９に示す処理では、画像処理装置１０２は、ステップＳ９０１〜Ｓ９０５で第１の校正用画像の撮影に成功したときの撮影条件を用いて、第２の校正用画像、及び第３の校正用画像の撮影を行う。
【０１１５】
一方、図１０に示す処理では、画像処理装置１０２は、第２の校正用画像の撮影に成功したときの撮影条件を用いて、第３の校正用画像の撮影を行う。これにより、プロジェクタ１０１の台数が増えて、プロジェクタ１０１の位置によって撮影条件が異なるような場合でも、校正用画像の撮影に失敗することを低減させることができるようになる。
【０１１６】
＜システム構成の別の一例＞
図１に示す画像処理システム１００のシステム構成は一例であり、本発明の範囲を限定するものではない。
【０１１７】
図１１は、一実施形態に係る画像処理システムの構成の別の一例を示す図である。
【０１１８】
例えば、図１１に示すように、プロジェクタ１０１は、無線ＬＡＮのアクセスポイント１０５に代えて、有線ＬＡＮ等のネットワーク１１０１に接続されているものであっても良い。この場合、画像処理装置１０２と、複数のプロジェクタ１０１−１〜１０１−３との間の通信は、無線ＬＡＮのアクセスポイント１０５、及びネットワーク１１０１を介して行われる。
【０１１９】
また、図１１に示すように、画像処理装置１０２は、カメラ（撮影装置）１０３を内蔵したタブレット端末、スマートフォン、ノートＰＣ等の情報端末であっても良い。この場合、画像処理装置１０２の撮影制御部７０３は、自装置に内蔵されたカメラ１０３を用いて校正用画像の撮影を行うことができる。
【０１２０】
さらに、図１１に示すように、画像処理システム１００は、ネットワーク１１０１に接続されたＰＣ等の情報処理装置１１０２を有していても良い。この場合、図７に示す画像処理装置１０２が備える投影画像生成部７０６、投影画像配信部７０７、及びコンテンツ画像投影部７０８のうち、少なくとも一部の機能構成は、情報処理装置１１０２が備えていても良い。
【符号の説明】
【０１２１】
１００      画像処理システム
１０１      プロジェクタ（画像投影装置）
１０２      画像処理装置
１０６      投影面
１０８      コンテンツ画像
７０２      投影制御部
７０３      撮影制御部
７０４      撮影条件管理部
７０５      記憶部
【先行技術文献】
【特許文献】
【０１２２】
【特許文献１】特開２０１５−１６７３４１号公報
【特許文献２】特開２０１５−２６９９２号公報
【特許文献３】特開２０１６−８５４３５号公報
【図１】
2018152671.tif 000003
【図２】
2018152671.tif 000004
【図３】
2018152671.tif 000005
【図４】
2018152671.tif 000006
【図５】
2018152671.tif 000007
【図６】
2018152671.tif 000008
【図７】
2018152671.tif 000009
【図８】
2018152671.tif 000010
【図９】
2018152671.tif 000011
【図１０】
2018152671.tif 000012
【図１１】
2018152671.tif 000013