(57)【要約】【課題】画像データを編集することなく、ユーザインタフェースの操作により、投影面に基づいた画質設定を容易に行う。【解決手段】本発明の画像表示装置は、画像を投影面に投影する画像投影手段と、前記投影面とは異なる物体である対象物と投影画像とが重なる１つ以上の重畳領域およびその他の領域である非重畳領域を検出する検出手段と、前記重畳領域と前記非重畳領域の画質を、それぞれ別個にユーザが設定する画質設定手段と、前記画質設定手段を用いて行われるユーザの指示に基づいて、前記重畳領域または前記非重畳領域の画像データを補正する補正手段と、を有する。【選択図】図２
2019028165.tif 000002
【特許請求の範囲】
【請求項１】
画像を投影面に投影する画像投影手段と、
前記投影面とは異なる物体である対象物と投影画像とが重なる１つ以上の重畳領域およびその他の領域である非重畳領域を検出する検出手段と、
前記重畳領域と前記非重畳領域の画質を、それぞれ別個にユーザが設定する画質設定手段と、
前記画質設定手段を用いて行われるユーザの指示に基づいて、前記重畳領域または前記非重畳領域の画像データを補正する補正手段と、
を有することを特徴とする画像表示装置。
【請求項２】
撮像手段をさらに有し、
前記検出手段は、前記撮像手段により得られる撮像画像に基づいて前記重畳領域および前記非重畳領域を検出する、
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記検出手段は、前記撮像画像より得られる輝度ヒストグラムまたは色ヒストグラムの分布の幅が所定値以上である領域を前記重畳領域として検出する、
ことを特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記検出手段は、前記対象物がある状態で前記投影面および前記対象物を撮像した画像と、前記対象物がない状態で前記投影面のみを撮像した画像との画像データに基づいて、抽出される画像特徴量の差が所定値以上である領域を前記重畳領域として検出する、
ことを特徴とする請求項２に記載の画像表示装置。
【請求項５】
前記検出手段は、前記画像投影手段が投影を行っていない状態で前記投影面および前記対象物を撮像した画像と前記投影画像との画像データに基づいて、一致または類似する領域を前記重畳領域として検出する、
ことを特徴とする請求項２に記載の画像表示装置。
【請求項６】
前記検出手段は、対象物に付加されたマーカーの位置を検出することにより前記重畳領域を検出する、
ことを特徴とする請求項２に記載の画像表示装置。
【請求項７】
前記画像投影手段と前記投影面または前記対象物との距離を測定する距離測定手段をさらに有し、
前記検出手段は、前記距離の違いに基づいて前記重畳領域を検出する、
ことを特徴とする請求項１に記載の画像表示装置。
【請求項８】
前記画質設定手段は、前記重畳領域が複数存在する場合、各領域ごとにユーザから設定の入力を受け付け可能であり、
前記補正手段は、ユーザの指示に基づいて前記各領域ごとに前記画像データを補正する、
ことを特徴とする請求項１から７のいずれか１項に記載の画像表示装置。
【請求項９】
画像を投影する画像投影手段と、
前記画像投影手段により画像が投影される物体の投影面の反射特性の違いに基づいて１つ以上の領域を検出する検出手段と、
前記領域ごとにユーザが画質を設定するための画質設定手段と、
前記画質設定手段を用いて行われるユーザの指示に基づいて、前記領域の画像データを
補正する補正手段と、
を有することを特徴とする画像表示装置。
【請求項１０】
前記検出手段は、前記画像投影手段が投影を行っていない状態で前記検出を行う、
ことを特徴とする請求項１から９のいずれか１項に記載の画像表示装置。
【請求項１１】
前記画質設定手段は、投影画像に重畳表示されるユーザインタフェースを用いて、ユーザから設定の入力を受け付ける、
ことを特徴とする請求項１から１０のいずれか１項に記載の画像表示装置。
【請求項１２】
前記ユーザインタフェースは、画質設定を行う領域の選択および領域ごとに独立した画質設定が可能である、
ことを特徴とする請求項１１に記載の画像表示装置。
【請求項１３】
投影終了時の、前記検出手段が検出した各領域の配置および前記画質設定手段を用いて設定された設定値を記憶する記憶手段をさらに有し、
前記検出手段が検出する各領域の配置と、前記記憶手段に記憶された各領域の配置が同一である場合、前記補正手段は、記憶された前記設定値に基づいて前記画像データを補正する、
ことを特徴とする請求項１から１２のいずれか１項に記載の画像表示装置。
【請求項１４】
画像を投影面に投影する画像投影手段を有する投影装置を制御する制御装置であって、
前記投影面とは異なる物体である対象物と投影画像とが重なる１つ以上の重畳領域およびその他の領域である非重畳領域を検出する検出手段と、
前記重畳領域と前記非重畳領域の画質を、それぞれ別個にユーザが設定する画質設定手段と、
前記画質設定手段を用いて行われるユーザの指示に基づいて、前記重畳領域または前記非重畳領域の画像データを補正する補正手段と、
を有することを特徴とする制御装置。
【請求項１５】
前記画質設定手段は、画質設定を行う領域の選択および領域ごとに独立した画質設定が可能な、表示部に表示されるユーザインタフェースを用いて、ユーザから設定の入力を受け付ける、
ことを特徴とする請求項１４に記載の制御装置。
【請求項１６】
前記検出手段は、撮像装置が投影面を撮像して得られる撮像画像に基づいて前記重畳領域および前記非重畳領域を検出する、
ことを特徴とする請求項１４または１５に記載の制御装置。
【請求項１７】
画像を投影面に投影する画像表示装置における画像表示方法であって、
前記投影面とは異なる物体である対象物と投影画像とが重なる１つ以上の重畳領域およびその他の領域である非重畳領域を検出する検出ステップと、
前記重畳領域と前記非重畳領域の画質を、それぞれ別個にユーザから設定の入力を受け付ける画質設定ステップと、
前記画質設定ステップにおいて行われるユーザの指示に基づいて、前記重畳領域または前記非重畳領域の画像データを補正する補正ステップと、
前記補正ステップにおいて補正される画像を投影する画像投影ステップと、
を有することを特徴とする画像表示方法。
【請求項１８】
画像を投影面に投影する画像投影手段を有する投影装置を制御する制御装置における制
御方法であって、
前記投影面とは異なる物体である対象物と投影画像とが重なる１つ以上の重畳領域およびその他の領域である非重畳領域を検出する検出ステップと、
前記重畳領域と前記非重畳領域の画質を、それぞれ別個にユーザから設定の入力を受け付ける画質設定ステップと、
前記画質設定ステップにおいて行われるユーザの指示に基づいて、前記重畳領域または前記非重畳領域の画像データを補正する補正ステップと、
を有することを特徴とする制御方法。
【請求項１９】
請求項１７または１８に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、制御装置、画像表示方法、および制御方法に関する。
【背景技術】
【０００２】
近年、印刷物や絵画、イラストなどの物体（対象物）を設置している壁面に対して画像を投影する演出が行われている。このような場合、対象物のコントラストを高めたり、照明光等によって生じる色ムラを抑制する等、ユーザの所望の画質で画像を表示することが望まれる。
【０００３】
特許文献１には、投影面に設置された対象物（画像が印刷された印刷物）に重なるように画像を投影する技術が開示されている。これにより、印刷物上の画像のコントラストを高めたり、ダイナミックレンジを広げることができる。特許文献２には、投影面の撮像画像に基づいて画像データを補正する技術が開示されている。これにより、投影面の色や照明光の輝度が不均一なために生じる色ムラを抑制することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０８３１８０号公報
【特許文献２】特開２００４−１５８９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的に、対象物を設置した投影面に画像を投影する場合、対象物とその他の領域とでは反射特性が異なる。このような場合、所望の画質で画像を表示するためには、投影面の反射特性の違いを考慮して画像を投影する必要がある。
【０００６】
しかしながら、特許文献１では、投影面の反射特性が一様ではない場合、反射特性を考慮して画像データをあらかじめ用意する必要があるが、高度な知識や専用の編集装置が必要である。また、あらかじめ用意した画像データを用いても所望の画質とならない場合には、再度、画像データを編集する必要がある。また、特許文献２では、画像データは反射特性の違いを打ち消すように自動補正されるため、投影面のコントラスト等を高めることは想定されていない。そのため、投影面の反射特性の違いを考慮して、ユーザが画質設定を行うことはできない。
【０００７】
そこで、本発明は、画像データを編集することなく、ユーザインタフェースの操作により、投影面に基づいた画質設定を容易に行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、
画像を投影面に投影する画像投影手段と、
前記投影面とは異なる物体である対象物と投影画像とが重なる１つ以上の重畳領域およびその他の領域である非重畳領域を検出する検出手段と、
前記重畳領域と前記非重畳領域の画質を、それぞれ別個にユーザが設定する画質設定手段と、
前記画質設定手段を用いて行われるユーザの指示に基づいて、前記重畳領域または前記非重畳領域の画像データを補正する補正手段と、
を有することを特徴とする画像表示装置である。
【０００９】
本発明の第２の態様は、
画像を投影面に投影する画像投影手段を有する投影装置を制御する制御装置であって、
前記投影面とは異なる物体である対象物と投影画像とが重なる１つ以上の重畳領域およびその他の領域である非重畳領域を検出する検出手段と、
前記重畳領域と前記非重畳領域の画質を、それぞれ別個にユーザが設定する画質設定手段と、
前記画質設定手段を用いて行われるユーザの指示に基づいて、前記重畳領域または前記非重畳領域の画像データを補正する補正手段と、
を有することを特徴とする制御装置である。
【００１０】
本発明の第３の態様は、
画像を投影面に投影する画像表示装置における画像表示方法であって、
前記投影面とは異なる物体である対象物と投影画像とが重なる１つ以上の重畳領域およびその他の領域である非重畳領域を検出する検出ステップと、
前記重畳領域と前記非重畳領域の画質を、それぞれ別個にユーザから設定の入力を受け付ける画質設定ステップと、
前記画質設定ステップにおいて行われるユーザの指示に基づいて、前記重畳領域または前記非重畳領域の画像データを補正する補正ステップと、
前記補正ステップにおいて補正される画像を投影する画像投影ステップと、
を有することを特徴とする画像表示方法である。
【００１１】
本発明の第４の態様は、
画像を投影面に投影する画像投影手段を有する投影装置を制御する制御装置における制御方法であって、
前記投影面とは異なる物体である対象物と投影画像とが重なる１つ以上の重畳領域およびその他の領域である非重畳領域を検出する検出ステップと、
前記重畳領域と前記非重畳領域の画質を、それぞれ別個にユーザから設定の入力を受け付ける画質設定ステップと、
前記画質設定ステップにおいて行われるユーザの指示に基づいて、前記重畳領域または前記非重畳領域の画像データを補正する補正ステップと、
を有することを特徴とする制御方法である。
【００１２】
本発明の第５の態様は、上記画像表示装置の画像表示方法または制御装置の制御方法の各ステップをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、画像データを編集することなく、ユーザインタフェースの操作により、投影面に基づいた画質設定を容易に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態１に係る画像表示システムの一例を示す図
【図２】本発明の実施形態１に係る画像投影装置の一例を示す機能ブロック図
【図３】本発明の実施形態１に係る検出処理の一例を示すフローチャート
【図４】本発明の実施形態１に係る検出処理結果の輝度ヒストグラムの一例を示す図
【図５】本発明の実施形態１に係る検出処理の一例を示すフローチャート
【図６】本発明の実施形態１に係る画質設定メニューの一例を示す図
【図７】本発明の実施形態２に係る画像表示システムの一例を示す図
【図８】本発明の実施形態２に係る画像投影装置の一例を示す機能ブロック図
【図９】本発明の実施形態２に係る検出処理の一例を示すフローチャート
【図１０】本発明の実施形態３に係る画像投影装置の一例を示す機能ブロック図
【図１１】本発明の実施形態３に係る検出処理の一例を示すフローチャート
【発明を実施するための形態】
【００１５】
＜実施形態１＞
以下、本発明の実施形態１について説明する。
【００１６】
（全体構成）
図１は、本実施形態に係る画像表示システムの一例を示す構成図である。
【００１７】
本実施形態に係る画像表示システムは、画像投影装置１００（画像表示装置）と、壁面１５０上に設置された壁面１５０とは異なる物体である印刷物１６０（対象物）で構成される。画像投影装置１００は、投影領域１７０の範囲に印刷物１６０を含むように設置される。なお、以降の説明では、投影領域１７０に投影される投影画像のうち、印刷物１６０上に投影される領域を重畳領域１７１（図１の横線領域）、印刷物１６０上に投影されない領域を非重畳領域１７２（図１の縦線領域）と記載する。本実施形態では、図１のように、投影領域１７０の内側に印刷物１６０が設置され、画像投影装置１００から投影領域１７０に対して、印刷物１６０に対応した画像を投影する例について説明する。
【００１８】
図２は、本実施形態に係る画像投影装置１００の一例を示す機能ブロック図である。本実施形態に係る画像投影装置１００は、演算装置、記憶装置、入出力装置などを含む情報処理装置（コンピュータ）である。記憶装置に格納されたプログラムを演算装置が実行することで、画像投影装置１００の、取得部１０１、領域検出部１０２、操作入力部１０３、画質設定部１０４、補正部１０５、投影画像生成部１０６、画像投影部１０７等の機能が提供される。これらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実装されてもよい。画像投影部１０７は、投影画像に基づいて透過率を変調する液晶パネルと、液晶パネルに対して光を投射する光源等で構成される。
【００１９】
取得部１０１は、印刷物１６０に対応する投影画像の画像データを取得する機能部である。取得部１０１は、パソコン、ファイルサーバ、クラウド上のストレージ等から、ケーブルや無線を介して、画像データを取得する。なお、取得部１０１にカメラ（不図示）を搭載し、当該カメラが印刷物１６０を撮像して得られる撮像データを、画像データとして取得してもよい。なお、投影画像は静止画であるとして説明するが、動画等であってもよい。
【００２０】
領域検出部１０２は、投影面に設置された印刷物１６０の位置（重畳領域１７１）を検出する機能部である。領域検出部１０２は、例えば、カメラ等の撮像部と、画像データを解析する演算部などで構成され、投影面に設置された印刷物１６０の位置を検出する。また、領域検出部１０２は、検出した印刷物１６０の位置情報を、投影領域１７０に対する相対的な座標値に変換した重畳領域１７１の座標情報として補正部１０５および画質設定部１０４に出力する。なお、領域検出部１０２の動作の詳細については、後述の図３および図５のフローチャートを用いた処理説明において行う。
【００２１】
操作入力部１０３は、画像投影装置１００に搭載されたボタンやスイッチ、リモコンまたはキーボード等である。操作入力部１０３は、ユーザによって操作されると、画質設定部１０４に画質設定要求を行う。
【００２２】
画質設定部１０４は、操作入力部１０３の画質設定要求に応じて、画質設定メニューを生成し、後述する投影画像生成部１０６に出力する。また、画質設定部１０４は、ユーザ
の画質設定操作に応じて、画質設定メニューを更新し、操作に応じた画質設定パラメータを後述する補正部１０５に出力する。画質設定部１０４の動作の詳細については、後述の図６を用いた処理説明について行う。
【００２３】
補正部１０５は、取得部１０１が取得する画像データに対して、ユーザの画質設定操作に基づいた補正を行う機能部である。ここで、補正部１０５は、画質設定部１０４が設定する画質設定パラメータを複数保持できる。補正部１０５は、領域検出部１０２が検出する重畳領域１７１、非重畳領域１７２ごとに複数保持している画質設定パラメータの中から１つを選択して、補正処理を行う。なお、補正処理とは、オフセット・ゲイン補正、ガンマ補正、色補正、ホワイトバランス補正、ノイズ軽減、シャープネス補正等の一般的な補正処理である。
【００２４】
投影画像生成部１０６は、画像投影装置１００が投影する画像の画像データを生成する機能部である。本実施形態では、投影画像生成部１０６は、補正部１０５が出力する補正後の画像データと、画質設定部１０４が出力する画質設定メニューの画像データとを用いて、補正後の画像に画質設定メニューが重畳表示されるように画像データを生成する。
【００２５】
画像投影部１０７は、投影面に対して画像を投影する機能部である。画像投影部１０７を構成する光源の強度は、投影画像やユーザ指定等に基づいて制御される。なお、画像投影部１０７は、液晶パネルの代わりにＭＥＭＳシャッター等を用いて構成されてもよい。
【００２６】
（検出処理）
本実施形態に係る領域検出部１０２の検出処理の詳細を、図３を参照して説明する。
【００２７】
ステップＳ１０２において、画像投影装置１００は、ユーザからの投影開始指示に応じて投影面画像（撮像画像）を取得する。例えば、画像投影装置１００は、領域検出部１０２等に搭載されるカメラを用いて投影面の撮像を行う。なお、投影開始指示は、電源投入操作等であってもよい。
【００２８】
ステップＳ１０４において、画像投影装置１００は、画像投影部１０７から、取得部１０１が取得する画像データに基づく画像の投影を開始する。なお、本実施形態では、画像投影装置１００は、取得する投影面画像に、投影画像を写り込ませないようにするため、画像を投影する前に投影面画像の取得を行っているが、これに限定されない。例えば、画像投影装置１００は、画像投影中または画像投影完了後に投影面画像の取得を行ってもよい。
【００２９】
ステップＳ１０６において、領域検出部１０２は、印刷物１６０の位置を検出するために、取得部１０１が取得した投影面画像の画像特徴量を抽出する。具体的には、領域検出部１０２を構成する演算部によって投影面画像の画像データをブロック分割し、ブロック（領域）ごとに輝度ヒストグラムを取得する。ブロックは、例えば、３２ピクセルｘ３２ピクセルの正方形のブロックを用いることができるが、大きさや形状は特に限定されない。なお、取得するヒストグラムは、輝度ヒストグラムではなく、ＲＧＢ等の色ヒストグラムであってもよい。
【００３０】
図４は、領域検出部１０２が取得する輝度ヒストグラムの一例を示す。図４の横軸は輝度値、縦軸は度数である。なお、色ヒストグラムを取得する場合は、横軸が色の階調値である。ここで、領域検出部１０２が取得するヒストグラムは、投影面の色や輝度が一様であれば図４（ａ）のように分布の範囲が狭いものになり、投影面に多様な色や輝度が存在すれば図４（ｂ）のように分布の範囲が広くなる。つまり、ヒストグラムの分布は、印刷物を設置する壁面やスクリーンのように色や輝度が概ね一様な投影面では図４（ａ）に近
い分布になり、印刷物のように所定の画像が印刷されているような投影面では、図４（ｂ）に近い分布になる。
【００３１】
ステップＳ１０８において、領域検出部１０２は、取得したヒストグラムに基づいて印刷物１６０の位置を検出する。具体的には、各ブロック（領域）のヒストグラムを参照し、ヒストグラムの分布の幅が予め定めた幅よりも大きい場合は印刷物領域として検出し、予め定めた幅よりも小さい場合は印刷物１６０が設置されている背景領域（壁面やスクリーン等）と判断する。ここで、本実施形態におけるヒストグラムの分布の幅とは、取得したヒストグラムにおける、所定の度数以上の輝度値の数である。
【００３２】
ステップＳ１１０において、領域検出部１０２は、検出した印刷物１６０の位置情報を、投影領域１７０に対する相対的な座標値に変換して出力する。具体的には、印刷物１６０の位置情報を、投影領域１７０の解像度で正規化する。例えば、画像投影部１０７が投影する画像の解像度が１９２０ｘ１０８０である場合、印刷物領域を、投影領域１７０の左上が座標値（０，０）、左下が（０，１０７９）、右上が（１９１９，０）、右下が（１９１９，１０７９）である座標の範囲に正規化する。そして、正規化した座標値を、重畳領域１７１の座標情報として出力する。なお、この正規化処理は、投影面画像における印刷物の位置を、投影画像における重畳領域１７１の位置（投影画像を構成する画素の座標値）として取り扱うために実施される。
【００３３】
このように、領域検出部１０２は、図３に示す処理によって印刷物１６０の位置を検出し、重畳領域１７１の座標情報を出力する。なお、画像特徴量として輝度や色を用いる例について説明したが、エッジ成分を用いてもよい。この場合、壁面やスクリーンの領域ではほとんどエッジ成分が無く、印刷物領域ではエッジ成分が存在することから、印刷物１６０の位置を検出することが出来る。また、印刷物１６０の位置をブロック単位で検出する例について説明したが、検出方法はこれに限らない。例えば、一般的な印刷物は矩形であることが多いことを考慮して、Ｓ１０８の処理において検出される領域が、矩形の領域となるように補正してもよい。
【００３４】
また、図３では、投影開始時に、１度のみ、印刷物領域を検出するフローについて説明したが、図３に示す処理を実行するタイミングや実行する回数はこれに限定されない。例えば、ユーザが画質設定要求をするたびに画像投影を停止し、Ｓ１０２からＳ１１０の処理を実行してもよい。なお、画像投影の停止は、全画素の階調値がゼロである画像（全黒画像）を投影することにより行ってもよいし、光源の出力をゼロにすることにより行ってもよい。また、画像投影装置１００に加速度センサ（不図示）等を搭載し、画像投影装置１００が移動したことを検知するたびに画像投影を停止し、Ｓ１０２からＳ１１０の処理を実行してもよい。
【００３５】
（画質設定処理）
本実施形態に係る画質設定部１０４の画質設定処理の詳細を説明する。本実施形態に係る画質設定部１０４は、第一の処理として、操作入力部１０３の画質設定要求に応じて、画質設定メニューを生成し、投影画像生成部１０６に出力する。また、画質設定部１０４は、第二の処理として、ユーザの画質設定操作に応じて、画質設定メニューを更新し、操作に応じた画質設定パラメータを補正部１０５に出力する。
【００３６】
ここで、画質設定部１０４は、第一の処理において、画質設定メニュー生成時に領域検出部１０２から重畳領域１７１の座標情報が出力されている場合には、図６に例示するような画質設定メニュー（ユーザインタフェース）を生成する。すなわち、画質設定部１０４は、重畳領域１７１と非重畳領域１７２の画質を、それぞれ別個にユーザが設定する画質設定メニューを生成する。
【００３７】
図６（ａ）は、画質設定メニューが、画質設定対象領域を指定するための領域選択エリア１０３１と、画質設定パラメータを指定するための画質指定エリア１０３２で構成される例である。画質設定部１０４は、領域選択エリア１０３１に、重畳領域１７１と非重畳領域１７２とを選択肢として表示する。なお、図６（ａ）では、画質設定対象領域として重畳領域１７１を指定した状態を示している。ユーザは、領域選択エリア１０３１で画質設定する領域を指定したのち、当該領域の画質設定パラメータを、画質指定エリア１０３２で指定する。
【００３８】
図６（ｂ）は、画質設定メニューが、重畳領域用の画質設定メニュー１０３３と、非重畳領域用の画質設定メニュー１０３４とで構成される例である。なお、図６（ｂ）では、重畳領域用の画質設定メニュー１０３３がアクティブになっている状態を示している。ユーザは、画質設定する領域用のメニューをアクティブにし、各画質設定パラメータを指定する。
【００３９】
なお、画質設定部１０４は、図６に示すような画質設定メニュー以外の表示を行ってもよい。例えば、画質設定部１０４は、図６に図示するパラメータ以外のパラメータを用いてもよい。また、設定可能なパラメータの数や配置は特に限定されない。さらに、画質設定部１０４は、ユーザが画質設定する領域を強調表示するために、投影画像上に、重畳領域１７１または非重畳領域１７２の枠線等を生成してもよい。また、画像投影装置１００にカメラ等で構成されるユーザ位置検出部（不図示）をさらに設け、画質設定部１０４が、重畳領域１７１と非重畳領域１７２のうち、検出されるユーザの位置により近い領域をデフォルトの画質設定対象領域として設定しても構わない。
【００４０】
第二の処理において、画質設定部１０４は、ユーザが指定する画質設定対象領域について、ユーザからの指示にしたがって補正するための画質設定パラメータを生成する。例えば、ユーザが重畳領域１７１の明るさを５ポイント高める操作入力を行うとする。この場合、画質設定部１０４は、補正部１０５が保持している複数の画質設定パラメータのうち、重畳領域１７１の画像補正に使用する画質設定パラメータについて、明るさが５ポイント高まるような値に変更する。このようにして、ユーザは、重畳領域１７１または非重畳領域１７２のうち、ユーザが指定する領域の画質設定が可能となる。
【００４１】
なお、投影終了時の、重畳領域１７１と非重畳領域１７２に対する画質設定パラメータ（設定値）を記憶しておき、次回投影時にも自動で同じ画質設定パラメータで投影を行うようにしても構わない。また、重畳領域１７１と非重畳領域１７２の配置領域も同時に記憶し、次回の投影開始時に、記録されている配置と、今回の配置が同じである場合に限り、自動で同じ画質設定パラメータで投影を行うようにしても構わない。
【００４２】
（本実施形態の作用効果）
以上のような動作により、ユーザは、投影面の画像特徴量の違いによって生じる投影画像の見え方の違いを、画像データを編集することなく、ユーザインタフェースの操作によって容易に補正することが可能である。
【００４３】
なお、本実施形態では、印刷物１６０が１つである場合について説明したが、複数存在しても構わない。この場合は、各領域を独立した画質設定が可能な領域としてもよいし、印刷物の区別は行わず、印刷物領域とその他の領域とを独立した画質設定が可能な領域としてもよい。
【００４４】
＜実施形態１の変形例１＞
実施形態１の変形例１として、画像特徴量の代わりにマーカーを用いる例および投影面
画像と投影画像とを用いる例について説明する。
【００４５】
上述した例では、画像特徴量に基づいて印刷物等の位置を検出する例について説明したが、検出方法はこれに限らない。例えば、矩形状の印刷物の四隅に、印刷物の頂点であることを示すマーカーを付加して印刷すると共に、領域検出部１０２は、当該マーカーを検出することによって印刷物の位置を検出してもよい。なお、マーカーとして２次元コード等を用いることができるが、これに限定されない。
【００４６】
また、上述した例では、投影面画像のみから印刷物の位置を検出する例について説明したが、領域検出部１０２が検出に用いる画像は１つに限らない。例えば、印刷物上に、印刷物と同一の画像、あるいは、類似する画像が重畳されているケースを想定して、領域検出部１０２が投影面画像と投影画像とを比較して印刷物の位置（重畳領域）を検出しても構わない。
【００４７】
この場合、まず、領域検出部１０２は、上述した例と同様の処理によって投影面画像を取得する。そして、領域検出部１０２は、取得した投影面画像の画像データからエッジ成分を抽出してエッジ画像を生成する。また、領域検出部１０２は、取得部１０１から投影画像データを受け取り、投影画像データのエッジ画像も生成する。そして、領域検出部１０２は、両者の解像度が一致するように解像度変換を行った上で、エッジ画像をブロック分割し、ブロック（領域）ごとに両者の画像データを比較する。そして、領域検出部１０２は、差分が所定値未満のブロックを重畳領域（一致または類似する領域）として検出する。なお、ブロックのサイズや形状は、実施形態１と同じものを使用してもよいし、異なっていてもよい。また、重畳領域はエッジ成分以外から検出してもよく、例えば、輝度値や色の差によって検出しても構わない。
【００４８】
＜実施形態１の変形例２＞
実施形態１の変形例２として、図５に示す検出処理の例について説明する。図５は、予め取得しておいた、印刷物が設置されていない状態における投射面の画像を使用して、印刷物１６０の位置を検出する場合のフローチャートである。図５に示す処理により、印刷物が設置される壁面やスクリーンの特徴によらず、領域検出部１０２は、設置された印刷物を検出することが可能になる。
【００４９】
ステップＳ１５２において、画像投影装置１００は、ユーザからの投影開始指示に応じて投影画像の投影を開始し、ユーザからの操作指示を待つ。
【００５０】
ステップＳ１５４において、領域検出部１０２は、ユーザからの印刷物設置前の第一投影面画像の取得指示の有無を判断する。本実施形態では、ユーザからの取得指示は、画像投影装置１００に搭載されるボタンもしくはスイッチまたはリモコン等を介して行われる。本実施形態では、ユーザからの取得指示があった場合は、ステップＳ１５６に進む。ユーザからの取得指示がない場合は、ステップＳ１６２に進む。
【００５１】
ステップＳ１５６では、ステップＳ１５４においてユーザからの取得指示があった場合（Ｓ１５４−ＹＥＳ）、画像投影装置１００は、第一投影面画像を取得するために、画像投影を停止する。これは、取得する第一投影面画像に、投影画像を写り込ませないようにするためである。
【００５２】
ステップＳ１５８において、画像投影装置１００は、領域検出部１０２等に搭載されるカメラを用いて、第一投影面画像を取得する。また、第一投影面画像を取得済の状態で、ユーザからの取得指示がある場合は、画像投影装置１００は、第一投影面画像を取得し更新する。
【００５３】
ステップＳ１６０において、画像の投影を再開し、ステップＳ１５４に進む。
【００５４】
ステップＳ１６２では、ステップＳ１５４においてユーザからの印刷物設置前の第一投影面画像の取得指示がない場合（Ｓ１５４−ＮＯ）、領域検出部１０２は、ユーザからの印刷物設置後の第二投影面画像の取得指示の有無を判断する。本実施形態では、ユーザからの取得指示は、画像投影装置１００に搭載されるボタンもしくはスイッチまたはリモコン等を介して行われる。ユーザからの取得指示があった場合は、ステップＳ１６４に進む。ユーザからの取得指示がない場合は、ステップＳ１７６に進む。
【００５５】
なお、第二投影面画像の取得指示に用いられるボタン等は、上述の第一投影面画像の取得指示に用いられるボタン等と同じでもよいし、異なってもよい。同じボタン等の場合、領域検出部１０２は、ボタンが押下される回数等によって、第一または第二投影面画像の取得指示かを判断すればよい。また、ステップＳ１６２において、領域検出部１０２は、ユーザからの第二投影面画像の取得指示の有無ではなく、投影画像の画質設定指示等の有無を判断してもよい。つまり、領域検出部１０２は、ユーザが投影画像の画質設定を行う時点で、第二投影面画像を取得または更新するようにしてもよい。
【００５６】
ステップＳ１６４では、ステップＳ１６２においてユーザからの取得指示があった場合（Ｓ１６２−ＹＥＳ）、画像投影装置１００は、ステップＳ１５６と同様に、第二投影面画像を取得するために、画像投影を停止する。
【００５７】
ステップＳ１６６において、画像投影装置１００は、領域検出部１０２を構成するカメラを用いて、第二投影面画像を取得する。また、第二投影面画像を取得済の状態で、ユーザによって取得指示がされる場合は、領域検出部１０２は、第二投影面画像を取得し更新する。
【００５８】
ステップＳ１６８において、画像投影装置１００は、画像の投影を再開し、ステップＳ１７０に進む。
【００５９】
ステップＳ１７０において、領域検出部１０２は、印刷物設置前の第一投影面画像と、印刷物設置後の第二投影面画像との両方が取得されているか否かを判断する。両方が取得されている場合は、ステップＳ１７２に進む。両方が取得されていない場合は、ステップＳ１５４進む。
【００６０】
ステップＳ１７２では、ステップＳ１７０において第一投影面画および第二投影面画の両方が取得されている場合（Ｓ１７０−ＹＥＳ）、領域検出部１０２は、両方の画像特徴量に基づいて、差分が存在する領域を検出する。領域検出部１０２は、本処理によって検出される差分領域を、投影面上に設置された印刷物等（物体）が存在する重畳領域１７１として検出する。
【００６１】
本実施形態では、領域検出部１０２は、具体的に以下のように差分領域の検出を行う。まず、領域検出部１０２は、２つの画像から特徴量としてエッジを抽出し、エッジ画像を生成する。次に、領域検出部１０２は、エッジ画像をブロック分割し、ブロック（領域）ごとに両者の画像データを比較する。そして、領域検出部１０２は、所定値以上の差分が存在するブロックを差分領域として検出する。なお、ブロックのサイズや形状は、実施形態１と同じでもよいし、異なってもよい。また、領域検出部１０２は、差分領域をエッジ成分以外に基づいて検出してもよく、例えば、輝度値や色の差によって検出しても構わない。この場合、領域検出部１０２は、印刷物設置前後で、環境光の強度が異なる可能性を考慮して、環境光の影響を打ち消した上で差分領域の検出を行うようにしてもよい。環境
光の強度は、例えば、画像投影装置１００に搭載した環境光センサ（不図示）で取得し、投影面画像取得時にメタデータとして投影面画像に付加しておけばよい。
【００６２】
ステップＳ１７４において、領域検出部１０２は、検出した差分領域を、投影領域１７０に対する相対的な位置情報に変換し、重畳領域１７１の座標情報として後段に出力する。なお、本処理は、印刷物１６０の位置情報ではなく差分領域を使用するという点以外、図３のステップＳ１１０と同じ処理であるため、説明は省略する。
【００６３】
ステップＳ１７６において、第二投影面画像の取得指示がない場合（Ｓ１６２−ＮＯ）、画像投影装置１００は、投影終了指示の有無を判断する。終了指示がない場合は、ステップＳ１５４に進む。終了指示がある場合は、画像投影装置１００は、画像投影を終了する。
【００６４】
以上のように、領域検出部１０２は、図５に示す処理によっても、印刷物の位置を検出し、重畳領域１７１の座標情報を出力することができる。なお、印刷物の位置をブロック単位で検出する例について説明したが、検出方法はこれに限らない。例えば、一般的な印刷物は矩形であることが多いことを考慮して、Ｓ１７２の処理において検出される領域が、矩形の領域となるように補正してもよい。
【００６５】
＜実施形態２＞
以下、本発明の実施形態２について説明する。
実施形態１では、投影面画像の特徴量に基づいて重畳領域を検出する例を説明したが、本実施形態では、画像投影装置から投影物までの距離に違いに基づいて重畳領域を検出する例について説明する。ここで、投影物とは、投影面または印刷物等（対象物）を示す。本実施形態では、壁面やスクリーンに画像を投影する場合と、同一の壁面やスクリーン上に設置した印刷物や絵画、イラストに画像を投影する場合との、画像投影装置から投影物までの距離に違いに注目する。
【００６６】
図７は、本実施形態の画像表示システムの一例を示す図である。
【００６７】
図７では、壁面１５０上に置台２８０が設置され、置台２８０に印刷物１６０が設置されている。本実施形態において、画像投影装置２００から投影物までの距離とは、画像投影装置２００から、壁面１５０や印刷物１６０内の複数地点までの距離を示す（矢印２９０）。ここで、重畳領域１７１と非重畳領域１７２の境界部１７３では、画像投影装置２００から投影物までの距離が不連続となる。
【００６８】
図８は、本実施形態に係る画像投影装置２００の一例を示す機能ブロック図である。本実施形態に係る画像投影装置２００は、演算装置、記憶装置、入出力装置などを含む情報処理装置（コンピュータ）である。記憶装置に格納されたプログラムを演算装置が実行することで、画像投影装置２００の、取得部１０１、領域検出部２０２、操作入力部１０３、画質設定部１０４、補正部１０５、投影画像生成部１０６、画像投影部１０７等の機能が提供される。また、画像投影装置２００の機能として、距離測定部２０８等が提供される。これらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実装されてもよい。また、本実施形態に係る画像投影装置２００は、距離測定部２０８、領域検出部２０２を用いて重畳領域１７１等の検出を行う。なお、図８において、実施形態１（図２）と同じ機能部については、同じ符号を付し説明を省略する。
【００６９】
距離測定部２０８は、画像投影装置２００から投影物までの距離を測定可能なセンサであり、画像投影装置２００から投影領域１７０内の異なる複数地点までの距離が測定可能なように構成される。
【００７０】
領域検出部２０２は、投影領域１７０内の複数地点までの距離を解析し、独立した画質設定が可能な領域を検出する。本実施形態では、領域検出部２０２は、距離情報から不連続となる点を検出する。そして、領域検出部２０２は、検出される点より得られる境界部１７３で囲まれる領域を、独立した画質設定が可能な領域とする。また、領域検出部２０２は、検出した領域を、投影領域１７０に対する相対的な位置情報に変換して、画質設定部１０４および補正部１０５に出力する。なお、境界部１７３が閉じた領域とならない場合は、領域検出部２０２は、境界部１７３で隔てられる領域を、独立した画質設定が可能な領域としてもよい。
【００７１】
（処理内容）
次に、図９のフローチャートを用いて、領域検出部２０２が独立した画質設定が可能な領域（以下、独立画質設定領域という。）を検出する動作について説明する。
【００７２】
ステップＳ２０２において、距離測定部２０８は、画像投影装置２００から投影物までの距離を取得する。本実施形態では、距離測定部２０８は、画像投影装置２００から投影領域１７０内の所定点までの距離を測定する。具体的には、距離測定部２０８は、レーザ等を用いて、投影領域１７０内全体を、水平・垂直方向に順次走査するように当該所定点を移動させながら、投影物内の複数地点までの距離を測定する。なお、距離の測定方法については、特に限定されない。例えば、距離測定部２０８は、ステレオカメラを用いて距離を測定してもよいし、超音波等を用いて距離を測定してもよい。
【００７３】
ステップＳ２０４において、領域検出部２０２は、距離測定部２０８が取得する距離情報を解析し、距離情報が不連続となる点を検出する。このような処理により、領域検出部２０２は、境界部１７３を検出する。
【００７４】
ステップＳ２０６において、領域検出部２０２は、検出した境界部１７３で囲まれる領域およびその他の領域を独立画質設定領域として検出する。
【００７５】
ステップＳ２０８において、領域検出部２０２は、独立画質設定領域を重畳領域１７１の座標情報に変換して出力する。
【００７６】
なお、本実施形態では、領域検出部２０２は、距離情報が不連続となる点を検出することで、独立画質設定領域を検出するが、検出方法はこれに限らない。例えば、領域検出部２０２は、実施形態１の変形例２と同様に、印刷物設置前後における距離分布を比較し、距離分布に変化が生しる領域を独立画質設定領域としてもよい。また、領域検出部２０２は、距離測定部２０８が取得する距離が予め定めた第一閾値よりも短い領域と、それ以外の領域とを、独立画質設定領域として検出してもよい。また、独立画質設定領域が２つの場合について説明したが、これに限らず、領域検出部２０２は、独立画質設定領域を３つ以上設けてもよい。
【００７７】
（本実施形態の作用効果）
以上のような画像投影装置２００により、壁面１５０上に設置された印刷物や絵画、イラスト等を、投影面画像に関する情報を使用することなく、投影物までの距離に関する情報のみから、簡易的に検出することができる。これにより、投影物の距離の違いによって生じる投影画像の見え方の違いを、画像投影装置２００の操作によって容易に補正することが可能である。
【００７８】
＜実施形態３＞
以下、本発明の実施形態３について説明する。
本実施形態では、投影物の反射特性に基づいて独立画質設定領域を検出する例について説明する。
【００７９】
図１０は、本実施形態の画像投影装置３００の一例を示す機能ブロック図である。本実施形態に係る画像投影装置３００は、演算装置、記憶装置、入出力装置などを含む情報処理装置（コンピュータ）である。記憶装置に格納されたプログラムを演算装置が実行することで、画像投影装置３００の、取得部１０１、領域検出部３０２、操作入力部１０３、画質設定部１０４、補正部１０５、投影画像生成部１０６、画像投影部１０７等の機能が提供される。また、画像投影装置３００の機能として、反射特性測定部３０８、測定用画像生成部３０９、選択部３１０等が提供される。これらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実装されてもよい。なお、図１０において、実施形態１（図２）と同じ機能部については、同じ符号を付し説明を省略する。
【００８０】
反射特性測定部３０８は、例えば、カメラ等の撮像装置で構成され、投影物の反射特性を測定する。ここで、投影物の反射特性とは、投影物の反射率、輝度、色等である。本実施形態では、反射特性測定部３０８は、反射特性を予め定めた基準値で正規化した値を出力する。例えば、反射特性として反射率を抽出する場合であれば、基準値は、あらかじめ画像投影装置３００から標準白色板に全白画像を投影した状態で取得した投影面画像の平均輝度値などを使用することができる。
【００８１】
領域検出部３０２は、投影領域１７０内の反射特性情報に基づいて、独立した画質設定が可能な領域を検出する。また、領域検出部３０２は、検出した領域を、投影領域１７０に対する相対的な位置情報に変換して、画質設定部１０４および補正部１０５に出力する。
【００８２】
測定用画像生成部３０９は、投影物の反射特性の測定に適した画像データを生成して出力する。本実施形態では、測定用画像生成部３０９は、反射特性の測定用に全白画像データを生成するが、色画像はこれに限らない。例えば、赤、緑、青、黒等の色画像を全画素表示してもよい。
【００８３】
選択部３１０は、投影物の反射特性測定時には、測定用画像生成部３０９が出力する画像データを、それ以外の時には投影画像生成部１０６が出力する画像データを選択し、画像投影部１０７に出力する。
【００８４】
（処理内容）
次に、図１１のフローチャートを用いて、領域検出部３０２が独立画質設定領域を検出する動作について説明する。
【００８５】
ステップＳ３０２において、ユーザからの投影開始指示が入力されると、測定用画像生成部３０９は、投影物の反射特性の測定に適した測定用画像データを生成する。そして、選択部３１０は、測定用画像生成部３０９が生成した画像データを選択し、画像投影部１０７に出力する。ここで、反射特性として反射率を測定する場合は、測定用画像生成部３０９は、測定用画像データとして全画素の階調値が最大である画像（全白画像）データを生成する。なお、反射特性として、投影物の輝度や色を測定する場合は、測定用画像生成部３０９による測定用画像データの生成および画像投影部１０７による画像の投影を行わなくてもよい。
【００８６】
ステップＳ３０４において、反射特性測定部３０８は、カメラ等を使用して取得する画像データ（撮像データ）から投影面の反射特性を測定する。
【００８７】
例えば、反射特性として反射率を抽出する場合であれば、反射特性測定部３０８は、全白画像を投影した状態で取得した画像データをブロック分割し、ブロック（領域）ごとに平均輝度値を算出する。なお、ブロックのサイズや形状は、実施形態１と同じものを使用してもよいし、異なっていてもよい。そして、反射特性測定部３０８は、取得した平均輝度値を、予め定めた基準値を用いて正規化した値を反射率として抽出する。なお、平均輝度値を算出する領域はブロック単位に限らない。例えば、矩形の領域となるように補正してもよい。
【００８８】
ステップＳ３０６において、投影物の反射特性の取得後、画像投影部１０７は、投影画像の投影を開始する。
【００８９】
ステップＳ３０８において、領域検出部３０２は、投影物の反射特性に応じて、投影領域１７０を領域分けし、これを独立した画質設定が可能な領域として検出する。例えば、反射率に応じて領域分けする場合であれば、反射率が予め定めた閾値よりも小さい領域とそれ以外の領域とを、独立した画質設定が可能な領域として検出する。
【００９０】
ステップＳ３１０において、領域検出部３０２は、検出した独立画質設定領域を、重畳領域１７１の座標情報に変換して出力する。
【００９１】
（本実施形態の作用効果）
以上のような画像投影装置３００により、投影面に印刷物が設置されているか否かに関わらず、投影物の反射特性が異なる領域ごとに、独立して、投影画像の画質設定を容易に行うことができる。
【００９２】
また、反射特性が大きく異なる領域が印刷物内部に存在するような場合であっても、当該領域ごとに独立した画質設定が可能である。一般的に、反射特性が大きく異なる領域を跨いで画像を投影する場合、それが同一の印刷物内部であったとしても、画像を投影した状態の画質を事前に予測することは困難である。従って、本実施形態によって、所望の画質が実現できなかった場合でも、画像データの再編集などのユーザ負荷を低減することが可能である。
【００９３】
また、本実施形態では、反射特性に応じて独立した画質設定が可能な領域を検出するため、印刷物上に限らず、建物等の複雑な投影物に投影する場合にも対応することができる。例えば、コンクリート壁とガラス窓を含む投影物に投影する場合であれば、コンクリート壁とガラス窓の反射特性を検出することで、それぞれの領域ごとに独立した画質設定が可能となる。
【００９４】
＜その他の実施形態＞
上述の実施形態１から３では、画像投影装置を用いる例について説明したが、画像投影装置の代わりに、制御装置、撮像装置および投影装置（実施形態２の場合は、距離測定装置）を適用することもできる。
【００９５】
制御装置は、演算装置、記憶装置、入出力装置などを含む情報処理装置（コンピュータ）である。記憶装置に格納されたプログラムを演算装置が実行することで、制御装置の、取得部１０１、領域検出部１０２，２０２，３０２、操作入力部１０３、画質設定部１０４、補正部１０５、投影画像生成部１０６等の機能が提供される。これらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実装されてもよい。さらに、制御装置は、実施形態３に適用する場合は、測定用画像生成部３０９および選択部３１０等の機能を有する。なお、上述の実施形態と同じ機能部については、同じ符号を付し説明を省略する。投影装置は、投影画像に基づいて透過率を変調する液晶パネルと、液晶パ
ネルに対して光を投射する光源等で構成される。制御装置と投影装置および撮像装置は、ケーブルや無線を介して通信する。
【００９６】
撮像装置は、撮像部を有する装置であり、撮像して得られる画像データを制御装置に出力する。なお、上述の実施形態２の場合は、撮像装置の代わりに距離測定部２０８を有する距離測定装置を用いればよい。投影装置は、画像投影部１０７を有する装置であり、投影面に対して画像を投影する装置である。投影装置は、投影画像生成部１０６等が出力する画像データを入力して、画像を投影する。
【００９７】
ここで、領域検出部１０２，２０２，３０２は、撮像装置が出力する画像データ（実施形態２の場合は、距離測定装置の出力結果）に基づいて、重畳領域および非重畳領域を検出する。なお、画質設定部１０４は、制御装置の表示部（ディスプレイ等）に上述の画質設定メニューを表示し、ユーザからの画質設定の入力を受け付けてもよい。
【００９８】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１００】
１０２：領域検出部
１０４：画質設定部
１０５：補正部
１０７：画像投影部
【図１】
2019028165.tif 000003
【図２】
2019028165.tif 000004
【図３】
2019028165.tif 000005
【図４】
2019028165.tif 000006
【図５】
2019028165.tif 000007
【図６】
2019028165.tif 000008
【図７】
2019028165.tif 000009
【図８】
2019028165.tif 000010
【図９】
2019028165.tif 000011
【図１０】
2019028165.tif 000012
【図１１】
2019028165.tif 000013