(57)【要約】【課題】表示領域を持つ電子機器がプロジェクタの投影領域にあっても、ユーザが、その電子機器が表示している情報を読み取り難くなってしまうことを防ぐことができる画像生成装置を提供すること。【解決手段】撮像装置が撮像した画像から、電子機器の表示領域を検出する表示領域検出部と、表示領域に対応する部分が黒色である表示画像を生成し、生成した表示画像をプロジェクタ装置に投影させる表示画像生成部とを備える。【選択図】図１
2015102834.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が撮像した画像から、電子機器の表示領域を検出する表示領域検出部と、
前記表示領域に対応する部分が黒色である表示画像を生成し、生成した表示画像をプロジェクタ装置に投影させる表示画像生成部と
を備えることを特徴とする画像生成装置。
【請求項２】
前記表示領域検出部は、前記撮像装置が撮像した複数の画像であって、前記プロジェクタ装置が画像を投影する領域への光の照射量が異なるときに撮像した複数の画像の間で、明るさの差の大きさが、予め決められた閾値よりも小さい領域を、前記表示領域として検出すること
を特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記撮像装置が前記複数の画像のうちの一つである第１参照画像を撮像するときと、前記撮像装置が前記複数の画像のうちの他の一つである第２参照画像を撮像するときとで、前記プロジェクタ装置に異なる明るさの画像を投影させる領域検出用画像生成部を備えることを特徴とする請求項２に記載の画像生成装置。
【請求項４】
前記表示領域検出部が前記表示領域として検出するのは、前記明るさの差が、前記予め決められた閾値よりも小さく、さらに、前記複数の画像のうち、少なくともいずれか１つにおいて、明るさを表す値が、予め決められた閾値よりも大きいときであることを特徴とする請求項２または請求項３に記載の画像生成装置。
【請求項５】
前記電子機器の形状に関する情報を記憶する記憶部を備え、
前記表示領域検出部は、前記記憶部が記憶する前記電子機器の形状に関する情報を用いて、前記撮像装置が撮像した画像から前記電子機器の表示領域を検出すること
を特徴とする請求項１に記載の画像生成装置。
【請求項６】
前記電子機器が表示領域に表示する画像に関する情報を取得する取得部を備え、
前記表示領域検出部は、前記取得部が取得した情報を用いて、前記撮像装置が撮像した画像から、前記電子機器が表示領域に表示している画像の領域を検出することで、前記電子機器の表示領域を検出すること
を特徴とする請求項１に記載の画像生成装置。
【請求項７】
前記取得部は、前記電子機器が表示領域に表示する画像に関する情報を、予め記憶していることを特徴とする請求項６に記載の画像生成装置。
【請求項８】
前記取得部は、前記電子機器と通信することで、前記電子機器が表示領域に表示する画像に関する情報を取得することを特徴とする請求項６に記載の画像生成装置。
【請求項９】
前記表示画像生成部は、前記表示領域に対応する部分以外の領域に、前記表示画像にて通知する情報を各々が表す要素画像を配置することで、前記表示画像を生成することを特徴とする請求項１から請求項８のいずれかの一項に記載の画像生成装置。
【請求項１０】
コンピュータを、
撮像装置が撮像した画像から、電子機器の表示領域を検出する表示領域検出部、
前記表示領域に対応する部分が黒色である画像を生成し、生成した画像をプロジェクタ装置に投影させる表示画像生成部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置およびプログラムに関する。
【背景技術】
【０００２】
従来、プロジェクタの投影領域内に、何らかの物があるときに、プロジェクタに情報を提示させる領域を選択する技術がある。例えば、特許文献１には、作業空間に置かれた作業対象物に関する情報を提示する情報提示装置が記載されている。この情報提示装置は、作業空間を投影領域とするプロジェクタと、作業空間を撮像領域とする赤外線カメラとを有している。情報提示装置は、格子模様パターンが投影されているときの作業空間を赤外線カメラで撮像し、撮像結果を用いて、作業空間から平面領域を検出する。そして、情報提示装置は、検出した平面領域のうち、最大かつ正方形に近いものに、作業対象物に関する情報を投影する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１８９７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の情報提示装置においては、近年普及しているスマートフォンや、タブレット端末など、表示領域を持つ可搬型の電子機器が、作業空間にあったときに、その表示領域に情報を投影してしまい、ユーザが、その電子機器が表示している情報を読み取り難くなってしまうことがあるという問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、表示領域を持つ電子機器がプロジェクタの投影領域にあっても、ユーザが、その電子機器が表示している情報を読み取り難くなってしまうことを防ぐことができる画像生成装置およびプログラムを提供する。
【課題を解決するための手段】
【０００６】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、撮像装置が撮像した画像から、電子機器の表示領域を検出する表示領域検出部と、前記表示領域に対応する部分が黒色である表示画像を生成し、生成した表示画像をプロジェクタ装置に投影させる表示画像生成部とを備えることを特徴とする画像生成装置である。
【０００７】
（２）また、本発明の他の態様は、（１）に記載の画像生成装置であって、前記表示領域検出部は、前記撮像装置が撮像した複数の画像であって、前記プロジェクタ装置が画像を投影する領域への光の照射量が異なるときに撮像した複数の画像の間で、明るさの差の大きさが、予め決められた閾値よりも小さい領域を、前記表示領域として検出することを特徴とする。
【０００８】
（３）また、本発明の他の態様は、（２）に記載の画像生成装置であって、前記撮像装置が前記複数の画像のうちの一つである第１参照画像を撮像するときと、前記撮像装置が前記複数の画像のうちの他の一つである第２参照画像を撮像するときとで、前記プロジェクタ装置に異なる明るさの画像を投影させる領域検出用画像生成部を備えることを特徴とする。
【０００９】
（４）また、本発明の他の態様は、（２）または（３）に記載の画像生成装置であって、前記表示領域検出部が前記表示領域として検出するのは、前記明るさの差が、前記予め決められた閾値よりも小さく、さらに、前記複数の画像のうち、少なくともいずれか１つにおいて、明るさを表す値が、予め決められた閾値よりも大きいときであることを特徴とする。
【００１０】
（５）また、本発明の他の態様は、（１）に記載の画像生成装置であって、前記電子機器の形状に関する情報を記憶する記憶部を備え、前記表示領域検出部は、前記記憶部が記憶する前記電子機器の形状に関する情報を用いて、前記撮像装置が撮像した画像から前記電子機器の表示領域を検出することを特徴とする。
【００１１】
（６）また、本発明の他の態様は、（１）に記載の画像生成装置であって、前記電子機器が表示領域に表示する画像に関する情報を取得する取得部を備え、前記表示領域検出部は、前記取得部が取得した情報を用いて、前記撮像装置が撮像した画像から、前記電子機器が表示領域に表示している画像の領域を検出することで、前記電子機器の表示領域を検出することを特徴とする。
【００１２】
（７）また、本発明の他の態様は、（６）に記載の画像生成装置であって、前記取得部は、前記電子機器が表示領域に表示する画像に関する情報を、予め記憶していることを特徴とする。
【００１３】
（８）また、本発明の他の態様は、（６）に記載の画像生成装置であって、前記取得部は、前記電子機器と通信することで、前記電子機器が表示領域に表示する画像に関する情報を取得することを特徴とする。
【００１４】
（９）また、本発明の他の態様は、（１）から（８）のいずれかに記載の画像生成装置であって、前記表示画像生成部は、前記表示領域に対応する部分以外の領域に、前記表示画像にて通知する情報を各々が表す要素画像を配置することで、前記表示画像を生成することを特徴とする。
【００１５】
（１０）また、本発明の他の態様は、コンピュータを、撮像装置が撮像した画像から、電子機器の表示領域を検出する表示領域検出部、前記表示領域に対応する部分が黒色である画像を生成し、生成した画像をプロジェクタ装置に投影させる表示画像生成部として機能させるためのプログラムである。
【発明の効果】
【００１６】
この発明によれば、表示領域を持つ電子機器がプロジェクタの投影領域にあっても、ユーザが、その電子機器が表示している情報を読み取り難くなってしまうことを防ぐことができる。
【図面の簡単な説明】
【００１７】
【図１】この発明の第１の実施形態による画像投影装置１の使用状況の例を示す概略図である。
【図２】同実施形態における画像投影装置１の構成を示す概略ブロック図である。
【図３】同実施形態における表示領域検出処理を説明するフローチャートである。
【図４】同実施形態における表示画像生成部３１の動作を説明するフローチャートである。
【図５】同実施形態における表示画像生成部３１が生成する表示画像の例Ｇ１を示す図である。
【図６】この発明の第２の実施形態による画像投影装置１ａの構成を示す概略ブロック図である。
【図７】同実施形態における電子機器形状記憶部３５ａが記憶する電子機器の画像の例を示す図である。
【図８】この発明の第３の実施形態による画像投影装置１ｂの構成を示す概略ブロック図である。
【図９】同実施形態における撮像部２０が撮像した画像の例を示す図である。
【図１０】この発明の第４の実施形態による画像投影装置１ｃの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１８】
［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による画像投影装置１の使用状況の例を示す概略図である。図１において、画像投影装置１は、下方に向かって画像を投影できるように、天井に設置されている。ユーザＵ１は、画像投影装置１の画像投影領域Ｐ１内で、タブレット端末などの電子機器Ｓ１を操作している。画像投影装置１は、電子機器Ｓ１の表示領域を検出し、表示領域に対応する部分が黒色の画像を生成して投影する。
【００１９】
図２は、画像投影装置１の構成を示す概略ブロック図である。画像投影装置１は、プロジェクタ部１０、撮像部２０、画像生成装置３０を含んで構成される。画像生成装置３０は、表示画像生成部３１、表示領域検出部３２、領域検出用画像生成部３３、切替部３４を含んで構成される。プロジェクタ部１０（プロジェクタ装置）は、入力された画像を投影するプロジェクタである。撮像部２０（撮像装置）は、プロジェクタ部１０の画像投影領域を撮像する。なお、撮像部２０は、プロジェクタ部１０の画像投影領域を撮像するために、プロジェクタ部１０と光軸が一致していることが望ましいが、光軸が一致していなくても、プロジェクタ部１０の近傍に配置されていればよい。
【００２０】
表示画像生成部３１は、プロジェクタ部１０に投影させる表示画像であって、表示領域検出部３２が検出した電子機器の表示領域に対応する部分が黒色となっている表示画像を生成する。表示領域検出部３２は、撮像部２０が撮像した画像から、電子機器の表示領域を検出する。本実施形態における表示領域検出部３２は、撮像部２０が撮像した複数の画像であって、プロジェクタ部１０が画像を投影する領域への光の照射量が異なるときに撮像した複数の画像を比較する。表示領域検出部３２は、該比較の結果、それらの画像の間で、明るさの差が、予め決められた閾値よりも小さい領域を、電子機器の表示領域として検出する。
【００２１】
以降、プロジェクタ部１０が画像を投影する領域への光の照射量が異なるときに撮像した複数の画像のうち、光の照射量が多いときの画像を、第１参照画像といい、光の照射量が少ないときの画像を、第２参照画像という。
領域検出用画像生成部３３は、第１参照画像を撮像する際にプロジェクタ部１０が投影する画像（以降、第１照射画像という）と、第２参照画像を撮像する際にプロジェクタ部１０が投影する画像（以降、第２照射画像という）とを生成する。第１照射画像は、画像全体の輝度値が高い画像であり、第２照射画像は、画像全体の輝度値が低い画像である。
【００２２】
切替部３４は、表示領域検出部３２が、表示領域の検出を行うときは、領域検出用画像生成部３３から入力された画像をプロジェクタ部１０に入力し、それ以外のときは、表示画像生成部３１から入力された表示画像をプロジェクタ部１０に入力する。
【００２３】
図３は、表示領域検出処理を説明するフローチャートである。表示領域検出部３２は、領域検出用画像生成部３３に、第１照射画像を生成させるとともに、切替部３４に、第１照射画像をプロジェクタ部１０に投影させる。このときに、撮像部２０が撮像した画像を、表示領域検出部３２は、第１参照画像として取得する（Ｓａ１）。次に、表示領域検出部３２は、領域検出用画像生成部３３に、第２照射画像を生成させるとともに、切替部３４に、第２照射画像をプロジェクタ部１０に投影させる。このときに、撮像部２０が撮像した画像を、表示領域検出部３２は、第２参照画像として取得する（Ｓａ２）。
【００２４】
次に、表示領域検出部３２は、以下のようにして、ステップＳａ４からＳａ７の処理を、全画素について行う（Ｓａ３）。そのために、まず、対象の画素を一つ選択する。そして、ステップＳａ４では、表示領域検出部３２は、対象の画素について、第１参照画像における濃淡値と、第２参照画像における濃淡値との差を算出する。なお、濃淡値は、画素値がＲＧＢ値であるときは、その画素のＲ（赤）値と、Ｇ（緑）値と、Ｂ（青）値との和である。なお、ここでは、明るさを表す値として、濃淡値を用いているが、その画素の輝度値であってもよいし、明度であってもよい。
【００２５】
次に、ステップＳａ５では、表示領域検出部３２は、ステップＳａ４にて算出した差の大きさが、予め設定された閾値α以下であるか否かを判定する。差の大きさが閾値α以下でないときは（Ｓａ５−Ｎｏ）、ステップＳａ６、Ｓａ７をスキップする。一方、差の大きさが閾値α以下であるときは（Ｓａ５−Ｙｅｓ）、ステップＳａ６に進む。ステップＳａ６では、表示領域検出部３２は、対象の画素について、第１参照画像における濃淡値が、予め設定された閾値β以上であるか否かを判定する。濃淡値が閾値β以上でないときは（Ｓａ６−Ｎｏ）、ステップＳａ７をスキップする。
【００２６】
一方、濃淡値が閾値β以上であるときは、ステップＳａ７に進み、対象の画素を表示領域として記憶する。ステップＳａ８では、これらステップＳａ４からＳａ７の処理を行っていない画素があるか否かを判定する。行っていない画素があるときは、ステップＳａ４に戻る。全画素について行っているときは、ステップＳａ９に進む。ステップＳａ９では、表示領域検出部３２は、ステップＳａ７にて表示領域として記憶した画素の集合を表す情報を、表示領域を示す情報として表示画像生成部３１に通知する。なお、表示領域を示す情報としては、例えば、表示領域として記憶した画素の画素値を「１」、その他の画素の画素値を「０」とする二値画像を用いることができる。
また、上述のステップＳａ６における判定は、第２参照画像に対して行ってもよいし、第１参照画像と第２参照画像の両方に行ってもよい。
【００２７】
図４は、表示画像生成部３１の動作を説明するフローチャートである。表示画像生成部３１は、表示領域検出部３２から表示領域を示す情報を取得する（Ｓｂ１）。次に、表示画像生成部３１は、表示すべき１つまたは複数の要素画像を生成する（Ｓｂ２）。ここで、要素画像は、表示画像にて通知する情報を表す画像である。次に、表示画像生成部３１は、ステップＳｂ２にて生成した要素画像のうち、未選択のものの中から面積（画素数）が最大のものを選択する（Ｓｂ３）。次に、表示画像生成部３１は、ステップＳｂ３にて選択した要素画像を、ステップＳｂ１にて取得した表示領域と、配置済みの要素画像と重複しない位置に配置する（Ｓｂ４）。次に、表示画像生成部３１は、全ての要素画像を配置済みか否かを判定する（Ｓｂ５）。配置済みでないものがあるときは（Ｓｂ５−Ｎｏ）、ステップＳｂ３に戻る。全ての要素画像を配置済みであるときは（Ｓｂ５−Ｙｅｓ）、処理を終了する。
【００２８】
図５は、表示画像生成部３１が生成する表示画像の例Ｇ１を示す図である。図５において、破線で示した電子機器Ｓ１、テーブルＴ１、ユーザＵ１は、表示画像ではなく、表示画像の投影先である。図５に示すように、表示画像Ｇ１には、要素画像Ｅ１、Ｅ２が、表示領域Ｄ１と重複しないように配置されている。なお、図４のステップＳｂ４では、要素画像の配置条件として、表示領域と、配置済みの要素画像と重複しないことのみを挙げたが、配置できる領域を、図５におけるテーブルＴ１のような特定の領域に限定するようにしてもよい。
【００２９】
なお、本実施形態において、第１照射画像は、画像全体の輝度値が高い画像であり、第２照射画像は、画像全体の輝度値が低い画像であるとして説明したが、各画素の輝度値が、第１照射画像と第２照射画像との間で異なっていればよい。例えば、第１照射画像は、画像の左半分は輝度値が高く、画像の右半分は輝度値が低くなっており、第２照射画像は、画像の左半分は輝度値が低く、画像の右半分は輝度値が高くなっていてもよい。
【００３０】
このように、画像生成装置３０は、撮像部２０が撮像した画像から、電子機器の表示領域を検出する表示領域検出部３２と、表示領域に対応する部分が黒色である表示画像を生成し、生成した表示画像をプロジェクタ装置に投影させる表示画像生成部３１とを備える。
これにより、投影される画像のうち、電子機器の表示領域に投影される部分が黒いので、プロジェクタ部１０が表示領域に照射する光の照射量は小さくなる。したがって、プロジェクタ部１０が表示領域に照射した光によって、ユーザが、その電子機器が表示している情報を読み取り難くなってしまうことを防ぐことができる。
【００３１】
また、表示領域検出部３２は、撮像部２０が撮像した複数の画像であって、プロジェクタ部１０が画像を投影する領域への光の照射量が異なるときに撮像した複数の画像の間で、明るさの差の大きさが、予め決められた閾値よりも小さい領域を、表示領域として検出する。
照射される照射量が変化したときに、発光しているものは、発光していないものに比べて撮像された画像における明るさの変化が小さい。このため、上述のように、光の照射量が異なるときに撮像した複数の画像の間で、明るさの差の大きさが閾値よりも小さい領域を検出することで、バックライト付きの液晶ディスプレイや、有機ＥＬ（Electro-Luminescence）ディスプレイなど、発光している表示領域を検出することができる。
【００３２】
また、画像生成装置３０は、撮像部２０が第１参照画像を撮像するときと、撮像部２０が第２参照画像を撮像するときとで、プロジェクタ部１０に異なる明るさの画像（第１照射画像と第２照射画像）を投影させる領域検出用画像生成部３３を備える。表示領域検出部３２は、光の照射量が異なるときに撮像した複数の画像として、これら第１参照画像と第２参照画像とを用いることができる。
【００３３】
また、表示領域検出部３２が表示領域として検出するのは、明るさの差が、予め決められた閾値αよりも小さく、さらに、第１参照画像または第２参照画像において、明るさを表す値が、予め決められた閾値βよりも大きいときである。
これにより、黒色であるために、照射される照射量が変化しても、撮像された画像における明るさの変化が小さいものを、表示領域として検出してしまうことを防ぐことができる。
【００３４】
［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。本実施形態における画像投影装置１ａも、画像投影装置１と同様に、電子機器Ｓ１の表示領域を検出し、表示領域に対応する部分が黒色の画像を生成して投影する。ただし、電子機器の形状に関する情報を予め記憶しており、該情報を用いる点が異なる。
【００３５】
図６は、画像投影装置１ａの構成を示す概略ブロック図である。図６において、図２の各部に対応する部分には同一の符号（１０、２０、３１）を付し、説明を省略する。画像投影装置１ａは、プロジェクタ部１０、撮像部２０、画像生成装置３０ａを含んで構成される。画像生成装置３０ａは、表示画像生成部３１、表示領域検出部３２ａ、電子機器形状記憶部３５ａを含んで構成される。
【００３６】
電子機器形状記憶部３５ａは、表示領域の検出対象となっている電子機器の画像を記憶する。なお、この電子機器の画像は、電子機器を除いた部分と、液晶ディスプレイなどの表示領域の部分とが、所定の画素値となっており、判別可能である。表示領域検出部３２ａは、撮像部２０が撮像した画像から、電子機器形状記憶部３５ａが記憶している電子機器の画像を検出し、電子器の画像のうち表示領域の部分を表示画像生成部３１に通知する。
【００３７】
表示領域検出部３２ａは、例えば、以下のようにして、撮像部２０が撮像した画像から、電子機器の画像を検出する。表示領域検出部３２ａは、電子機器の画像のサイズ、位置および向きを少しずつずらしながら、撮像部２０が撮像した画像から、電子機器の画像の画素値を差し引いた値の絶対値の和を算出する。表示領域検出部３２ａは、算出した和が所定の値以下となったときに、電子機器の画像を検出したと判定する。なお、この検出処理は、濃淡値で行ってもよい。また、電子機器の画像の画素値を差し引くのは、電子機器の画像のうち、電子機器以外の領域および表示領域を除いた部分である。
【００３８】
図７は、電子機器形状記憶部３５ａが記憶する電子機器の画像の例を示す図である。図７に示す電子機器の画像Ｇ２では、電子機器Ｓ２を除く領域と、電子機器Ｓ２のディスプレイ（表示領域）Ｄ２とが網掛けになっており、これらの部分が判別可能となっている。上述したように、表示領域検出部３２ａが検出処理に用いるのは、この網掛け部分を除いた部分である。
【００３９】
なお、本実施形態において、電子機器形状記憶部３５ａは、複数の電子機器の画像を記憶していてもよい。その場合、表示領域検出部３２ａは、記憶している複数の電子機器各々について、上述の検出処理を行う。
また、電子機器の画像は、電子機器の輪郭線の画像であり、表示領域検出部３２ａは、撮像部２０が撮像した画像に対して輪郭線抽出を行った後、上述のようにして電子機器の画像を検出してもよい。
【００４０】
また、表示領域検出部３２ａは、電子機器の画像と、撮像部２０が撮像した画像とに対してＳＩＦＴ（Scale-Invariant Feature Transform）、ＧＬＯＨ（Gradient Location-Orientation Histogram）などの公知の特徴量抽出を行い、該特徴量についてマッチングを行うようにしてもよい。さらに、特徴量についてマッチングを行う場合には、電子機器形状記憶部３５ａは、電子機器の画像でなく、特徴量そのものを記憶しており、表示領域検出部３２ａは、電子機器形状記憶部３５ａが記憶する特徴量と、撮像部２０が撮像した画像から抽出した特徴量とをマッチングするようにしてもよい。
【００４１】
このように、画像生成装置３０ａは、電子機器の形状に関する情報（電子機器の画像、特徴量など）を記憶する電子機器形状記憶部３５ａを備える。そして、表示領域検出部３２ａは、電子機器形状記憶部３５ａが記憶する電子機器の形状に関する情報を用いて、撮像部２０が撮像した画像から電子機器の表示領域を検出する。
【００４２】
これにより、画像生成装置３０と同様に、プロジェクタ部１０が表示領域に照射した光によって、ユーザが、その電子機器が表示している情報を読み取り難くなってしまうことを防ぐことができる。また、電子機器の形状に関する情報を用いるので、電子機器が表示領域に何を表示しているかに関係なく、表示領域を検出することができる。
【００４３】
また、表示画像生成部３１は、表示領域に対応する部分以外の領域に、表示画像にて通知する情報を各々が表す要素画像を配置することで、表示画像を生成する。
これにより、表示画像にて通知する情報を各々が表す要素画像が、表示領域を跨って表示され、表示内容をユーザが把握し難くなるのを防ぐことができる。
【００４４】
［第３の実施形態］
以下、図面を参照して、本発明の第３の実施形態について説明する。本実施形態における画像投影装置１ｂも、画像投影装置１と同様に、電子機器Ｓ１の表示領域を検出し、表示領域に対応する部分が黒色の画像を生成して投影する。ただし、電子機器が表示するマークを予め記憶しており、電子機器がそのマークを表示しているときに、表示領域の検出を行う点が異なる。
【００４５】
図８は、画像投影装置１ｂの構成を示す概略ブロック図である。図８において、図２の各部に対応する部分には同一の符号（１０、２０、３１）を付し、説明を省略する。画像投影装置１ｂは、プロジェクタ部１０、撮像部２０、画像生成装置３０ｂを含んで構成される。画像生成装置３０ｂは、表示画像生成部３１、表示領域検出部３２ｂ、マーク記憶部３６ｂを含んで構成される。
【００４６】
マーク記憶部３６ｂは、検出対象のマークの画像と、該マークと表示領域との位置関係とを示す情報を記憶する。なお、マークと表示領域との位置関係を示す情報は、例えば、マークおよび表示領域が矩形であれば、該矩形の頂点の座標と、表示領域の頂点の座標である。
【００４７】
表示領域検出部３２ｂは、撮像部２０が撮像した画像から、マーク記憶部３６ｂが記憶するマークの画像を検出する。マークの画像の検出は、表示領域検出部３２ａによる電子機器の画像の検出と同様の方法で行う。さらに、表示領域検出部３２ｂは、マーク記憶部３６ｂが記憶するマークと表示領域との位置関係を示す情報を参照して、マークの画像を検出した位置から表示領域を算出する。表示領域検出部３２ｂは、検出した表示領域を表示画像生成部３１に通知する。
【００４８】
例えば、表示領域検出部３２ｂは、表示領域の算出を、以下の様にして行う。表示領域検出部３２ｂは、マークの画像を検出したときのサイズ、位置および向きを、拡大率Ｒ、併進ベクトル（ｔｘ、ｔｙ）、回転θとする。そして、表示領域検出部３２ｂは、マーク記憶部３６ｂが記憶する表示領域の頂点の座標を、これら拡大率Ｒ、併進ベクトル（ｔｘ、ｔｙ）、回転θを用いて変換し、撮像部２０が撮像した画像における表示領域の頂点の座標とする。
【００４９】
図９は、撮像部２０が撮像した画像の例を示す図である。図９において、撮像部２０が撮像した画像Ｇ３には、テーブルＴ１、ユーザＵ１、電子機器Ｓ１が含まれている。そして、電子機器Ｓ１の表示領域Ｄ１には、マークＭ１が表示されている。表示領域検出部３２ｂは、マークの画像のサイズ、位置および向きを少しずつずらしながら、画像Ｇ３中を探索して、このマークＭ１を検出する。そして、表示領域検出部３２ｂは、検出したときのサイズ、位置および向きを、拡大率Ｒ、併進ベクトル（ｔｘ、ｔｙ）、回転θとして、。マーク記憶部３６ｂが記憶する表示領域の頂点の座標を変換する。
【００５０】
なお、本実施形態では、マークを電子機器が表示するとして説明したが、電子機器の筐体にマークが描かれていてもよい。
また、マークを、表示領域の一部に表示させているが、表示領域全体に表示させるようにしてもよい。
また、本実施形態では、マーク記憶部３６ｂは、電子機器が表示領域に表示する画像に関する情報として、マークの画像を記憶している。しかし、マーク記憶部３６ｂは、電子機器が表示領域に表示する画像に関する情報として、電子機器が表示する画像に、電子透かしとして埋め込む情報を記憶していてもよい。その場合、表示領域検出部３２ｂは、撮像部２０が撮像した画像から電子透かしとして埋め込まれた情報を検出し、マーク記憶部３６ｂが記憶している情報と一致しているときは、該情報が検出された領域を表示領域とする。
【００５１】
このように、画像生成装置３０ｂは、電子機器が表示領域に表示する画像に関する情報を取得する取得部として、マーク記憶部３６ｂを備える。そして、表示領域検出部３２ｂは、電子機器が表示領域に表示する画像に関する情報を用いて、撮像部２０が撮像した画像から、電子機器が表示領域に表示している画像の領域を検出することで、電子機器の表示領域を検出する。
これにより、画像生成装置３０と同様に、プロジェクタ部１０が表示領域に照射した光によって、ユーザが、その電子機器が表示している情報を読み取り難くなってしまうことを防ぐことができる。また、電子機器が表示領域に表示する画像に関する情報を用いるので、電子機器の形状に関係なく、表示領域を検出することができる。
【００５２】
［第４の実施形態］
以下、図面を参照して、本発明の第４の実施形態について説明する。本実施形態における画像投影装置１ｃも、画像投影装置１と同様に、電子機器Ｓ１の表示領域を検出し、表示領域に対応する部分が黒色の画像を生成して投影する。ただし、電子機器が表示する画像を電子機器から取得し、該画像を検出することで、表示領域の検出を行う点が異なる。
【００５３】
図１０は、画像投影装置１ｃの構成を示す概略ブロック図である。図１０において、図２の各部に対応する部分には同一の符号（１０、２０、３１）を付し、説明を省略する。画像投影装置１ｃは、プロジェクタ部１０、撮像部２０、画像生成装置３０ｃを含んで構成される。画像生成装置３０ｃは、表示画像生成部３１、表示領域検出部３２ｃ、通信部３７ｃ、表示領域画像取得部３８ｃを含んで構成される。
【００５４】
通信部３７ｃは、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）、ブルートゥース（登録商標）などにより、電子機器と通信する。表示領域画像取得部３８ｃは、通信部３７ｃを介して電子機器と通信し、電子機器が表示している画像を取得する。表示領域検出部３２ｃは、表示領域画像取得部３８ｃが取得した電子機器が表示している画像を、撮像部２０が撮像した画像から検出する。表示領域検出部３２ｃは、電子機器が表示している画像の検出を、図６の表示領域検出部３２ａによる電子機器の画像の検出と同様にして行う。表示領域検出部３２ｃは、検出した画像が占める領域を表示領域として表示画像生成部３１に通知する。
【００５５】
なお、表示領域画像取得部３８ｃは、通信部３７ｃを介して電子機器に画像を表示させ、表示領域検出部３２ｃは、該表示させている画像を検出するようにしてもよい。
また、表示領域画像取得部３８ｃは、通信部３７ｃを介して、電子機器が表示領域に表示する画像に電子透かしとして埋め込んでいる情報を取得するようにしてもよいし、電子透かしとして埋め込む情報を、通信部３７ｃを介して、電子機器に通知してもよい。その場合、表示領域検出部３２ｃは、撮像部２０が撮像した画像から電子透かしとして埋め込まれた情報を検出し、表示領域画像取得部３８ｃが取得した情報と一致しているときは、該情報が検出された領域を表示領域とする。
【００５６】
このように、画像生成装置３０ｃは、電子機器が表示領域に表示する画像に関する情報を取得する取得部として、表示領域画像取得部３８ｃを備える。そして、表示領域検出部３２ｃは、電子機器が表示領域に表示する画像を用いて、撮像部２０が撮像した画像から、電子機器が表示領域に表示している画像の領域を検出することで、電子機器の表示領域を検出する。
【００５７】
これにより、画像生成装置３０と同様に、プロジェクタ部１０が表示領域に照射した光によって、ユーザが、その電子機器が表示している情報を読み取り難くなってしまうことを防ぐことができる。また、電子機器が表示領域に表示する画像に関する情報を用いるので、電子機器の形状に関係なく、表示領域を検出することができる。
【００５８】
なお、図１では、画像投影装置１は天井に設けられている。しかし、画像投影装置１、１ａ、１ｂ、１ｃは、天井にはプロジェクタ部１０と撮像部２０のみが設けられており、画像生成装置３０、３０ａ、３０ｂ、３０ｃは、プロジェクタ部１０と撮像部２０から離れたところに配置されていてもよい。また、画像投影装置１、１ａ、１ｂ、１ｃは、天井ではなく、壁などに設けられていてもよい。
また、画素値がＲＧＢ値である場合、表示画像の黒色の部分に含まれる画素の画素値は、Ｒ（赤）値、Ｇ（緑）値、Ｂ（青）値、全てが０または０に近い値であればよい。
また、上述の各実施形態において、表示画像生成部３１は、要素画像を生成しているが、予め記憶しているものを読み出してもよいし、他装置から取得してもよい。また、表示画像生成部３１は、要素画像を生成するための情報を他装置から取得してもよい。
【００５９】
また、図２における画像生成装置３０、図６における画像生成装置３０ａ、図８における画像生成装置３０ｂ、図１０のおける画像生成装置３０ｃのいずれかの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像生成装置３０、３０ａ、３０ｂ、３０ｃを実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６０】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６１】
また、上述した図２における画像生成装置３０、図６における画像生成装置３０ａ、図８における画像生成装置３０ｂ、図１０のおける画像生成装置３０ｃの各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、ＬＳＩに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【００６２】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００６３】
１…画像投影装置
１０…プロジェクタ部
２０…撮像部
３０…画像生成装置
３１…表示画像生成部
３２、３２ａ、３２ｂ、３２ｃ…表示領域検出部
３３…領域検出用画像生成部
３４…切替部
３５ａ…電子機器形状記憶部
３６ｂ…マーク記憶部
３７ｃ…通信部
３８ｃ…表示領域画像取得部３８ｃ
【図１】
2015102834.tif 000003
【図２】
2015102834.tif 000004
【図３】
2015102834.tif 000005
【図４】
2015102834.tif 000006
【図５】
2015102834.tif 000007
【図６】
2015102834.tif 000008
【図７】
2015102834.tif 000009
【図８】
2015102834.tif 000010
【図９】
2015102834.tif 000011
【図１０】
2015102834.tif 000012