(57)【要約】【課題】対象物との関連性が容易に理解できるように関連画像の投影を行う。【解決手段】撮像装置とプロジェクタとを備えた情報処理装置で、撮像装置を通じて得られた画像に対して対象物の検出を行い（Ｓ２０２）、対象物についての関連情報を取得する（Ｓ２０３）。その後、対象物を含んだ画像を撮像し（Ｓ２０５）、取得した関連情報から得られた関連画像を対象物の画像に重畳させて重畳画像を作成し（Ｓ２０８）、この重畳画像を投影する。従って、重畳画像が対象物から離れた場所に投影されても、対象物と関連画像との関係が明確になる。【選択図】図２
2017073717.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮像する撮像手段と、
画像投影手段と、
前記撮像手段が撮像した、前記対象物が含まれる撮像画像を用いて前記対象物に関連する関連情報を取得し、前記関連情報から生成された関連画像を生成する制御手段と、を有し、
前記制御手段は、前記対象物が含まれる撮像画像に前記関連画像が重畳された重畳画像を生成し、
前記画像投影手段は、前記生成された重畳画像を投影することを特徴とする、
情報処理装置。
【請求項２】
前記対象物には、前記対象物に対応するマーカーが含まれ、
前記制御手段は、前記撮像画像における前記マーカーを参照して前記対象物に関連する情報を含む関連画像を生成することを特徴とする、
請求項１に記載の情報処理装置。
【請求項３】
ユーザから対象物の撮像指示が入力される第１入力部を有し、
前記撮像手段は、前記第１入力部からの撮像指示の入力に応答して、前記対象物の撮像を行うことを特徴とする、
請求項１又は２に記載の情報処理装置。
【請求項４】
ユーザから前記重畳画像の投影指示が入力される第２入力部を有し、
前記画像投影手段は、前記第２入力部からの撮像指示の入力に応答して、前記重畳画像の投影を行うことを特徴とする、
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記制御手段は、前記撮像画像に対象物が含まれているか否かを判定し、含まれている場合に前記関連情報を取得することを特徴とする、
請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記制御手段は、前記撮像画像に対象物が含まれている場合に、撮像画像から前記対象物が前記重畳画像の投影に適しているか否かを判定し、適している場合には、前記画像投影手段を通じて前記対象物に対して前記重畳画像の投影を行うことを特徴とする、
請求項５に記載の情報処理装置。
【請求項７】
前記制御手段は、前記撮像画像に前記対象物が複数含まれている場合、各対象物に対して前記判定を行い、少なくとも１つの前記対象物が投影に適さないと判定されたときは前記重畳画像の投影を行わないことを特徴とする、
請求項６に記載の情報処理装置。
【請求項８】
前記制御手段は、前記対象物が投影に適さないと判定された後に、前記撮像手段による撮像と、前記撮像手段が撮像した領域が前記重畳画像の投影に適しているかの判定とを、前記撮像した領域が前記重畳画像の投影に適していると判定されるまで繰り返し、前記対象物が投影に適していると判定された後に、前記画像投影手段を通じて前記重畳画像を投影することを特徴とする、
請求項７に記載の情報処理装置。
【請求項９】
前記制御手段は、前記撮像手段を通じて撮像を複数回実行して複数の撮像画像を取得し、得られた撮像画像の少なくとも２つ以上を結合した結合画像を生成し、前記結合画像に前記関連画像が重畳された重畳画像を生成することを特徴とする、
請求項１〜８のいずれか１項に記載の情報処理装置。
【請求項１０】
対象物を撮像する撮像手段と、画像投影手段と、を備え、前記撮像手段が撮像した、前記対象物が含まれる撮像画像を用いて前記対象物に関連する関連情報を取得し、前記関連情報から生成された関連画像を生成する情報処理装置が実行する方法であって、
前記情報処理装置が、前記対象物が含まれる撮像画像に前記関連画像が重畳された重畳画像を生成し、前記画像投影手段は、前記生成された重畳画像を投影することを特徴とする、
情報処理方法。
【請求項１１】
対象物を撮像する撮像手段と、画像投影手段と、を備えたコンピュータを、
前記撮像手段が撮像した、前記対象物が含まれる撮像画像を用いて前記対象物に関連する関連情報を取得して前記関連情報から生成された関連画像を生成するとともに、前記対象物が含まれる撮像画像に前記関連画像が重畳された重畳画像を生成し、前記生成された重畳画像を、
前記画像投影手段を通じて投影する制御手段として機能させためのコンピュータプログラム。
【請求項１２】
請求項１１記載のコンピュータプログラムが格納された、
コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像から認識した物体に関する情報を表示する技術に関する。
【背景技術】
【０００２】
従来、ユーザが着目する対象に関連情報を投影表示する技術が知られている。例えば、特許文献１には、対象物を撮像し、撮像した対象物に関連する関連情報を検索し、対象物に対して投影する技術が開示されている。この技術においては、対象物の位置及び形状を検出し、検出された位置及び形状に基づいて検索された関連情報を対象物に投影している。
また、特許文献２には、投影面が関連情報を投影するのに適していないと判断した場合に、関連情報の投影位置を自動的に変更する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−８６６１５号公報
【特許文献２】特開２０１２−６８３６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のシステムによれば、撮像した対象物に関連する関連情報を対象物に投影することが可能となる。また、特許文献２のシステムによれば、関連情報を投影する際に、投影に適する場所に自動的に変更して投影することができるので、ユーザは、投影された関連情報を読み取ることが可能になる。
しかしながら、対象物の周辺に投影に適する場所が存在しない場合は、関連情報を移動させても、投影できる場所を確保できない。また、対象物の周辺から更に離れた場所に投影に適する場所がある場合には、その場所に関連情報を投影することができる。しかし、この場合、対象物と、投影された関連情報との距離が離れていることから、ユーザは両者の関連性を理解しづらい。特に、対象物が複数あるときには、投影した関連情報が、複数存在する対象物のどれに対応するのかが理解しにくい。
従って、対象物について関連情報を投影する際に、対象物との関連性が明確になるように関連情報を投影することが望まれている。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の情報処理装置は、対象物を撮像する撮像手段と、画像投影手段と、前記撮像手段が撮像した、前記対象物が含まれる撮像画像を用いて前記対象物に関連する関連情報を取得し、前記関連情報から生成された関連画像を生成する制御手段と、を有する。前記制御手段は、前記対象物が含まれる撮像画像に前記関連画像が重畳された重畳画像を生成し、前記画像投影手段は、前記生成された重畳画像を投影する。
【発明の効果】
【０００６】
本発明によれば、対象物を撮像した画像と関連情報を重畳して投影することにより、対象物を含む周辺に投影に適する場所がなくとも、情報の関連性を失うことなく対象物とその関連情報との関連性を示すことができる。従って、対象物との関連性が明確になるように関連情報を投影することができる。
【図面の簡単な説明】
【０００７】
【図１】（ａ）は、情報処理装置のハードウェア構成を示すブロック図、（ｂ）は、本機能構成を示すブロック図。
【図２】第１実施形態における処理を示すフローチャート。
【図３】（ａ）〜（ｅ）は、対象物と重畳画像との関係の説明図。
【図４】画像取得および投影の処理を示すフローチャート。
【図５】画像取得および投影の処理を示すフローチャート。
【図６】重畳画像を対象物と対象物の周辺とのいずれかに投影する処理を示すフローチャート。
【図７】対象物が複数存在する場合の処理を示すフローチャート。
【図８】対象物が複数存在する場合の投影結果の説明図。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。なお、以下の実施形態は例示的なものであり、本発明の範囲を限定することを意図するものではない。
＜第１実施形態＞
図１（ａ）は、本発明の第１実施形態に係る情報処理装置１０のハードウェア構成図である。情報処理装置１０は、機能部品としてＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２及びＲＡＭ（Random Access Memory）１０３を有する。また、情報処理装置１０は、ＨＤＤ（Hard Disk Drive）１０４、画像投影手段としてのプロジェクタ１０５、通信インターフェース（以下、Ｉ／Ｆと記載する）１０６及び撮像装置１０７、システムバス１０８及び入力部１２０を有する。ＣＰＵ１０１は、システムバス１０８を通じてＲＯＭ１０２等との通信及び制御を行う。
【０００９】
ＣＰＵ１０１は、ＲＯＭ１０２及びＨＤＤ１０４に格納されたプログラムを読み出して実行する。これにより、ＣＰＵ１０１は、各ハードウェア部品を制御する。ＲＯＭ１０２はプログラムメモリであり、ＣＰＵにより実行される、後述する各種処理手順を含む制御プログラムを格納する。
【００１０】
なお、ＲＡＭ（Random Access Memory）１０３は、データメモリであり、ＣＰＵ１０１に読み出されたプログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。なお、情報処理装置１０に接続された外部記憶装置などからＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。ＨＤＤ１０４は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。
【００１１】
ここで、外部記憶装置は、例えば、メディア（記録媒体）と当該メディアへのアクセスを実現するための外部記憶ドライブとを有するものとしてもよい。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ(Digital Versatile Disk)が知られている。また、ＵＳＢ(Universal Serial Bus)メモリ、ＭＯディスク（Magneto-Optical disk）、フラッシュメモリ等も知られている。なお、外部記憶装置は、ネットワークで接続されたサーバー装置などであってもよい。
【００１２】
プロジェクタ１０５は、撮像装置１０７で撮像した対象物や対象物に関連する情報を表示するデバイスである。通信Ｉ／Ｆ１０６は、公知の通信技術によって、他の情報処理装置１０や外部記憶装置と有線あるいは無線で接続し、双方向に情報の送受信を行うことを可能とする。他の情報処理装置１０とは直接通信するだけでなく、中継装置を利用した間接的な通信を利用することもできる。撮像装置１０７は、画像や映像を取得するためのデバイスである。
【００１３】
図１（ｂ）は、本実施形態に係る情報処理装置１０の機能構成の一例を示すブロック図である。情報処理装置１０は、情報取得指示部１０９、対象物検出部１１０、関連情報取得部１１１、撮像部１１２、投影指示部１１３、重畳画像生成部１１４及び表示部１１５を有する。これらの各機能部は、ＲＯＭ１０２に格納されたプログラムをＣＰＵ１０１がＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現されている。以下、各要素について説明する。
【００１４】
情報取得指示部１０９は、入力部１２０を通じて入力されるユーザからの撮像指示入力に基づいて、撮像画像取得の指示を行うか、または、対象物検出部１１０の検出結果に基づいて撮像画像取得の指示を行う。撮像部１１２は、撮像装置１０７を制御して撮像を行う。対象物検出部１１０は、撮像部１１２が撮像装置１０７を通じて撮像した画像から対象物を検出する。撮像における対象は、物体であってもよく、また、ＡＲ（Augmented Reality）マーカーなどの特殊な記号であってもよい。
関連情報取得部１１１は、通信Ｉ／Ｆ１０６を介して外部サーバー（図示せず）にアクセスし、対象物に関連する情報を取得する。なお、情報処理装置１０の内部に関連情報を保持する保持部が存在する場合は通信Ｉ／Ｆ１０６を介することなく、直接保持部から対象物の関連情報を取得してもよい。
【００１５】
撮像部１１２は、撮像装置１０７を通じて撮像を行う。この撮像では、対象物や対象物の周辺を撮像する。以下、特に断りのない限り、「対象物の周辺」という用語は、対象物から一定の範囲内の領域を指すものとする。なお、対象物自体はこの「対象物の周辺」に含まれても含まれていなくてもよい。投影指示部１１３は、プロジェクタにより画像が投影される領域（以下、投影領域と記載する）に関連情報を表示するか否かを指示する。この実施形態では、投影指示部１１３は、投影指示のためのユーザ入力に基づいて投影指示を行うか、または、後述するように、投影領域の状況を判定結果に基づいて投影指示を行う。重畳画像生成部１１４は、対象物の画像と関連情報とを重畳した画像を生成する。表示部１１５は、プロジェクタ１０５を介して対象物に関連情報を表示し、重畳画像生成部１１４が生成した重畳画像を投影面に投影する。
【００１６】
図２に、本実施形態に係る情報処理装置１０の基本処理を表すフローチャートを示す。なお、特に断りのない限り、各実施形態において、フローチャート等に示される処理は、ＣＰＵ１０１によって制御及び実行される。
情報取得指示部１０９は撮像部１１２に撮像指示を行い、これに応答して撮像部１１２が撮像装置１０７を通じて画像を撮像する（Ｓ２０１）。以下、撮像部１１２で撮像された画像を撮像画像と記載する。対象物検出部１１０は、撮像画像から対象物を検出する（Ｓ２０２）。この検出は、例えば画像認識等により行う。
【００１７】
次に、関連情報取得部１１１は、対象物検出部１１０が検出した対象物について、関連情報を取得する（Ｓ２０３）。この実施形態では、関連情報取得部１１１は、通信Ｉ／Ｆ１０６を介して外部サーバーにアクセスすることで関連情報を取得する。取得された関連情報は、関連情報取得部１１１によってＲＡＭ１０３に格納される（Ｓ２０４）。その後、撮像部１１２は、撮像を行う（Ｓ２０５）ことで対象物を含む領域を撮像し、その画像をＲＡＭ１０３に格納する（Ｓ２０６）。
【００１８】
投影指示部１１３は、ユーザからの投影指示を受け付ける（Ｓ２０７）。重畳画像生成部１１４は、投影指示を受け付けたことに応答して、ＲＡＭ１０３に格納されている画像と、関連情報から生成された関連画像と、を重畳した重畳画像を生成する（Ｓ２０８）。なお、関連画像は、関連情報に含まれるものとしても良い。あるいは、関連画像は、関連情報に含まれるテキストデータ等のデータから重畳画像生成部１１４が生成するものとしてもよい。次に、表示部１１５は、重畳画像生成部１１４が生成した重畳画像を投影し（Ｓ２０９）、処理を終了する。
【００１９】
このように、対象物を含んだ画像と関連画像とを重畳した重畳画像を生成することで、この重畳画像を対象物から離れた場所に投影しても、投影された関連画像は対象物に関連するものであることが容易に理解できる。好ましくは、対象物を撮像し、撮像された対象物に関連情報を重畳することで、関連情報が、撮像された対象物に関する情報であることを一層明確にする。
【００２０】
なお、図２の例では、Ｓ２０１で画像を撮像した後に、再度Ｓ２０５で撮像を行っている。しかし、Ｓ２０１で撮像した画像に対して関連画像を重畳することもできる。例えば、Ｓ２０３、２０４による関連情報の取得及び格納が短時間で行われる場合には、Ｓ２０１での撮像により得られた画像は、Ｓ２０５で得られる画像とほぼ一致する。この場合、Ｓ２０５及びＳ２０６を実行せずに、Ｓ２０６及び２０７を実行した後にＳ２０８において、Ｓ２０１で撮像した画像と関連画像とを重畳する。以下の各実施形態でも同様にして、必要に応じてＳ２０５及びＳ２０６を省略することも可能である。
【００２１】
図３（ａ）〜（ｅ）は、本実施形態に係る対象物と重畳画像との関係を示す説明図である。図３（ａ）は、情報処理装置１０を対象物７０１に向けた状態の説明図である。マーカー７０２は、対象物に対応して設けられたマーカーである。対象物検出部１１０は、撮像画像から、マーカー７０２をキーにして、つまり、画像内にマーカー７０２が認識されたことに応答して対象物の関連情報を取得する。
図３（ｂ）は、対象物７０１に対して図２のＳ２０９を実行して重畳画像７０４を投影した状態の説明図である。対象物７０１が投影に適している場合、投影指示部１１３は、図３（ｂ）のように対象物に投影を行う。
【００２２】
一方、図３（ｃ）は、対象物７０５が投影に適していない場合の説明図である。この図では、対象物７０５は黒色で投影した画像が視認し難いことから投影に適していないものとなっている。
図３（ｄ）は、投影に適していない黒色の対象物７０５に対して、図２のＳ２０９を実行して重畳画像を投影した状態の説明図である。対象物７０５は黒色であることから投影に適さないため、対象物７０５に投影された関連画像７０７は視認し難くなっている。
図３（ｅ）は、黒色の対象物の右側に、投影に適した領域７０９がある場合の説明図である。例えば、ユーザは、図２のＳ２０９が実行されて図３（ｄ）のように対象物に重畳画像が投影された後に、情報処理装置１０を右側に移動するか、あるいは情報処理装置１０を右側に向ける。これにより、対象物７０５の右側の領域７０９に重畳画像７０８を投影することができる。また、重畳画像７０８において、画像７０８ａは対象物７０５を表す画像であり、関連画像７０８ｂは画像７０８ａとともに表示された関連画像である。なお、この例では、重畳画像７０８には、マーカー７０２に対応して生成されたマーカー画像７０２ａも含まれる。マーカー画像７０２ａは、対象物７０５に設けられたマーカー７０２を撮影することにより生成された画像である。
【００２３】
以上説明したように、この実施形態では、対象物の画像と対象物の関連画像とを重畳して投影することが可能となっている。単に対象物の関連画像を投影した場合、対象物上ではなく対象物の周囲に関連画像を投影する場合に、投影された関連画像が対象物に関連するものか否かがわかりにくくなるおそれがある。しかし、この実施形態では、関連画像を対象物の画像に重畳している。従って、対象物が存在する場所と離れた場所であっても、図３（ｅ）に示されるように、関連画像が対象物に関連付けられたものであることが明確となる。従って、ユーザは、関連情報が対象物に関連付けられていることを容易に把握することが可能になる。
【００２４】
＜第２実施形態＞
第２実施形態では、上記第１実施形態の変形例として、ユーザが画像取得および投影を指示する例を示す。この実施形態では、ユーザは、情報処理装置１０の位置や向きを調整し、情報処理装置１０が対象物に向けられた状態で画像取得指示入力を行う。同様に、ユーザは、入力部１２０を通じて投影指示入力を行う。
図４は、ユーザが画像取得および投影を指示する場合の処理を表すフローチャートである。なお、図２のフローチャートと同じ処理には同じ符号を割り当て、説明を省略する。
【００２５】
まず、入力部１２０は、ユーザから撮像指示を受けたか否かを判定する（Ｓ４０１）。ユーザからの撮像指示を受けていない場合（Ｓ４０１：Ｎ）、ＣＰＵ１０１の処理はＳ４０１に戻る。ユーザからの撮像指示を受理した場合（Ｓ４０１：Ｙ）、ＣＰＵ１０１の制御の下、撮像部１１２は撮像装置１０７を通じて画像を撮像し、Ｓ２０２において対象物検出を行う。その後、ＣＰＵ１０１は、Ｓ２０３〜Ｓ２０６を実行した後に、ユーザからの投影指示が入力部１２０を通じて受理されたか否かを判定する（Ｓ４０２）。ユーザからの投影指示が受理されていない場合（Ｓ４０２：Ｎ）、ＣＰＵ１０１は再度Ｓ４０２を実行する。ユーザからの投影指示を受理した場合（Ｓ４０２：Ｙ）、ＣＰＵ１０１の処理はＳ２０８に進み、Ｓ４０１の実行後に撮像されて対象物が検出された画像に関連画像を重畳し、Ｓ２０９において、得られた重畳画像を投影する。
また、入力部１２０は、ボタン、スイッチ、タッチパネル、ジェスチャー認識、音声認識など任意の既存入力手段を用いることができる。
【００２６】
以上説明したように、第２実施形態においては、ユーザが撮像指示および投影指示を行うことで、確実に情報が取得できるタイミング、つまり、情報処理装置１０が対象物を撮像可能な状態で画像取得の指示を出すことができる。また、投影に適した方向に情報処理装置１０を向けた状態で投影指示を出すことができるため、投影された画像をユーザが見やすいという利点がある。
【００２７】
＜第３実施形態＞
第３実施形態では、撮像指示および投影指示を自動化した例を示す。この場合の処理を示すフローチャートを図５に示す。なお、図５において図２のフローチャートと同じ処理には同じ符号を割り当て、説明を省略する。
【００２８】
図５において、対象物検出部１１０は、Ｓ２０２で行なった対象物検出結果に基づき、対象物が検出されたか否かを判定（Ｓ５０１）する。対象物が検出されなかった場合（Ｓ５０１：Ｎ）、ＣＰＵ１０１の処理はＳ２０２に戻る。対象物が検出された場合（Ｓ５０１：Ｙ）、ＣＰＵ１０１の処理はＳ２０３に進み、関連情報の取得を行う。次に、ＣＰＵ１０１は、Ｓ２０４で関連情報を格納する。
その後、ＣＰＵ１０１は、Ｓ２０５において撮像を行い、撮像画像をＳ２０６において格納し、投影領域状況を診断する（Ｓ５０２）。
【００２９】
この診断では、ＣＰＵ１０１は、Ｓ２０５で撮像された領域を投影領域として、撮像画像から、この投影領域が所定の条件を満たすか否かを診断する。例えば、この投影領域に投影された画像の視認性が十分ではない、投影領域で投影可能な領域が関連情報を表示するには狭い、等の条件に該当するか否かを診断する。ＣＰＵ１０１は、このような条件が満たされた場合、重畳画像の投影はできないと診断する。このような条件が満たされる場合、重畳画像の視認性が確保できないからである。例えば、投影領域が黒い又は反射が強い場合には、投影された画像の視認性が十分ではないと診断される。これらの診断は、既存の画像認識（色認識や領域分割等）技術で実現可能である。
また、Ｓ５０１では、Ｓ２０２で対象物が検出された場合にのみＳ２０３以降の処理に進むことから、Ｓ２０４を実行した後にＳ２０５で撮像画像には対象物が含まれることになる。
従って、Ｓ２０４〜Ｓ２０６を順次実行した後にＳ５０２において投影領域状況を診断した場合、対象物を含む領域が投影領域となる。
【００３０】
その後、ＣＰＵ１０１は、投影領域が重畳画像の投影に適していて重畳画像の投影が可能であるかを判定する（Ｓ５０３）。投影可能な場合（Ｓ５０３：Ｙ）、ＣＰＵ１０１は、Ｓ２０８で重畳画像を生成し、Ｓ２０９で重畳画像を投影して処理を終了する。
一方、投影できないと判定した場合（Ｓ５０３：Ｎ）、ＣＰＵ１０１の処理はＳ２０５に戻って撮像を行い、撮像した画像をＳ２０６において格納する。その後、ＣＰＵ１０１は、再度Ｓ５０２を実行して投影領域の状況を診断する。
【００３１】
従って、ユーザが情報処理装置１０を移動するか、あるいはその向きを変えることで、Ｓ５０３で投影可能ではないと判定された後にＣＰＵ１０１がＳ２０５の処理を実行して撮像した画像は、前回撮像した画像から変化する。この変化した画像について、Ｓ２０６以降の処理を行う。投影領域が投影可能と判定されるまでＳ２０５〜Ｓ５０３を実行することで、投影可能である領域に重畳画像を投影することが可能となる。従って、投影された重畳画像の視認性が担保される。例えば、この投影領域に投影された画像の視認性が十分ではない、投影領域で投影可能な領域が関連情報を表示するには狭い等の理由によりＳ５０３で投影が可能ではないと判定された場合、ユーザは情報処理装置１０を移動させる。これにより、情報処理装置１０を移動後にＳ２０５で撮像した画像がＳ５０３で投影可能であると判定されると、Ｓ２０９において、投影領域に重畳画像が投影される。
このような構成により、画像取得指示および投影指示を自動化することが可能となり、ユーザが指示を入力する手間を省略することが可能になる。
【００３２】
＜第４実施形態＞
第４実施形態では、上記第３実施形態の変形例として、重畳画像を投影する際に、対象物上に関連情報を投影することが可能な場合は投影を行い、投影できない場合には、対象物の周辺に重畳画像を投影する。図６に、第４実施形態における、関連情報を対象物に投影する、または、重畳画像を対象物以外の場所に投影する場合のフローチャートを示す。なお、図６においては、図５のフローチャートと同じ処理には同じ符号を割り当て、説明を省略する。
図６において、ＣＰＵ１０１は、Ｓ２０２〜Ｓ２０４を実行した後に、Ｓ２０２で検出した対象物について投影領域状況判断を行う（Ｓ６０１）。
【００３３】
その後、ＣＰＵ１０１は、投影領域が関連情報の表示に適していて関連情報の投影が可能であるかを判定する（Ｓ６０２）。投影領域判定部の判定結果が投影可能である場合（Ｓ６０２：Ｙ）、ＣＰＵ１０１は、関連情報取得部１１１が格納した関連情報を、表示部１１５を通じて対象物上に投影し（Ｓ６０３）、処理を終了する。
【００３４】
一方、投影領域判定部の判定結果が投影可能ではなかった場合（Ｓ６０２：Ｎ）、ＣＰＵ１０１は、Ｓ２０５において再度撮像を行う。その後、ＣＰＵ１０１は、Ｓ２０６において撮像画像を格納し、Ｓ２０８において重畳画像の生成を行う。更に、ＣＰＵ１０１は、Ｓ５０２を実行して投影領域状況を診断し、Ｓ５０３で、投影領域が重畳画像の投影に適していて重畳画像の投影が可能であるかを判定する。ＣＰＵ１０１は、投影が可能であれば（Ｓ５０３：Ｙ）、投影領域に重畳画像を投影して（Ｓ２０９）処理を終了する。投影が可能でない場合（Ｓ５０３：Ｎ）、ＣＰＵ１０１は、撮像領域を変更（Ｓ６０４）して再度Ｓ２０５を実行する。この撮像領域の変更は、ユーザが情報処理装置１０を移動するなどにより行う。また、情報処理装置１０に撮像装置の向きの変更機構が設けられている場合には、ＣＰＵ１０１がその変更機構を制御することで、撮像領域を変更してもよい。
対象物が投影可能ではない場合、撮像領域が投影可能と判定されるまで、Ｓ６０４〜Ｓ５０３が繰り返される。
なお、Ｓ５０３の判定結果がＮの場合、Ｓ２０８における重畳画像作成の処理が複数回繰り返される。しかし、上述のように、この実施形態ではＳ５０１の後に撮像された、対象物を含む画像に対して関連画像を重畳しているので、Ｓ２０８での重畳画像は１回だけ実行すればよく、２回目以降で繰り返し重畳画像を作成する必要はない。以下の実施形態でも同様である。ＣＰＵ１０１は、撮像領域が対象物の周辺領域となって投影可能と判定されると、Ｓ２０９において重畳画像を投影して処理を終了する。
上述のように、ＣＰＵ１０１が、撮像装置の向きの変更機構を制御している場合、プロジェクタの向きも撮像装置の向きに応じて変更する必要がある。この場合、プロジェクタに投影方向変更機構を設ける。ＣＰＵ１０１は、撮像装置の向きの変更に応じて投影方向変更機構を制御し、プロジェクタによる投影方向を制御する。
【００３５】
以上説明したように、この実施形態では、情報処理装置１０は、ＣＰＵ１０１の制御により、対象物上に重畳画像の投影が可能な場合は関連情報を対象物に直接投影する。一方、対象物上に重畳画像を投影できない場合は、別の場所に周辺画像と関連情報を重畳して投影することが可能になる。よって、いずれの場合も、ユーザは直感的に対象物の関連情報を把握することが可能になる。
【００３６】
＜第５実施形態＞
第５実施形態は、上記第４実施形態の変形例として、撮像画像に対象物が複数含まれる場合における処理の一例を示す。
図７は、撮像画像に対象物が複数含まれる場合の処理を示すフローチャートである。なお、図７においては、図６のフローチャートと同じ処理には同じ符号を割り当て、説明を省略する。図７のフローチャートは、ユーザが投影可能な領域に向けて情報処理装置１０を移動する間に、検出した対象物の関連情報をも併せて表示するための処理を示す。また、この処理では、対象物が一度に複数検出された場合には、検出した複数の対象物それぞれの関連情報を表示する。
【００３７】
この実施形態では、対象物が少なくとも１つ以上検出され、かつ、Ｓ５０３において投影に適する領域がないと判定された後に、情報処理装置１０が投影可能な領域に向ける操作が行われる。以下、この操作をユーザが行うものとして説明する。しかし、撮像部１１２の向きを変更するための方向調整装置を情報処理装置１０に設け、ＣＰＵ１０１によってこの方向調整装置を制御して撮像部１１２を投影可能な領域に向けるようにしてもよい。
【００３８】
図７に示されるように、第５実施形態では、図６に示される第４実施形態における処理と同様に、Ｓ２０２〜Ｓ２０６までの処理が実行され、撮像画像が格納された（Ｓ２０６）後に重畳画像が生成される（Ｓ７０１）。なお、この実施形態では、後述するようにＳ２０５での撮像処理が複数回実行され、ＲＡＭ１０３に複数の画像が格納されている場合がある。
Ｓ７０１では、ＲＡＭ１０３に画像が複数格納されている場合、少なくとも２つの画像を、パノラマ画像のように１つの画像に結合してもよい。これにより、対象物が複数あり、一回の撮像ではその一部しか撮像できない場合でも、複数の対象物、好ましくはすべての対象物を含んだ結合画像を生成することができる。そして、この結合画像内の複数の対象物に対して関連画像を重畳した重畳画像を生成して投影することができる。なお、画像の結合は既存の画像処理で実現可能である。また、周辺画像に関連情報を重畳してから結合を行ってもよく、あるいは、周辺画像を結合した後に関連情報を重畳してもよい。
【００３９】
ＣＰＵ１０１は、Ｓ７０１を実行した後に、投影領域が重畳画像の投影に適しているかを診断し（Ｓ５０２）、重畳画像の投影が可能であるか否かを判定する（Ｓ５０３）。なお、この実施形態では、対象物が複数検出された場合、すべての対象物が投影に適している場合にのみ、投影領域が投影に適していると判定する。かつ、検出された対象物のうち少なくとも１つが投影に適さない場合は、投影領域は投影に適さないと判定する。
Ｓ５０３において、対象物が投影に適すると判定された場合（Ｓ５０３：Ｙ）、ＣＰＵ１０１は、重畳画像を投影し（Ｓ２０９）、処理を終了する。
【００４０】
一方、投影領域に重畳画像の投影が可能ではない場合（Ｓ５０３：Ｎ）、対象物検出部１１０は、対象物検出処理を行い（Ｓ７０２）、対象物が検出されたか否かを判定する（Ｓ７０３）。対象物を検出しなかった場合（Ｓ７０３：Ｎ）、ＣＰＵ１０１の処理はＳ５０２に戻る。
対象物検出部１１０が対象物を検出した場合（Ｓ７０３：Ｙ）、ＣＰＵ１０１は、関連情報取得部１１１を通じて、対象物検出部１１０が検出した対象物の関連情報を取得する（Ｓ７０４）。その後、関連情報取得部１１１は、取得した関連情報をＲＡＭ１０３に格納し（Ｓ７０５）、ＣＰＵ１０１の処理はＳ２０５及びＳ２０６を実行し、更に、前述したＳ７０１以降の処理を実行する。
【００４１】
なお、Ｓ５０３の投影可能か否かを判定する処理において、その周辺が投影に適する対象物と、その周辺が投影に適していない対象物とが混在する場合、投影に適する対象物についてのみその関連情報を対象物の周辺に投影するようにしてもよい。また、情報処理装置１０が移動された後に投影する場合は、前記対象物の情報も併せて投影してもよいものとする。また、この場合でも、Ｓ５０３の判定結果自体はＮとなり、ＣＰＵ１０１の処理は、Ｓ７０２に進む。
【００４２】
次に、第５実施形態における投影画像の説明図を図８（ａ）、（ｂ）に示す。図８（ａ）において、領域８０１〜８０６はいずれも対象物を示している。これらの領域のうち、領域８０１、８０３及び８０５は、その表面が黒色で投影に適していない対象物である。また、領域８０２、８０４及び８０６は、その表面が白色で投影に適した対象物を示す。
投影領域８０８には、領域８０１、８０４の全体が含まれ、かつ、領域８０２、８０５についてはその一部が含まれる。上述のように、領域８０１は投影に適さないため、この段階では投影されない。なお、ユーザは情報処理装置１０を任意の方向に動かすことが可能である。
【００４３】
この実施形態では、情報処理装置１０を移動させることですべての投影対象物が投影領域内に入れるようにする。従って、ユーザは、左から右に向かって情報処理装置１０を動かし、その過程において、領域８０２、８０５については図８（ａ）において投影領域外になっている部分が投影領域内に入る。また、領域８０３、８０６については、その全体が投影領域内に入る。その結果、Ｓ２０５では周辺画像が複数回撮像され、その過程において領域８０１〜８０６はいずれも周辺画像内に含まれる。従って、周辺画像を結合することで、領域８０１〜８０６を含んだ画像を得ることができる。
【００４４】
ＲＡＭ１０３には、情報処理装置１０を対象物８０１〜８０６よりも右側に移動させることで、その移動中に撮像された対象物８０１〜８０６の周辺画像および関連情報が格納される。図８（ｂ）に示されるように、重畳画像生成部１１４は、図７のＳ７０１において、これらを重畳した画像８１０を生成し、投影に適する領域８０９に投影する。図８（ｂ）の例では、投影に適する領域８０９は、領域８０１〜８０６の右側に位置している。なお、投影に適する領域は、領域８０１〜８０６の右に限定されるわけではない。例えば、領域８０１〜８０６の下方であってもよい。この場合は、投影に適する領域８０９は、図８（ｂ）において領域８０１〜８０６の下方となる。
【００４５】
以上説明したように、この実施形態においては、複数の対象物が検出され、これらの対象物が１つの投影領域内に収まらない場合でも、これら対象物を含んだ結合画像を得ることができる。また、得られた結合画像に関連情報を重畳することもできる。
複数の対象物が検出された場合に、検出された対象物について個別に重畳画像を投影することはユーザにとって利便性が低い上に、個別に投影するために長時間を要する。しかし、この実施形態では、複数の対象物を結合画像により一枚の画像で表示するので、ユーザの利便性が向上し、かつ、投影に要する時間も短縮できる。
さらには、投影に適する対象物もまとめて投影することができるので、対象物の位置関係を再現しやすく、複数の対象物とその関連情報との対応関係をユーザが把握しやすいという利点がある。
【００４６】
なお、本実施形態に係る情報処理装置１０としては、撮像装置と、プロジェクタのような投影装置と、を備えて情報処理を行う任意の装置を用いることができる。例えば、情報処理装置１０として、カメラとプロジェクタを搭載するスマートフォン等の任意の情報処理装置を用いることができる。また、情報処理装置１０は、必ずしも撮像装置と投影装置とを備える必要はない。例えば、情報処理装置と、撮像装置及び投影装置とを有線あるいは無線により接続し、撮像及び投影のタイミングや投影装置の投影方向を制御してもよい。
【００４７】
以上本発明に係る実施形態を説明したが、本発明に係る情報処理装置は、上記各実施形態に限定されるものではない。例えば、本発明に係る情報処理装置は、通常のパーソナルコンピュータ等の汎用情報処理装置で動作するコンピュータプログラムで実現できるものである。また、上記のコンピュータプログラムを、ネットワーク又はコンピュータ読み取り可能な記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し、実行する処理でも実現可能である。更に、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2017073717.tif 000003
【図２】
2017073717.tif 000004
【図４】
2017073717.tif 000005
【図５】
2017073717.tif 000006
【図６】
2017073717.tif 000007
【図７】
2017073717.tif 000008
【図３】
2017073717.tif 000009
【図８】
2017073717.tif 000010