(57)【要約】【課題】空間にある物体に投影された画像の範囲と、ユーザから視認可能な物体の範囲とのずれを小さくする。【解決手段】投影制御手段１０３は、撮像手段１０１によって撮像された画像に基づいて、ユーザの視野の範囲内の空間にある物体を認識し、その物体の特徴点を特定する。そして、投影制御手段１０３は、特定した特徴点と記憶手段１０４に記憶されている特徴点データが表す特徴点との対応関係を求め、求めた対応関係に基づいて、記憶手段に記憶されている投影画像データを変換する。そして、投影制御手段１０３は、変換後の画像データによって表される画像を投影手段１０２から物体に対して投影させる。【選択図】図４
2014063446.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着される画像投影装置であって、
前記ユーザの視野の範囲内の空間を撮像する撮像手段と、
前記ユーザの視野の範囲内の空間に向けて画像を投影する投影手段と、
前記撮像手段によって撮像された画像に基づいて前記空間内にある物体を認識し、当該物体に対して前記投影手段から画像を投影させる投影制御手段と
を備えることを特徴とする画像投影装置。
【請求項２】
前記撮像手段の光軸と、前記投影手段の光軸と、自装置を装着しているユーザの視線の方向として決められた方向が、いずれも平行である
ことを特徴とする請求項１記載の画像投影装置。
【請求項３】
前記投影制御手段は、
物体の特徴点を表す特徴点データと、当該物体に対して投影する画像を表す投影画像データとを記憶する記憶手段を備え、
前記撮像手段によって撮像された画像に基づいて前記空間内にある物体の特徴点を特定し、特定した特徴点と前記記憶手段に記憶されている特徴点データが表す特徴点との対応関係を求め、求めた対応関係に基づいて前記記憶手段に記憶されている投影画像データを変換し、変換後の投影画像データによって表される画像を前記投影手段から前記物体に対して投影させる
ことを特徴とする請求項１又は２に記載の画像投影装置。
【請求項４】
前記撮像手段及び前記投影手段は、前記ユーザの眼の周りの一部若しくは全部を覆うリム部、又は、２つの当該リム部を連結するブリッジ部に設けられている
ことを特徴とする請求項１〜３のいずれか１項に記載の画像投影装置。
【請求項５】
ユーザの視野の範囲内の空間を撮像する撮像手段と、前記ユーザの視野の範囲内の空間に向けて画像を投影する投影手段とを有し、ユーザの頭部に装着される画像投影装置が、前記撮像手段によって撮像された画像に基づいて前記空間内にある物体を認識し、当該物体に対して前記投影手段から画像を投影させることを特徴とする画像投影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの頭部に装着されて用いられる画像投影装置及びその装置の画像投影方法に関する。
【背景技術】
【０００２】
ユーザの頭部に装着された状態で用いられる画像投影装置として、例えばヘッドマウントディスプレイと呼ばれるものが知られている。特許文献１には、撮像手段の撮像方向をユーザの視線の方向に追従させることが開示されている。特許文献２には、プロジェクタからの出力画像をユーザの視線に追従させることが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−５９６６６号公報
【特許文献２】特開平１０−３０１０５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
プロジェクタなどの投影手段から投影する画像は、例えば会議に用いる資料の画像などが一般的であるが、例えば、空間にある物体に対して画像を投影することで、従来にはない面白さがあるサービスを提供することが考えられる。例えば図７に示すように、白色の球体Ｂに対して様々な色や模様の画像を投影することで、単体の球体Ｂを、まったく異なる物体に見せることが可能となる。なお、図７において、斜線の範囲Ｄ１は、球体Ｂに投影された画像の範囲を意味しており、点線ｅで示した範囲は、ユーザから見える範囲を意味している。図７（Ａ）に示すように、例えば一般的な卓上型のプロジェクタＰとユーザの視点Ｅとが近い場合には、球体Ｂに投影された画像の範囲Ｄ１と、ユーザから視認可能な球体の範囲とはほぼ一致しているから、ユーザから視認可能な範囲に過不足なく画像を配置することができる。
【０００５】
これに対し、図７（Ｂ）に示すように、プロジェクタＰとユーザの視点Ｅとが遠い場合には、球体Ｂに投影された画像の範囲Ｄ２と、ユーザから視認可能な球体Ｂの範囲とがずれてしまい、この例の場合には、ユーザからは、球体Ｂにおいて画像が投影されていない部分が見えてしまうことになる。特にユーザが動いた場合には、プロジェクタＰとユーザの視点Ｅとの位置関係が代わるから、このような位置ずれが必ず発生してしまう。これを解決する方法としては、例えばプロジェクタを複数用意しておき、ユーザがどの方向から物体を見ても良いように、あらゆる方向から物体に画像を投影しておくという方法が考えられる。しかし、この方法ではプロジェクタを複数用意するためのコストが問題となる。
【０００６】
そこで本発明は、空間にある物体に投影された画像の範囲と、ユーザから視認可能な物体の範囲とのずれが小さくなるような仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像投影装置は、ユーザの頭部に装着される画像投影装置であって、前記ユーザの視野の範囲内の空間を撮像する撮像手段と、前記ユーザの視野の範囲内の空間に向けて画像を投影する投影手段と、前記撮像手段によって撮像された画像に基づいて前記空間内にある物体を認識し、当該物体に対して前記投影手段から画像を投影させる投影制御手段とを備えることを特徴とする。
【０００８】
前記撮像手段の光軸と、前記投影手段の光軸と、自装置を装着しているユーザの視線の方向として決められた方向が、いずれも平行であることが望ましい。
【０００９】
前記投影制御手段は、前記物体の特徴点を表す特徴点データと、当該物体に対して投影する画像を表す投影画像データとを記憶する記憶手段を備え、前記撮像手段によって撮像された画像に基づいて前記空間内にある物体の特徴点を特定し、特定した特徴点と前記記憶手段に記憶されている特徴点データが表す特徴点との対応関係を求め、求めた対応関係に基づいて前記記憶手段に記憶されている投影画像データを変換し、変換後の投影画像データによって表される画像を前記投影手段から前記物体に対して投影させるようにしてもよい。
【００１０】
前記撮像手段及び前記投影手段は、前記ユーザの眼の周りの一部若しくは全部を覆うリム部、又は、２つの当該リム部を連結するブリッジ部に設けられていてもよい。
【００１１】
また、本発明の一態様に係る画像投影方法は、ユーザの視野の範囲内の空間を撮像する撮像手段と、前記ユーザの視野の範囲内の空間に向けて画像を投影する投影手段とを有し、ユーザの頭部に装着される画像投影装置が、前記撮像手段によって撮像された画像に基づいて前記空間内にある物体を認識し、当該物体に対して前記投影手段から画像を投影させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、空間にある物体に投影された画像の範囲と、ユーザから視認可能な物体の範囲とのずれを小さくすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る画像投影装置の正面図、側面図、上面図、背面図。
【図２】画像投影装置をユーザが装着しているときの様子を示す斜視図。
【図３】画像投影装置のハードウェア構成を示すブロック図。
【図４】画像投影装置の機能構成を示すブロック図。
【図５】（Ａ）物体の特徴点の一例を示す図、（Ｂ）物体に投影する画像の一例を示す図。
【図６】画像投影装置が実行する処理の手順を示すフローチャート。
【図７】物体に投影した画像をユーザが観察するときの問題点を説明する図。
【発明を実施するための形態】
【００１４】
［実施形態］
図１において、（Ａ）は本発明の一実施形態に係る画像投影装置１の正面図であり、（Ｂ）は側面図であり、（Ｃ）は上面図であり、（Ｄ）は背面図である。図２は、画像投影装置１をユーザが装着しているときの様子を示す斜視図である。画像投影装置１は、ユーザ２の頭部に装着された状態で用いられる画像投影装置であり、ここでは、通話やデータ通信が可能な通信装置として機能する。この画像投影装置１は、ユーザ２の頭部を挟むようにして装着される。すなわち、画像投影装置１は、ノーズ部と呼ばれる部品がユーザ２の鼻２ａに接し、且つ、アーム部と呼ばれる部品がユーザ２の両耳２ｂに接した状態で、ユーザ２の頭部に装着される。
【００１５】
画像投影装置１の正面側には、画像を表示する表示部１６が設けられている。表示部１６の外縁は、リム部１６ａと呼ばれる部品により覆われている。このリム部１６ａは、ユーザ２の眼の周りの一部又は全部（図１ではユーザ２の眼の周りの全部）を囲っている。表示部１６及びリム部１６ａは、ユーザ２の眼前に位置した状態（図１（Ｃ）において実線で図示）と、眼前からはずれて待避した状態（図１（Ｃ）において点線で図示）との間で変位することが可能になっている。表示部１６は、光を透過する素材で構成されており、ユーザ２の眼前に位置した状態であっても、ユーザ２は表示部１６を介して、自身の前方を視認することができるようになっている。
【００１６】
リム部１６ａには、カメラ１７及びプロジェクタ１８が設けられている。カメラ１７は、ユーザの視野の範囲内の空間を撮像する撮像手段である。プロジェクタ１８は、ユーザの視野の範囲内の空間に向けて画像を投影する投影手段である。カメラ１７における光学系の光軸、プロジェクタ１８における光学系の光軸、及び、ユーザ２の視線の方向として予め決められた方向（例えば表示部１６の表示面に垂直な方向）は、いずれも平行であることが好ましい。
【００１７】
図３は、画像投影装置１のハードウェア構成を示すブロック図である。画像投影装置１は、前述したとおり通信装置として機能するものであり、制御部１１と、記憶部１２と、通信部１３と、音声入出力部１４と、操作部１５と、表示部１６と、カメラ１７と、プロジェクタ１８とを備えている。制御部１１は、ＣＰＵ（Central Processing Unit）などの演算装置と、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などの記憶装置とを備えたコンピュータである。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部１２に記憶されたプログラムを実行することによって、画像投影装置１の各部の動作を制御する。記憶部１２は、書き込み可能な不揮発性の記憶手段であり、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やバックアップ電源を備えたＳＲＡＭ（Static Random Access Memory）である。記憶部１２には、制御部１１によって実行されるプログラムのほか、プロジェクタ１８から投影される画像を表す投影画像データや、予め想定される物体の特徴点を表す特徴点データなどが記憶されている。通信部１３は、無線用のアンテナや通信回路を備えており、移動通信網の基地局や無線ＬＡＮ（Loval Area Network）のアクセスポイントなどと無線通信を行う。音声入出力部１４は、スピーカ、マイクロホンおよび音声処理回路などを備えており、通話に係る音声の入出力を行う。操作部１５は、キーやタッチセンサなどの操作子を備え、ユーザの操作に応じた操作信号を制御部１１に供給する。制御部１１は、この操作信号に応じた処理を行う。表示部１６は、液晶パネルや液晶駆動回路を備えており、制御部１１からの指示に応じて画像を表示する。カメラ１７及びプロジェクタ１８は、前述したとおりである。
【００１８】
図４は、画像投影装置１の機能構成を示すブロック図である。画像投影装置１は、撮像手段１０１と、投影手段１０２と、投影制御手段１０３とを備える、撮像手段１０１は、カメラ１７によって実現される構成であり、ユーザの視野の範囲内の空間を撮像する。投影手段１０２は、プロジェクタ１８によって実現される構成であり、ユーザの視野の範囲内の空間に向けて画像を投影する。投影制御手段１０３は、制御部１１及び記憶部１２によって実現される構成であり、撮像手段１０１によって撮像された画像に基づいて空間内にある物体を認識し、当該物体に対して投影手段１０２から画像を投影させる。
【００１９】
より具体的には、投影制御手段１０３は、予め想定される物体の特徴点を表す特徴点データと、その物体に対して投影する画像を表す投影画像データとを記憶する記憶手段を備えている。記憶手段１０４は、記憶部１２によって実現される構成である。そして、投影制御手段１０３は、撮像手段１０１によって撮像された画像に基づいて、ユーザの視野の範囲内の空間にある物体を認識し、その物体の特徴点を特定する。投影制御手段１０３は、特定した特徴点と記憶手段１０４に記憶されている特徴点データが表す特徴点との対応関係を求め、求めた対応関係に基づいて、記憶手段に記憶されている投影画像データを変換する。投影制御手段１０３は、変換後の画像データによって表される画像を投影手段１０２から物体に対して投影させる。
【００２０】
例えば、図５（Ａ）に示すように、白色の熊のぬいぐるみＮを画像の投影対象となる物体とし、このぬいぐるみに対して、図５（Ｂ）に示すように服や靴を模した画像を投影する場合を想定する。物体の特徴点とは、その物体の画像において他の物体の画像に比べてユニークとなるような点の集合であり、例えばぬいぐるみＮの画像の輪郭に相当する直線または曲線において２本のエッジの交点であるコーナーや変曲点などである。なお、図５（Ａ）では、ぬいぐるみＮの特徴点の一部を示しているにすぎず、実際にはもっと多数の特徴点データが記憶手段１０４に記憶されている。また、図５（Ａ）では、ぬいぐるみＮが正面を向いているときの各特徴点を示しているが、実際には、ぬいぐるみＮが様々な方向を向いているときの特徴点データが全て記憶手段１０４に記憶されている。
【００２１】
図６は、画像投影装置１において制御部１１がプログラムの記述内容に従って実行する処理の手順を示すフローチャートである。まず、制御部１１は、カメラ１７によって撮像された画像を表す撮像データを取得する（ステップＳ１１）。次に、制御部１１は、取得した撮像データに基づいて、ユーザの視野の範囲内の空間にある物体を認識する（ステップＳ１２）。この物体の認識には、画像から輪郭を抽出して背景から分離した上で、その対象物が何であるかをオブジェクトの形状や大きさを考慮したパターン認識等により分析するといった、既知の画像認識技術を用いればよい。次に、制御部１１は、認識した物体が、記憶部１２にその特徴点データが記憶されている物体である場合には、エッジ検出や外周調査などの既知の手法を用いて、認識した物体の特徴点を特定する（ステップＳ１３）。
【００２２】
制御部１１は、特定した特徴点と、記憶部１２に記憶されている特徴点データが表す特徴点との対応関係を求める（ステップＳ１４）。つまり制御部１１は、前者の各特徴点が後者の特徴点群のうちどの特徴点に相当するのかということを決定してゆく。次に、制御部１１は、対応する特徴点どうしの位置の違いに基づいて、投影画像データを変換するための変換行列を求める（ステップＳ１５）。そして、制御部１１は、記憶部１２から投影画像データを読み出し、その投影画像データを変換行列に基づいて変換する（ステップＳ１６）。そして、制御部１１は、変換後の投影画像データをプロジェクタ１８に供給し、その画像データによって表される画像を物体に対して投影させる（ステップＳ１７）。以上のステップＳ１１〜Ｓ１７の処理は投影処理を終了するような指示があるまで（ステップＳ１８；ＹＥＳ）繰り返し実行される。
【００２３】
上記実施形態によれば、ユーザの頭部に装着される単体の画像投影装置１に、ユーザの視野の範囲内の空間を撮像する撮像手段（カメラ１７）と、その撮像範囲から特定された物体に画像を投影するための投影手段（プロジェクタ１８）及び投影制御手段（制御部１１、記憶部１２）の全てが実装されているから、空間にある物体に投影された画像の範囲と、ユーザから視認可能な物体の範囲とのずれを極力小さくすることができる。特に、撮像手段（カメラ１７）における光学系の光軸、投影手段（プロジェクタ１８）における光学系の光軸、及び、ユーザの視線の方向として予め決められた方向がいずれも平行である場合に、その効果が大きい。
【００２４】
また、ユーザが動いたとしても、撮像手段（カメラ１７）、投影手段（プロジェクタ１８）及びユーザの視点の互いの位置関係は一定の関係を保つから、空間にある物体に投影された画像の範囲と、ユーザから視認可能な物体の範囲とのずれを極力小さくすることができる。また、複数のプロジェクタを用意する必要もない。
【００２５】
また、表示部１６において、ユーザの眼から見て物体とちょうど重なるような位置に画像を表示することで、あたかもその物体に色や模様があるかのように見せることも可能である。しかし、このような構成では、視線方向の奥行き方向において、物体が現実に存在する位置と、画像の表示位置とが異なる（具体的には、物体が現実に存在する位置はより遠く、画像の表示位置はより近い）ため、ユーザから見るとどうしても奥行き感のずれが生じて、不自然な感覚を感じてしまう。これに対し、本実施形態では、物体が現実に存在する位置と画像が現れる位置とが同じであるため、上記のような違和感がない。
【００２６】
なお、物体に画像を投影するときの利用シーンとしては、実施形態のようなぬいぐるみのほか、人形やマネキンに服の画像を投影する例のほか、マネキンの顔の部分に動画を投影することでマネキンがしゃべっているように見せるというケースも考えられる。また、商店においてマネキンや投影用商品を置いておき、これらに対して商品に相当する様々な画像を次々と投影することで、商品のディスプレイを行うことも可能となる。
【００２７】
［変形例］
本発明は、上述した実施形態の態様に限らず、他の態様でも実施することができる。以下に示すのは、本発明の他の態様の一例である。なお、これらの変形例は、必要に応じて、各々を適宜組み合わせてもよい。
【００２８】
［変形例１］
カメラ１７及びプロジェクタ１８は、リム部１６ａ以外の箇所に設けられていてもよい。例えば、ユーザの両眼に対応したリム部１６ａが、ブリッジ部と呼ばれる部品で連結されている場合、このリム部１６ａ又はブリッジ部にカメラ１７及びプロジェクタ１８が設けられていてもよい。
【００２９】
［変形例２］
実施形態では、制御部１１が、カメラ１７によって撮像された画像を表す撮像データに基づいて、ユーザの視野の範囲内の空間にある物体のうち、画像認識等を技術を用いて、画像の投影対象とされる物体を抽出してその物体に対して画像を投影していたが、ユーザが何を見ているかということを認識して、画像の投影対象とされる物体を抽出してもよい。具体的には、リム部１６ａの内側（画像投影装置１をユーザ２が装着したときにユーザに向かい合う側）に、カメラを設けてユーザの視線の方向を検出する。制御部１１は、カメラ１７によって撮像された画像を表す撮像データに基づいて、ユーザの視野の範囲内の空間にある物体のうち、ユーザの視線の方向にある物体を、画像の投影対象として特定する。このようにすれば、より正確に画像の投影対象を特定することが可能となる。
【００３０】
［変形例３］
画像投影装置１が実装する機能は、実施形態の例に限らず、様々なものが考えられる。例えば、網膜投射型ディスプレイ、視線検出機構、虹彩認証機構、骨伝導マイク及びイヤホン、脈波・血圧・体温・生体ガスなどの生体情報測定機構、眼電センサ、超広角全周カメラ、前方全視野カメラ、照度センサ、ＵＶセンサ、距離センサ、非接触充電機構、角速度センサ、地磁気センサ、測位機構、温度センサ、湿度センサなどである。
【００３１】
［変形例４］
本発明は、画像投影装置やこれが実行する画像投影方法としてだけではなく、画像投影装置が実行するプログラムとして把握することも可能である。また、このプログラムは、光ディスクなどの記録媒体に記録した形態や、インターネットなどのネットワークを介して、画像投影装置にダウンロードさせ、これをインストールして利用可能にする形態などでも提供することができる。
【符号の説明】
【００３２】
１  画像投影装置、２  ユーザ、２ａ  鼻、２ｂ  耳、１１  制御部、１２  記憶部、１３  通信部、１４  音声入出力部、１５  操作部、１６  表示部、１７  カメラ、１８  プロジェクタ、１０１  撮像手段、１０２  投影手段、１０３  投影制御手段、１０４  記憶手段。
【図１】
2014063446.tif 000003
【図２】
2014063446.tif 000004
【図３】
2014063446.tif 000005
【図４】
2014063446.tif 000006
【図５】
2014063446.tif 000007
【図６】
2014063446.tif 000008
【図７】
2014063446.tif 000009