(57)【特許請求の範囲】
【請求項１】
映像が投影される投影面に関する情報に基づいて前記投影面に対する操作が行われているか否かを示す状態信号を算出する検出部と、
前記状態信号と、前記投影面に関する情報と、に基づいて補正パラメータを算出する算出部と、
処理対象の画像と、前記補正パラメータと、に基づいて補正画像を生成する補正部と、
を備え、
前記算出部は、前記操作が行われていないことを前記状態信号が示す場合に前記補正パラメータを算出する画像処理装置。
【請求項２】
映像が投影される投影面に関する情報に基づいて前記投影面に対する操作が行われているか否かを示す状態信号を算出する検出部と、
前記状態信号と、前記投影面に関する情報と、に基づいて補正パラメータを算出する算出部と、
処理対象の画像と、前記補正パラメータと、に基づいて補正画像を生成する補正部と、
を備え、
前記検出部は、前記投影面に関する情報の時間変動量を検出することで前記操作が行われているか否かの判定を実行し、
前記検出部は、前記投影面に関する情報の時間変動量があらかじめ定められた閾値以下である状態が一定期間続いた場合に前記操作が行われていないと判定し、前記投影面に関する情報の時間変動量があらかじめ定められた閾値よりも大きい場合に前記操作が行われていると判定する画像処理装置。
【請求項３】
映像が投影される投影面に関する情報に基づいて前記投影面に対する操作が行われているか否かを示す状態信号を算出する検出部と、
前記状態信号と、前記投影面に関する情報と、に基づいて補正パラメータを算出する算出部と、
処理対象の画像と、前記補正パラメータと、に基づいて補正画像を生成する補正部と、
を備え、
前記検出部は、前記投影面に関する情報に基づいて前記映像が投影される投影先が変化したか否かを示す投影先信号をさらに算出する画像処理装置。
【請求項４】
前記算出部は、前記投影先が変化したことを前記投影先信号が示す場合に前記補正パラメータを算出する請求項３記載の画像処理装置。
【請求項５】
前記検出部は、前記投影面に関する情報の時間変動量を検出することで前記投影先が変化したか否かの判定を実行する請求項３または４に記載の画像処理装置。
【請求項６】
前記検出部は、前記投影面に関する情報の時間変動量があらかじめ定められた閾値よりも大きい状態が一定期間続いた場合に前記投影先が変化したと判定し、前記投影面に関する情報の時間変動量があらかじめ定められた閾値以下である状態が一定期間続いた場合に前記投影先が変化していないと判定する請求項５記載の画像処理装置。
【請求項７】
前記検出部が検出する前記投影面に関する情報は、映像が投影される投影面の少なくとも一部を含む物体までの距離情報を含む請求項１〜６のいずれか１つに記載の画像処理装置。
【請求項８】
映像が投影される投影面の少なくとも一部を含む撮影像を取得する撮影部をさらに備え、
前記検出部が検出する前記投影面に関する情報は、前記撮影像を含む請求項１〜７のいずれか１つに記載の画像処理装置。
【請求項９】
請求項１〜８のいずれか１つに記載の画像処理装置と、
前記補正画像に基づいて前記補正画像に応じた像を投影する投影部と、
を備えた画像投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置および画像投影装置に関する。
【背景技術】
【０００２】
例えばプロジェクタなどを用いて投影面に映像を投影するときに、投影面の地模様や投影面の変化に合わせて映像を補正する処理をすれば、どのような投影面であっても良好な映像を投影することができる。一方、投影面に投影された投影像に対して、物体（例えば指や指示棒など）を用いた操作（ジェスチャ）による操作入力を行う技術がある。例えば、投影像に表示されたスイッチを指や指示棒などで仮想的に押すことができる。  
しかし、このような操作入力を行うとき、指や指示棒、あるいはそれらにより形成される影が投影像の一部であると判定してしまうと、投影面の地模様や投影面の変化に合わせて映像を補正する処理を適正に実行することができない。その結果として、指や指示棒などによる操作入力の際に、画像が不必要に変化したり、ちらついたりして、映像の品位が低下する。  
したがって、投影像に対して操作入力を行う場合において、投影像が操作入力中に変化したり、ちらついたりすることを抑えることが望まれる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２８８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、投影像が操作入力中に変化したり、ちらついたりすることを抑えることができる画像処理装置および画像投影装置を提供する。
【課題を解決するための手段】
【０００５】
別の実施形態によれば、検出部と、算出部と、補正部と、を備えた画像処理装置が提供される。前記検出部は、映像が投影される投影面に関する情報に基づいて前記投影面に対する操作が行われているか否かを示す状態信号を算出する。前記算出部は、前記状態信号と、前記投影面に関する情報と、に基づいて補正パラメータを算出する。前記補正部は、処理対象の画像と、前記補正パラメータと、に基づいて補正画像を生成する。前記算出部は、前記操作が行われていないことを前記状態信号が示す場合に前記補正パラメータを算出する。
別の実施形態によれば、検出部と、算出部と、補正部と、を備えた画像処理装置が提供される。前記検出部は、映像が投影される投影面に関する情報に基づいて前記投影面に対する操作が行われているか否かを示す状態信号を算出する。前記算出部は、前記状態信号と、前記投影面に関する情報と、に基づいて補正パラメータを算出する。前記補正部は、処理対象の画像と、前記補正パラメータと、に基づいて補正画像を生成する。前記検出部は、前記投影面に関する情報の時間変動量を検出することで前記操作が行われているか否かの判定を実行する。前記検出部は、前記投影面に関する情報の時間変動量があらかじめ定められた閾値以下である状態が一定期間続いた場合に前記操作が行われていないと判定し、前記投影面に関する情報の時間変動量があらかじめ定められた閾値よりも大きい場合に前記操作が行われていると判定する。
別の実施形態によれば、検出部と、算出部と、補正部と、を備えた画像処理装置が提供される。前記検出部は、映像が投影される投影面に関する情報に基づいて前記投影面に対する操作が行われているか否かを示す状態信号を算出する。前記算出部は、前記状態信号と、前記投影面に関する情報と、に基づいて補正パラメータを算出する。前記補正部は、処理対象の画像と、前記補正パラメータと、に基づいて補正画像を生成する。前記検出部は、前記投影面に関する情報に基づいて前記映像が投影される投影先が変化したか否かを示す投影先信号をさらに算出する。
【図面の簡単な説明】
【０００６】
【図１】実施形態にかかる画像処理装置および画像投影装置を表すブロック図である。
【図２】実施形態にかかる画像処理方法を説明するフローチャート図である。
【図３】実施形態にかかる他の画像処理装置および他の画像投影装置を表すブロック図である。
【図４】実施形態にかかる他の画像処理方法を説明するフローチャート図である。
【図５】実施形態にかかるさらに他の画像処理装置およびさらに他の画像投影装置を表すブロック図である。
【図６】実施形態にかかるさらに他の画像処理方法を説明するフローチャート図である。
【図７】実施形態にかかるさらに他の画像処理装置およびさらに他の画像投影装置を表すブロック図である。
【図８】実施形態にかかるさらに他の画像処理方法を説明するフローチャート図である。
【図９】実施形態にかかる画像投影装置の使用状態の一例を例示する模式斜視図である。
【図１０】実施形態にかかる画像投影装置の使用状態の一例を例示する模式斜視図である。
【発明を実施するための形態】
【０００７】
以下、本発明の実施の形態について図面を参照しつつ説明する。なお、各図面中、同様の構成要素には同一の符号を付して詳細な説明は適宜省略する。  
図１は、実施形態にかかる画像処理装置および画像投影装置を表すブロック図である。
【０００８】
なお、図１に表した画像処理装置のブロック図は、実施形態にかかる画像処理装置の要部構成の一例であり、必ずしも実際のプログラムモジュールの構成とは一致しない場合がある。これは、図３、図５および図７に表した画像処理装置の要部構成についても同様である。
【０００９】
図１に表した画像投影装置１００は、画像処理装置２００と、撮影部１１０と、投影部１２０と、を備える。  
画像処理装置２００は、検出部２１０と、補正パラメータ算出部（単に「算出部」ともいう）２２０と、補正部２３０と、を有する。
【００１０】
なお、画像処理装置２００は、画像投影装置１００とは異なる外部の装置であってもよいし、画像投影装置１００が備える装置であってもよい。図１に表したハードウェア構成は、一例であり、各実施形態に係る画像処理装置２００の一部、又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットとして実現してもよい。各機能ブロックについては、個別にプロセッサ化してもよいし、各機能ブロックの一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法については、ＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。これらは、図３、図５および図７に表した画像処理装置および画像投影装置においても同様である。
【００１１】
画像投影装置１００は、画像投影装置１００の外側の投影面に映像を投影する。投影面は、一般的な投影用スクリーンだけではなく、屋内外の壁面や、床や、天井などのように地模様や色がついた投影面を含む。
【００１２】
入力画像（処理対象画像）１０の信号の形式は、様々に想定され得る。実施形態においては、各画素は、画素値として赤成分、緑成分、および青成分の３チャンネルの輝度を有する。画面内の位置（ｕ、ｖ）の各チャンネルの輝度は、輝度値Ｉ（ｕ、ｖ）と記載される。このとき、各チャンネルの信号は、非線形な階調値から線形変換して算出されてもよい。例えば、各チャンネルの信号は、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  ＵｎｉｏｎのＹＣｂＣｒ伝送規格等による入力信号から算出されてもよい。入力画像１０の信号は、あらゆる機器または媒体から入力される画像の信号であってもよい。例えば、入力画像１０の信号は、ＨＤＤなどの記録媒体から入力される画像の信号、ネットワークを介して接続された外部装置から入力される信号、およびＴＶ（テレビジョン）などの放送波から入力される画像の信号の少なくともいずれかであってもよい。入力画像１０は、例えば動画像あるいは静止画像を含む。
【００１３】
撮影部１１０は、可視カメラを有し、投影面の少なくとも一部を含む撮影像を取得する。撮影部１１０は、撮影像を検出部２１０に出力する。また、撮影部１１０は、撮影像を補正パラメータ算出部２２０に出力する。  
本願明細書において「撮影像」とは、投影部１２０から出力され投影面に投影された映像を撮影した像をいう。
【００１４】
検出部２１０は、撮影部１１０から出力された投影面に関する情報に基づいて投影面の状態を示す状態信号を算出し、補正パラメータ算出部２２０に出力する。
【００１５】
補正パラメータ算出部２２０は、状態信号が操作入力を行っていないことを示すとき、投影面の少なくとも一部を含む撮影像に基づいて補正パラメータを算出し、補正部２３０に出力する。
【００１６】
補正部２３０は、入力画像１０と、補正パラメータ算出部２２０から出力された補正パラメータと、に基づいて補正画像を生成し、投影部１２０に出力する。
【００１７】
投影部１２０は、補正部２３０から出力された補正画像に基づいて、補正画像に応じた像を投影面に投影する。投影部１２０は、例えば液晶プロジェクタやレーザープロジェクタなどの一般的な投影装置であればよい。あるいは、投影部１２０は、画像処理装置２００とは独立な外部装置として接続されていてもよい。
【００１８】
図２は、実施形態にかかる画像処理方法を説明するフローチャート図である。  
撮影部１１０は、可視カメラを用いて、投影面の少なくとも一部を含む撮影像を撮影して取得し、検出部２１０と補正パラメータ算出部２２０とのそれぞれに出力する（ステップＳ１０１）。「撮影像」とは、図１に関して前述した通りである。投影部１２０から出力された投影像は、投影面の素材や投影面の形などの影響を受ける。そのため、投影像の明るさや投影像の色は、投影面の素材や投影面の形などに応じて変化する。  
本願明細書において「投影像」とは、投影部１２０から出力され投影面に投影された像をいう。  
撮影部１１０は、投影像を含み投影像の面積よりも広い面積の領域を撮影像として取得してもよい。
【００１９】
投影面に投影された映像を撮影部１１０が撮影することで、投影像の色や投影像の明るさが投影面の影響によってどのように変化したかを知ることができる。補正パラメータ算出部２２０は、撮影部１１０が撮影した撮影像に基づいて補正パラメータを算出することができる。
【００２０】
検出部２１０は、撮影部１１０から出力された投影面に関する情報に基づいて投影面の状態を示す状態信号を算出し、補正パラメータ算出部２２０に出力する（ステップＳ１０３）。  
本願明細書において「投影面に関する情報」とは、投影部１２０と投影面との間の空間に物体が存在するか否かを判別できる情報をいう。  
本願明細書において、「物体」とは、例えば指や指示棒などの指示体に限定されず、例えばレーザーポインタなどの画像投影装置１００とは独立した光投影装置よる投影像を含む。
【００２１】
実施形態では、投影面に関する情報として、投影部１２０から投影面へ向かう方向を撮影した画像（撮影像）を想定する。投影面に関する情報は、投影部１２０と投影面との間の空間に存在する物体までの距離がステレオカメラや距離センサなどを用いて測定された情報であってもよい。
【００２２】
本願明細書において「状態信号」とは、投影部１２０と投影面との間の空間に存在する物体によって操作入力が行なわれているか否かを示す情報（信号）をいう。  
操作入力が行なわれているか否かの判定は、撮影部１１０が撮影した画像（撮影像）の一部または全部の時間変動量を検出することで実行されることが望ましい。例えば、撮影像の時間変動量があらかじめ定められた閾値以下である状態が一定期間続いた場合には、検出部２１０は、操作入力が行なわれていないと判定する。一方で、撮影像の時間変動量があらかじめ定められた閾値よりも大きい場合には、検出部２１０は、操作入力が行なわれていると判定する。
【００２３】
操作入力が行なわれているか否かの判定は、投影面に関する情報に基づいて、投影部１２０と投影面との間の空間に存在する物体によって生じた影を検出することによって実行されてもよい。例えば、検出部２１０は、投影部１２０と投影面との間の空間に存在する物体によって生じた影を検出し、影の時間変動量があらかじめ定められた閾値以下である状態が一定期間続いた場合には、操作入力が行なわれていないと判定する。一方で、影の時間変動量があらかじめ定められた閾値よりも大きい場合には、検出部２１０は、操作入力が行なわれていると判定する。「影の時間変動量」としては、例えば、影の領域の面積の時間変動量などが挙げられる。
【００２４】
操作入力が行なわれているか否かの判定は、撮影像に基づいて、例えばレーザーポインタなどの画像投影装置１００とは独立した光投影装置よる投影像を検出することによって実行されてもよい。例えば、検出部２１０は、投影像を検出し、投影像の時間変動量があらかじめ定められた閾値以下である状態が一定期間続いた場合には、操作入力が行なわれていないと判定する。一方で、投影像の時間変動量があらかじめ定められた閾値よりも大きい場合には、検出部２１０は、操作入力が行なわれていると判定する。
【００２５】
補正パラメータ算出部２２０は、検出部２１０から出力された状態信号が操作入力を行っていることを示すか否かを判定する（ステップＳ１０５）。状態信号が操作入力を行っていないことを示す場合には（ステップＳ１０５：Ｎｏ）、補正パラメータ算出部２２０は、撮影部１１０から出力された撮影像に基づいて補正パラメータを算出（更新）し、補正部２３０に出力する（ステップＳ１０７）。一方で、状態信号が操作入力を行っていることを示す場合には（ステップＳ１０５：Ｙｅｓ）、補正パラメータ算出部２２０は、補正パラメータを算出（更新）しない。
【００２６】
このように、検出部２１０から出力された状態信号が操作入力を行っていないことを示す場合だけに、補正パラメータ算出部２２０は、撮影部１１０から出力された撮影像に基づいて補正パラメータを算出する。これにより、操作入力を行うときに補正パラメータが更新されることで、投影像が変化したり、ちらついたりすることを抑え、投影像の品位を保つことができる。
【００２７】
補正パラメータは、撮影部１１０から出力された撮影像に基づいて算出されるパラメータである。図１に関して前述したように、撮影像は、投影部１２０から出力され投影面に投影された映像を撮影した像である。撮影部１１０は、投影部１２０から出力された投影像の明るさや投影像の色が投影面の素材や投影面の形などの影響を受けて変化した状態を取得する。実施形態では、補正パラメータ算出部２２０は、変化した投影像の状態を撮影部１１０が取得した撮影像と、あらかじめ定められた基準環境における投影像の状態を撮影部１１０が取得した撮影像と、を比較して補正パラメータを算出し、投影面に投影される投影像を基準環境における投影像に近づける。
【００２８】
補正部２３０は、入力画像１０と、補正パラメータ算出部２２０から出力された補正パラメータと、に基づいて補正画像を生成し、投影部１２０に出力する（ステップＳ１０９）。  
投影部１２０は、補正部２３０から出力された補正画像に基づいて、補正画像に応じた像を投影面に投影する（ステップＳ１１１）。
【００２９】
実施形態によれば、投影面に対する操作入力が行なわれていないときに補正パラメータが更新されることで操作入力による映像の品位が低下することを抑えることができる。これにより、地模様などの影響を抑制した高画質な映像を様々な投影面に投影することができる。
【００３０】
図３は、実施形態にかかる他の画像処理装置および他の画像投影装置を表すブロック図である。  
図４は、実施形態にかかる他の画像処理方法を説明するフローチャート図である。
【００３１】
図３に表した画像投影装置１００ａは、図１に関して前述した画像投影装置１００と比較して、制御部１３０をさらに備える。図３に表した画像処理装置２００ａは、図１に関して前述した画像処理装置２００と比較して、認識部２４０をさらに有する。
【００３２】
図３および図４に表した例では、検出部２１０は、投影面に関する情報に基づいて投影面の状態を示す状態信号を算出し、補正パラメータ算出部２２０と認識部２４０とのそれぞれに出力する。
【００３３】
認識部２４０は、検出部２１０から出力された状態信号が投影面に対する操作入力が行なわれていることを示す場合には（ステップＳ１０５：Ｙｅｓ）、状態信号に基づいて操作内容に関する操作情報を生成し、制御部１３０に出力する（ステップＳ１２１）。操作内容は、支持体を用いて行われる一般的な操作内容であればどのような操作であってもよい。例えば、操作内容は、グラフィカルユーザインタフェースを有する入力システムにおいて、表示されているボタンに対するクリック操作やドラッグ操作、あるいは、マルチタッチによる画像範囲の選択や画像の拡大・縮小などを含む一般的な操作内容であってもよい。
【００３４】
制御部１３０は、認識部２４０から出力された操作情報に基づいて、投影像に対する操作制御を行う（ステップＳ１２３）。例えば、オペレーティング・システム（ＯＳ）が制御部１３０に格納されている。制御部１３０は、画像処理装置２００ａとは独立に存在する外部装置として接続されていてもよい。例えば、制御部１３０は、画像処理装置２００ａが接続された入力装置におけるインタフェースの一部として設けられていてもよい。実施形態では、制御部１３０は、画像処理装置２００ａが接続されたシステムにおける入力モジュールとして準備されていることを想定する。
【００３５】
図４に表したステップＳ１０１、ステップＳ１０３、ステップＳ１０５、ステップＳ１０７、ステップＳ１０９、およびステップＳ１１１の動作は、図２に関して前述した通りである。
【００３６】
実施形態によれば、画像投影装置１００ａは、制御部１３０を備える。画像処理装置２００ａは、認識部２４０を有する。これにより、検出部２１０から出力された状態信号が投影面に対する操作入力が行なわれていることを示す場合に、認識部２４０が投影面に対する操作を認識し、制御部１３０が投影像に対する操作制御を行なうことが可能となる。つまり、実施形態では、操作入力が行なわれているか否かの判定だけではなく、操作入力が行なわれている場合に、認識部２４０が操作内容を認識し、制御部１３０が操作制御を実行することができる。
【００３７】
図５は、実施形態にかかるさらに他の画像処理装置およびさらに他の画像投影装置を表すブロック図である。  
図６は、実施形態にかかるさらに他の画像処理方法を説明するフローチャート図である。
【００３８】
図５に表した画像投影装置１００ｂは、図３に表した画像投影装置１００ａと比較して、測距部１４０をさらに備える。画像投影装置１００ｂは、画像処理装置２００ａを備える。画像処理装置２００ａは、図３および図４に関して前述した通りである。
【００３９】
測距部１４０は、投影部１２０と投影面との間に存在する物体までの距離情報を測定し、検出部２１０に出力する（ステップＳ１３１）。言い換えれば、測距部１４０は、投影面の少なくとも一部を含む物体までの距離に関する距離情報を測定し、検出部２１０に出力する（ステップＳ１３１）。測距部１４０としては、センサと対象との間の距離を測定する一般的な装置が用いられる。例えば、測距部１４０として、Time of flight センサのように出力光と検出光との間の位相差を検出することで距離を測定する装置を用いることが望ましい。あるいは、測距部１４０として、赤外線センサのように非可視光を投影し検出することで距離を測定する装置を用いることが望ましい。あるいは、測距部１４０として、ステレオカメラのように複数台のセンサの出力に基づいて距離を測定する装置を用いることが望ましい。さらに、測距部１４０は、投影面の少なくとも一部を対象とする一定範囲の物体の各位置の距離情報を算出することが望ましい。
【００４０】
図５および図６に表した例では、検出部２１０は、測距部１４０から出力された距離情報に基づいて投影面の状態信号を算出することができる（ステップＳ１０３）。Time of flightセンサや赤外線センサなどが測距部１４０として用いられる場合には、測距部１４０は、投影部１２０から投影される投影像の干渉を受けることなく距離情報を取得することができ、より高精度に距離情報を取得できる。
【００４１】
検出部２１０は、測距部１４０から出力された距離情報（投影部１２０と投影面との間に存在する物体までの距離情報）に基づいて投影面の状態を示す状態信号を算出し、補正パラメータ算出部２２０と認識部２４０とのそれぞれに出力する。
【００４２】
検出部２１０が算出する状態信号は、投影部１２０と投影面との間の空間に存在する物体によって操作入力が行なわれているか否かを示す情報を含む。操作入力が行なわれているか否かの判定は、測距部１４０が出力した距離情報の一部または全部の時間変動量を検出することで実行されることが望ましい。例えば、距離情報の時間変動量があらかじめ定められた閾値以下である状態が一定期間続いた場合には、検出部２１０は、操作入力が行なわれていないと判定する。一方で、距離情報の時間変動量があらかじめ定められた閾値よりも大きい場合には、検出部２１０は、操作入力が行なわれていると判定する。
【００４３】
つまり、図５および図６に表した例では、検出部２１０は、撮影部１１０が撮影した画像ではなく、測距部１４０から出力された距離情報に基づいて状態信号を算出する。  
図６に表したステップＳ１０１、ステップＳ１０５、ステップＳ１０７、ステップＳ１０９、ステップＳ１１１、ステップＳ１２１、およびステップＳ１２３の動作は、図２および図４に関して前述した通りである。
【００４４】
実施形態によれば、画像投影装置１００ｂは、測距部１４０を備える。これにより、検出部２１０は、測距部１４０から出力された距離情報に基づいて状態信号を算出する。補正パラメータ算出部２２０は、操作入力が行なわれていない場合に補正パラメータを更新する。一方で、補正パラメータ算出部２２０は、操作入力が行なわれている場合には補正パラメータを更新しない。そのため、操作入力を行うときに、投影像が変化したり、ちらついたりすることを抑え、投影像の品位を保つことができる。また、ユーザなどは、投影面に対する操作をより安定的に行うことが可能となる。
【００４５】
図７は、実施形態にかかるさらに他の画像処理装置およびさらに他の画像投影装置を表すブロック図である。  
図８は、実施形態にかかるさらに他の画像処理方法を説明するフローチャート図である。  
図９および図１０は、実施形態にかかる画像投影装置の使用状態の一例を例示する模式斜視図である。
【００４６】
図７に表した画像投影装置１００ｃは、図５に表した画像投影装置１００ｂと比較して、外部入力手段１５０をさらに備える。画像投影装置１００ｃは、画像処理装置２００ａを備える。画像処理装置２００ａは、図３〜図６に関して前述した通りである。
【００４７】
検出部２１０は、図５および図６に関して前述した動作に加え、測距部１４０が出力した距離情報に基づいて投影先が変化したか否かを示す投影先信号を算出し、補正パラメータ算出部２２０に出力する（ステップＳ１４１）。  
本願明細書において「投影先信号」とは、投影部１２０が映像を投影している投影先（投影面）が変化したか否かを示す信号をいう。
【００４８】
ここで、投影先の変化について、図９および図１０を参照しつつ説明する。  
図９は、投影先が変化する前の状態の一例を例示する模式的斜視図である。図１０は、投影先が変化した後の状態の一例を例示する模式的斜視図である。
【００４９】
図９および図１０に表した例では、画像処理装置２００ａと、測距部１４０と、制御部１３０と、が一つの筐体３００に含まれている場合を説明する。但し、実施形態は、これには限定されない。画像処理装置２００ａおよび制御部１３０は、互いに離れた場所に配置されていてもよい。
【００５０】
図９に表した物体２０は、面Ａ１を有する。物体２１は、面Ａ２を有する。面Ａ１および面Ａ２のそれぞれは、操作検出の対象となりうる物体表面である。例えば、面Ａ１は、壁面である。例えば、面Ａ２は、机上面である。実施形態では、操作検出対象となる物体表面が平面である場合を説明する。なお、実施形態は、これには限定されない。実施形態において、物体表面は、凹凸を含む非平面でもよい。
【００５１】
図９に表した測定範囲Ｂ１は、測距部１４０が距離を測定する範囲を表す。指示体Ｃ１は、例えば、指または指示棒などの物体である。指示体Ｃ１によって、面Ａ１または面Ａ２などの物体に向けて操作が行われる。実施形態では、測定範囲Ｂ１における指示体Ｃ１による操作を検出する。
【００５２】
図１０には、筐体３００の位置または向き（位置姿勢）が変化した状態が表されている。筐体３００の位置または向きの変化に伴い、測定範囲Ｂ１は、測定範囲Ｂ２に変化する。このように、筐体３００の位置姿勢が変化した場合には、画像処理装置２００ａは、基準距離を自動的に更新し、操作検出の対象となる物体表面を面Ａ１から面Ａ２へ変更することが望ましい。
【００５３】
投影先が変化したか否かの判定は、測距部１４０から出力された距離情報の一部または全部の時間変動量を検出することで実行されることが望ましい。例えば、距離情報の時間変動量の全体平均値があらかじめ定められた閾値よりも大きい状態が一定時間続いた場合には、検出部２１０は、投影先が変化したと判定する。一方で、距離情報の時間変動量の全体平均値があらかじめ定められた閾値以下である状態が一定期間続いた場合には、検出部２１０は、投影先が変化していないと判定する。
【００５４】
このように、投影先が変化したか否かを検出部２１０が検出することで、画像処理装置２００ａは、投影部１２０の方向が変わったり投影面が動いたりした状態を検出することが可能となる。これにより、補正パラメータ算出部２２０は、適切なタイミングで補正パラメータを更新することが可能となる。
【００５５】
なお、検出部２１０は、測距部１４０が出力した距離情報に基づいて投影先信号を算出することには限定されない。投影先が変化したか否かの判定は、測距部１４０から出力された距離情報の一部または全部の時間変動量を検出することで実行されなくともよい。例えば、検出部２１０は、撮影部１１０から出力された投影面に関する情報に基づいて投影先信号を算出してもよい。つまり、投影先が変化したか否かの判定は、撮影部１１０が撮影した画像の色の一部または全部の時間変動量を検出することで実行されてもよい。
【００５６】
例えば、撮影像の時間変動量があらかじめ定められた閾値よりも大きい状態が一定時間続いた場合には、検出部２１０は、投影先が変化したと判定する。一方で、撮影像の時間変動量があらかじめ定められた閾値以下である状態が一定期間続いた場合には、検出部２１０は、投影先が変化していないと判定する。
【００５７】
あるいは、例えば、撮影像に基づいて推定された照明変動量があらかじめ定められた閾値よりも大きい状態が一定時間続いた場合には、検出部２１０は、投影先が変化したと判定する。一方で、撮影像に基づいて推定された照明変動量があらかじめ定められた閾値以下である状態が一定期間続いた場合には、検出部２１０は、投影先が変化していないと判定する。
【００５８】
あるいは、例えば、撮影部１１０が、投影像を含み投影像の面積よりも広い面積の領域を撮影像として取得する場合には、投影先が変化したか否かの判定は、投影像の周囲の部分であって撮影像の内の部分の時間変動量を検出することで実行されてもよい。投影像の周囲の部分であって撮影像の内の部分の時間変動量があらかじめ定められた閾値よりも大きい状態が一定時間続いた場合には、検出部２１０は、投影先が変化したと判定する。一方で、投影像の周囲の部分であって撮影像の内の部分の時間変動量があらかじめ定められた閾値以下である状態が一定期間続いた場合には、検出部２１０は、投影先が変化していないと判定する。
【００５９】
このように、投影先が変化したか否かの判定は、センサではなく可視カメラから出力された信号に基づいて実行されてもよい。
【００６０】
外部入力手段１５０は、補正パラメータの更新を指示する更新信号を外部から入力し、補正パラメータ算出部２２０に出力する。更新信号を外部から入力する手段は、画像処理装置２００ａの周囲の環境が変化した際に、適したタイミングで補正パラメータを更新させる装置あるいはインタフェースによって実現される。外部入力手段１５０は、例えば、ユーザの指示に基づいて更新信号を出力してもよい。あるいは、外部入力手段１５０は、例えば、加速度センサの出力に基づいて更新信号を出力してもよい。加速度センサは、画像投影装置１００ｃの位置姿勢の変化を検出することができる。
【００６１】
補正パラメータ算出部２２０は、図５および図６に関して前述した動作に加え、検出部２１０から出力された投影先信号と、外部入力手段１５０から出力された更新信号と、に基づいて、補正パラメータを算出し出力する。補正パラメータ算出部２２０は、投影先信号が投影先が変化したことを示す場合に（ステップＳ１４３：Ｙｅｓ）、その投影先信号を受けたタイミング以降から一定期間の間、補正パラメータを更新し続けるよう動作する（ステップＳ１０７）。さらに、補正パラメータ算出部２２０は、更新信号が補正パラメータの更新を促すことを示す場合に（ステップＳ１４５：Ｙｅｓ）、その更新信号を受けたタイミング以降から一定期間の間、補正パラメータを更新し続けるよう動作する（ステップＳ１０７）。
【００６２】
なお、実施形態では、状態信号、投影先信号および更新信号に基づく補正パラメータ算出部２２０の動作をそれぞれ独立に説明した。但し、補正パラメータ算出部２２０は、状態信号、投影先信号および更新信号の状態の組合せに基づいて補正パラメータの更新を行ってもよい。補正パラメータ算出部２２０は、状態信号、投影先信号および更新信号の少なくともいずれかに基づいて、補正パラメータを更新するタイミングを決定することが望ましい。  
図８に表したステップＳ１０１、ステップＳ１０５、ステップＳ１０７、ステップＳ１０９、ステップＳ１１１、ステップＳ１２１、ステップＳ１２３、およびステップＳ１２３の動作は、図２、図４および図６に関して前述した通りである。
【００６３】
実施形態によれば、画像投影装置１００ｃは、外部入力手段１５０を備える。画像処理装置２００ａは、検出部２１０と、補正パラメータ算出部２２０と、を有する。これにより、補正パラメータ算出部２２０は、画像処理装置２００ａの周囲の環境が変化したり、ユーザからの指示入力があったりした際に適したタイミングで補正パラメータを更新することができる。投影部１２０は、画像処理装置２００ａの周囲の環境の変化やユーザからの指示入力に対して適切に補正画像を投影することができる。
【００６４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６５】
１０ 入力画像、  ２０、２１ 物体、  １００、１００ａ、１００ｂ、１００ｃ 画像投影装置、  １１０ 撮影部、  １２０ 投影部、  １３０ 制御部、  １４０ 測距部、  １５０ 外部入力手段、  ２００、２００ａ 画像処理装置、  ２１０ 検出部、  ２２０ 補正パラメータ算出部、  ２３０ 補正部、  ２４０ 認識部、  ３００ 筐体
【図１】
0006385729.tif 000002
【図２】
0006385729.tif 000003
【図３】
0006385729.tif 000004
【図４】
0006385729.tif 000005
【図５】
0006385729.tif 000006
【図６】
0006385729.tif 000007
【図７】
0006385729.tif 000008
【図８】
0006385729.tif 000009
【図９】
0006385729.tif 000010
【図１０】
0006385729.tif 000011