(57)【要約】  本開示は、快適な視聴体験を提供することができるようにする画像処理装置および方法に関する。カメラは、プロジェクタから投影される投影画像を撮像し、撮像画像を生成し、外乱検知部は、生成された撮像画像を用いて、プロジェクタの外乱を検知する。前記外乱が検知された場合、姿勢推定部は、外乱検知前後の姿勢情報を比較し、呈示位置更新部は、比較された外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う。本開示は、例えば、プロジェクタで画像を投影し、プロジェクタにより投影された画像を撮像して、呈示位置を更新する投影撮像装置に適用することができる。
2017169726.tif 000002
【特許請求の範囲】
【請求項１】
プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、
前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う呈示位置更新部と
を備える画像処理装置。
【請求項２】
前記プロジェクタから投影される前記投影画像を撮像し、前記撮像画像を生成する撮像部を
さらに備える請求項１に記載の画像処理装置。
【請求項３】
前記呈示位置更新部は、複数のプロジェクタの姿勢情報に変化がなく、外乱検知前後の呈示位置の変化が小さい場合に、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う
請求項１に記載の画像処理装置。
【請求項４】
入力映像にシーンチェンジがあるか否かを判定するシーンチェンジ判定部
をさらに備え、
前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、前記呈示位置更新部は、前記シーンチェンジ周辺で、呈示位置の更新を行う
請求項１に記載の画像処理装置。
【請求項５】
前記シーンチェンジ判定部は、複数のプロジェクタの姿勢情報に変化がある場合、または、複数のプロジェクタの姿勢情報に変化がないが、外乱検知前後の呈示位置の変化が大きい場合に、入力映像にシーンチェンジがあるか否かを判定する
請求項４に記載の画像処理装置
【請求項６】
前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、外乱検知前後の呈示位置変化が大きいか否かを判定する呈示位置変化判定部を
さらに備え、
前記呈示位置変化判定部により外乱検知前後の呈示位置変化が大きいと判定された場合、前記呈示位置更新部は、前記シーンチェンジ前後にエフェクトをかけながら呈示位置の更新を行う
請求項４に記載の画像処理装置。
【請求項７】
前記呈示位置変化判定部により外乱検知前後の呈示位置変化が小さいと判定された場合、前記呈示位置更新部は、前記シーンチェンジで呈示位置の更新を行う
請求項６に記載の画像処理装置。
【請求項８】
前記シーンチェンジ判定部によりシーンチェンジがないと判定された場合、前記呈示位置更新部は、ユーザに事前に通知を行ってから、呈示位置の更新を行う
請求項４に記載の画像処理装置。
【請求項９】
前記呈示位置更新部は、エフェクトをかけながら、呈示位置の更新を行う
請求項１に記載の画像処理装置。
【請求項１０】
外乱検知後の呈示位置変化の度合いを判定する呈示位置変化判定部を
さらに備え、
前記呈示位置更新部は、呈示位置変化の度合いに応じて、エフェクトをかけながら、呈示位置の更新を行う
請求項９に記載の画像処理装置。
【請求項１１】
前記プロジェクタの外乱は、プロジェクタの配置変更、プロジェクタの数の増減、プロジェクタへの物理的接触による姿勢ずれ、または、温度特性や経時変化による姿勢ずれである
請求項１に記載の画像処理装置。
【請求項１２】
画像処理装置が、
プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知し、
前記外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、快適な視聴体験を提供することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
映像コンテンツを、プロジェクタを使って投影している際に外乱が発生すると、スクリーン面に映像コンテンツを呈示する位置を更新する必要がある。ここでいう外乱とは、ユーザがプロジェクタの配置を変更したり、使用するプロジェクタを増やしたり減らしたりする事や、プロジェクタへの意図しない物理的接触による姿勢ずれ、および温度特性や経時変化による微妙な姿勢ずれなどを意味する。外乱によってプロジェクタの姿勢が変化するため、投影された映像コンテンツに歪(台形歪やブレンディングのずれなど)が生じる。ゆえにプロジェクタの姿勢を再推定して、投影された映像コンテンツに歪が出ないように、映像コンテンツの呈示位置を更新する必要がある。【０００３】
プロジェクタ（およびカメラ）の姿勢を推定するためには、プロジェクタ（投影画像）とカメラ（撮像画像）との間で対応点を求める必要があった。【０００４】
例えば、コンテンツ等の画像を投影しながらその対応点を求める技術であるオンラインセンシングは、入力映像を投影している最中に対応点検出ができるので、外乱によってプロジェクタの姿勢が変化しても自動的に正しい映像呈示位置に更新することができる（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１３５９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、映像を呈示したまま、プロジェクタの姿勢を推定し、映像の呈示位置を更新するので、センシング前後で映像呈示位置が大きく変わる場合など、快適な視聴体験とは言い難く、広視野映像を大画面スクリーンに投影しているときは、映像酔いを引き起こしてしまう恐れがあった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、快適な視聴体験を提供することができるものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う呈示位置更新部とを備える。【０００９】
前記プロジェクタから投影される前記投影画像を撮像し、前記撮像画像を生成する撮像部をさらに備えることができる。【００１０】
前記呈示位置更新部は、複数のプロジェクタの姿勢情報に変化がなく、外乱検知前後の呈示位置の変化が小さい場合に、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行うことができる。【００１１】
入力映像にシーンチェンジがあるか否かを判定するシーンチェンジ判定部をさらに備え、前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、前記呈示位置更新部は、前記シーンチェンジ周辺で、呈示位置の更新を行うことができる。【００１２】
前記シーンチェンジ判定部は、複数のプロジェクタの姿勢情報に変化がある場合、または、複数のプロジェクタの姿勢情報に変化がないが、外乱検知前後の呈示位置の変化が大きい場合に、入力映像にシーンチェンジがあるか否かを判定することができる。【００１３】
前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、外乱検知前後の呈示位置変化が大きいか否かを判定する呈示位置変化判定部をさらに備え、前記呈示位置変化判定部により外乱検知前後の呈示位置変化が大きいと判定された場合、前記呈示位置更新部は、前記シーンチェンジ前後にエフェクトをかけながら呈示位置の更新を行うことができる。【００１４】
前記呈示位置変化判定部により外乱検知前後の呈示位置変化が小さいと判定された場合、前記呈示位置更新部は、前記シーンチェンジで呈示位置の更新を行うことができる。【００１５】
前記シーンチェンジ判定部によりシーンチェンジがないと判定された場合、前記呈示位置更新部は、ユーザに事前に通知を行ってから、呈示位置の更新を行うことができる。【００１６】
前記呈示位置更新部は、エフェクトをかけながら、呈示位置の更新を行うことができる。【００１７】
外乱検知後の呈示位置変化の度合いを判定する呈示位置変化判定部をさらに備え、前記呈示位置更新部は、呈示位置変化の度合いに応じて、エフェクトをかけながら、呈示位置の更新を行うことができる。【００１８】
前記プロジェクタの外乱は、プロジェクタの配置変更、プロジェクタの数の増減、プロジェクタへの物理的接触による姿勢ずれ、または、温度特性や経時変化による姿勢ずれである。【００１９】
本技術の一側面の画像処理方法は、画像処理装置が、プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知し、前記外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う。【００２０】
本技術の一側面においては、プロジェクタから投影される投影画像が撮像されて撮像して生成された撮像画像を用いて、前記プロジェクタの外乱が検知される。そして、前記外乱が検知された場合、外乱検知前後の姿勢情報が比較され、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新が行われる。
【発明の効果】
【００２１】
本技術によれば、快適な視聴体験を提供することができる。【００２２】
なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。
【図面の簡単な説明】
【００２３】
【図１】対応点検出の様子の例を示す図である。
【図２】ISLの例を説明する図である。
【図３】動画像の中での特徴点同士の対応付けを行う方法を説明する図である。
【図４】本技術を適用した投影撮像装置の構成例を示すブロック図である。
【図５】外乱検知の様子の例を示す図である。
【図６】外乱検知の様子の例を示す図である。
【図７】外乱検知の様子の例を示す図である。
【図８】投影撮像装置の投影撮像処理について説明するフローチャートである。
【図９】図８のステップＳ１０７の外乱発生後の呈示位置更新処理について説明するフローチャートである。
【図１０】本技術を適用したコンピュータのハードウエア構成例を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。
【００２５】
＜背景＞
映像コンテンツを、プロジェクタを使って投影している際に外乱が発生すると、スクリーン面に映像コンテンツを呈示する位置を更新する必要がある。ここでいう外乱とは、ユーザがプロジェクタの配置を変更したり、使用するプロジェクタを増やしたり減らしたりする事や、プロジェクタへの意図しない物理的接触による姿勢ずれ、および温度特性や経時変化による微妙な姿勢ずれなどを意味する。外乱によってプロジェクタの姿勢が変化するため、投影された映像コンテンツに歪(台形歪やブレンディングのずれなど)が生じる。ゆえにプロジェクタの姿勢を再推定して、投影された映像コンテンツに歪が出ないように、映像コンテンツの呈示位置を更新する必要がある。
【００２６】
例えば、図１の例のように、プロジェクタ１１から所定の絵柄の標準化光パタン１２をスクリーン１３に投影し、カメラ１４によりその投影された標準化光パタン１２を撮像して撮像画像１５を得る。そして、その標準化光パタン１２の絵柄に基づいて標準化光パタン１２と撮像画像１５との対応点を求め、その対応点に基づいて三角測量等によりプロジェクタ１１とカメラ１４の姿勢（位置関係）やスクリーン１３の形状等を求め、その結果に基づいて幾何補正を行う方法がある。
【００２７】
このようにカメラを利用して幾何補正を行う場合、投影画像（投影される画像でもよい）と撮像画像との間で対応点（投影画像および撮像画像の、投影面の互いに同じ位置に対応する画素）を求める必要がある。つまり、カメラ１４（撮像画像１５）の画素とプロジェクタ１１（標準化光パタン１２）の画素との対応関係を求める必要がある。この対応点検出処理は、一般的にStructured Light（構造化光）と呼ばれる。
【００２８】
GrayCodeやDotおよびCheckerなどのパタン画像をプロジェクタで投影し、それをカメラで撮像して対応点検出する方法をオフラインセンシングと呼ぶことにする。外乱を検知後にオフラインセンシングによってプロジェクタの姿勢を推定する場合は、いったん映像コンテンツの投影をやめてパタン画像を投影する事になるため、映像視聴の中断が必須となり、快適な視聴体験を提供するのは困難である。
【００２９】
一方で動画投影中に対応点を検出して、プロジェクタとカメラの姿勢を推定する方法をオンラインセンシングと呼ぶことにする。オンラインセンシングでの対応点検出には、動画像内に人間の目では知覚されないパタンを重畳して対応点検出を行うImperceptible Structured Light(図２)や動画像内の特徴点を検出して特徴点同士の対応付けを行う方法(図３)などが挙げられる。
【００３０】
ISL方式は、所定のパタンの画像である構造化光パタンをポジ・ネガ反転させて投影画に埋め込み、人間に知覚されないように投影する技術である。
【００３１】
図２に示されるように、プロジェクタは、入力画像のあるフレームに対して所定の構造化光パタンを足すことにより、入力画像に構造化光パタンのポジ画像を合成したフレーム画像を生成し、入力画像のその次のフレームに対して構造化光パタンを引くことにより、入力画像に構造化光パタンのネガ画像を合成したフレーム画像を生成する。そしてプロジェクタは、それらのフレームを連続投影する。高速に切り替えられたポジ・ネガの２フレームは、積分効果により人間の目には足し合わされて知覚される。その結果、投影画像を視るユーザにとって、入力画像に埋め込まれた構造化光パタンを認識することが困難になる。
【００３２】
これに対して、カメラは、それらのフレームの投影画像を撮像し、両フレームの撮像画像の差分を求めることにより、撮像画像に含まれる構造化光パタンのみを抽出する。この抽出された構造化光パタンを用いて対応点検出が行われる。
【００３３】
このように、ISL方式では撮像画像の差分を求めるだけで容易に構造化パタンを抽出することができるので、投影する画像に依存せずに安定した精度で対応点検出を行うことができる。
【００３４】
図３に示されるように、動画像の中の特徴点を検出し、特徴点同士の対応付けを行う方法もある。時刻t1において、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３は、姿勢RT_t1である。このとき、プロジェクタ２２は、スクリーン２４に投影画像２５_t1を投影し、カメラ２３は、投影画像２５_t1を撮像し、撮像画像２６_t1を生成する。
【００３５】
その後、時刻t2において、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３の姿勢変化があり、投影撮像装置２１のプロジェクタ（投影部）２２とカメラ（撮像部）２３は、姿勢RT_t2である。このとき、プロジェクタ２２は、スクリーン２４に投影画像２５_t2を投影し、カメラ２３は、投影画像２５_t2を撮像し、撮像画像２６_t2を生成する。
【００３６】
このように、入力映像を投影している最中に、生成された時刻t1での撮像画像２６_t1と、時刻t2での撮像画像２６_t2において対応点が検出されるので、外乱によってプロジェクタの姿勢が変化しても自動的に正しい映像呈示位置に更新できる利点がある。(前述のパタン画像を投影する必要はない)。
【００３７】
しかしながら、映像を呈示したまま、プロジェクタの姿勢を推定し、映像の呈示位置を更新するので、プロジェクタの姿勢およびスクリーンの形状の推定（以下、センシングとも称する）前後で映像呈示位置が大きく変わる場合など、快適な視聴体験とは言い難く、広視野映像を大画面スクリーンに投影しているときは、映像酔いを引き起こしてしまう恐れがあった。
【００３８】
そこで、本技術においては、センシング前後の映像呈示位置の急激な変化を抑えたり、映像呈示のタイミングを制御したりする。これにより、快適な視聴体験を提供することができる。
【００３９】
＜投影撮像装置の構成例＞
図４は、本技術を適用した投影撮像装置の構成例を示すブロック図である。
【００４０】
図４の例において、投影撮像装置１０１は、姿勢推定部１１１、呈示位置更新部１１２、遅延部１１３、幾何補正部１１４、プロジェクタ１１５、カメラ１１６、および外乱検知部１１７を含むように構成されている。入力映像は、呈示位置更新部１１２、幾何補正部１１４、および外乱検知部１１７に入力される。
【００４１】
姿勢推定部１１１は、プロジェクタ１１５の初期姿勢とスクリーンの形状を推定する。なお、推定方法は、オフラインセンシング（パターン投影）であってもよいし、オンラインセンシングであってもよい。姿勢推定部１１１は、推定したプロジェクタ１１５の姿勢情報とスクリーンの形状情報を、呈示位置更新部１１２、遅延部１１３、外乱検知部１１７に供給する。
【００４２】
呈示位置更新部１１２には、入力映像、プロジェクタ１１５の姿勢情報とスクリーンの形状情報、および遅延部１１３からの過去姿勢情報が入力される。呈示位置更新部１１２は、例えば、プロジェクタ１１５の姿勢情報とスクリーンの形状情報から初期映像呈示位置を求め、その情報である呈示位置情報を、幾何補正部１１４に供給する。
【００４３】
幾何補正部１１４は、入力映像が初期映像呈示位置に投影されるように、入力映像を補正し、補正画像を生成して、プロジェクタ１１５に出力する。プロジェクタ１１５は、補正画像を、スクリーンに投影する。
【００４４】
カメラ１１６は、プロジェクタ１１５からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、外乱検知部１１７および姿勢推定部１１１に供給する。
【００４５】
なお、プロジェクタ１１５も、カメラ１１６も複数台であってもよい。また、プロジェクタ１１５に対して、カメラ１１６が１台であってもよいし、複数のプロジェクタ１１５に対して、カメラ１１６が１台であってもよいし、複数のカメラ１１６に対して、プロジェクタ１１５が１台であってもよい。
【００４６】
外乱検知部１１７は、カメラ１１６からの撮像画像を用いて、外乱を検知する。外乱検知部１１７は、姿勢情報と呈示位置情報から、入力映像が投影される領域（マスク画像）を計算する。
【００４７】
例えば、プロジェクタ１１５−０とプロジェクタ１１５−１で投影しており、それぞれに対応して、カメラ１１６−０とカメラ１１６−１が投影画像を撮像している場合を考える。この場合、図５に示されるように、呈示位置情報のうち、プロジェクタ画隅呈示位置情報から、プロジェクタ１１５−０の投影領域（pro0投影領域）とプロジェクタ１１５−１の投影領域（pro1投影領域）が求められ、プロジェクタ１１５−０および１１５−１それぞれの姿勢情報から、mask領域（投影領域）が示されるカメラ１１６−０のマスク画像１２１−０とカメラ１１６−１のマスク画像１２１−１が求められる。
【００４８】
次に、外乱検知部１１７は、図６に示されるように、マスク画像１２１−０と撮像画像１３１−０をマスク処理して、マスク処理画像１３２−０を生成し、マスク処理画像１３２−０の背景領域（mask領域外）に変化があるかどうかを調べる。同様に、外乱検知部１１７は、マスク画像１２１−１と撮像画像１３１−１をマスク処理して、マスク処理画像１３２−１を生成し、マスク処理画像１３２−１の背景領域（mask領域外）に変化があるかどうかを調べる。
【００４９】
図６の例の場合、マスク処理画像１３２−０の背景領域の右下部分に変化があるので、外乱があると判定され、マスク処理画像１３２−１の背景領域の左上部分に変化があるので、外乱があると判定される。
【００５０】
また、外乱がなければ、スクリーンの投影画像の背景領域にプロジェクタの光（入力映像）は当たらないので、変化がない。これに対して、外乱が発生すると、スクリーンの投影画像の背景領域にプロジェクタの光が当たるので、外乱検知部１１７はそれを検知する。
【００５１】
すなわち、図７の例においては、外乱発生前のスクリーン１５１の投影画像の背景領域にプロジェクタ１１５−０および１１５−１の光（入力映像）は当たっていないが、外乱発生後のスクリーン１５１の投影画像の背景領域にプロジェクタ１１５−１の光が当たっている。外乱検知部１１７はこの外乱を検知し、センシングすることで、外乱復帰後のスクリーン１５１に、外乱が起こっていない投影画像を投影することができる。
【００５２】
以降、外乱検知後の呈示位置更新部１１２の動作について説明する。
【００５３】
外乱検知部１１７は、外乱の検知を姿勢推定部１１１に通知する。姿勢推定部１１１は、外乱が検知されたら、プロジェクタの姿勢およびスクリーンの形状を推定し、姿勢情報とスクリーン形状情報を、呈示位置更新部１１２に供給する。
【００５４】
呈示位置更新部１１２は、外乱発生前の姿勢情報（過去姿勢情報）と外乱発生後の姿勢情報とを比較して、幾何補正部１１４へ渡す呈示位置情報を決定する。例えば、呈示位置更新部１１２は、複数のプロジェクタを用いて入力映像をスクリーンに呈示している場合は、外乱が発生したプロジェクタ（すなわち、姿勢が変化したプロジェクタ）だけ映像呈示位置を更新する。つまり、外乱が発生していないプロジェクタは、映像呈示位置が維持される。
【００５５】
また、呈示位置更新部１１２は、多数のプロジェクタに外乱があり、映像呈示位置を維持するのが困難な場合、入力映像のシーンチェンジのタイミングで呈示位置を更新する。他にも、呈示位置の更新前後にエフェクト（フェードアウト＝＞フェードインなど）をかけることで、呈示位置の急激な変化を抑えることができる。その際、変化の度合いを判定し、変化の度合いに応じたエフェクトをかけるようにしてもよい。さらに、ユーザに呈示位置の更新タイミングを事前に通知するようにしてもよい。
【００５６】
次に、図８のフローチャートを参照して、投影撮像装置１０１の投影撮像処理について説明する。
【００５７】
ステップＳ１０１において、姿勢推定部１１１は、プロジェクタ１１５の初期姿勢とスクリーンの形状を推定する。姿勢推定部１１１は、推定したプロジェクタ１１５の姿勢情報とスクリーンの形状情報を、呈示位置更新部１１２、遅延部１１３、外乱検知部１１７に供給する。
【００５８】
呈示位置更新部１１２には、入力映像、プロジェクタ１１５の姿勢情報とスクリーンの形状情報、および遅延部１１３からの過去姿勢情報が入力される。ステップＳ１０２において、呈示位置更新部１１２は、プロジェクタ１１５の姿勢情報とスクリーンの形状情報から初期映像呈示位置を求め、その情報である呈示位置情報を、幾何補正部１１４に供給する。
【００５９】
ステップＳ１０３において、幾何補正部１１４は、入力映像が初期映像呈示位置に投影されるように、入力映像を補正し、補正画像を生成して、プロジェクタ１１５に出力する。プロジェクタ１１５は、ステップＳ１０４において、補正画像を、スクリーンに投影する。
【００６０】
ステップＳ１０５において、カメラ１１６は、プロジェクタ１１５からスクリーンに投影されている投影画像を撮像し、撮像画像を生成して、外乱検知部１１７および姿勢推定部１１１に供給する。
【００６１】
ステップＳ１０６において、外乱検知部１１７は、図５乃至図７を参照して上述したように外乱の発生を検知することで、プロジェクタの姿勢が変化したか否かを判定する。
【００６２】
ステップＳ１０６において、プロジェクタ１１５の姿勢が変化していないと判定された場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。ステップＳ１０６において、プロジェクタ１１５の姿勢が変化したと判定された場合、処理は、ステップＳ１０７に進む。
【００６３】
ステップＳ１０７において、投影撮像装置１０１は、外乱発生後処理を行う。この外乱発生処理の詳細は、図９を参照して後述される。ステップＳ１０７における外乱発生後処理の後、処理は、ステップＳ１０３に戻り、それ以降の処理が繰り返される。
【００６４】
次に、図９のフローチャートを参照して、図８のステップＳ１０７の外乱発生後の呈示位置更新処理について説明する。
【００６５】
外乱検知部１１７は、外乱の検知を姿勢推定部１１１に通知する。姿勢推定部１１１は、外乱が検知されたら、ステップＳ１１１において、プロジェクタの姿勢およびスクリーンの形状を推定し、姿勢情報とスクリーン形状情報を、呈示位置更新部１１２に供給する。
【００６６】
ステップＳ１１２において、呈示位置更新部１１２は、外乱発生前の姿勢情報（過去姿勢情報）と外乱発生後の姿勢情報とを比較する。
【００６７】
ステップＳ１１３において、呈示位置更新部１１２は、多数のプロジェクタの姿勢が変化したか否かを判定する。ステップＳ１１３において、多数のプロジェクタの姿勢が変化していないと判定された場合、処理は、ステップＳ１１４に進む。なお、ステップＳ１１３においては、多数のプロジェクタを判定するようにした。その際、閾値を設けて、閾値以上を多数として判定してもよいし、単数かまたは複数かを判定するようにしてもよい。
【００６８】
ステップＳ１１４において、呈示位置更新部１１２は、外乱前後の呈示位置の変化を比較し、処理は、ステップＳ１１５に進む。ステップＳ１１５において、呈示位置更新部１１２は、外乱前後の呈示位置の変化が大きいか否かを判定する。ステップＳ１１５において、変化が大きいと判定された場合、処理は、ステップＳ１１６に進む。
【００６９】
一方、ステップＳ１１３において、多数のプロジェクタの姿勢が変化したと判定された場合も、処理は、ステップＳ１１６に進む。ステップＳ１１６において、呈示位置更新部１１２は、入力映像にシーンチェンジが存在するか否かを判定する。ステップＳ１１６において、入力映像にシーンチェンジが存在すると判定された場合、処理は、ステップＳ１１７に進む。
【００７０】
ステップＳ１１７において、呈示位置更新部１１２は、呈示位置変化が大きいか否かを判定する。ステップＳ１１７において、呈示位置変化が大きいと判定された場合、処理は、ステップＳ１１８に進む。ステップＳ１１８において、呈示位置更新部１１２は、シーンチェンジ前後にエフェクトをかけながら呈示位置更新を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
【００７１】
ステップＳ１１７において、呈示位置変化が小さいと判定された場合、処理は、ステップＳ１１９に進む。ステップＳ１１９において、呈示位置更新部１１２は、シーンチェンジで呈示位置更新を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
【００７２】
ステップＳ１１６において、入力映像にシーンチェンジが存在しないと判定された場合、処理は、ステップＳ１２０に進む。ステップＳ１２０において、呈示位置更新部１１２は、プロジェクタ１１５やユーザに事前に更新を通知する。通知後は、図示されていないが、例えば、ユーザによる了解を得られた後に、必要に応じて、呈示位置更新処理を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
【００７３】
また、ステップＳ１１５において、変化が小さいと判定された場合、処理は、ステップＳ１２１に進む。ステップＳ１２１において、呈示位置更新部１１２は、姿勢変化があるプロジェクタ１１５のみの呈示位置更新処理を行う。更新後、呈示位置更新処理は終了し、処理は、図８のステップＳ１０７に戻る。
【００７４】
以上のように、本技術によれば、映像コンテンツをスクリーンに投影している最中に外乱によってプロジェクタの姿勢がずれて映像に歪みが生じても、（パタン投影を必要とすることなく）自動的に歪みのない映像をスクリーン面に投影でき、かつ、快適な視聴体験を提供することができる。
【００７５】
特に大画面スクリーンや広視野スクリーンなどを使った映像視聴では、映像呈示位置の急激な変化が映像酔いを引き起こす恐れがあるが、それに対しての本技術の効果は大きいと予測される。
【００７６】
なお、上記説明においては、カメラを利用した外乱検知を行う例を説明したが、カメラ以外のセンサ（例えば、加速度センサや温度センサ）を利用したり、センサフュージョンによる外乱検知を用いる場合にも、本技術は適用することができる。
【００７７】
＜パーソナルコンピュータ＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【００７８】
図１０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
【００７９】
パーソナルコンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【００８０】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
【００８１】
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【００８２】
以上のように構成されるパーソナルコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行する。これにより、上述した一連の処理が行われる。
【００８３】
コンピュータ（CPU５０１）が実行するプログラムは、リムーバブルメディア５１１に記録して提供することができる。リムーバブルメディア５１１は、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００８４】
コンピュータにおいて、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【００８５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
【００８６】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８７】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【００８８】
例えば、本開示は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【００８９】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００９０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９１】
なお、本技術は以下のような構成も取ることができる。
（１）  プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、
前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う呈示位置更新部と
を備える画像処理装置。
（２）  前記プロジェクタから投影される前記投影画像を撮像し、前記撮像画像を生成する撮像部を
さらに備える前記（１）に記載の画像処理装置。
（３）  前記呈示位置更新部は、複数のプロジェクタの姿勢情報に変化がなく、外乱検知前後の呈示位置の変化が小さい場合に、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う
前記（１）に記載の画像処理装置。
（４）  入力映像にシーンチェンジがあるか否かを判定するシーンチェンジ判定部
をさらに備え、
前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、前記呈示位置更新部は、前記シーンチェンジ周辺で、呈示位置の更新を行う
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）  前記シーンチェンジ判定部は、複数のプロジェクタの姿勢情報に変化がある場合、または、複数のプロジェクタの姿勢情報に変化がないが、外乱検知前後の呈示位置の変化が大きい場合に、入力映像にシーンチェンジがあるか否かを判定する
前記（４）に記載の画像処理装置。
（６）  前記シーンチェンジ判定部によりシーンチェンジがあると判定された場合、外乱検知前後の呈示位置変化が大きいか否かを判定する呈示位置変化判定部を
さらに備え、
前記呈示位置変化判定部により外乱検知前後の呈示位置変化が大きいと判定された場合、前記呈示位置更新部は、前記シーンチェンジ前後にエフェクトをかけながら呈示位置の更新を行う
前記（４）に記載の画像処理装置。
（７）  前記呈示位置変化判定部により外乱検知前後の呈示位置変化が小さいと判定された場合、前記呈示位置更新部は、前記シーンチェンジで呈示位置の更新を行う
前記（６）に記載の画像処理装置。
（８）  前記シーンチェンジ判定部によりシーンチェンジがないと判定された場合、前記呈示位置更新部は、ユーザに事前に通知を行ってから、呈示位置の更新を行う
前記（３）に記載の画像処理装置。
（９）  前記呈示位置更新部は、エフェクトをかけながら、呈示位置の更新を行う
前記（１）に記載の画像処理装置。
（１０）  外乱検知後の呈示位置変化の度合いを判定する呈示位置変化判定部を
さらに備え、
前記呈示位置更新部は、呈示位置変化の度合いに応じて、エフェクトをかけながら、呈示位置の更新を行う
前記（９）に記載の画像処理装置。
（１１）  前記プロジェクタの外乱は、プロジェクタの配置変更、プロジェクタの数の増減、プロジェクタへの物理的接触による姿勢ずれ、または、温度特性や経時変化による姿勢ずれである
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）  画像処理装置が、
プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知し、
前記外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う
画像処理方法。
（１３）  プロジェクタから投影される投影画像を撮像して生成された撮像画像を用いて、前記プロジェクタの外乱を検知する外乱検知部と、
前記外乱検知部により外乱が検知された場合、外乱検知前後の姿勢情報を比較し、前記外乱検知前後の姿勢情報に変化があるプロジェクタのみ、呈示位置の更新を行う呈示位置更新部と
して、コンピュータを機能させるプログラム。
【符号の説明】
【００９２】
１０１  投影撮像装置，  １１１  姿勢推定部，  １１２  呈示位置更新部，  １１３  遅延部，  １１４  幾何補正部，  １１５，１１５−０，１１５−１  プロジェクタ，  １１６，１１６−０，１１６−１  カメラ，  １１７  外乱検知部，  １５１  スクリーン
【図１】
2017169726.tif 000003
【図２】
2017169726.tif 000004
【図３】
2017169726.tif 000005
【図４】
2017169726.tif 000006
【図５】
2017169726.tif 000007
【図６】
2017169726.tif 000008
【図７】
2017169726.tif 000009
【図８】
2017169726.tif 000010
【図９】
2017169726.tif 000011
【図１０】
2017169726.tif 000012
【国際調査報告】
2017169726.tif 000013
2017169726.tif 000014
2017169726.tif 000015
2017169726.tif 000016