(57)【要約】  この画像投影システムは、投影面へ向けて画像を投射すると共に、投射方位角を検出する第１の方位角検出部を有する投射型表示装置と、画像の投影画面を撮像すると共に、撮像方位角を検出する第２の方位角検出部を有する撮像装置と、画像の補正処理を行う信号処理部とを備える。信号処理部は、第１の方位角検出部により検出された投射方位角と、第２の方位角検出部により検出された撮像方位角と、撮像装置により取得された撮像画像とに基づいて、投射型表示装置の投影面に対する傾きを推定する推定部と、推定部により推定された投射型表示装置の傾きに基づいて、投影画面の形状を補正する補正部とを有するものである。
2017169186.tif 000002
【特許請求の範囲】
【請求項１】
投影面へ向けて画像を投射すると共に、投射方位角を検出する第１の方位角検出部を有する投射型表示装置と、
前記画像の投影画面を撮像すると共に、撮像方位角を検出する第２の方位角検出部を有する撮像装置と、
前記画像の補正処理を行う信号処理部と
を備え、
前記信号処理部は、
前記第１の方位角検出部により検出された投射方位角と、前記第２の方位角検出部により検出された撮像方位角と、前記撮像装置により取得された撮像画像とに基づいて、前記投射型表示装置の前記投影面に対する傾きを推定する推定部と、
前記推定部により推定された前記投射型表示装置の傾きに基づいて、投影画面の形状を補正する補正部と
を有する
画像投影システム。
【請求項２】
前記信号処理部は、前記第１の方位角検出部により検出された投射方位角と、前記第２の方位角検出部により検出された撮像方位角との成す角に基づいて、前記撮像画像を補正する撮像画像補正部を有する
請求項１に記載の画像投影システム。
【請求項３】
前記推定部は、前記撮像画像補正部による補正後の撮像画像に基づいて、前記投射型表示装置の前記傾きを推定する
請求項２に記載の画像投影システム。
【請求項４】
前記投射型表示装置は、直交する３軸のうちの少なくとも１軸を中心とする自己の回転角を検出する第１の回転角検出部を有し、
前記信号処理部は、前記第１の回転角検出部により検出された回転角に基づいて、前記投影画面の形状を補正する第１の補正処理を行う
請求項３に記載の画像投影システム。
【請求項５】
前記撮像装置は、前記第１の補正処理の後の投射画面を撮像する
請求項４に記載の画像投影システム。
【請求項６】
前記第１の回転角検出部により検出される回転角は、投射光軸に直交する面内の水平方向に沿った第１軸を中心とする第１の回転角と、投射光軸に沿った第２軸を中心とする第２の回転角とを含む
請求項４に記載の画像投影システム。
【請求項７】
前記撮像装置は、直交する３軸のうちの少なくとも１軸を中心とする自己の回転角を検出する第２の回転角検出部を有し、
前記信号処理部は、前記第２の回転角検出部により検出された回転角と、前記投射方位角と前記撮像方位角との成す角とに基づいて、前記撮像画像を補正する
請求項６に記載の画像投影システム。
【請求項８】
前記第２の回転角検出部により検出される回転角は、撮像光軸に直交する面内の水平方向に沿った軸を中心とする第４の回転角と、撮像光軸に沿った軸を中心とする第５の回転角とを含む
請求項７に記載の画像投影システム。
【請求項９】
前記推定部は、補正後の撮像画像に基づいて前記投射型表示装置における前記３軸のうちの第３軸を中心とする第３の回転角を算出し、
前記補正部は、前記推定部により算出された第３の回転角に基づいて前記投影画面の形状を補正する第２の補正処理を行う
請求項７に記載の画像投影システム。
【請求項１０】
前記投射型表示装置が、前記信号処理部を有する
請求項１に記載の画像投影システム。
【請求項１１】
投影面へ向けて画像を投射する投射型表示装置の投射方位角と、前記画像の投影画面を撮像する撮像装置の撮像方位角と、前記撮像装置により取得された撮像画像とに基づいて、前記投射型表示装置の前記投影面に対する傾きを推定し、
推定された前記投射型表示装置の傾きに基づいて、投影画面の形状を補正する
補正方法。
【請求項１２】
前記投射方位角と前記撮像方位角との成す角に基づいて、前記撮像画像を補正する
請求項１１に記載の補正方法。
【請求項１３】
補正された撮像画像に基づいて、前記投射型表示装置の前記傾きを推定する
請求項１２に記載の補正方法。
【請求項１４】
前記投射型表示装置における直交する３軸のうちの少なくとも１軸を中心とする自己の回転角を検出し、
検出された回転角に基づいて、前記投影画面の形状を補正する第１の補正処理を行う
請求項１３に記載の補正方法。
【請求項１５】
前記第１の補正処理の後の投射画面が前記撮像装置により撮像される
請求項１４に記載の補正方法。
【請求項１６】
前記投射型表示装置において検出される回転角は、投射光軸に直交する面内の水平方向に沿った第１軸を中心とする第１の回転角と、投射光軸に沿った第２軸を中心とする第２の回転角とを含む
請求項１４に記載の補正方法。
【請求項１７】
前記撮像装置における直交する３軸のうちの少なくとも１軸を中心とする自己の回転角とを検出し、
検出された回転角と、前記投射方位角と前記撮像方位角との成す角とに基づいて、前記撮像画像を補正する
請求項１６に記載の補正方法。
【請求項１８】
前記撮像装置において検出される回転角は、撮像光軸に直交する面内の水平方向に沿った軸を中心とする第４の回転角と、撮像光軸に沿った軸を中心とする第５の回転角とを含む
請求項１７に記載の補正方法。
【請求項１９】
補正後の撮像画像に基づいて前記投射型表示装置における前記３軸のうちの第３軸を中心とする第３の回転角を算出し、
算出された第３の回転角に基づいて前記投影画面の形状を補正する第２の補正処理を行う
請求項１７に記載の補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、投射型表示装置を用いて画像を投影する画像投影システムと、投影用の画像を補正する補正方法に関する。
【背景技術】
【０００２】
プロジェクタ等の投射型表示装置では、スクリーンに対して斜めに設置されることがあり、この場合には、スクリーンに投射された画像（以下、投影画面という）の形状が歪んでしまう。このような投影画面の歪みを補正する技術が提案されている（例えば、特許文献１，２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２０２１７７号公報
【特許文献２】特開２０１４−５６０３０号公報
【発明の概要】
【０００４】
特許文献１の手法では、プロジェクタ装置本体にカメラと、ジャイロセンサとが搭載されており、これにより装置本体の傾きや位置を検知して、投影画面の歪みを補正するものである。ところが、この手法では、超短焦点プロジェクタ、すなわち、極めて短い投射距離で大画面映像を投射表示するプロジェクタの場合には、カメラには超広角撮像を行う機能が求められる。これは、高コストとなり現実的ではない。
【０００５】
また、特許文献２には、６軸センサおよび地磁気センサ等により構成された投影姿勢検出手段と光軸姿勢調整手段とを有するプロジェクタと、６軸センサおよび地磁気センサ等により構成された遠隔装置姿勢検出手段と、ガイド画像を照射する照射部と、照射レイアウト選択手段と、投影設定算出手段とが設けられた携帯型情報端末とを備えた画像投影システムが記載されている。そして、携帯型情報端末のガイド画像を選択した際の姿勢・位置、照射サイズ調整量、照射台形歪補正量、設置したプロジェクタの姿勢・位置、および投影面の位置情報に基づいて、プロジェクタの光軸姿勢および投影サイズが調整されると共に、投影画面の歪みが補正される。
【０００６】
しかしながら、上記特許文献２の手法では、携帯型情報端末の機能に制約があり、汎用的なスマートフォン等を用いることができない。また、ＧＰＳ等を用いて投影面の四隅の位置情報（経度、緯度、標高）が検出されるため、システムが大掛かりでコストが高くなる。
【０００７】
低コストで、かつ汎用的な撮像装置を用いて画像補正を行うことが可能な画像投影システムおよび補正方法を提供することが望ましい。
【０００８】
本開示の一実施の形態の画像投影システムは、投影面へ向けて画像を投射すると共に、投射方位角を検出する第１の方位角検出部を有する投射型表示装置と、画像の投影画面を撮像すると共に、撮像方位角を検出する第２の方位角検出部を有する撮像装置と、画像の補正処理を行う信号処理部とを備える。信号処理部は、第１の方位角検出部により検出された投射方位角と、第２の方位角検出部により検出された撮像方位角と、撮像装置により取得された撮像画像とに基づいて、投射型表示装置の投影面に対する傾きを推定する推定部と、推定部により推定された投射型表示装置の傾きに基づいて、投影画面の形状を補正する補正部とを有するものである。
【０００９】
本開示の一実施の形態の補正方法は、投影面へ向けて画像を投射する投射型表示装置の投射方位角と、画像の投影画面を撮像する撮像装置の撮像方位角と、撮像装置により取得された撮像画像とに基づいて、投射型表示装置の投影面に対する傾きを推定し、推定された投射型表示装置の傾きに基づいて、投影画面の形状を補正するものである。
【００１０】
本開示の一実施の形態の画像投影システムおよび補正方法では、投射方位角と、撮像方位角と、撮像画像とに基づいて、投射型表示装置の投影面に対する傾きが推定され、この推定された投射型表示装置の傾きに基づいて、投影画面の形状が補正される。
【００１１】
本開示の一実施の形態の画像投影システムおよび補正方法によれば、投射方位角と、撮像方位角と、撮像画像とに基づいて、投射型表示装置の投影面に対する傾きを推定し、この推定された投射型表示装置の傾きに基づいて、投影画面の形状を補正することができる。より簡易な構成の投射型表示装置および撮像装置を用いて投影画面を補正可能となる。また、撮像装置では、投影面へのガイド光の照射機能等の特別な機能も不要である。よって、低コストで、かつ汎用的な撮像装置を用いて画像補正を行うことが可能となる。
【００１２】
尚、上記内容は本開示の一例である。本開示の効果は、上述したものに限らず、他の異なる効果であってもよいし、更に他の効果を含んでいてもよい。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施の形態に係る画像投影システムの機能構成例を表すブロック図である。
【図２】プロジェクタおよび携帯端末における回転角について説明するための図である。
【図３】プロジェクタおよび携帯端末の各光軸の方位角について説明するための図である。
【図４】図１に示した画像投影システムにおける補正処理の流れを表す図である。
【図５】歪みのない投影画面を表す模式図である。
【図６】プロジェクタが傾いた状態で設置された場合の投影画面を表す模式図である。
【図７】プロジェクタの回転角を考慮して調整された投影画面を表す模式図である。
【図８】図７に示した投影画面の撮像画像を表す模式図である。
【図９】補正後の撮像画像を表す模式図である。
【図１０】補正処理後の投影画面を表す模式図である。
【発明を実施するための形態】
【００１４】
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
・実施の形態（プロジェクタの投射方位角と、携帯端末の撮像方位角と、撮像画像とに基づいてプロジェクタの傾きを算出し、この傾きに基づいて投影画面の形状を補正する画像投影システムの例）
１．構成
２．作用（補正方法）
３．効果
【００１５】
＜実施形態＞
［構成］
図１は、本開示の一実施の形態に係る画像投影システム（画像投影システム１）を備えた画像投影システム（画像投影システム１）の構成を表したものである。画像投影システム１は、プロジェクタ１Ａと、携帯端末１Ｂとを備えている。図２は、プロジェクタ１Ａおよび携帯端末１Ｂにおける回転角について説明するための図である。図３は、プロジェクタ１Ａおよび携帯端末１Ｂの各光軸の方位角について説明するための図である。
【００１６】
まず、図２を参照して、直交座標系と、プロジェクタ１Ａおよび携帯端末１Ｂの傾き（回転角）とについて説明する。直交座標系Ｘｓ−Ｙｓ−Ｚｓは、重力の方向とスクリーン２００とを基準とした静止座標系である。ここでは、一例として、Ｘｓ軸を水平方向、Ｙｓ軸を鉛直方向とし、スクリーン２００の投影面（投影画面３０）は、Ｘｓ−Ｙｓ平面に平行な平面、Ｚｓ軸はＸｓ−Ｙｓ平面の法線方向に沿っている。尚、スクリーン２００は、重力の方向に対して傾いていないものとする。
【００１７】
直交座標系Ｘｐ−Ｙｐ−Ｚｐは、プロジェクタ１Ａを基準とした動座標系であり、Ｘｐ軸は左右方向、Ｙｐ軸は上下方向、Ｚｐ軸は前後方向である。Ｚｐ軸は、投射光軸（投射レンズの光軸）と一致している。投射光の出射角度はＹｐ−Ｚｐ平面に対して左右対称である。また、ピッチ角ａ１はＸｐ軸を中心とする回転角であり、ロール角ａ２はＺｐ軸を中心とする回転角であり、ヨー角ａ３はＹｐ軸を中心とする回転角である。プロジェクタ１Ａがスクリーン２００に対して正対している状態、すなわち、座標系Ｘｓ−Ｙｓ−Ｚｓと座標系Ｘｐ−Ｙｐ−Ｚｐの各軸が平行である状態を、ａ１＝０、ａ２＝０、ａ３＝０とする。尚、この直交座標系Ｘｐ−Ｙｐ−Ｚｐにおける、Ｘｐ軸が、本開示の「第１軸」の一具体例に相当し、Ｚｐ軸が本開示の「第２軸」の一具体例に相当する。ピッチ角ａ１およびロール角ａ２が、本開示の「第１の回転角」および「第２の回転角」の一具体例にそれぞれ相当する。
【００１８】
直交座標系Ｘｃ−Ｙｃ−Ｚｃは、携帯端末１Ｂのカメラを基準とした動座標系であり、Ｘｃ軸は左右方向、Ｙｃ軸は上下方向、Ｚｃ軸は前後方向である。Ｚｃ軸は撮像光軸（カメラの光軸）と一致している。また、チルト角ｂ１はＸｃ軸を中心とする回転角であり、ロール角ｂ２はＺｃ軸を中心とする回転角であり、パン角ｂ３はＹｃ軸を中心とする回転角である。カメラがプロジェクタ１Ａに対して正対している状態、すなわち、座標系Ｘｐ−Ｙｐ−Ｚｐと座標系Ｘｃ−Ｙｃ−Ｚｃの各軸が平行である状態を、θｃ＝０、φｃ＝０、ψｃ＝０とする。尚、この直交座標系Ｘｃ−Ｙｃ−Ｚｃにおける、Ｘｃ軸まわりのチルト角ｂ１およびロール角ｂ２が、本開示の「第４の回転角」および「第５の回転角」の一具体例にそれぞれ相当する。
【００１９】
次に、プロジェクタ１Ａと携帯端末１Ｂとスクリーン２００との方位関係について、図３を参照して説明する。ここでは便宜的にスクリーン２００が南北方向に沿って設置されているものとし、真北を基準とするプロジェクタ１Ａの投射方位角をｃ１、携帯端末１Ｂの投射方位角をｃ２とする。
【００２０】
プロジェクタ１Ａは、スクリーン（後述のスクリーン２００，投影面）に向けて画像を投射表示する投射型表示装置である。このプロジェクタ１Ａは、例えば、画像受信部１１と、画像補正部１２と、画像表示部１３と、投射部１４と、校正画像生成部１５と、ヨー角推定部１６と、投射方位角検出部１７Ａと、ピッチ角・ロール角検出部１７Ｂと、撮像画像補正部１８と、パン角算出部１９と、データ受信部とを含んで構成される。
【００２１】
画像受信部１１は、外部より入力される画像情報（画像信号）Ｄinに基づいて、画像補正部１２で処理するための画像情報を生成するものである。
【００２２】
画像補正部１２は、ヨー角推定部１６およびピッチ角・ロール角検出部１７Ｂから出力された角度情報（ａ１，ａ２，ａ３）と、プロジェクタ１Ａの内部パラメータとに基づいて、画像受信部１１より入力された画像情報Ｄ０または校正画像生成部１５より入力された校正用の画像情報Ｄｃを射影変換等により補正するものである。この画像補正部１２は、例えばＦＰＧＡ（Field Programmable Gate Array）またはＧＰＵ（Graphics Processing Unit）等を含んで構成される。この画像補正部１２により生成された画像情報は、図示しないタイミングコントローラや駆動部（ドライバ回路）などにより、画像表示部１３に表示するための画像信号、例えばＲ，Ｇ，Ｂの各色に応じた画像信号に変換され、画像表示部１３へ供給される。この画像補正部１２が、本開示の「補正部」の一具体例に相当する。
【００２３】
画像表示部１３は、例えばＬＣＯＳ（Liquid Crystal On Silicon）等の反射型の液晶素子、透過型の液晶素子あるいはＤＭＤ（Digital Micromirror Device）の光変調素子を含んで構成されている。画像表示部１３は、図示しない照明光学系からの光を、画像補正部１２から入力される画像情報Ｄｃ１，Ｄ３に基づいて変調する。画像表示部１３によって変調された光は、投射部１４を介してスクリーンへ出力される。尚、画像表示部１３は、例えば有機電界発光素子などの自発光素子であってもよく、その場合には、照明光学系は不要である。
【００２４】
投射部１４は、画像表示部１３により表示された画像を、スクリーン２００へ向けて投射するものであり、例えば投射光学系と、反射ミラーとを有している。投射光学系は、例えば投射レンズユニットを含んで構成されている。投射レンズユニットは、いわゆる超短焦点型のレンズを含んでいてもよいし、長焦点型のレンズを含んでいてもよい。反射ミラーは、投射光学系からの出射光の光路を変換してスクリーン２００へ導くものである。尚、投射光学系のレイアウトによっては、反射ミラーは設置されていなくともよい。また、投射部１４は、これらの投射光学系および反射ミラーの他にも、図示しない光源、照明光学系、色分離光学系および色合成光学系を含んでいてもよい。例えば、画像表示部１３が、液晶表示素子などである場合には、投射部１４は光源を備え、この光源と投射光学系との間の光路上に、例えば照明光学系、色分離光学系、画像表示素子および色合成光学系をこの順に備える。画像表示部１３が、有機電界発光素子などの自発光素子である場合には、投射部１４は特に光源および照明光学系を備えていなくともよい。
【００２５】
校正画像生成部１５は、投影画面の校正（歪み補正）のための画像（校正用の画像情報Ｄｃ）を生成するものである。この校正画像生成部１５は、設けられていなくともよく、その場合には、外部ＰＣ等から校正画像が入力されてもよい。この校正画像生成部１５と、画像受信部１１とは、例えばスイッチＳＷにより切り替えて、画像補正部１２と接続されるようになっている。校正画像は、例えば白色の矩形状を有する画像であることが望ましい。四隅の位置情報を検出し易いためである。
【００２６】
ヨー角推定部１６は、撮像画像補正部１８により生成された画像を解析し、プロジェクタ１Ａの内部パラメータに基づいて、スクリーン２００に対するプロジェクタ１Ａの傾き（例えば、ヨー角ａ３）を推定するものである。このヨー角推定部１６が、本開示の「推定部」の一具体例に相当する。また、ヨー角ａ３が、本開示の「第３の回転角」の一具体例に相当する。
【００２７】
投射方位角検出部１７Ａは、例えば地磁気センサ等の方位角検出手段を含んで構成されており、プロジェクタ１Ａの基準軸（Ｚｐ軸）の方位角（投射方位角ｃ１）を検出するものである。
【００２８】
ピッチ角・ロール角検出部１７Ｂは、例えば、加速度センサまたは傾斜センサ等を含んで構成されており、プロジェクタ１Ａのピッチ角ａ１およびロール角ａ２を検出するものである。なお、プロジェクタ本体に水準器を搭載するなどして、物理的にＸｐ軸およびＺｐ軸のまわりの回転がない（ａ１＝０，ａ２＝０となる）ようにプロジェクタ１Ａを設置できる場合は、ピッチ角・ロール角検出部１７Ｂは設けられなくてもよい。このピッチ角・ロール角検出部１７Ｂが、本開示の「第１の方位角検出部」の一具体例に相当する。また、ピッチ角ａ１およびロール角ａ２が、本開示の「第１の回転角」および「第２の回転角」の一具体例に相当する。
【００２９】
撮像画像補正部１８は、パン角算出部１９から出力された角度情報（パン角ｂ３）と、携帯端末１Ｂから受信された角度情報（チルト角ｂ１，ロール角ｂ２）と、カメラの内部パラメータとに基づいて、携帯端末１Ｂから受信された撮像画像Ｄ１を射影変換等により補正するものである。
【００３０】
パン角算出部１９は、投射方位角検出部１７Ａから出力された方位角情報（投射方位角ｃ１）および、携帯端末１Ｂから受信された方位角情報（撮像方位角ｃ２）に基づいて、プロジェクタ１Ａに対する携帯端末１Ｂの傾き（パン角ｂ３）を算出するものである。
【００３１】
データ受信部２０は、携帯端末１Ｂから撮像画像Ｄ１、チルト角ｂ１、ロール角ｂ２および撮像方位角ｃ２などの情報を受信するものである。
【００３２】
携帯端末１Ｂは、例えば、撮像部２１、撮像方位角検出部２２Ａ、チルト角・ロール角検出部２２Ｂおよびデータ送信部２３等を含んで構成されている。この携帯端末１Ｂとしては、例えばスマートフォン、タブレットＰＣ等を用いることができる。但し、カメラ（撮像部２１）と、センサ（撮像方位角検出部２２Ａ、あるいは撮像方位角検出部２２Ａおよびチルト角・ロール角検出部２２Ｂ）とが搭載された電子機器（撮像装置）であれば、特に携帯型のものに限定されず、様々なものを用いることができる。
【００３３】
撮像部２１は、プロジェクタ１Ａによりスクリーン２００に投射された画像（投影画面）を撮像するものである。
【００３４】
撮像方位角検出部２２Ａは、例えば地磁気センサ等の方位角検出手段を含んで構成されており、カメラの光軸（Ｚｃ軸）の方位角（撮像方位角ｃ２）を検出するものである。
【００３５】
チルト角・ロール角検出部２２Ｂは、例えば加速度センサや傾斜センサ等を含んで構成され、撮像時の携帯端末１Ｂのチルト角ｂ１およびロール角ｂ２を検出するものである。尚、携帯端末１Ｂにインストールされた水準器アプリや三脚等を利用するなどして、物理的にチルト角ｂ１＝０、ロール角ｂ２＝０となるように携帯端末１Ｂを固定して撮影できる場合は、このチルト角・ロール角検出部２２Ｂは設けられていなくともよい。このチルト角・ロール角検出部２２Ｂが、本開示の「第２の方位角検出部」の一具体例に相当する。また、チルト角ｂ１およびロール角ｂ２が、本開示の「第４の回転角」および「第５の回転角」の一具体例に相当する。
【００３６】
データ送信部２３は、プロジェクタ１Ａへ、撮像画像Ｄ１、チルト角ｂ１、ロール角ｂ２および撮像方位角ｃ２などの情報を送信するものである。このデータ送信部２３と、プロジェクタ１Ａとの間の通信手法としては、例えばＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢなどを用いることができる。
【００３７】
尚、上記のうち画像補正部１２、ヨー角推定部１６、撮像画像補正部１８およびパン角算出部１９が、本開示の「信号処理部」の一具体例に相当する。また、これらの画像補正部１２、ヨー角推定部１６、撮像画像補正部１８およびパン角算出部１９は、必ずしもプロジェクタ１Ａに搭載される必要はなく、プロジェクタ１Ａの外部の装置に搭載されても構わない。
【００３８】
［処理動作］
以下に、画像投影システム１の動作として、投影画面３０の形状を補正する処理の一例について説明する。図４に、補正処理のフローを示す。尚、本開示の「補正方法」は、画像投影システム１の動作説明において具現化されるため、その説明を省略する。
【００３９】
ここで、プロジェクタ１Ａがスクリーン２００に対して正対している場合、投影画面３０をスクリーン２００の正面から観察すると、図５に示したように、歪みや傾きのない矩形状を有する投影画面（投影画面Ｓ）となる。ところが、プロジェクタ１Ａがスクリーン２００に対して正対していない場合、例えばＸｐ軸あるいはＹｐ軸を中心として回転した状態で設置された場合は、投影画面３０の形状が歪んでしまう。またＺｐ軸を中心とした回転が生じると、投影画面３０はその形状が維持されたまま傾く。このように、プロジェクタ１Ａがスクリーン２００に対して正対していない場合に、スクリーン２００の正面から見た投影画面（投影画面Ｓ０）の一例を、図６に示す。以下では、図６に示したようなプロジェクタ１Ａの傾きに起因する投影画面Ｓ０の形状（歪み）を、図５に示したような歪みのない矩形状の投影画面Ｓへ、補正する場合の処理について説明する。
【００４０】
まず、ピッチ角・ロール角検出部１７Ｂが、投影時のプロジェクタ１Ａの回転角（ピッチ角ａ１，ロール角ａ２）を検出する（ステップＳ１１）。また、投射方位角検出部１７Ａが、投射方位角ｃ１を検出する。続いて、画像補正部１２が、これらのピッチ角ａ１，ロール角ａ２に起因する投影画面の歪みを補正する（ステップＳ１２）。この補正処理は、本開示の「第１の補正処理」の一具体例に相当する。これにより、図７に示したように、スクリーン２００の正面から見た投影画面（投影画面Ｓ１）は、ヨー角ａ３のみに起因して歪んだ四角形となる。画像表示部１３における画素を有効に使うため、この補正処理後の投影画面Ｓ１は、補正前の投影画面Ｓ０に内接する最大サイズとされることが望ましい。
【００４１】
尚、プロジェクタ１Ａが、ピッチ角ａ１＝０およびロール角ａ２＝０となるように設置可能である場合には、上記のようなピッチ角ａ１，ロール角ａ２の検出工程および補正処理（第１の補正処理）工程は省略可能である。
【００４２】
この補正後（ピッチ角ａ１，ロール角ａ２に基づく第１の補正処理後）の画像をスクリーン２００へ投射する（ステップＳ１３）。具体的には、校正画像生成部１５から校正画像（画像情報Ｄｃ）を画像補正部１２へ出力する。画像補正部１２は、入力された校正画像の投影画面の歪みのうち、ピッチ角ａ１，ロール角ａ２に起因する歪みを補正する。この補正後の校正画像（画像情報Ｄｃ１）を、画像表示部１３を経て、投射部１４からスクリーン２００に向けて投射する。この際に用いられる校正画像としては、例えば全面白色の最高階調の画像など、投影画面の四隅の座標を画像解析で正確に取得するのに適した画像が用いられることが望ましい。
【００４３】
続いて、スクリーン２００に投射された校正画像（投影画面）を、ユーザが携帯端末１Ｂのカメラで撮影する（ステップＳ１４）。これにより、投影画面の撮像画像（撮像画像Ｄ１）が得られる。撮像画像Ｄ１の例を図８に示す。このように、撮像画像Ｄ１は、校正画像（画像情報Ｄｃ１）の投影画面に対応する画像Ｄ１ａを含む。図８では、投影画面Ｓ０に対応する形状を破線で表している。
【００４４】
また、チルト角・ロール角検出部２２Ｂは、チルト角ｂ１およびロール角ｂ２を検出し、撮像方位角検出部２２Ａが、カメラ光軸の撮像方位角ｃ２を検出する。なお、物理的にチルト角ｂ１＝０、ロール角ｂ２＝０となるように携帯端末１Ｂを固定して撮影できる場合は、チルト角ｂ１およびロール角ｂ２の検出工程は省略可能である。
【００４５】
続いて、携帯端末１Ｂのデータ送信部２３からプロジェクタ１Ａのデータ受信部２０へ、取得された撮像画像Ｄ１、チルト角ｂ１、ロール角ｂ２および撮像方位角ｃ２に関する情報を送信する（ステップＳ１５）。プロジェクタ１Ａでは、データ受信部２０において取得された情報のうち、撮像画像Ｄ１とチルト角ｂ１およびロール角ｂ２とに関する情報が、撮像画像補正部１８へ出力され、撮像方位角ｃ２に関する情報が、パン角算出部１９へ出力される。
【００４６】
次に、パン角算出部１９は、投射方位角検出部１７Ａにより検出された投射方位角ｃ１と、撮像方位角検出部２２Ａにより検出された撮像方位角ｃ２とから、次の式（１）により、プロジェクタ１Ａと携帯端末１Ｂ（カメラ）とのなす角、すなわちパン角ｂ３を算出する（ステップＳ１６）。算出されたパン角ｂ３に関する情報は、撮像画像補正部１８へ出力される。
ｂ３＝ｃ１−ｃ２  ………（１）
【００４７】
続いて、撮像画像補正部１８は、入力されたチルト角ｂ１およびロール角ｂ２と、算出されたパン角ｂ３との角度情報に基づいて、撮像画像Ｄ１を補正する（ステップＳ１７）。具体的には、撮像画像Ｄ１を、チルト角ｂ１＝０、ロール角ｂ２＝０、パン角ｂ３＝０となるような姿勢で撮影した場合の撮像画像と等価となるに変換する。即ち、任意の視点から撮影された撮像画像Ｄ１を、射影変換等により、プロジェクタ１Ａに正対した視点から撮影された仮想的な撮像画像（撮像画像Ｄ２）に変換する。この変換処理により生成された撮像画像Ｄ２の一例を、図９に示す。このように、撮像画像Ｄ２は、校正画像（画像情報Ｄｃ１）の投影画面に対応する画像Ｄ２ａを含む。画像Ｄ２ａは、画像Ｄ１ａの形状よりも矩形状に近くなっている。図９では、投影画面Ｓ０に対応する形状を破線で表している。
【００４８】
この撮像画像Ｄ２における画像Ｄ２ａは、プロジェクタ１Ａのヨー角ａ３に起因して歪んだ四角形の投影画面（図７の投影画面Ｓ１）を、プロジェクタ１Ａに正対する方向（基準軸方向）の視点から撮影した画像と等価となる。この撮像画像Ｄ２についての情報は、ヨー角推定部１６へ出力される。
【００４９】
次に、ヨー角推定部１６は、撮像画像Ｄ２における画像Ｄ２ａの左辺と右辺の長さの比を算出し、算出された比とプロジェクタ１Ａの内部パラメータとに基づいて、ヨー角ａ３すなわち、スクリーン２００に対するプロジェクタ１Ａの傾きを算出する（ステップＳ１８）。算出されたヨー角ａ３に関する情報は、画像補正部１２へ出力される。
【００５０】
最後に、画像補正部１２は、ヨー角ａ３に起因する投影画面の歪みを補正する（第２の補正処理を行う）（ステップＳ１９）。これにより、図６に示したような歪みをもつ投影画面Ｓ０を、図１０に示したような、歪みおよび傾きのない矩形状の投影画面Ｓに補正することができる。即ち、画像受信部１１から出力された画像情報Ｄ０を、画像補正部１２が、検出されたピッチ角ａ１，ロール角ａ２と、算出されたヨー角ａ３とに基づいて補正することができる。この補正後の画像情報（画像情報Ｄ３）が、画像表示部１３および投射部１４を介して、スクリーン２００へ投影される。
【００５１】
［効果］
以上のように、本実施の形態の画像投影システム１では、投射方位角ｃ１と、撮像方位角ｃ２と、撮像画像Ｄ１とに基づいて、プロジェクタ１Ａのスクリーン２００に対する傾き（例えばヨー角ａ３）を推定し、この傾きに基づいて、投影画面３０の形状を補正することができる。例えば、プロジェクタ１Ａが、スクリーン２００に対して傾いて設置された場合等には、プロジェクタ１Ａによる投影画面３０が歪むことがあるが、このような歪みを簡易な構成のシステムにより補正することができる。例えば、ＧＰＳを用いて投影画面の四隅の位置情報（経度、緯度、標高）を検出する必要がなく、より簡易な構成のプロジェクタ１Ａおよび携帯端末１Ｂを用いて投影画面を補正できる。また、携帯端末に校正用のガイド光等を照射するような特殊な機能を設ける必要もない。よって、低コストで、かつ汎用的な携帯端末１Ｂを用いて画像補正を行うことが可能となる。
【００５２】
以上、実施の形態を挙げて説明したが、本開示は上記実施の形態に限定されるものではなく、種々変形が可能である。また、本明細書中に記載された効果は一例であり、他の効果であってもよいし、更に他の効果を含んでいてもよい。
【００５３】
例えば、本開示は以下のような構成を取ることができる。
（１）
投影面へ向けて画像を投射すると共に、投射方位角を検出する第１の方位角検出部を有する投射型表示装置と、
前記画像の投影画面を撮像すると共に、撮像方位角を検出する第２の方位角検出部を有する撮像装置と、
前記画像の補正処理を行う信号処理部と
を備え、
前記信号処理部は、
前記第１の方位角検出部により検出された投射方位角と、前記第２の方位角検出部により検出された撮像方位角と、前記撮像装置により取得された撮像画像とに基づいて、前記投射型表示装置の前記投影面に対する傾きを推定する推定部と、
前記推定部により推定された前記投射型表示装置の傾きに基づいて、投影画面の形状を補正する補正部と
を有する
画像投影システム。
（２）
前記信号処理部は、前記第１の方位角検出部により検出された投射方位角と、前記第２の方位角検出部により検出された撮像方位角との成す角に基づいて、前記撮像画像を補正する撮像画像補正部を有する
上記（１）に記載の画像投影システム。
（３）
前記推定部は、前記撮像画像補正部による補正後の撮像画像に基づいて、前記投射型表示装置の前記傾きを推定する
上記（２）に記載の画像投影システム。
（４）
前記投射型表示装置は、直交する３軸のうちの少なくとも１軸を中心とする自己の回転角を検出する第１の回転角検出部を有し、
前記信号処理部は、前記第１の回転角検出部により検出された回転角に基づいて、前記投影画面の形状を補正する第１の補正処理を行う
上記（３）に記載の画像投影システム。
（５）
前記撮像装置は、前記第１の補正処理の後の投射画面を撮像する
上記（４）に記載の画像投影システム。
（６）
前記第１の回転角検出部により検出される回転角は、投射光軸に直交する面内の水平方向に沿った第１軸を中心とする第１の回転角と、投射光軸に沿った第２軸を中心とする第２の回転角とを含む
上記（４）または（５）に記載の画像投影システム。
（７）
前記撮像装置は、直交する３軸のうちの少なくとも１軸を中心とする自己の回転角を検出する第２の回転角検出部を有し、
前記信号処理部は、前記第２の回転角検出部により検出された回転角と、前記投射方位角と前記撮像方位角との成す角とに基づいて、前記撮像画像を補正する
上記（６）に記載の画像投影システム。
（８）
前記第２の回転角検出部により検出される回転角は、撮像光軸に直交する面内の水平方向に沿った軸を中心とする第４の回転角と、撮像光軸に沿った軸を中心とする第５の回転角とを含む
上記（７）に記載の画像投影システム。
（９）
前記推定部は、補正後の撮像画像に基づいて前記投射型表示装置における前記３軸のうちの第３軸を中心とする第３の回転角を算出し、
前記補正部は、前記推定部により算出された第３の回転角に基づいて前記投影画面の形状を補正する第２の補正処理を行う
上記（７）または（８）に記載の画像投影システム。
（１０）
前記投射型表示装置が、前記信号処理部を有する
上記（１）〜（９）のいずれか１つに記載の画像投影システム。
（１１）
投影面へ向けて画像を投射する投射型表示装置の投射方位角と、前記画像の投影画面を撮像する撮像装置の撮像方位角と、前記撮像装置により取得された撮像画像とに基づいて、前記投射型表示装置の前記投影面に対する傾きを推定し、
推定された前記投射型表示装置の傾きに基づいて、投影画面の形状を補正する
補正方法。
（１２）
前記投射方位角と前記撮像方位角との成す角に基づいて、前記撮像画像を補正する
上記（１１）に記載の補正方法。
（１３）
補正された撮像画像に基づいて、前記投射型表示装置の前記傾きを推定する
上記（１２）に記載の補正方法。
（１４）
前記投射型表示装置における直交する３軸のうちの少なくとも１軸を中心とする自己の回転角を検出し、
検出された回転角に基づいて、前記投影画面の形状を補正する第１の補正処理を行う
上記（１３）に記載の補正方法。
（１５）
前記第１の補正処理の後の投射画面が前記撮像装置により撮像される
上記（１４）に記載の補正方法。
（１６）
前記投射型表示装置において検出される回転角は、投射光軸に直交する面内の水平方向に沿った第１軸を中心とする第１の回転角と、投射光軸に沿った第２軸を中心とする第２の回転角とを含む
上記（１４）または（１５）に記載の補正方法。
（１７）
前記撮像装置における直交する３軸のうちの少なくとも１軸を中心とする自己の回転角とを検出し、検出された回転角と、前記投射方位角と前記撮像方位角との成す角とに基づいて、前記撮像画像を補正する
上記（１６）に記載の補正方法。
（１８）
前記撮像装置において検出される回転角は、撮像光軸に直交する面内の水平方向に沿った軸を中心とする第４の回転角と、撮像光軸に沿った軸を中心とする第５の回転角とを含む
上記（１７）に記載の補正方法。
（１９）
補正後の撮像画像に基づいて前記投射型表示装置における前記３軸のうちの第３軸を中心とする第３の回転角を算出し、
算出された第３の回転角に基づいて前記投影画面の形状を補正する第２の補正処理を行う
上記（１７）または（１８）に記載の補正方法。
【００５４】
本出願は、日本国特許庁において２０１６年３月３１日に出願された日本特許出願番号第２０１６−７０４３５号を基礎として優先権を主張するものであり、この出願の全ての内容を参照によって本出願に援用する。
【００５５】
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
【図１】
2017169186.tif 000003
【図２】
2017169186.tif 000004
【図３】
2017169186.tif 000005
【図４】
2017169186.tif 000006
【図５】
2017169186.tif 000007
【図６】
2017169186.tif 000008
【図７】
2017169186.tif 000009
【図８】
2017169186.tif 000010
【図９】
2017169186.tif 000011
【図１０】
2017169186.tif 000012
【国際調査報告】
2017169186.tif 000013
2017169186.tif 000014
2017169186.tif 000015
2017169186.tif 000016