(57)【要約】【課題】投影装置やカメラのレンズの光学特性を考慮した電子透かしによる較正パターンの検出精度を高め、自動較正を行うことを可能にした投影装置を提供すること。【解決手段】投影画像位置取得手段が取得した投影光学系に対する投影画像の位置と撮像手段で撮像した撮像画像内における投影画像の位置の少なくとも一方に応じて、光学特性保持手段が保持する光学特性に基づき、較正パターン付与手段の付与する較正パターンの強度もしくはサイズを設定することを特徴とする。【選択図】図３
2019114889.tif 000002
【特許請求の範囲】
【請求項１】
投影光学系と、
前記投影光学系に対する投影画像の位置を取得する投影画像位置取得手段と、
入力画像に対して較正パターンを所定の階調値で加算もしくは減算することで付加する較正パターン生成手段と、
前記較正パターン生成手段で較正パターンを付加された投影画像を撮像する撮像手段と、
前記撮像手段で取得した前記投影画像から較正パターンを検出する較正パターン検出手段と、
前記投影光学系もしくは前記撮像手段の少なくとも一方の光学特性を保持する光学特性保持手段と、
を備え、
前記投影画像位置取得手段が取得した投影光学系に対する投影画像の位置と前記撮像手段で撮像した撮像画像内における投影画像の位置の少なくとも一方に応じて、前記光学特性保持手段が保持する光学特性に基づき、前記較正パターン付与手段の付与する較正パターンの強度もしくはサイズを設定することを特徴とする投影装置。
【請求項２】
投影光学系と、
前記投影光学系に対する投影画像の位置を予め記憶する記憶手段と、
入力画像に対して較正パターンを所定の階調値で加算もしくは減算することで付加する較正パターン生成手段と、
前記較正パターン生成手段で較正パターンを付加された投影画像を撮像する撮像手段と、
前記撮像手段で取得した前記投影画像から較正パターンを検出する較正パターン検出手段と、
前記投影光学系もしくは前記撮像手段の少なくとも一方の光学特性を保持する光学特性保持手段と、
を備え、
前記記憶手段が記憶した投影光学系に対する投影画像の位置と前記撮像手段で撮像した撮像画像内における投影画像の位置の少なくとも一方に応じて、前記光学特性保持手段が保持する光学特性に基づき、前記較正パターン付与手段の付与する較正パターンの強度もしくはサイズを設定することを特徴とする投影装置。
【請求項３】
前記投影光学系はズームやレンズシフトを行うことができ、前記投影光学系のズームやレンズシフトのレンズ位置を制御する光学系制御手段を備え、前記投影画像位置取得手段は、前記光学系制御手段からズームやレンズシフトのレンズ位置から、投影光学系に対する投影画像の位置取得することを特徴とする請求項１又は請求項２に記載の投影装置。
【請求項４】
前記較正パターンは前記光学特性の最も悪い位置を基に強度もしくはサイズを設定することを特徴とする請求項１乃至請求項３の何れか一項に記載の投影装置。
【請求項５】
前記光学特性に応じた較正パターンの強度とサイズの設定は、前記撮像手段が撮影した前記較正パターン付与手段により付与された投影画像を前記較正パターン検出手段が投影画像に付与された較正パターンの検出が不能な個所があった場合に、前記光学特性に応じた較正パターンの強度もしくはサイズの設定を行うことを特徴とする請求項１乃至請求項４の何れか一項に記載の投影装置。
【請求項６】
前記較正パターンのサイズを所定のサイズより大きく設定した場合に、前記較正パターン付与手段は、１フレーム毎に較正パターンの位置を所定の量だけずらしながら付与することを特徴とする請求項１乃至請求項５の何れか一項に記載の投影装置。
【請求項７】
投影光学系と、
入力画像に対して較正パターンを所定の階調値で加算もしくは減算することで付加する較正パターン生成手段と、
を有する投影装置の制御方法であって、
前記投影光学系に対する投影画像の位置を取得する投影画像位置取得工程と、
前記較正パターン生成工程で較正パターンを付加された投影画像を撮像する撮像工程と、
前記撮像工程で取得した前記投影画像から較正パターンを検出する較正パターン検出工程と、
前記投影光学系もしくは前記撮像工程の少なくとも一方の光学特性を保持する光学特性保持工程と、
を有し、
前記投影画像位置取得工程で取得した投影光学系に対する投影画像の位置と前記撮像工程で撮像した撮像画像内における投影画像の位置の少なくとも一方に応じて、前記光学特性保持工程で保持する光学特性に基づき、前記較正パターン付与手段の付与する較正パターンの強度もしくはサイズを設定する設定工程を有することを特徴とする投影装置の制御方法。
【請求項８】
投影光学系と、
入力画像に対して較正パターンを所定の階調値で加算もしくは減算することで付加する較正パターン生成手段と、
を有する投影装置の制御方法であって、
前記投影光学系に対する投影画像の位置を予め記憶する記憶工程と、
前記較正パターン生成手段で較正パターンを付加された投影画像を撮像する撮像工程と、
前記撮像工程で取得した前記投影画像から較正パターンを検出する較正パターン検出工程と、
前記投影光学系もしくは前記撮像手段の少なくとも一方の光学特性を保持する光学特性保持工程と、
を有し、
前記記憶工程で記憶した投影光学系に対する投影画像の位置と前記撮像工程で撮像した撮像画像内における投影画像の位置の少なくとも一方に応じて、前記光学特性保持工程で保持する光学特性に基づき、前記較正パターン付与工程の付与する較正パターンの強度もしくはサイズを設定することを特徴とする投影装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置の構成方法に関する。
【背景技術】
【０００２】
近年、アミューズメント施設やフライトシミュレータなどのシミュレーション用途において投影装置を使ったシミュレーションシステムが常設されるようになってきている。このような常設の投影システムにおける１つの課題は、投影装置の設置状態を維持することである。投影装置の振動などの要因によって投影位置がずれた場合、投影をいったん中断して手動で較正するためには多大な時間と労力が発生してしまうという課題がある。さらに、投影装置を複数組み合わせて使用するシステムにおいては、互いの投影位置の較正は特に難しく、専門的な較正技術を持った人が必要であった。
【０００３】
本課題を解決するために、投影形状が投影装置から投影する較正パターンをカメラで撮影し、調整パラメータを生成してスクリーン上での投影画像の形状を補正する技術が開示されている（特許文献１）。
【０００４】
しかしながら、特許文献１で開示されている技術は、自動較正のためのパターンを投射するため、投影システムの使用を一旦停止する必要があり、その間は投影システムが使用できなくなるという課題は残っている。
また、較正パターンのみ投影する方法ではなく、較正パターンを画像に埋め込む技術がある。電子透かしを用いることによって、較正パターンのみを出さずに、投影を続けながら、自動較正を行うことができる。特許文献２で開示されている技術は、電子透かしの強度を領域毎に設定し、電子透かしを埋め込む技術である（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−３２６９８１号公報
【特許文献２】特開２００３−３４８５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に開示される技術では、特許文献１に開示されているようにカメラで較正パターンを検出する場合に、投影装置のレンズの光学特性やカメラのレンズの光学特性を加味していない為、正しく較正パターンを検出できない場合がある。夫々の光学特性の悪い部分で撮影を行った場合に、所望の較正パターンの形状や強度を取得できない為である。
【０００７】
そこで、本発明の目的は、投影装置やカメラのレンズの光学特性を考慮した電子透かしによる較正パターンの検出精度を高め、自動較正を行うことを可能にした投影装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係る投影装置は、
投影光学系と、前記投影光学系に対する投影画像の位置を取得する投影画像位置取得手段と、入力画像に対して較正パターンを所定の階調値で加算もしくは減算することで付加する較正パターン生成手段と、前記較正パターン生成手段で較正パターンを付加された投影画像を撮像する撮像手段と、前記撮像手段で取得した前記投影画像から較正パターンを検出する較正パターン検出手段と、前記投影光学系もしくは前記撮像手段の少なくとも一方の光学特性を保持する光学特性保持手段とを備え、前記投影画像位置取得手段が取得した投影光学系に対する投影画像の位置と前記撮像手段で撮像した撮像画像内における投影画像の位置の少なくとも一方に応じて、前記光学特性保持手段が保持する光学特性に基づき、前記較正パターン付与手段の付与する較正パターンの強度もしくはサイズを設定することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、投影装置やカメラのレンズの光学特性を考慮した電子透かしによる較正パターンの検出精度を高め、自動較正を行うことを可能にした投影装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】液晶プロジェクタ１００の全体の構成を示す図である。
【図２】本実施例の液晶プロジェクタ１００の基本動作の制御を説明するためのフロー図である。
【図３】画像処理部２００の内部構成を示した図である。
【図４（ａ）】較正パターン生成部１４６が生成する較正パターンと較正パターンを合成した画像の一例を示した図である。
【図４（ｂ）】較正パターン生成部１４６が生成する較正パターンと較正パターンを合成した画像の一例を示した図である。
【図４（ｃ）】較正パターン生成部１４６が生成する較正パターンと較正パターンを合成した画像の一例を示した図である。
【図４（ｄ）】較正パターン生成部１４６が生成する較正パターンと較正パターンを合成した画像の一例を示した図である。
【図５】実施例１の液晶プロジェクタ１００の、投影位置および形状の自動較正動作を説明するためのフロー図である。
【図６】実施例１の較正パターンの合成動作を説明するためのフロー図である。
【図７（ａ）】投影装置の投影光学系１７１および撮像部１８０のイメージサークルを説明する図である。
【図７（ｂ）】投影装置の投影光学系１７１および撮像部１８０のイメージサークルを説明する図である。
【図７（ｃ）】投影装置の投影光学系１７１および撮像部１８０のイメージサークルを説明する図である。
【図７（ｄ）】投影装置の投影光学系１７１および撮像部１８０のイメージサークルを説明する図である。
【図７（ｅ）】投影装置の投影光学系１７１および撮像部１８０のイメージサークルを説明する図である。
【図８（ａ）】実施例１の較正パターンの強度を変更して合成を行う場合を説明する図である。
【図８（ｂ）】実施例１の較正パターンの強度を変更して合成を行う場合を説明する図である。
【図８（ｃ）】実施例１の較正パターンの強度を変更して合成を行う場合を説明する図である。
【図８（ｄ）】実施例１の較正パターンの強度を変更して合成を行う場合を説明する図である。
【図９（ａ）】実施例１の較正パターンの強度とサイズを部分的に変更する場合を説明する図である。
【図９（ｂ）】実施例１の較正パターンの強度とサイズを部分的に変更する場合を説明する図である。
【図９（ｃ）】実施例１の較正パターンの強度とサイズを部分的に変更する場合を説明する図である。
【図１０】実施例２の較正パターンの合成をフィードバック動作する場合を説明するフロー図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。
【実施例１】
【００１２】
本実施例では、投影装置の一例として、液晶素子を用いたプロジェクタについて説明する。
【００１３】
＜全体構成＞
まず、図１を用いて、本実施例の液晶プロジェクタの全体構成を説明する。図１は、本実施例の液晶プロジェクタ１００の全体の構成を示す図である。
【００１４】
本実施例の液晶プロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部２００を有する。また、液晶プロジェクタ１００は、さらに、液晶制御部１５０、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、液晶プロジェクタ１００は、さらに、記録再生部１９１、記録媒体１９２、通信部１９３、撮像部１９４、表示制御部１９５、表示部１９６を有していてもよい。
【００１５】
ＣＰＵ１１０は、液晶プロジェクタ１００の各動作ブロックを制御するものあり、ＲＯＭ１１１は、ＣＵＰ１１０の処理手順を記述した制御プログラムを記憶するためのものであり、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納するものである。また、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から再生された静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、撮像部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、静止画データや動画データに変換して記録媒体１９２に記録させることもできる。
【００１６】
また、操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、液晶プロジェクタ１００の各動作ブロックを制御する。
【００１７】
ここで、外部装置は、映像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。
【００１８】
画像処理部２００は、映像入力部１３０から受信した映像信号にフレーム数、画素数、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。また、画像処理部２００は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部２００と同様の処理を実行しても良い。画像処理部２００は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）といった機能を実行することが可能である。また、画像処理部２００は、映像入力部１３０から受信した映像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。
【００１９】
液晶制御部１５０は、画像処理部２００で処理の施された映像信号に基づいて、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。
【００２０】
液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。
【００２１】
光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。
【００２２】
なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。また、色合成部１６３は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部２００から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部２００により入力された画像に対応する画像がスクリーン上に表示されることになる。
【００２３】
光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものであり、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。
【００２４】
撮像部１８０は液晶プロジェクタ１００の投影映像を撮影する。
【００２５】
較正パターン検出部１８１は、撮像部１８０で取得した画像から較正パターンを抽出する。
【００２６】
補正パラメータ決定部１８２は、較正パターン検出部で検出した較正パターンから、投影画像の形状を補正するための補正パラメータを決定する。
【００２７】
記録再生部１９１は、記録媒体１９２から静止画データや動画データを再生したり、また、撮像部１９４により得られた画像や映像の静止画データや動画データをＣＰＵ１１０から受信して記録媒体１９２に記録したりするものである。また、通信部１９３より受信した静止画データや動画データを記録媒体１９２に記録しても良い。記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースや記録媒体１９２と通信するためのマイクロプロセッサからなる。また、記録再生部１９１には、専用のマイクロプロセッサを含む必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が記録再生部１９１と同様の処理を実行しても良い。
【００２８】
また、記録媒体１９２は、静止画データや動画データ、その他、本実施例の液晶プロジェクタに必要な制御データなどを記録することができるものであり、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。
【００２９】
通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、液晶プロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。
【００３０】
撮像部１９４は、本実施例の液晶プロジェクタ１００の周辺を撮像して画像信号を取得するものであり、投影光学系１７１を介して投影された画像を撮影（スクリーン方向を撮影）することができる。撮像部１９４は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。撮像部１９４は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、レンズを介して取得した光学像を画像信号に変換する撮像素子、撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部などからなる。また、撮像部１９４は、スクリーン方向を撮影するものに限られず、例えば、スクリーンと逆方向の視聴者側を撮影しても良い。
【００３１】
表示制御部１９５は、液晶プロジェクタ１００に備えられた表示部１９６に液晶プロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御をするものであり、表示制御を行うマイクロプロセッサなどからなる。また、表示制御部１９５専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が表示制御部１９５と同様の処理を実行しても良い。また、表示部１９６は、液晶プロジェクタ１００を操作するための操作画面やスイッチアイコンを表示するものである。表示部１９６は、画像を表示できればどのようなものであっても良い。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであって良い。また、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。
【００３２】
なお、本実施例の画像処理部２００、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。
【００３３】
＜基本動作＞
次に、図１、図２を用いて、本実施例の液晶プロジェクタ１００の基本動作を説明する。図２は、本実施例の液晶プロジェクタ１００の基本動作の制御を説明するためのフロー図である。図２の動作は、基本的にＣＰＵ１１０が、ＲＯＭ１１１に記憶されたプログラムに基づいて、各機能ブロックを制御することにより実行されるものである。図２のフロー図は、操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示した時点をスタートとしている。
【００３４】
操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示すると、ＣＰＵ１１０は、不図示の電源部からプロジェクタ１００の各部に不図示の電源回路から電源を供給する。
【００３５】
次に、ＣＰＵ１１０は、ユーザによる操作部１１３やリモコンの操作により選択された表示モードを判定する（Ｓ２１０）。本実施例のプロジェクタ１００の表示モードの一つは、画像入力部１３０より入力された映像を表示する「入力画像表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データの画像や映像を表示する「ファイル再生表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、通信部１９３から受信した静止画データや動画データの画像や映像を表示する「ファイル受信表示モード」である。なお、本実施例では、ユーザにより表示モードが選択される場合について説明するが、電源を投入した時点での表示モードは、前回終了時の表示モードになっていてもよく、また、前述のいずれかの表示モードをデフォルトの表示モードとしてもよい。その場合には、Ｓ２１０の処理は省略可能である。
【００３６】
ここでは、Ｓ２１０で、「入力画像表示モード」が選択されたものとして説明する。
【００３７】
「入力画像表示モード」が選択されると、ＣＰＵ１１０は、画像入力部１３０から映像が入力されているか否かを判定する（Ｓ２２０）。入力されていない場合（Ｓ２２０でＮｏ）には、入力が検出されるまで待機し、入力されている場合（Ｓ２２０でＹｅｓ）には、制御部は、投影処理（Ｓ２３０）を実行する。
【００３８】
ＣＰＵ１１０は、投影処理として、画像入力部１３０より入力された映像を画像処理部２００に送信し、画像処理部２００に、映像の画素数、フレームレート、形状の変形を実行させ、処理の施された１画面分の画像を液晶制御部１５０に送信する。そして、ＣＰＵ１１０は、液晶制御部１５０に、受信した１画面分の画像の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分の階調レベルに応じた透過率となるように、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を制御させる。そして、ＣＰＵ１１０は、光源制御部１６０に光源１６１からの光の出力を制御させる。色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離し、それぞれの光を、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給する。
【００３９】
液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給された、各色の光は、各液晶パネルの画素毎に透過する光量が制限される。そして、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの光は、色合成部１６３に供給され再び合成される。そして、色合成部１６３で合成された光は、投影光学系１７１を介して、不図示のスクリーンに投影される。
【００４０】
この投影処理は、画像を投影している間、１フレームの画像毎に順次、実行されている。
【００４１】
なお、このとき、ユーザにより投影光学系１７１の操作をする指示が指示部１１１から入力されると、ＣＰＵ１１０は、光学系制御部１７０に、投影画像の焦点を変更したり、光学系の拡大率を変更したりするように投影光学系１７１のアクチュエータを制御させる。
【００４２】
この表示処理実行中に、ＣＰＵ１１０は、ユーザにより表示モードを切り替える指示が指示部１１１から入力されたか否かを判定する（Ｓ２４０）。ここで、ユーザにより表示モードを切り替える指示が指示部１１１から入力されると（Ｓ２４０でＹｅｓ）、ＣＰＵ１１０は、再びＳ２１０に戻り、表示モードの判定を行う。このとき、ＣＰＵ１１０は、画像処理部２００に、表示モードを選択させるためのメニュー画面をＯＳＤ画像として送信し、投影中の画像に対して、このＯＳＤ画面を重畳させるように画像処理部２００を制御する。ユーザは、この投影されたＯＳＤ画面を見ながら、表示モードを選択するのである。
【００４３】
一方、表示処理実行中に、ユーザにより表示モードを切り替える指示が指示部１１１から入力されない場合は（Ｓ２４０でＮｏ）、ＣＰＵ１１０は、ユーザにより投影終了の指示が指示部１１１から入力されたか否かを判定する（Ｓ２５０）。ここで、ユーザにより投影終了の指示が指示部１１１から入力された場合には（Ｓ２５０でＹｅｓ）、ＣＰＵ１１０は、プロジェクタ１００の各ブロックに対する電源供給を停止させ、画像投影を終了させる。一方、ユーザにより投影終了の指示が指示部１１１から入力された場合には（Ｓ２５０でＮｏ）、ＣＰＵ１１０は、Ｓ２２０へ戻り、以降、ユーザにより投影終了の指示が指示部１１１から入力されるまでの間Ｓ２２０からＳ２５０までの処理を繰り返す。
【００４４】
以上のように、本実施例の液晶プロジェクタ１００は、スクリーンに対して画像を投影する。
【００４５】
なお、「ファイル再生表示モード」では、ＣＰＵ１１０は、記録再生部１９１に、記録媒体１９２から静止画データや動画データのファイルリストや各ファイルのサムネイルデータを読み出させ、ＲＡＭ１１２に一時的に記憶する。そして、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＲＡＭ１１２に一時記憶されたファイルリストに基づく文字画像や各ファイルのサムネイルデータに基づく画像を生成し、画像処理部２００に送信する。そして、ＣＰＵ１１０は、通常の投影処理（Ｓ２３０）と同様に、画像処理部２００、液晶制御部１５０、投影制御部１６０を制御する。
【００４６】
次に、投影画面上において、記録媒体１９２に記録された静止画データや動画データにそれぞれ対応する文字や画像を選択する指示が指示部１１１を通して入力される。そうすると、ＣＰＵ１１０は、選択された静止画データや動画データを記録媒体１９２から読み出すように記録再生部１９１を制御する。そして、ＣＰＵ１１０は、読み出された静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。
【００４７】
そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部２００に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部２００、液晶制御部１５０、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部２００に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部２００、液晶制御部１５０、投影制御部１６０を制御する。
【００４８】
また、「ファイル受信表示モード」では、ＣＰＵ１１０は、通信部１９３から受信した静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部２００に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部２００、液晶制御部１５０、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部２００に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部２００、液晶制御部１５０、投影制御部１６０を制御する。
【００４９】
次に本実施例の特徴的な構成について詳しく説明する。図３は画像処理部１４０の内部構成を示した図である。
【００５０】
画像処理部１４０は、前処理部１４１、メモリ制御部１４２、画像メモリ１４３、後処理部１４４、出力同期信号生成部１４５から構成される。
【００５１】
前処理部１４１、メモリ制御部１４２、後処理部１４４、出力同期信号生成部１４５は、レジスタバス１９９を介してＣＰＵ１１０と接続されている。また、前処理部１４１、メモリ制御部１４２には、画像入力部１３０からの入力垂直同期信号（以下、ＩＶＤと略す）を含んだタイミング信号が入力されている。更には、メモリ制御部１４２、後処理部１４４には、液晶制御部１５０からの出力垂直同期信号（以下、ＯＶＤと略す）を含んだタイミング信号が入力されている。
【００５２】
前処理部１４１は、画像入力部１３０から入力された画像を、液晶素子１５１に適した色空間、解像度へ変換する。具体的には、色空間変換、拡大縮小処理を含む表示レイアウトの変換処理を行う。
【００５３】
メモリ制御部１４２は、ＩＰ変換やフレームレート変換などの時間軸上の変換処理や、投影画像の形状補正のために使用される画像メモリ１４３のメモリアドレスの発行および画像の書き込み・読み出し制御を行う。いずれのケースにおいても、画像メモリ１４３に対して、ＩＶＤに同期して画像の書き込み制御を行い、ＯＶＤに同期して画像の読み出し制御を行う。
【００５４】
後処理部１４４は、較正パターン生成部１４６、合成部１４７、画像補正部１４８で構成されている。
【００５５】
較正パターン生成部１４６は、投影映像の投影位置もしくは形状の較正のために必要なパターンを生成する。このパターンは公知のものであってよく、例えば図４（ｂ）に示すようなパターンであってもよく、またはＵＳ８９０７７９５で開示されている技術を用いて生成される２次元座標情報をコード化したパターンであってもよい。
【００５６】
合成部１４７は、較正パターン生成部１４６が生成した較正パターンを入力画像に合成する。例えば、図４（ａ）の入力画像に図４（ｂ）の較正パターンを合成する。図４（ｂ）は、パッチを９か所に配置したパターンとなっている。パッチは例えば強度（＝階調値）１６とする。観察者に視認されないように較正パターンを入力画像に合成する場合には、入力画像を二度書きし、それぞれのフレームに較正パターンを加算、減算するならば、加算は図４（ｃ）、減算は図４（ｄ）のようになる。また、合成の際には階調のオーバーフロー、アンダーフローが発生しないように、較正パターンの階調を補正する。
【００５７】
画像補正部１４８は、液晶素子１５１と投影光学系１７１起因の表示むら（色むら、輝度むら）、ディスクリネーションなどの補正処理を行う。更には、液晶素子１５１の階調性に合わせた、ディザを代表とする階調変換やガンマ変換などの画像処理を行う。
【００５８】
出力同期信号生成部１４５は、出力垂直同期信号（ＯＶＤ）を生成するブロックである。出力同期信号生成部１４５は、自身に入力されている不図示のドットクロックのベースとなる基準クロックをカウントしてＯＶＤを生成する。このＯＶＤは、メモリ制御部１４２による画像メモリ１４３の読み出しから後処理部１４４、更には液晶制御部１５０までの処理ブロックを同期化するための基準信号として扱われる。
【００５９】
ここで、図５を用いて、本実施例の液晶プロジェクタ１００の特徴である、投影画像に較正パターンを合成した画像を投影し、更に投影された較正パターンを検出して投影画像の形状補正を行う動作フローについて説明する。本実施例では、較正パターンは前述の観察者に視認されないような較正パターンを投影することとする。
【００６０】
Ｓ５０１では、既に投影されている投影画像を、撮像部１８０で撮影し、投影画像が撮像画角内のどの位置にあるのかを検出する。撮像画像の検出方法は、例えば、投影前に予め撮影しておいた画像と、本ステップで撮影した画像の差分を取ることで、投影画像を抽出する方法である。抽出した投影画像の４隅の座標をＲＡＭ１１２に保持しておけばよい。
【００６１】
Ｓ５０２では、較正パターン生成部１４６は、前述の構成パターンを生成し、合成部１４７に送る。合成部１４７は入力画像に対して較正パターンを加算もしくは減算により合成する。較正パターンの強度およびサイズについての具体的な処理方法については、後述する。
【００６２】
Ｓ５０３では、合成部１４７にて較正パターンが出力された画像は、画像補正部１４８および液晶駆動部１５０を通って液晶素子１５１上に形成され、投影光学系１７１を通して投影される。
【００６３】
Ｓ５０４では、撮像部１８０は、Ｓ５０４にて投影された画像を撮影する。この際、撮像部１８０は撮影された画像を較正パターン検出部１８１に送る。
【００６４】
Ｓ５０５では、較正パターン検出部１８１は、撮像部１８０より受信した画像から較正パターンを抽出する。抽出方法は例えば、撮像画像に含まれる投影画像領域を検出し、入力画像と同解像度・アスペクトへ変形し、入力画像との差分を取る。較正パターン検出手段１８１は、さらに、例えば受信した画像を２値化することで画像のノイズを軽減することができる。
【００６５】
Ｓ５０６では、補正パラメータ生成部１８２は、Ｓ５０４で検出されたパターン情報を基にメモリ制御部１４２による画像形状および投影位置の補正パラメータを生成する。１例としては、検出された較正パターンの形状の４頂点の座標から投影画像の補正に必要な射影変換パラメータを生成する方法が挙げられる。ただし、ここでの制御パラメータの生成方法はこれに限るものではなく、公知の技術を含め、どのような手法を使用してもよい。
【００６６】
Ｓ５０７では、メモリ制御部１４２は、Ｓ５０６で生成された補正パラメータに基づいて画像メモリ１４３へのアクセスアドレスを発行し、画像を変形させる。
【００６７】
次に、Ｓ５０１の詳細な動作について、図６のフローチャートを用いて説明する。較正パターンを入力画像に加算もしくは減算する場合、投影光学系１７１もしくは撮像部１８０の光学特性によっては、パターンがボケることによって正しく検出できない場合がある。本実施例では、予め投影光学系１７１もしくは撮像系１８０のイメージサークルを考慮して、較正パターンの強度もしくはサイズを変更する。
【００６８】
Ｓ６０１では、ＣＰＵ１１０が光学系制御部１７０から、ズームレンズ位置とレンズシフト位置を取得する。なお、本実施例では、投影光学系１７１はズームおよびレンズシフトするものとして説明するが、固定単焦点のレンズなど、ズームもしくはレンズシフトが付いていないレンズの場合もある。この時は、予めＲＯＭ１１１に投影光学系１７１と投影画像の位置関係を記憶しておき、ＣＰＵ１１０がＲＯＭ１１１から読み出しても良い。
【００６９】
Ｓ６０２では、較正パターン生成部１４６で生成する較正パターンに含まれるパッチの強度と、サイズを取得する。例えば、強度は１６、サイズは水平１９２ピクセル、垂直１２８ピクセルとする。
【００７０】
Ｓ６０３では、ＣＰＵ１１０が投影光学系１７１および撮像部１８０の光学特性に応じて、較正パターン生成部１４６が生成する較正パターンのパッチの強度とサイズの変更を指示する。
【００７１】
具体的には、まず、ＣＰＵ１１０がＳ６０１で検出したズームレンズ位置とレンズシフト位置から投影光学系１７１のイメージサークル内のどこに投影画像があるかを推定する。投影画像の位置において投影光学系１７１の光学特性が悪い部分にパッチが存在する場合に、較正パターンのパッチの強度とサイズを変更する。
【００７２】
光学特性はイメージサークルの周辺部分になるほど悪くなるのが一般的である。本実施例における投影光学系１７１と撮像部１８０の光学特性を図７（ｅ）に示す。横軸は像高、縦軸は画素のボケ量である。像高は光軸（イメージサークルの中心）からの距離である。この特性では、イメージサークルの周辺部では、１画素の点が２画素大きくなり３画素分の大きさにボケることを示している。
【００７３】
まず、投影光学系１７１のズームレンズ位置とレンズシフト位置に応じた、較正パターンのパッチの強度とサイズの変更方法について説明する。
【００７４】
例えば、図７（ａ）の場合は、レンズシフト位置が水平０％、垂直０％であり、光軸付近に投影画像が存在するため、光学特性が悪い部分に較正パターンのパッチは存在しない。そのため、較正パターンのパッチの強度とサイズは変更する必要がない。ズームレンズ位置はイメージサークルに対する投影画像の占める割合に影響するが、ここでは、テレ端固定としておく。
【００７５】
図７（ｂ）の場合は、レンズシフト位置は水平０％、垂直５０％である。投影画像は投影光学系１７１のイメージサークルの上半分の位置に存在し、画像の左上と右上がイメージサークルの周辺部分にある。そのため、図４（ｂ）の較正パターンの場合左上のパッチと右上のパッチは、投影光学系１７１の光学特性の悪い部分に存在する。このとき、図７（ｃ）のように、光学特性が良い部分の場合は、較正パターンのパッチが較正パターン検出部１８１の検出閾値を超えるため検出できる。
【００７６】
しかし、光学特性の悪い部分においては、パターンがボケてしまうため、十分な取得強度が出ずに較正パターン検出部１８１の検出閾値を超えず、パターンを検出できない。このように投影画像に含まれる較正パターンが光学特性の悪い部分に当たる場合には、図８（ａ）のようにパッチの強度を高く変更する。この時の較正パターンを図８（ｂ）に、入力画像にこの較正パターンを加算した場合は図８（ｃ）のようになり、入力画像にこの較正パターンを減算した場合は図８（ｄ）のようになる。また、強度でなく、図９（ａ）のようにサイズを変更しても良い。
【００７７】
次に、Ｓ５０１で取得した撮影画像内の投影画像の位置から、較正パターンの強度もしくはサイズを変更しても良い。図７（ｄ）に示すように、投影画像の位置が、撮像部１８０のイメージサークルの周辺に位置する場合、図４（ｂ）の較正パターンのパッチのうち、４隅にあるパッチが光学特性の悪い部分に位置する。この場合、同様に、較正パターンのパッチの強度もしくはサイズを変更する。この時、投影光学系１７１の光学特性に応じたパッチの強度もしくはサイズの変更に対して、さらに撮像部１８０の光学特性に応じたパッチの強度もしくはサイズの変更を加えてもよい。
【００７８】
また、本実施例では、光学特性の悪い場所に合わせて全体のパッチを変更する説明をしたが、図９（ｂ）、（ｃ）のように部分的にパッチの強度もしくはサイズを変更しても良いし、強度とサイズの両方を変更しても良い。また、サイズを変更した場合に、パッチの数が変動してしまうような場合には、１フレーム置きにパッチの位置を周期的にずらしながら、較正パターンを合成してもよい。
【００７９】
Ｓ６０４では、ＣＰＵ１１０が合成部１４７に入力された画像が奇数フレームであるかどうかを判別する。判別方法は、出力同期信号１４５の出力するＯＶＤに含まれるｏｄｄ、Ｅｖｅｎ信号から判定する。奇数フレームの場合はＳ６０５へ、偶数フレームの場合はＳ６０６へ移行する。
【００８０】
Ｓ６０５では、ＣＰＵ１１０の指示で合成部１４７が較正パターン生成部１４６の出力する較正パターンを入力画像に加算する。例えば、入力画像を図４（ａ）とし、合成する較正パターンを図４（ｂ）とすると、図４（ｃ）のようになる。
【００８１】
Ｓ６０６では、ＣＰＵ１１０の指示で合成部１４７が較正パターン生成部１４６の出力する較正パターンを入力画像に減算する。例えば、入力画像を図４（ａ）とし、合成する較正パターンを図４（ｂ）とすると、図４（ｄ）のようになる。
【００８２】
以上で、較正パターンの合成についての説明を終了する。
【００８３】
以上の手順にて画像に合成された較正パターンは、投影画像のフレームレートが例えば１２０Ｈｚや２４０Ｈｚなど十分に速い場合には、人間の目には２フレーム間の積分効果により打ち消されて視認されない。そして、投影画像のみが視認される。
【００８４】
本実施例では、奇数フレームに較正パターンを加算するとしたが、逆でも良い。また、本実施例では、入力画像に較正パターンを合成し、かつ観察者に視認されない方法で説明をしたが、直接較正パターンを投影しても良いし、常に入力画像に対し加算もしくは減算でも構わない。
【００８５】
また、本実施例では、投影光学系１７１に対する投影画像の位置および撮像部１８０の撮像画像の投影画像の位置をＣＰＵ１１０がＲＯＭ１１１にあるプログラムを用いて推定したが、ＨＷに推定手段を設けて推定してもよい。
【００８６】
以上が本実施例の液晶プロジェクタ１００の特徴である、投影画像に較正パターンを合成した画像を投影し、更に投影された較正パターンを検出して投影画像の形状補正を行う動作フローである。
【実施例２】
【００８７】
本実施例では、撮像部１８０の撮像画像から較正パターン検出部１８１で所望の較正パターンが検出されなかった場合に、較正パターンの強度もしくはサイズを変更する方法について説明する。
【００８８】
図１０のフローを用いて、本実施例の液晶プロジェクタ１００の特徴である、投影画像に較正パターンを合成した画像を投影し、更に投影された較正パターンを検出して投影画像の形状補正を行う動作フローについて説明する。
【００８９】
Ｓ１００１では、較正パターン生成部１４６は、図４（ｂ）のような初期値の較正パターンを生成し、合成部１４７に送る。合成部１４７は入力画像に対して較正パターンを加算もしくは減算により合成する。加算時は図４（ｃ）、減算時は図４（ｄ）のようになる。
【００９０】
Ｓ１００２では、合成部１４７にて較正パターンが出力された画像は、画像補正部１４８および液晶駆動部１５０を通って液晶素子１５１上に形成され、投影光学系１７１を通して投影される。
【００９１】
Ｓ１００３では、撮像部１８０は、Ｓ１００４にて投影された画像を撮影する。この際、撮像部１８０は撮影された画像を較正パターン検出部１８１に送る。
【００９２】
Ｓ１００４では、較正パターン検出部１８１は、撮像部１８０より受信した画像から較正パターンを抽出する。抽出方法は例えば、撮像画像に含まれる投影画像領域を検出し、入力画像と同解像度・アスペクトへ変形し、入力画像との差分を取る。較正パターン検出手段１８１は、さらに、例えば受信した画像を２値化することで画像のノイズを軽減することができる。
【００９３】
Ｓ１００５では、Ｓ１００４で検出した較正パターンが、Ｓ１００１で付与した較正パターンと比較し、較正パターンのパッチ全点数を取得できているかを判断する。取得できている場合は、Ｓ１００７へ進み、取得できていない場合にはＳ１００６に進み、再度較正パターンを合成する。
【００９４】
Ｓ１００６では、ＣＰＵ１１０が指示し、投影光学系１７１の光学特性もしくは撮像部１８０の光学特性に基づき、初期値の較正パターンのパッチの強度もしくはサイズを変更する処理を行う。具体的な処理は、実施例１の図６のフローチャートの説明と同様である。
【００９５】
Ｓ１００７では、補正パラメータ生成部１８２は、Ｓ１００４で検出されたパターン情報を基にメモリ制御部１４２による画像形状および投影位置の補正パラメータを生成する。１例としては、検出された較正パターンの形状の４頂点の座標から投影画像の補正に必要な射影変換パラメータを生成する方法が挙げられる。ただし、ここでの制御パラメータの生成方法はこれに限るものではなく、公知の技術を含め、どのような手法を使用してもよい。
【００９６】
Ｓ１００８では、メモリ制御部１４２は、Ｓ１００６で生成された補正パラメータに基づいて画像メモリ１４３へのアクセスアドレスを発行し、画像を変形させる。
【００９７】
以上で、較正パターンの合成についての説明を終了する。
【００９８】
以上が、本実施例の液晶プロジェクタ１００の特徴である、撮像部１８０の撮像画像から較正パターン検出部１８１で所望の較正パターンが検出されなかった場合に、較正パターンの強度もしくはサイズを変更する方法の説明である。
【００９９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１００】
１００  液晶プロジェクタ、１１０  ＣＰＵ、１４０  画像処理部、
１４１  前処理部、１４４  後処理部、１４６  較正パターン生成部、
１４７  合成部、１４８  画像補正部、１４５  出力同期信号生成部、
１５０  液晶制御部、１５１  液晶素子、１６１  光源、１７１  投影光学系、
１８０  撮像部
【図１】
2019114889.tif 000003
【図２】
2019114889.tif 000004
【図３】
2019114889.tif 000005
【図４（ａ）】
2019114889.tif 000006
【図４（ｂ）】
2019114889.tif 000007
【図４（ｃ）】
2019114889.tif 000008
【図４（ｄ）】
2019114889.tif 000009
【図５】
2019114889.tif 000010
【図６】
2019114889.tif 000011
【図７（ａ）】
2019114889.tif 000012
【図７（ｂ）】
2019114889.tif 000013
【図７（ｃ）】
2019114889.tif 000014
【図７（ｄ）】
2019114889.tif 000015
【図７（ｅ）】
2019114889.tif 000016
【図８（ａ）】
2019114889.tif 000017
【図８（ｂ）】
2019114889.tif 000018
【図８（ｃ）】
2019114889.tif 000019
【図８（ｄ）】
2019114889.tif 000020
【図９（ａ）】
2019114889.tif 000021
【図９（ｂ）】
2019114889.tif 000022
【図９（ｃ）】
2019114889.tif 000023
【図１０】
2019114889.tif 000024