(57)【要約】【課題】投射型画像表示装置において、投影を中断することなく設置位置の調整を行う。【解決手段】入力された映像信号のフレームレートを変換するフレームレート変換手段と、投影画像の投影位置若しくは形状の較正のための較正パターンを生成する較正パターン生成手段と、フレームレート変換手段が倍速化したフレームに対し、較正パターンを加算もしくは減算して合成する合成手段と、撮像手段で撮像した投影画像のシフトを検出し、撮像工程で得られた撮影画像補正するシフト検出補正手段と、シフト検出補正手段が補正した撮影画像から較正パターンを検出する較正パターン検出手段と、を備え、シフト検出補正手段は、フレームレート変換手段が変換した一つのフレームから生成した対となるフレーム間でシフト補正を行う。【選択図】図１
2019114887.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像信号のフレームレートを変換するフレームレート変換手段と、
投影画像の投影位置若しくは形状の較正のための較正パターンを生成する較正パターン生成手段と、
前記フレームレート変換手段が倍速化したフレームに対し、前記較正パターンを加算もしくは減算して合成する合成手段と、
前記合成手段により較正パターンが合成された画像を投影する投影手段と
前記投影手段によって投影された投影画像を撮影して取得する撮像手段と、
前記撮像手段で撮像した投影画像のシフトを検出し、前記撮像工程で得られた撮影画像補正するシフト検出補正手段と、
前記シフト検出補正手段が補正した前記撮影画像から前記較正パターンを検出する較正パターン検出手段と、
を備え、
前記シフト検出補正手段は、前記フレームレート変換手段が変換した一つのフレームから生成した対となるフレーム間でシフト補正を行うことを特徴とする投射型画像表示装置。
【請求項２】
シフト検出補正手段はレート変換で生成されたフレームのうち最新の二つのフレームについてシフトを検出、補正し、較正パターン検出手段は前記シフトを補正された最新の二つのフレームから較正パターンを検出することを特徴とすることを特徴とする請求項１に記載の投射型画像表示装置。
【請求項３】
入力された映像信号のフレームレートを変換するフレームレート変換工程と、
投影画像の投影位置若しくは形状の較正のための較正パターンを生成する較正パターン生成工程と、
前記フレームレート変換工程で倍速化したフレームに対し、前記較正パターンを加算もしくは減算して合成する合成工程と、
前記合成工程により較正パターンが合成された画像を投影する投影工程と
前記投影工程によって投影された投影画像を撮影して取得する撮像工程と、
前記撮像工程で撮像した投影画像のシフトを検出し、前記撮像工程で得られた撮影画像を補正するシフト検出補正手段と、
前記シフト検出補正手段が補正した前記撮影画像から前記較正パターンを検出する較正パターン検出工程と、
を備え、
前記シフト検出補正工程は、前記フレームレート変換手段が変換した一つのフレームから生成した対となるフレーム間でシフト補正を行うことを特徴とする投射型画像表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投射を中断せずに調整できる投射型画像表示装置に関する。
【背景技術】
【０００２】
投射型画像表示装置を用いて画像を投影するとき、投射型画像表示装置と投影面が正対していないとき、投影画像にいわゆる台形変形が発生する。しかし投影面に正対した位置に投射型画像表示装置を設置できない場合がある。
【０００３】
また、それらの設置条件において、複数の投射型画像表示装置を用いて一つの高解像度画像を投影するときには、台形補正と同時に位置調整も必要となる。
【０００４】
このように投射型画像表示装置の設置時には、投射型画像表示装置の持つ電気的もしくは光学的な台形補正機能や位置調整機能や、もしくは投射型画像表示装置自体の設置位置を調整して投影画像位置の調整を行うなど、複雑で煩雑で専門的な較正技術を持った設置者が必要であった。
【０００５】
本課題を解決するために、投影形状が投影装置から投影する較正パターンをカメラで撮影し、調整パラメータを生成してスクリーン上での投影画像の形状を補正する技術が開示されている（特許文献１）。
【０００６】
しかしながら、特許文献１で開示されている技術は、自動較正のためのパターンを投射するため、投影システムの使用を一旦停止する必要があり、その間は投影システムが使用できなくなるという課題が残っている。本課題を解決するために、較正パターンを非可視光で投射する技術が開示されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１４３５６号公報
【特許文献２】特開２０１１−２１１６９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献２に開示される技術では、非可視光で較正パターンを投影、検出するための構成が必用となり、投影システムが高価となってしまうという課題がある。
【０００９】
入力画像を倍速化し、倍速化した二つのフレームに対して視覚的に視認できないようにテストパターンを埋め込む方法がある。例えばテストパターンを挿入する画素において、倍速化したペアの一方のフレームでは画素にある値を加算し、もう一方のフレームでは画素からある値を減算する。このとき加減算する値が同じならば、倍速化後のフレームレートが１２０−２４０Ｈｚ程度になると視覚的には平均化されてほとんど視認できない。
【００１０】
そして、投影画像を撮像してペアのフレーム同士を減算することにより、画素信号は全て打ち消しあってレベルが０となり、テストパターンのみを抽出することができる。それにより、通常の使用時に投影を中止してテストパターンを投影しなくとも、不可視のテストパターンとして投影画像に重畳することにより位置調整が行える。
【００１１】
しかし、投影している最中にレンズシフトにより投影位置の調整を行なうなどして、撮像したペアのフレーム間でシフトが発生した場合には、両ペアフレーム間での投影画像が撮像された画素の位置関係がずれてしまうために、テストパターンの抽出ができなってしまう。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本出願に係る投射型画像表示装置は、
入力された映像信号のフレームレートを変換するフレームレート変換手段と、投影画像の投影位置若しくは形状の較正のための較正パターンを生成する較正パターン生成手段と、前記フレームレート変換手段が倍速化したフレームに対し、前記較正パターンを加算もしくは減算して合成する合成手段と、前記合成手段により較正パターンが合成された画像を投影する投影手段と前記投影手段によって投影された投影画像を撮影して取得する撮像手段と、前記撮像手段で撮像した投影画像のシフトを検出し、前記撮像工程で得られた撮影画像補正するシフト検出補正手段と、前記シフト検出補正手段が補正した前記撮影画像から前記較正パターンを検出する較正パターン検出手段と、を備え、前記シフト検出補正手段は、前記フレームレート変換手段が変換した一つのフレームから生成した対となるフレーム間でシフト補正を行うことを特徴とする。
【発明の効果】
【００１３】
本発明に係る投射型画像表示装置によれば、画像の投影を中断することなく設置位置の較正を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明のフロントプロジェクタの全体構成
【図２】本実施例のフロントプロジェクタ１００の基本動作の制御を説明するためのフロー図
【図３】画像処理部１４０の内部構成を示した図
【図４】本実施例の動作フローを示した図
【図５】フレームレート変換を示した図
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。
【実施例】
【００１６】
本実施例では、投影装置の一例として、液晶素子を用いたプロジェクタについて説明する。
【００１７】
＜全体構成＞
まず、図１を用いて、本実施例のフロントプロジェクタの全体構成を説明する。図１は、本実施例のフロントプロジェクタ１００の全体の構成を示す図である。
【００１８】
本実施例のフロントプロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、フロントプロジェクタ１００は、さらに、液晶制御部１５０、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、フロントプロジェクタ１００は、さらに、記録再生部１９１、記録媒体１９２、通信部１９３、撮像部１９４、表示制御部１９５、表示部１９６を有していてもよい。
【００１９】
ＣＰＵ１１０は、フロントプロジェクタ１００の各動作ブロックを制御するものあり、ＲＯＭ１１１は、ＣＵＰ１１０の処理手順を記述した制御プログラムを記憶するためのものであり、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納するものである。また、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から再生された静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、撮像部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、静止画データや動画データに変換して記録媒体１９２に記録させることもできる。
【００２０】
また、操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、フロントプロジェクタ１００の各動作ブロックを制御する。
【００２１】
ここで、外部装置は、映像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。
【００２２】
画像処理部１４０は、映像入力部１３０から受信した映像信号にフレーム数、画素数、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。また、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行しても良い。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）といった機能を実行することが可能である。また、画像処理部１４０は、映像入力部１３０から受信した映像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。
【００２３】
液晶制御部１５０は、画像処理部１４０で処理の施された映像信号に基づいて、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。
【００２４】
液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。
【００２５】
光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。
【００２６】
また、色合成部１６３は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。
【００２７】
光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものであり、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。
【００２８】
撮像部１８０は、フロントプロジェクタ１００の投影映像を撮影する。
【００２９】
シフト検出補正部１８１は、撮像部１８０で取得した画像において、較正パターンが付加されたペアフレーム間のシフトを検出し、過去フレームを現行フレームの位置へ補正する。
【００３０】
較正パターン検出部１８２は、シフト検出補正部１８１で補正したペアフレーム画像から較正パターンを抽出する。
【００３１】
補正パラメータ決定部１８３は、較正パターン検出部１８２で検出した較正パターンから、投影画像の形状を補正するための補正パラメータを決定する。
【００３２】
記録再生部１９１は、記録媒体１９２から静止画データや動画データを再生したり、また、撮像部１９４により得られた画像や映像の静止画データや動画データをＣＰＵ１１０から受信して記録媒体１９２に記録したりするものである。また、通信部１９３より受信した静止画データや動画データを記録媒体１９２に記録しても良い。
【００３３】
記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースや記録媒体１９２と通信するためのマイクロプロセッサからなる。また、記録再生部１９１には、専用のマイクロプロセッサを含む必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が記録再生部１９１と同様の処理を実行しても良い。
【００３４】
また、記録媒体１９２は、静止画データや動画データ、その他、本実施例のフロントプロジェクタに必要な制御データなどを記録することができるものであり、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。
【００３５】
通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、フロントプロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。
【００３６】
撮像部１９４は、本実施例のフロントプロジェクタ１００の周辺を撮像して画像信号を取得するものであり、投影光学系１７１を介して投影された画像を撮影（スクリーン方向を撮影）することができる。撮像部１９４は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。撮像部１９４は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、レンズを介して取得した光学像を画像信号に変換する撮像素子、撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部などからなる。また、撮像部１９４は、スクリーン方向を撮影するものに限られず、例えば、スクリーンと逆方向の視聴者側を撮影しても良い。
【００３７】
表示制御部１９５は、フロントプロジェクタ１００に備えられた表示部１９６にフロントプロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御をするものであり、表示制御を行うマイクロプロセッサなどからなる。また、表示制御部１９５専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が表示制御部１９５と同様の処理を実行しても良い。また、表示部１９６は、フロントプロジェクタ１００を操作するための操作画面やスイッチアイコンを表示するものである。表示部１９６は、画像を表示できればどのようなものであっても良い。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであって良い。また、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。
【００３８】
なお、本実施例の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。
【００３９】
＜基本動作＞
次に、図１、図２を用いて、本実施例のフロントプロジェクタ１００の基本動作を説明する。図２は、本実施例のフロントプロジェクタ１００の基本動作の制御を説明するためのフロー図である。
【００４０】
図２の動作は、基本的にＣＰＵ１１０が、ＲＯＭ１１１に記憶されたプログラムに基づいて、各機能ブロックを制御することにより実行されるものである。図２のフロー図は、操作部１１３や不図示のリモコンによりユーザがフロントプロジェクタ１００の電源のオンを指示した時点をスタートとしている。
【００４１】
操作部１１３や不図示のリモコンによりユーザがフロントプロジェクタ１００の電源のオンを指示すると、ＣＰＵ１１０は、不図示の電源部からプロジェクタ１００の各部に不図示の電源回路から電源を供給が供給する。
【００４２】
次に、ＣＰＵ１１０は、ユーザによる操作部１１３やリモコンの操作により選択された表示モードを判定する（Ｓ２１０）。本実施例のプロジェクタ１００の表示モードの一つは、画像入力部１３０より入力された映像を表示する「入力画像表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データの画像や映像を表示する「ファイル再生表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、通信部１９３から受信した静止画データや動画データの画像や映像を表示する「ファイル受信表示モード」である。
【００４３】
なお、本実施例では、ユーザにより表示モードが選択される場合について説明するが、電源を投入した時点での表示モードは、前回終了時の表示モードになっていてもよく、また、前述のいずれかの表示モードをデフォルトの表示モードとしてもよい。その場合には、Ｓ２１０の処理は省略可能である。
【００４４】
ここでは、Ｓ２１０で、「入力画像表示モード」が選択されたものとして説明する。
【００４５】
「入力画像表示モード」が選択されると、ＣＰＵ１１０は、画像入力部１３０から映像が入力されているか否かを判定する（Ｓ２２０）。入力されていない場合（Ｓ２２０でＮｏ）には、入力が検出されるまで待機し、入力されている場合（Ｓ２２０でＹｅｓ）には、制御部は、投影処理（Ｓ２３０）を実行する。
【００４６】
ＣＰＵ１１０は、投影処理として、画像入力部１３０より入力された映像を画像処理部１４０に送信し、画像処理部１４０に、映像の画素数、フレームレート、形状の変形を実行させ、処理の施された１画面分の画像を液晶制御部１５０に送信する。そして、ＣＰＵ１１０は、液晶制御部１５０に、受信した１画面分の画像の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分の階調レベルに応じた透過率となるように、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を制御させる。そして、ＣＰＵ１１０は、光源制御部１６０に光源１６１からの光の出力を制御させる。色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離し、それぞれの光を、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給する。
【００４７】
液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給された、各色の光は、各液晶パネルの画素毎に透過する光量が制限される。そして、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの光は、色合成部１６３に供給され再び合成される。そして、色合成部１６３で合成された光は、投影光学系１７１を介して、不図示のスクリーンに投影される。
【００４８】
この投影処理は、画像を投影している間、１フレームの画像毎に順次、実行されている。
【００４９】
なお、このとき、ユーザにより投影光学系１７１の操作をする指示が指示部１１１から入力されると、ＣＰＵ１１０は、光学系制御部１７０に、投影画像の焦点を変更したり、光学系の拡大率を変更したりするように投影光学系１７１のアクチュエータを制御させる。
【００５０】
この表示処理実行中に、ＣＰＵ１１０は、ユーザにより表示モードを切り替える指示が指示部１１１から入力されたか否かを判定する（Ｓ２４０）。ここで、ユーザにより表示モードを切り替える指示が指示部１１１から入力されると（Ｓ２４０でＹｅｓ）、ＣＰＵ１１０は、再びＳ２１０に戻り、表示モードの判定を行う。このとき、ＣＰＵ１１０は、画像処理部１４０に、表示モードを選択させるためのメニュー画面をＯＳＤ画像として送信し、投影中の画像に対して、このＯＳＤ画面を重畳させるように画像処理部１４０を制御する。ユーザは、この投影されたＯＳＤ画面を見ながら、表示モードを選択するのである。
【００５１】
一方、表示処理実行中に、ユーザにより表示モードを切り替える指示が指示部１１１から入力されない場合は（Ｓ２４０でＮｏ）、ＣＰＵ１１０は、ユーザにより投影終了の指示が指示部１１１から入力されたか否かを判定する（Ｓ２５０）。ここで、ユーザにより投影終了の指示が指示部１１１から入力された場合には（Ｓ２５０でＹｅｓ）、ＣＰＵ１１０は、プロジェクタ１００の各ブロックに対する電源供給を停止させ、画像投影を終了させる。一方、ユーザにより投影終了の指示が指示部１１１から入力された場合には（Ｓ２５０でＮｏ）、ＣＰＵ１１０は、Ｓ２２０へ戻り、以降、ユーザにより投影終了の指示が指示部１１１から入力されるまでの間Ｓ２２０からＳ２５０までの処理を繰り返す。
【００５２】
以上のように、本実施例のフロントプロジェクタ１００は、スクリーンに対して画像を投影する。
【００５３】
なお、「ファイル再生表示モード」では、ＣＰＵ１１０は、記録再生部１９１に、記録媒体１９２から静止画データや動画データのファイルリストや各ファイルのサムネイルデータを読み出させ、ＲＡＭ１１２に一時的に記憶する。そして、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＲＡＭ１１２に一時記憶されたファイルリストに基づく文字画像や各ファイルのサムネイルデータに基づく画像を生成し、画像処理部１４０に送信する。そして、ＣＰＵ１１０は、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。
【００５４】
次に、投影画面上において、記録媒体１９２に記録された静止画データや動画データにそれぞれ対応する文字や画像を選択する指示が指示部１１１を通して入力される。そうすると、ＣＰＵ１１０は、選択された静止画データや動画データを記録媒体１９２から読み出すように記録再生部１９１を制御する。そして、ＣＰＵ１１０は、読み出された静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。
【００５５】
そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。
【００５６】
また、「ファイル受信表示モード」では、ＣＰＵ１１０は、通信部１９３から受信した静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部１４０に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部１４０、液晶制御部１５０、投影制御部１６０を制御する。
【００５７】
次に本実施例の特徴的な構成について詳しく説明する。図３は画像処理部１４０の内部構成を示した図である。
【００５８】
画像処理部１４０は、前処理部１４１、メモリ制御部１４２、画像メモリ１４３、後処理部１４４、出力同期信号生成部１４５から構成される。
【００５９】
前処理部１４１、メモリ制御部１４２、後処理部１４４、出力同期信号生成部１４５は、レジスタバス１４６を介してＣＰＵ１１０と接続されている。また、前処理部１４１、メモリ制御部１４２には、画像入力部１３０からの入力垂直同期信号（以下、ＩＶＤと略す）を含んだタイミング信号が入力されている。更には、メモリ制御部１４２、後処理部１４４には、液晶制御部１５０からの出力垂直同期信号（以下、ＯＶＤと略す）を含んだタイミング信号が入力されている。
【００６０】
前処理部１４１は、画像入力部１３０から入力された画像を、液晶素子１５１に適した色空間、解像度へ変換する。具体的には、色空間変換、拡大縮小処理を含む表示レイアウトの変換処理を行う。
【００６１】
メモリ制御部１４２は、ＩＰ変換やフレームレート変換などの時間軸上の変換処理や、投影画像の形状補正のために使用される画像メモリ１４３のメモリアドレスの発行および画像の書き込み・読み出し制御を行う。
【００６２】
ここではフレームレート変換として、入力フレームレートが６０Ｈｚならば、出力フレームレートが１２０Ｈｚとなるように倍速変換を行う。すなわち画像メモリ１４３に書き込んだフレーム信号を、次の１フレーム期間中に倍速で２度読み出しをする。これ以降、画像メモリ１４３に書き込まれた一つのフレーム信号から倍速で読み出された二つのフレーム信号のセットをペアフレームと呼ぶ。
【００６３】
いずれのケースにおいても、画像メモリ１４３に対して、ＩＶＤに同期して画像の書き込み制御を行い、ＯＶＤに同期して画像の読み出し制御を行う。
【００６４】
図５はフレームレート変換を示した図である。ここでＩＶＤに同期して入力フレーム信号がメモリ制御部１４２を通して画像メモリ１４３に書き込まれる。そして次のフレーム期間でＯＶＤに同期してメモリ制御部１４２を通して画像メモリ１４３から書き込みの倍速で読み出す。このとき出力同期信号生成部１４５はＯＶＤを生成するとともに、倍速フレーム識別信号も生成する。
【００６５】
後処理部１４４は、階調置換部１４６、較正パターン生成部１４７、合成部１４８、画像補正部１４９で構成されている。
【００６６】
階調置換部１４６は、自身の入力画像の階調を任意の値に置換する。
【００６７】
較正パターン生成部１４７は、投影映像の投影位置もしくは形状の較正のために必要なパターンを生成する。このパターンは公知のものであってよく、例えば図５に示すようなパターンであってもよく、またはＵＳ８９０７７９５で開示されている技術を用いて生成される２次元座標情報をコード化したパター０ンであってもよい
合成部１４８は、較正パターン生成部１４７が生成した較正パターンを入力画像に合成する。また、合成の際には階調のオーバーフロー、アンダーフローが発生しないように、較正パターンの階調を補正する。
【００６８】
画像補正部１４９は、液晶素子１５１と投影光学系１７１起因の表示むら（色むら、輝度むら）、ディスクリネーションなどの補正処理を行う。更には、液晶素子１５１の階調性に合わせた、ディザを代表とする階調変換やガンマ変換などの画像処理を行う。
【００６９】
出力同期信号生成部１４５は、出力垂直同期信号（ＯＶＤ）を生成するブロックである。出力同期信号生成部１４５は、自身に入力されている不図示のドットクロックのベースとなる基準クロックをカウントしてＯＶＤを生成する。このＯＶＤは、メモリ制御部１４２による画像メモリ１４３の読み出しから後処理部１４４、更には液晶制御部１５０までの処理ブロックを同期化するための基準信号として扱われる。
【００７０】
ここで、図４を用いて、本実施例のフロントプロジェクタ１００の特徴である、投影画像に較正パターンを合成した画像を投影し、更にフロントプロジェクタ１００の位置を調整しているときでも、投影された較正パターンを検出して投影画像の形状補正を行う動作フローについて説明する。
【００７１】
まず、Ｓ４０１では、較正パターン生成部１４７は、較正パターンを生成し、合成部１４８に送る。
【００７２】
Ｓ４０２では、合成部１４８は、Ｓ４０１で生成された較正パターンを、自身に入力される画像のどのフレームに加算して合成し、どのフレームには減算して合成するかを決定する。本実施例においては、出力同期信号生成部１４５が生成した倍速フレーム識別信号に従って、倍速変換されたペアフレームのうち最初のフレームに対しては較正パターンを減算して合成し、２番目のフレームに対しては較正パターンを加算して合成するよう決定する。もしくは３倍速、４倍速以上のフレームレート変換の際には、最後に出力される二つのフレームに対して、それぞれ較正パターンを減算・加算して合成するよう決定する。
【００７３】
Ｓ４０３では、合成部１４８は、自身に入力される画像に較正パターンを加算および減算した際に階調のオーバーフローもしくはアンダーフローが発生するか否かを判断する。
【００７４】
例えば、画像バスが１２ビット（０〜４０９５階調）とすると、以下の関係に当てはまる場合はオーバーフロー若しくはアンダーフローが発生すると判断する。
・オーバーフローの判定条件
オーバーフロー値α＝（入力画像の階調）＋（較正パターンの階調）−４０９５＞０
・アンダーフローの判定条件
アンダーフロー値β＝（入力画像の階調）−（較正パターンの階調）＜０
合成部１４８が、オーバーフロー若しくはアンダーフローが発生すると判断すると、Ｓ４０４に進む。一方、合成手段１４８が、オーバーフロー若しくはアンダーフローが発生しないと判断すると、Ｓ４０５に進む。
【００７５】
Ｓ４０４では、合成手段１４８は、自身に入力される画像に較正パターンを加算および減算した際に階調のオーバーフローもしくはアンダーフローが発生しないように、較正パターンの階調を補正する。例えば、ある画素におけるオーバーフロー値がα、アンダーフロー値がβだった際は、較正パターンに次の値を減算する。
ＭＡＸ（オーバーフロー値αの絶対値、アンダーフロー値βの絶対値）
※ＭＡＸ（Ａ、Ｂ）とは、パラメータＡとＢのうち値の大きいものを表す。
【００７６】
Ｓ４０５では、合成部１４８は、入力画像に対して較正パターンをＳ４０２で決定したとおりに加算・減算して合成する。
【００７７】
Ｓ４０６では、合成部１４８にて較正パターンが出力された画像は、画像補正部１４９および液晶駆動部１５０を通って液晶素子１５１上に形成され、投影光学系１７１を通して投影される。
【００７８】
以上の手順にて画像に合成された較正パターンは、投影画像のフレームレートが例えば１２０Ｈｚや２４０Ｈｚなど十分に速い場合には、人間の目には倍速変換後のペアフレームである２フレーム間の積分効果により打ち消されて視認されない。そして、投影画像のみが視認される。
【００７９】
なお、ここまでの説明において、画像に較正パターンを合成する際にオーバーフローおよびアンダーフローが発生する場合は、較正パターンの階調を補正する例について説明してきたが、本発明における実施形態これに限るものではない。例えば、合成部１４８は、オーバーフロー若しくはアンダーフローが発生すると判断すると、自身の入力画像の階調に対してＳ６０５と同様の値を減算若しくは加算するように動作して補正してもよい。他の例としては、合成部１４８は、オーバーフロー若しくはアンダーフローが発生すると判断すると、合成後の画像の階調に対してＳ６０５と同様の値を減算若しくは加算するように動作して補正してもよい。
【００８０】
Ｓ４０７では、撮像部１８０は、Ｓ４０８にて投影された画像を撮影する。撮像した画像はシフト検出補正部１８１に送る。
【００８１】
Ｓ４０８では、シフト検出補正部１８１において較正パターンが合成されたペアフレーム間のシフトを検知する。具体的にはパターンマッチング等の手法によりペアフレーム間のシフトを検知する。
【００８２】
Ｓ４０９では、ペアフレームの最初のフレーム信号による画像を、２番目のフレーム信号による画像と同じ位置に補正する。
【００８３】
Ｓ４１０では、Ｓ４０９でシフト補正したペアフレームより較正パターンを取得する。すなわち、Ｓ４０２で決定したように最初のフレームに対しては較正パターンを減算して合成し、２番目のフレームに対しては較正パターンを加算して合成されている。そのため、
（２番目のフレーム信号＋較正パターン）−（最初のフレーム信号−較正パターン）
を計算することにより、ペアフレームのシフトを補正しているため同じ位置にあることから、減算処理によりフレームの画素信号は０となり、２倍のレベルの較正パターンのみが残ることになる。
【００８４】
Ｓ４１１では、補正パラメータ生成部１８２は、Ｓ４１０で検出されたパターン情報を基にメモリ制御部１４２による画像形状および投影位置の補正パラメータを生成する。１例としては、検出された較正パターンの形状の４頂点の座標から投影画像の補正に必要な射影変換パラメータを生成する方法が挙げられる。ただし、ここでの制御パラメータの生成方法はこれに限るものではなく、公知の技術を含め、どのような手法を使用してもよい。
【００８５】
Ｓ４１２では、メモリ制御部１４２は、Ｓ４１１で生成された補正パラメータに基づいて画像メモリ１４３へのアクセスアドレスを発行し、画像を変形させる。
【００８６】
以上が、本実施例のフロントプロジェクタ１００の特徴である、投影画像に較正パターンを合成した画像を投影し、更に投影された較正パターンを検出して投影画像の形状補正を行う動作フローである。ここでフロントプロジェクタ１００の設置時に投影しながら位置や投影画像の大きさを調整して投影画像が動いているときにも、シフト検出補正部１８１でペアフレーム間のシフトを検知・補正するため、リアルタイムで投影画像の形状補正を行うことができる。
【００８７】
合成部１４８は、較正パターンをフレームごとに加算・減算して合成することで、人間の目には積分効果で視認させずに較正パターンを投影画像に合成することができる。またこの非可視な較正パターンを検出して形状補正に用いる較正を備えており、投影装置の運用を停止することなく形状補正を行うことができる。
【００８８】
＜以下定型文＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８９】
１００  フロントプロジェクタ、１１０  ＣＰＵ、１４０  画像処理部、
１４１  前処理部、１４４  後処理部、１４５  出力同期信号生成部、
１４６  階調置換部、１４７  較正パターン生成部、１４８  合成部、
１４９  画像補正部、１５０  液晶制御部、１５１  液晶素子、１６１  光源、
１７１  投影光学系、１８１  シフト検出補正部、１８２  較正パターン検出部、
１８３  補正パラメータ決定部
【図１】
2019114887.tif 000003
【図２】
2019114887.tif 000004
【図３】
2019114887.tif 000005
【図４】
2019114887.tif 000006
【図５】
2019114887.tif 000007