(57)【要約】【課題】電子透かしによるテストパターンのコントラストを保ちながら、電子透かしを埋め込む領域を拡大できるため、パターン検出しやすくすることができ、自動較正を行うことを可能にした投影装置を提供すること。【解決手段】上記の課題を解決するため、入力画像のヒストグラムとテストパターン付加手段でテストパターンを付与する強度に応じて、前記テストパターンを付与可能な前記フレーム中の領域を増やすようにガンマ補正手段による補正処理を制御することを特徴とする投影装置を提供する。【選択図】  図３
2019109269.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のヒストグラムを取得するヒストグラム取得手段と、
入力画像のガンマを補正するガンマ補正手段と、
フレームに対してテストパターンを加算もしくは減算することで画像にテストパターンを付加するテストパターン付加手段と
を備え、入力画像のヒストグラムとテストパターン付加手段でテストパターンを付与する強度に応じて、前記テストパターンを付与可能な前記フレーム中の領域を増やすようにガンマ補正手段による補正処理を制御することを特徴とする投影装置。
【請求項２】
前記テストパターン付与手段がパターンを入力画像に加算する場合に、前記ヒストグラム取得手段が取得するヒストグラムの平均値もしくはピーク値が前記テストパターン付与手段で付与するテストパターンの階調よりも低い場合は、暗部側のガンマを上げる補正を行うこと
を特徴とする請求項１に記載の投影装置。
【請求項３】
前記テストパターン付与手段がパターンを入力画像に加算する場合に、前記ヒストグラム取得手段が取得するヒストグラムの全度数に対し、前記テストパターン付与手段で付与するテストパターンの階調よりも高い階調の度数の合計の割合が所定より低い場合は、暗部側のガンマを上げる補正を行うこと
を特徴とする請求項１に記載の投影装置。
【請求項４】
前記テストパターン付与手段がパターンを入力画像に減算する場合に、前記ヒストグラム取得手段が取得するヒストグラムの平均値もしくはピーク値が最大階調から前記テストパターン付与手段で付与するテストパターンの階調を差し引いた階調よりも高い場合は、明部側のガンマを下げる補正を行うこと
を特徴とする請求項１に記載の投影装置。
【請求項５】
前記テストパターン付与手段がパターンを入力画像に加算する場合に、前記ヒストグラム取得手段が取得するヒストグラムの全度数に対し、最大階調から前記テストパターン付与手段で付与するテストパターンの階調を差し引いた階調よりも低い階調の度数の合計の割合が所定より低い場合は、明部側のガンマを上げる補正を行うこと
を特徴とする請求項１に記載の投影装置。
【請求項６】
前記ヒストグラム取得手段と前記ガンマ補正手段は、双方とも同じ所定のエリア毎に処理を行う
ことを特徴とする請求項１に記載の投影装置。
【請求項７】
入力画像の画素毎のＲＧＢ階調値を輝度および色度に変換する第一のカラースペース変換手段と、
輝度および色度に変換した画像をＲＧＢ階調値に変換する第二のカラースペース変換手段と
をさらに備え、
前記ヒストグラム取得手段は前記第一のカラースペース変換手段によって変換した画像のヒストグラムを取得し、
前記ガンマ補正手段は、前記ヒストグラムと前記テストパターン付加手段でテストパターンを付与する強度に応じて、輝度のガンマを補正し、前記テストパターン付加手段でテストパターンの付加を行った後、前記第二のカラースペース変換手段によって画像を変換することを特徴とする請求項１に記載の投影装置。
【請求項８】
前記ヒストグラム取得手段は前記第一のカラースペース変換手段によって変換した画像の輝度成分のヒストグラムの最大度数になる階調値を取得する
ことを特徴とする請求項４に記載の投影装置。
【請求項９】
前記ヒストグラム取得手段が取得したヒストグラムのピーク輝度値もしくは平均値もしくはピーク階調値が複数フレーム以上所定の範囲内で変化した場合に
前記ガンマ補正手段は時定数をかけることにより徐々に所定のガンマに補正し、
前記ヒストグラム取得手段が取得したヒストグラムのピーク輝度値もしくは平均値もしくはピーク階調値が所定の範囲外に変化した場合に、
前記ガンマ補正手段は時定数をかけずに所定のガンマに補正する
ことを特徴とする請求項１乃至４のいずれか１項に記載の投影装置。
【請求項１０】
ルックアップテーブルもしくはオフセットゲインを用いて投影画像の色味を変化させる画質モード設定手段をさらに備え、
前記画質モードのうち所定の輝度以上を投影するモードの場合に、
前記ガンマ補正手段はガンマを補正する
ことを特徴とする請求項１乃至４のいずれか１項に記載の投影装置。
【請求項１１】
入力画像の階調値に一律の階調値を加算減算するオフセット補正手段をさらに備え、
前記ヒストグラム取得手段の取得するヒストグラムにおいて前記テストパターン付加手段が付加するテストパターンの階調値以下の度数が所定以上の場合に、
前記オフセット補正手段は前記度数が所定以下になるように入力画像の階調値にオフセットを加算する
ことを特徴とする請求項１乃至４のいずれか１項に記載の投影装置。
【請求項１２】
入力画像の階調値に一律の階調値を加算減算するオフセット補正手段をさらに備え、
前記ヒストグラム取得手段の取得するヒストグラムにおいて最大階調値から前記テストパターン付加手段が付加するテストパターンの階調値を引いた階調値以上の度数が所定以上の場合に、
前記オフセット補正手段は前記度数が所定以下になるように入力画像の階調値にオフセットを減算する
ことを特徴とする請求項１乃至４のいずれか１項に記載の投影装置。
【請求項１３】
入力画像のフレームレートを倍速にする倍速駆動手段をさらに備え、
前記テストパターン付加手段は前記倍速駆動手段後の画像にテストパターンの加算と減算を交互に行い、
前記ヒストグラム検出手段が取得するヒストグラムの明部側と暗部側の夫々のピーク値と前記テストパターン付加手段の付加するテストパターンの強度に応じて前記ガンマ補正手段によって付与領域を増大させること
ことを特徴とする請求項１乃至４のいずれか１項に記載の投影装置。
【請求項１４】
投影装置の制御方法であって、
入力画像のヒストグラムを取得するヒストグラム取得工程と、
入力画像のガンマを補正するガンマ補正工程と、
フレームに対してテストパターンを加算もしくは減算することで画像にテストパターンを付加するテストパターン付加工程と、を備え、
入力画像のヒストグラムとテストパターン付加手段でテストパターンを付与する強度に応じて、前記テストパターンを付与可能な前記フレーム中の領域を増やすようにガンマ補正手段による補正処理を制御することを特徴とする制御方法。
【請求項１５】
コンピュータが読み込み実行することで、コンピュータに請求項１４に記載の制御方法を実行可能とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置に関する。
【背景技術】
【０００２】
近年、アミューズメント施設やフライトシミュレータなどのシミュレーション用途において投影装置を使ったシミュレーションシステムが常設されるようになってきている。このような常設の投影システムにおける１つの課題は、投影装置の設置状態を維持することである。投影装置の振動などの要因によって投影位置がずれた場合、投影をいったん中断して手動で較正するためには多大な時間と労力が発生してしまうという課題がある。投影装置を複数組み合わせて使用するシステムにおいては、互いの投影位置の較正は特に難しく、専門的な較正技術を持った人が必要であった。
【０００３】
本課題を解決するために、投影形状が投影装置から投影する較正パターンをカメラで撮影し、調整パラメータを生成してスクリーン上での投影画像の形状を補正する技術が開示されている（特許文献１）。
【０００４】
しかしながら、特許文献１で開示されている技術は、自動較正のためのパターンを投射するため、投影システムの使用を一旦停止する必要があり、その間は投影システムが使用できなくなるという課題は残っている。また、専用のテストパターンではなく、テストパターンを画像に埋め込む技術がある。電子透かしを用いることによって、専用のテストパターンを出さずに、投影を続けながら、自動較正を行うことができる。特許文献２で開示されている技術は、電子透かしの強度を領域毎に設定し、電子透かしを埋め込む技術である（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１４３５６号公報
【特許文献２】特開２００３−３４８５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に開示される技術では、特許文献１に開示されているようにカメラで較正パターンを検出する場合に、強度が低く設定されたところでは、電子透かしのテストパターンと周辺の画像のコントラストが低く、パターンを検出できない場合がある。
【０００７】
そこで、本発明の目的は、電子透かしによるテストパターンのコントラストを保ちながら、電子透かしを埋め込む領域を拡大できるため、パターン検出しやすくすることができ、自動較正を行うことを可能にした投影装置を提供することである。
【課題を解決するための手段】
【０００８】
このような課題を解決するために、本発明の投影装置は、入力画像のヒストグラムを取得するヒストグラム取得手段と、入力画像のガンマを補正するガンマ補正手段と、フレームに対してテストパターンを加算もしくは減算することで画像にテストパターンを付加するテストパターン付加手段とを備え、入力画像のヒストグラムとテストパターン付加手段でテストパターンを付与する強度に応じて、テストパターンを付与可能なフレーム中の領域を増やすようにガンマ補正手段による補正処理を制御することを特徴とする。
【発明の効果】
【０００９】
本発明によると、電子透かしによるテストパターンのコントラストを保ちながら、電子透かしを埋め込む領域を拡大できるため、パターン検出しやすくすることができ、自動較正を行う投影装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】液晶プロジェクタ１００の全体の構成を示す図である。
【図２】本実施例の液晶プロジェクタ１００の基本動作の制御を説明するためのフロー図である。
【図３】画像処理部２００の内部構成を示した図である。
【図４】較正パターン生成部２０８が生成する較正パターンの一例を示した図である。
【図５】実施例１の液晶プロジェクタ１００の、投影位置および形状の自動較正動作を説明するためのフロー図である。
【図６】実施例１の較正パターンの合成動作を説明するためのフロー図である。
【図７】実施例１の較正パターンの合成を行う明るい画像のヒストグラムを示す図である。
【図８】実施例１の較正パターンの合成を行う暗い画像のヒストグラムを示す図である。
【図９】実施例２の較正パターンの合成動作を説明するためのフロー図である。
【図１０】実施例２の較正パターンの合成を行う画像のヒストグラムを示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。
【００１２】
＜第１の実施例＞
本実施例では、投影装置の一例として、液晶素子を用いたプロジェクタについて説明する。
【００１３】
＜全体構成＞
まず、図１を用いて、本実施例の液晶プロジェクタの全体構成を説明する。図１は、本実施例の液晶プロジェクタ１００の全体の構成を示す図である。
【００１４】
本実施例の液晶プロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部２００を有する。また、液晶プロジェクタ１００は、さらに、液晶制御部１５０、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、液晶プロジェクタ１００は、さらに、記録再生部１９１、記録媒体１９２、通信部１９３、撮像部１９４、表示制御部１９５、表示部１９６を有していてもよい。
【００１５】
ＣＰＵ１１０は、液晶プロジェクタ１００の各動作ブロックを制御するものあり、ＲＯＭ１１１は、ＣＵＰ１１０の処理手順を記述した制御プログラムを記憶するためのものであり、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納するものである。また、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から再生された静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。
【００１６】
また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、撮像部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、静止画データや動画データに変換して記録媒体１９２に記録させることもできる。
【００１７】
また、操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、液晶プロジェクタ１００の各動作ブロックを制御する。
【００１８】
ここで、外部装置は、映像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。
【００１９】
画像処理部２００は、映像入力部１３０から受信した映像信号にフレーム数、画素数、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。また、画像処理部２００は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部２００と同様の処理を実行しても良い。画像処理部２００は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）といった機能を実行することが可能である。また、画像処理部２００は、映像入力部１３０から受信した映像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。
【００２０】
液晶制御部１５０は、画像処理部２００で処理の施された映像信号に基づいて、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。
【００２１】
液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。
【００２２】
光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。
【００２３】
また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。また、色合成部１６３は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。
【００２４】
このとき、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部２００から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部２００により入力された画像に対応する画像がスクリーン上に表示されることになる。
【００２５】
光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものであり、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。
【００２６】
撮像部１８０は液晶プロジェクタ１００の投影映像を撮影する。較正パターン検出部１８１は、撮像部１８０で取得した画像から較正パターンを抽出する。補正パラメータ決定部１８２は、較正パターン検出部で検出した較正パターンから、投影画像の形状を補正するための補正パラメータを決定する。
【００２７】
記録再生部１９１は、記録媒体１９２から静止画データや動画データを再生したり、また、撮像部１９４により得られた画像や映像の静止画データや動画データをＣＰＵ１１０から受信して記録媒体１９２に記録したりするものである。また、通信部１９３より受信した静止画データや動画データを記録媒体１９２に記録しても良い。記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースや記録媒体１９２と通信するためのマイクロプロセッサからなる。また、記録再生部１９１には、専用のマイクロプロセッサを含む必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が記録再生部１９１と同様の処理を実行しても良い。
【００２８】
また、記録媒体１９２は、静止画データや動画データ、その他、本実施例の液晶プロジェクタに必要な制御データなどを記録することができるものであり、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってよく、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。
【００２９】
通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、液晶プロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。
【００３０】
撮像部１９４は、本実施例の液晶プロジェクタ１００の周辺を撮像して画像信号を取得するものであり、投影光学系１７１を介して投影された画像を撮影（スクリーン方向を撮影）することができる。撮像部１９４は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。撮像部１９４は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、レンズを介して取得した光学像を画像信号に変換する撮像素子、撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部などからなる。
【００３１】
また、撮像部１９４は、スクリーン方向を撮影するものに限られず、例えば、スクリーンと逆方向の視聴者側を撮影しても良い。
【００３２】
表示制御部１９５は、液晶プロジェクタ１００に備えられた表示部１９６に液晶プロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御をするものであり、表示制御を行うマイクロプロセッサなどからなる。また、表示制御部１９５専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が表示制御部１９５と同様の処理を実行しても良い。また、表示部１９６は、液晶プロジェクタ１００を操作するための操作画面やスイッチアイコンを表示するものである。
【００３３】
表示部１９６は、画像を表示できればどのようなものであっても良い。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであって良い。また、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。
【００３４】
なお、本実施例の画像処理部２００、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。
【００３５】
＜基本動作＞
次に、図１、図２を用いて、本実施例の液晶プロジェクタ１００の基本動作を説明する。
【００３６】
図２は、本実施例の液晶プロジェクタ１００の基本動作の制御を説明するためのフロー図である。図２の動作は、基本的にＣＰＵ１１０が、ＲＯＭ１１１に記憶されたプログラムに基づいて、各機能ブロックを制御することにより実行されるものである。図２のフロー図は、操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示した時点をスタートとしている。
【００３７】
操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示すると、ＣＰＵ１１０は、不図示の電源部からプロジェクタ１００の各部に不図示の電源回路から電源を供給が供給する。
【００３８】
次に、ＣＰＵ１１０は、ユーザによる操作部１１３やリモコンの操作により選択された表示モードを判定する（Ｓ２１０）。本実施例のプロジェクタ１００の表示モードの一つは、画像入力部１３０より入力された映像を表示する「入力画像表示モード」である。また、本実施例のプロジェクタ１００の表示モードの一つは、記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データの画像や映像を表示する「ファイル再生表示モード」である。
【００３９】
また、本実施例のプロジェクタ１００の表示モードの一つは、通信部１９３から受信した静止画データや動画データの画像や映像を表示する「ファイル受信表示モード」である。なお、本実施例では、ユーザにより表示モードが選択される場合について説明するが、電源を投入した時点での表示モードは、前回終了時の表示モードになっていてもよく、また、前述のいずれかの表示モードをデフォルトの表示モードとしてもよい。その場合には、Ｓ２１０の処理は省略可能である。
【００４０】
ここでは、Ｓ２１０で、「入力画像表示モード」が選択されたものとして説明する。
【００４１】
「入力画像表示モード」が選択されると、ＣＰＵ１１０は、画像入力部１３０から映像が入力されているか否かを判定する（Ｓ２２０）。入力されていない場合（Ｓ２２０でＮｏ）には、入力が検出されるまで待機し、入力されている場合（Ｓ２２０でＹｅｓ）には、制御部は、投影処理（Ｓ２３０）を実行する。
【００４２】
ＣＰＵ１１０は、投影処理として、画像入力部１３０より入力された映像を画像処理部２００に送信し、画像処理部２００に、映像の画素数、フレームレート、形状の変形を実行させ、処理の施された１画面分の画像を液晶制御部１５０に送信する。そして、ＣＰＵ１１０は、液晶制御部１５０に、受信した１画面分の画像の赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色成分の階調レベルに応じた透過率となるように、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を制御させる。
【００４３】
そして、ＣＰＵ１１０は、光源制御部１６０に光源１６１からの光の出力を制御させる。色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離し、それぞれの光を、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給する。液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂに供給された、各色の光は、各液晶パネルの画素毎に透過する光量が制限される。そして、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）それぞれの光は、色合成部１６３に供給され再び合成される。そして、色合成部１６３で合成された光は、投影光学系１７１を介して、不図示のスクリーンに投影される。
【００４４】
この投影処理は、画像を投影している間、１フレームの画像毎に順次、実行されている。
【００４５】
なお、このとき、ユーザにより投影光学系１７１の操作をする指示が指示部１１１から入力されると、ＣＰＵ１１０は、光学系制御部１７０に、投影画像の焦点を変更したり、光学系の拡大率を変更したりするように投影光学系１７１のアクチュエータを制御させる。
【００４６】
この表示処理実行中に、ＣＰＵ１１０は、ユーザにより表示モードを切り替える指示が指示部１１１から入力されたか否かを判定する（Ｓ２４０）。ここで、ユーザにより表示モードを切り替える指示が指示部１１１から入力されると（Ｓ２４０でＹｅｓ）、ＣＰＵ１１０は、再びＳ２１０に戻り、表示モードの判定を行う。このとき、ＣＰＵ１１０は、画像処理部２００に、表示モードを選択させるためのメニュー画面をＯＳＤ画像として送信し、投影中の画像に対して、このＯＳＤ画面を重畳させるように画像処理部２００を制御する。ユーザは、この投影されたＯＳＤ画面を見ながら、表示モードを選択するのである。
【００４７】
一方、表示処理実行中に、ユーザにより表示モードを切り替える指示が指示部１１１から入力されない場合は（Ｓ２４０でＮｏ）、ＣＰＵ１１０は、ユーザにより投影終了の指示が指示部１１１から入力されたか否かを判定する（Ｓ２５０）。ここで、ユーザにより投影終了の指示が指示部１１１から入力された場合には（Ｓ２５０でＹｅｓ）、ＣＰＵ１１０は、プロジェクタ１００の各ブロックに対する電源供給を停止させ、画像投影を終了させる。一方、ユーザにより投影終了の指示が指示部１１１から入力された場合には（Ｓ２５０でＮｏ）、ＣＰＵ１１０は、Ｓ２２０へ戻り、以降、ユーザにより投影終了の指示が指示部１１１から入力されるまでの間Ｓ２２０からＳ２５０までの処理を繰り返す。
【００４８】
以上のように、本実施例の液晶プロジェクタ１００は、スクリーンに対して画像を投影する。
【００４９】
なお、「ファイル再生表示モード」では、ＣＰＵ１１０は、記録再生部１９１に、記録媒体１９２から静止画データや動画データのファイルリストや各ファイルのサムネイルデータを読み出させ、ＲＡＭ１１２に一時的に記憶する。そして、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムに基づいて、ＲＡＭ１１２に一時記憶されたファイルリストに基づく文字画像や各ファイルのサムネイルデータに基づく画像を生成し、画像処理部２００に送信する。そして、ＣＰＵ１１０は、通常の投影処理（Ｓ２３０）と同様に、画像処理部２００、液晶制御部１５０、投影制御部１６０を制御する。
【００５０】
次に、投影画面上において、記録媒体１９２に記録された静止画データや動画データにそれぞれ対応する文字や画像を選択する指示が指示部１１１を通して入力される。そうすると、ＣＰＵ１１０は、選択された静止画データや動画データを記録媒体１９２から読み出すように記録再生部１９１を制御する。そして、ＣＰＵ１１０は、読み出された静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。
【００５１】
そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部２００に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部２００、液晶制御部１５０、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部２００に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部２００、液晶制御部１５０、投影制御部１６０を制御する。
【００５２】
また、「ファイル受信表示モード」では、ＣＰＵ１１０は、通信部１９３から受信した静止画データや動画データをＲＡＭ１１２に一時的に記憶し、ＲＯＭ１１１記憶されたプログラムに基づいて、静止画データや動画データの画像や映像を再生する。そして、ＣＰＵ１１０は、例えば再生した動画データの映像を順次、画像処理部２００に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部２００、液晶制御部１５０、投影制御部１６０を制御する。また、静止画データを再生した場合には、再生した画像を画像処理部２００に送信し、通常の投影処理（Ｓ２３０）と同様に、画像処理部２００、液晶制御部１５０、投影制御部１６０を制御する。
【００５３】
次に本実施例の特徴的な構成について詳しく説明する。図３は画像処理部２００、内部構成を示した図である。
【００５４】
画像処理部２００は、前処理部２０１、メモリ制御部２０５、画像メモリ２０６、後処理部２０７、出力同期信号生成部２１１から構成される。
【００５５】
前処理部２０１、メモリ制御部２０５、後処理部２０７、出力同期信号生成部２１１は、レジスタバス１９９を介してＣＰＵ１１０と接続されている。また、前処理部２０１、メモリ制御部２０５には、画像入力部１３０からの入力垂直同期信号（以下、ＩＶＤと略す）を含んだタイミング信号が入力されている。更には、メモリ制御部２０５、後処理部２０７には、液晶制御部１５０からの出力垂直同期信号（以下、ＯＶＤと略す）を含んだタイミング信号が入力されている。
【００５６】
前処理部２０１は、ヒストグラム取得部２０２、入力信号変換部２０３、オフセット・ガンマ補正部２０４から構成される。
【００５７】
ヒストグラム取得部２０２は、画像入力部１３０から入力された入力画像データのヒストグラムを検出する。Ｒ，Ｇ，Ｂ毎に入力画像データの全画素の階調値をヒストグラム化する。もしくは、ＲＧＢ→Ｙｕｖのマトリクス変換によって、輝度値をヒストグラム化してもよい。
【００５８】
入力信号変換部２０３は、液晶素子１５１に適した色空間、解像度へ変換する。具体的には、色空間変換、拡大縮小処理を含む表示レイアウトの変換処理を行う。後述の較正パターン生成部２０８が輝度成分に対する較正パターンを生成する場合には、入力信号変換部２０３で色空間を輝度・色度成分に変換しておいてもよい。
【００５９】
オフセット・ガンマ補正部２０４は、入力された画像に対し、オフセットを加え、ガンマ補正を行う。ガンマ補正は１Ｄ−ＬＵＴを用いた方法でも、計算による変換でもよい。入力信号変換部２０３によって、入力画像が輝度・色度成分に変換されている場合は、輝度のみガンマ補正を行う。
【００６０】
メモリ制御部２０５は、ＩＰ変換やフレームレート変換などの時間軸上の変換処理や、投影画像の形状補正のために使用される画像メモリ２０６のメモリアドレスの発行および画像の書き込み・読み出し制御を行う。いずれのケースにおいても、画像メモリ２０６に対して、ＩＶＤに同期して画像の書き込み制御を行い、ＯＶＤに同期して画像の読み出し制御を行う。
【００６１】
後処理部２０７は、較正パターン生成部２０８、合成部２０９、カラースペース変換部２１２、画像補正部２１０で構成されている。
【００６２】
較正パターン生成部２０８は、投影映像の投影位置もしくは形状の較正のために必要なパターンを生成する。このパターンは公知のものであってよい。例えば図４に示すようなパターンであってもよく、またはＵＳ８９０７７９５で開示されている技術を用いて生成される２次元座標情報をコード化したパターンであってもよい。
【００６３】
合成部２０９は、較正パターン生成部２０８が生成した較正パターンを所定の階調で入力画像に合成（加算もしくは減算により付与）する。
【００６４】
カラースペース変換部２１２は、入力信号変換部２０３で輝度・色度成分に変換している場合に、液晶素子１５１に適した色空間に変換する。
【００６５】
画像補正部２１０は、液晶素子１５１と投影光学系１７１起因の表示むら（色むら、輝度むら）、ディスクリネーションなどの補正処理を行う。更には、液晶素子１５１の階調性に合わせた、ディザを代表とする階調変換やガンマ変換などの画像処理を行う。
【００６６】
出力同期信号生成部２１１は、出力垂直同期信号（ＯＶＤ）を生成するブロックである。出力同期信号生成部２１１は、自身に入力されている不図示のドットクロックのベースとなる基準クロックをカウントしてＯＶＤを生成する。このＯＶＤは、メモリ制御部２０５による画像メモリ２０６の読み出しから後処理部２０７、更には液晶制御部１５０までの処理ブロックを同期化するための基準信号として扱われる。
【００６７】
ここで、図５を用いて、本実施例の液晶プロジェクタ１００の特徴である、黒挿入された投影画像に較正パターンを合成した画像を投影し、更に投影された較正パターンを検出して投影画像の形状補正を行う動作フローについて説明する。
【００６８】
Ｓ５０１では、較正パターン生成部２０８は、前述の構成パターンを生成し、合成部２０９に送る。
【００６９】
Ｓ５０２では、オフセット・ガンマ補正部２０４が入力画像の応じたオフセット・ガンマ補正の実行および、合成部２０９が入力画像に対して較正パターンを加算もしくは減算して合成する。詳細な動作は後述する。
【００７０】
Ｓ５０３では、合成部２０９にて較正パターンが出力された画像は、画像補正部２１０および液晶駆動部１５０を通って液晶素子１５１上に形成され、投影光学系１７１を通して投影される。Ｓ５０４では、撮像部１８０は、Ｓ５０３にて投影された画像を撮影する。この際、撮像部１８０は撮影された画像を較正パターン検出１８１に送る。
【００７１】
Ｓ５０５では、較正パターン検出手段１８１は、撮像部１８０より受信した画像から較正パターンを抽出する。抽出方法は例えば、撮像画像に含まれる投影画像領域を検出し、入力画像と同解像度・アスペクトへ変形し、入力画像との差分を取る。較正パターン検出手段１８１は、さらに、例えば受信した画像を２値化することで画像のノイズを軽減することができる。
【００７２】
Ｓ５０６では、補正パラメータ生成部１８２は、Ｓ５０５で検出されたパターン情報を基にメモリ制御部２０５による画像形状および投影位置の補正パラメータを生成する。１例としては、検出された較正パターンの形状の４頂点の座標から投影画像の補正に必要な射影変換パラメータを生成する方法が挙げられる。ただし、ここでの制御パラメータの生成方法はこれに限るものではなく、公知の技術を含め、どのような手法を使用してもよい。
【００７３】
Ｓ５０７では、メモリ制御部２０５は、Ｓ５０６で生成された補正パラメータに基づいて画像メモリ２０６へのアクセスアドレスを発行し、画像を変形させる。
【００７４】
次に、Ｓ５０２の詳細な動作について、図６のフローチャートを用いて説明する。較正パターンの加算もしくは減算では、入力画像によっては、十分に加算・減算できずに、較正パターン検出が困難になることや、色がずれることによって較正パターンが視認されやすくなることがある。これを解決するために入力画像のヒストグラムから、度数がピークとなる階調と較正パターンの強度との比較から、オフセットおよびガンマの補正を行うことにより、較正パターンが正しく合成される領域を拡大する。Ｓ６０１では、ＣＰＵ１１０が較正パターン生成部２０８から、較正パターンの強度（階調値）を取得する。
【００７５】
Ｓ６０２では、ヒストグラム取得部２０２は、入力された画像のヒストグラムを取得する。このとき、ヒストグラムはＲＧＢ各色の画素値もしくはマトリックス変換によってＲＧＢからＹｕｖに変換し、Ｙ（輝度）のヒストグラムを取得する。例えば、図７（ａ）や図８（ａ）のようになる。これは８ｂｉｔの例となっている。
【００７６】
Ｓ６０３では、ＣＰＵ１１０がＳ６０２で取得したヒストグラムから、度数のピーク値を取得する。例えば、図７（ａ）のヒストグラムであれば、２４２階調のときが度数の最大となっている。図８（ａ）のヒストグラムであれば、７階調のときが度数の最大となっている。
【００７７】
Ｓ６０４では、ＣＰＵ１１０が較正パターン生成部２０８から、較正パターンを加算するか減算するかの設定を取得する。加算の場合はＳ６０５へ移行し、減算の場合はＳ６０８へ移行する。
【００７８】
まず、加算の場合について説明する。Ｓ６０５では、Ｓ６０３で取得したヒストグラムのピークの階調値と、最大階調値２５５からＳ６０１で取得した較正パターンの強度を引いた値を比較し、ピークの階調値が大きい場合に、Ｓ６０６へ移行する。小さい場合にはＳ６０７へ移行する。なお、図７（ｄ）のようなヒストグラムでは、条件に該当しないため、Ｓ６０７へ移行する。Ｓ６０６へ移行するケースでは、入力画像の多くの画素が較正パターンを付与するとオーバーフローしてしまうケースである。
【００７９】
Ｓ６０６では、較正パターンを付与してもオーバーフローする領域が小さくなるように、オフセット・ガンマ補正部２０４で補正を行う。例えば、較正パターンの強度が３３の場合、図７（ａ）のヒストグラムの場合には、入力階調に対し、ガンマを２．６５とすればよい。パターン強度が３３であるので、２４２がピークとなっているのを２２２にすれば、オーバーフローする領域は大きく減少する。０〜２５５を０〜１へ正規化すると、２４２は約０．９５、２２２は約０．８７となる。求めたいガンマはγとおくと、
γ  ＝  ｌｏｇ0.95（０．８７）
で求まり、γ＝２．６５となる。図７（ｃ）のような入出力のカーブとなる。
【００８０】
このとき、（ピーク階調値−（２５５−較正パターンの強度））となる階調分マイナスにオフセットしてもよい。
【００８１】
なお、入力画像に対して、１フレーム前のγ値（例えば、γ＝１）から、γ＝２．６５へ変化させると、画像が急峻に変化してしまう。これを避けるために、時定数を掛けて、徐々に変化させてもよい。徐々に変化させる条件は、たとえば、前フレームで算出されたγ値との差分が所定以下である場合とする。所定以上の差分がある場合は、時定数を掛けずに変化させてもよい。
【００８２】
Ｓ６０７では、合成部２０９がＳ６０６で補正した画像に対し、較正パターンを加算する。較正パターンを加算する場合は上記で較正パターンの合成を終了する。
【００８３】
次に、減算の場合について説明する。Ｓ６０８では、Ｓ６０３で取得したヒストグラムのピークの階調値とＳ６０１で取得した較正パターンの強度を比較し、ピークの階調値が少ない場合はＳ６０９へ進む。パターンの強度が大きい場合は、Ｓ６１０へ進む。
【００８４】
Ｓ６０９では、較正パターンを付与してもアンダーフローする領域が小さくなるように、オフセット・ガンマ補正部２０４で補正を行う。
【００８５】
例えば、較正パターンの強度が２０の場合、図８（ａ）のヒストグラムの場合には、入力階調に対し、ガンマを０．７１とすればよい。パターン強度が２０であるので、７がピークとなっているのを２０にすれば、オーバーフローする領域は大きく減少する。０〜２５５を０〜１へ正規化すると、７は約０．０３、２０は約０．０８となる。求めたいガンマはγとおくと、
γ  ＝  ｌｏｇ0.03（０．０８）
で求まり、γ＝０．７１となる。図８（ｃ）のような入出力カーブとなる。
【００８６】
このとき、（較正パターンの強度−ピーク階調値）となる階調分プラスにオフセットしてもよい。なお、入力画像に対して、１フレーム前のγ値（例えば、γ＝１）から、γ＝０．７１へ変化させると、画像が急峻に変化してしまう。これを避けるために、時定数を掛けて、徐々に変化させてもよい。徐々に変化させる条件は、たとえば、前フレームで算出されたγ値との差分が所定以下である場合とする。所定以上の差分がある場合は、時定数を掛けずに変化させてもよい。
【００８７】
また、本実施例では、入力画像のヒストグラムのピークの階調値と、較正パターンの強度に応じてガンマを補正したが、入力階調のヒストグラムの平均値（ＡＰＬ）や、全度数に対する所定階調よりも大きい階調もしくは小さい階調の割合を条件に補正してもよい。
【００８８】
Ｓ６１０では、合成部２０９がＳ６０６で補正した画像に対し、較正パターンを減算する。較正パターンを減算する場合は上記で較正パターンの合成を終了する。
【００８９】
以上が、本実施例の液晶プロジェクタ１００の特徴である、入力画像と較正パターンの強度に応じて入力画像を補正し、補正画像に較正パターンを合成した画像を投影し、更に投影された較正パターンを検出して投影画像の形状補正を行う動作フローである。
【００９０】
＜実施例２＞
本実施例では、合成部２０９が、較正パターンをフレームごとに加算・減算して合成することで、人間の目には積分効果で視認させずに較正パターンを投影画像に合成する場合のガンマ補正の方法を説明する。この非可視な較正パターンを検出して形状補正に用いる較正により、投影装置の運用を停止することなく形状補正を行うことができる。
【００９１】
本実施例の具体的な動作を図９のフローチャートを用いて説明する。図５のフローチャートのＳ５０２に入ると本実施例の較正パターンの合成を開始する。Ｓ９０１〜Ｓ９０２は実施例１の図６のフローチャートのＳ６０１〜Ｓ６０２と同等の処理である。
【００９２】
Ｓ９０３では、ヒストグラム取得部２０２で取得したヒストグラムのうち、暗部側（例えば階調１２７以下）の度数のピークとなる階調値を取得する。例えば、図１０（ａ）に示すようなヒストグラムを取得している場合、暗部側のピークの階調値は８である。この画像は、暗い部分と明るい部分がはっきりと分かれているような画像である。Ｓ９０４では、Ｓ６０８と同等のため説明を割愛する。Ｓ９０５では、Ｓ６０６と同等の計算を行うが、８ｂｉｔで０〜２５５階調で正規化するのではなく、０〜１２７階調の範囲で正規化して計算を行う。
【００９３】
Ｓ９０６では、ヒストグラム取得部２０２で取得したヒストグラムのうち、明部側（例えば階調１２８以上）の度数のピークとなる階調値を取得する。例えば、図１０（ａ）に示すようなヒストグラムを取得している場合、明部側のピークの階調値は２４２である。Ｓ９０７では、Ｓ６０５と同等のため説明を割愛する。Ｓ９０８では、Ｓ６０９と同等の計算を行うが、８ｂｉｔで０〜２５５階調で正規化するのではなく、１２８〜２５５階調の範囲で正規化して計算を行う。このとき、入出力のカーブは、図（ｂ）のようなカーブとなる。
【００９４】
Ｓ９０９では、合成部２０９が較正パターンを合成するフレームが第一フレームか第二フレームかをＣＰＵ１１０が判断する。第一フレームの場合は、Ｓ９１０へ進み、第二フレームの場合は、Ｓ９１２へ進む。本実施例では、第一フレームに較正パターンを減算し、第二フレームに較正パターンを加算することとする。Ｓ９１０では、Ｓ９０８までで補正された画像に対し、合成部２０９が較正パターンを減算して合成する。Ｓ９１１では、Ｓ９０８までで補正された画像に対し、合成部２０９が較正パターンを加算して合成する。
【００９５】
以上の手順にて画像に合成された較正パターンは、投影画像のフレームレートが例えば１２０Ｈｚや２４０Ｈｚなど十分に速い場合には、人間の目には２フレーム間の積分効果により打ち消されて視認されない。そして、投影画像のみが視認される。
【００９６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９７】
１００  液晶プロジェクタ
１１０  ＣＰＵ
２００  画像処理部
２０１  前処理部
２０２  ヒストグラム取得部
２０３  入力信号変換部
２０４  オフセット・ガンマ補正部
２０７  後処理部
２０８  較正パターン生成部
２０９  合成部
２１０  画像補正部
２１１  出力同期信号生成部
２１２  カラースペース変換部
１５０  液晶制御部
１５１  液晶素子
１６１  光源
１７１  投影光学系
【図１】
2019109269.tif 000003
【図２】
2019109269.tif 000004
【図３】
2019109269.tif 000005
【図４】
2019109269.tif 000006
【図５】
2019109269.tif 000007
【図６】
2019109269.tif 000008
【図７】
2019109269.tif 000009
【図８】
2019109269.tif 000010
【図９】
2019109269.tif 000011
【図１０】
2019109269.tif 000012