(57)【要約】【課題】画像データに幾何変形処理を適用する画像処理装置およびその制御方法において、使い勝手のよい補正量の変更機能を提供すること。【解決手段】それぞれが、画像データの複数の色成分の１つに対して変形処理を適用可能な、複数の変形部を有する。複数の変形部に変形量を送信する際、色成分ごとに変形を行う場合には変形量を変形部ごとに送信し、複数の色成分に共通した変形を行う場合には複数の変形部に変形量を一括送信する。複数の変形部のそれぞれは、送信される変形量を現在の変形量に反映した変形量に従って変形処理を適用する。【選択図】  図２
2018189923.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが、画像データの複数の色成分の１つに対して変形処理を適用可能な、複数の変形手段と、
前記複数の変形手段に変形量を送信する送信手段と、
を有し、
色成分ごとに変形を行う場合には、前記送信手段は前記複数の変形手段ごとに変形量を送信し、前記複数の色成分に共通した変形を行う場合には、前記送信手段は前記複数の変形手段に変形量を一括送信し、
前記複数の変形手段のそれぞれは、
現在の変形量を記憶する記憶手段を有し、
前記記憶手段に記憶された変形量に前記送信手段から送信される変形量を反映した変形量に従って前記変形処理を適用する、
ことを特徴とする画像処理装置。
【請求項２】
前記色成分ごとの変形量が、前記複数の色成分の相対位置を補正するための変形量であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の色成分に共通した変形量が、幾何補正のための変形量であることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記送信手段は、ユーザ指示に応答した前記色成分ごとの変形量または前記複数の色成分に共通した変形量を送信することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記変形量が、画像データの代表点についての、初期位置からの移動量であることを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記送信手段は、前記複数の変形手段における前記変形処理のうち、前記複数の色成分に共通した変形を初期化する場合、前記複数の色成分に共通した変形量の積算量の符号を反転し、前記複数の変形手段に一括送信することを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
それぞれが、画像データの複数の色成分の１つに対して変形処理を適用可能な、複数の変形手段と、
前記複数の変形手段に現在設定されている変形量を記憶する記憶手段と、
前記記憶手段に記憶された変形量に、外部から受信した変形量を反映した変形量を前記複数の変形手段に設定する設定手段と、
を有し、
前記複数の変形手段のそれぞれは、前記設定手段が設定した変形量に従って前記変形処理を適用する、
ことを特徴とする画像処理装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の画像処理装置と、
前記複数の変形手段の出力する画像データに基づく光学像を合成して投影する投影手段と、
を有することを特徴とする投影表示装置。
【請求項９】
それぞれが、画像データの複数の色成分の１つに対して変形処理を適用可能な、複数の変形手段を有する画像処理装置の制御方法であって、
送信手段が、前記複数の変形手段に変形量を送信する送信工程と、
前記複数の変形手段のそれぞれが、現在の変形量を記憶する記憶手段に記憶された変形量に前記送信手段から送信された変形量を反映した変形量に従って前記変形処理を適用する変形工程を有し、
色成分ごとに変形を行う場合には、前記送信工程において前記送信手段は前記複数の変形手段ごとに変形量を送信し、前記複数の色成分に共通した変形を行う場合には、前記送信工程において前記送信手段は前記複数の変形手段に変形量を一括送信する、
ことを特徴とする画像処理装置の制御方法。
【請求項１０】
それぞれが、画像データの複数の色成分の１つに対して変形処理を適用可能な、複数の変形手段を有する画像処理装置の制御方法であって、
送信手段が、前記複数の変形手段に変形量を送信する送信工程と、
前記複数の変形手段のそれぞれが、現在設定されている変形量を記憶する記憶手段に記憶された変形量に前記送信手段から送信された変形量を反映した変形量に従って前記変形処理を適用する変形工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１から請求項７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびその制御方法、ならびに投影表示装置に関する。
【背景技術】
【０００２】
近年、色成分ごとに光変調素子を持つ３板式の投影表示装置（プロジェクタ）が広く用いられている。３板式の投影表示装置では、色成分ごとの光学像を合成して投影像を形成するため、組立誤差などによって合成する光学像間にずれが生じうる。このようなずれを以下では画素ずれと呼ぶ。３板式の投影表示装置では、画素ずれを補正するための機能（アライメント、レジストレーションなどと呼ばれる）を有している。
【０００３】
また、画像データに幾何変形処理を適用する機能を有する投影表示装置がある。幾何変形は、光学系の収差や投影面と光軸とが直交しないことによる投影像の歪みを補正するために用いられる。また、複数の投影像を並べることで大きな１つの投影像を形成するマルチ投影や、複数の投影像を重ねることで明るい投影像を形成したりするスタック投影において、自身の投影像を他の投影像と位置合わせする場合にも画像データに幾何変形処理を適用する。幾何変形を用いた投影像の補正を幾何補正と呼ぶ。画素ずれ補正も、幾何補正も、画像データに幾何変形処理を適用することによって実現できる。
【０００４】
特許文献１には、画素ずれ補正用の補正テーブル、幾何補正用の補正テーブル、画素ずれおよび幾何補正用の補正テーブルを予め用意して、画素ずれ補正と幾何補正とを選択的に実行可能な投影表示装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−０８７７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、補正の種類とその組み合わせごとに予め補正テーブルを用意しておかなくてはならず、特に装置の表示解像度が高い場合には補正テーブルの記憶容量が膨大になる。また、特許文献１では、補正テーブルに記憶された補正量を変更する方法について開示が無い。
【０００７】
本発明はこのような従来技術の課題に鑑みてなされたものである。本発明の目的の１つは、画像データに幾何変形処理を適用する画像処理装置およびその制御方法において、使い勝手のよい補正量の変更機能を提供することにある。
【課題を解決するための手段】
【０００８】
上述の目的は、それぞれが、画像データの複数の色成分の１つに対して変形処理を適用可能な、複数の変形手段と、複数の変形手段に変形量を送信する送信手段と、
上述の目的は、を有し、色成分ごとに変形を行う場合には、送信手段は複数の変形手段ごとに変形量を送信し、複数の色成分に共通した変形を行う場合には、送信手段は複数の変形手段に変形量を一括送信し、複数の変形手段のそれぞれは、現在の変形量を記憶する記憶手段を有し、記憶手段に記憶された変形量に送信手段から送信される変形量を反映した変形量に従って変形処理を適用する、ことを特徴とする画像処理装置によって達成される。
【発明の効果】
【０００９】
本発明によれば、画像データに幾何変形処理を適用する画像処理装置およびその制御方法において、使い勝手のよい補正量の変更機能を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る投影表示装置の機能構成例を示すブロック図
【図２】（ａ）は図１の画像変形部の機能構成例を示すブロック図、（ｂ）は幾何補正に関する構成要素を抽出した図
【図３】（ａ）は画素ずれの例を、（ｂ）は光学系の倍率色収差の例を示す図
【図４】キーストーン補正の例を示す図
【図５】実施形態で用いるテストパターンの例を示す図
【図６】実施形態に係る位置調整動作のフローチャート
【図７】位置調整における画素移動を実現する方法の例を示す図
【図８】実施形態の効果を説明するための図
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。なお、ここで説明する実施形態は発明を限定するものでなく、実施形態で説明される構成の全てが発明に必須とは限らない。例えば、以下では本発明に係る画像処理装置を適用可能な投影表示装置の一例としての、複数の光変調素子に液晶パネルを用いたプロジェクタの実施形態について説明する。しかし、光変調素子にマイクロミラーを用いた構成であってもよい。また、液晶パネルは透過型でも反射型でもよい。
【００１２】
また、図面における個々の機能ブロックは独立したハードウェアによって実現されてもよいし、複数の機能ブロックが１つのハードウェアによって実現されてもよい。また、複数のハードウェアが連携して１つあるいは２つ以上の機能ブロックを実現してもよい。また、メモリに読み込まれたプログラムを１つ以上のプログラマブルプロセッサが実行することによって１つ以上の機能ブロックが実現されてもよい。
【００１３】
図１は、本実施形態に係る投影表示装置の一例としての３板式液晶プロジェクタ１００（以下、単にプロジェクタ１００と呼ぶ）の機能構成例を示すブロック図である。
プログラマブルプロセッサ（ＣＰＵ）２１０は、例えばＲＯＭ２１２に記憶されたプログラムをＲＡＭ２１１に読み込んで実行することにより、プロジェクタ１００の各部を制御し、プロジェクタ１００の機能を実現する。なお、ＣＰＵ２１０は複数のプロセッサで構成されていてもよい。
【００１４】
書き換え可能であってよいＲＯＭ２１２は、ＣＰＵ２１０が実行するためのプログラムのほか、設定値、ユーザインタフェースなどの表示用データなどが記憶されている。ＲＡＭ２１１は、ＣＰＵ２１０が、実行するプログラム、プログラムの実行に必要な情報、画像データなどを一時的に記憶するために用いるシステムメモリである。
【００１５】
操作部２１３は、ユーザがプロジェクタ１００に指示を与えるための入力デバイス群である。操作部２１３が有する入力デバイスの種類に制限はないが、スイッチ、ボタン、ダイヤル、タッチパネルなどが代表例である。操作部２１３はユーザ操作の内容をＣＰＵ２１０に送信する。また、操作部２１３はリモートコントローラの信号を受信してＣＰＵ２１０に送信する機能を有してもよい。ＣＰＵ２１０は、操作部２１３から受信した信号に応じた動作を実行する。
【００１６】
通信部２８３は、外部機器との通信機能を提供する。通信部２８３は例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＨＤＭＩ（登録商標）など、公知の規格の１つ以上に準拠した通信インタフェースを有する。通信部２８３は例えばパーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモートコントローラなど、様々な電子機器と通信可能である。ＣＰＵ２１０は、通信部２８３を通じて外部機器から画像データや制御信号を受信したり、プロジェクタ１００の情報を外部機器に送信したりすることができる。なお、通信部２８３は記憶装置（半導体メモリやハードディスクドライブなど）からデータを取得することもできる。
【００１７】
画像処理部２４０は、通信部２８３を通じて取得した画像データや、ＣＰＵ２１０から供給された画像データに画像処理を適用して投影用画像データを生成し、画像変形部２９０に送信する。画像処理部２４０はＧＰＵのような画像処理プロセッサであってもよいし、実際にはＣＰＵ２１０がプログラムを実行することによって画像処理部２４０の機能を実現してもよい。
【００１８】
画像処理部２４０が適用可能な代表的な画像処理には、フレーム間引き／補間処理、解像度変換（スケーリング）処理、輝度補正処理、色補正処理、ノイズ低減処理などがある。画像処理部２４０は、位置合わせ用のテストパターンなど、プロジェクタ１００の調整や設定に用いる投影用画像データを生成して画像変形部２９０に送信することもできる。
【００１９】
画像変形部２９０は、画像処理部２４０から供給される投影画像データに対し、ＣＰＵ２１０の指示に応じた幾何変形処理を適用して光変調素子駆動部２５０に出力する。画像変形部２９０（場合によりさらにＣＰＵ２１０）は、本発明に係る画像処理装置を構成する。なお、画像データの幾何変形処理とは、画像データが表す画像が幾何変形するように画像データの画素値を変更する処理をいう。
【００２０】
図２（ａ）は画像変形部２９０の機能構成例を示すブロック図である。画像変形部用メモリ２９１は、画像変形処理部２９３に現在設定されている変形量（補正値）を記憶する。加算器２９２は、画像変形部用メモリ２９１に記憶されている補正値を、レジスタバス２００を通じて外部（ＣＰＵ２１０）から受信した補正値を加算することで更新し、新たに設定する補正値として画像変形処理部２９３に出力する。画像変形処理部２９３は、加算器２９２が出力する補正値に基づいて、画像処理部２４０からの投影画像データに変形処理を適用する。なお、画像変形処理部２９３は、幾何変形も画素ずれ調整も不要な場合、実質的には変形処理を適用しない。本実施形態で画像変形部２９０は、色成分ごとに設けられている。
【００２１】
図１に戻り、光源制御部２３０は、例えばマイクロプロセッサであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどの光源２６０のオン／オフおよび光量を制御をする。光源制御部２３０はマイクロプロセッサであってもよいし、実際にはＣＰＵ２１０がプログラムを実行することによって光源制御部２３０の機能を実現してもよい。
【００２２】
光源２６０が発する光は、例えば、ダイクロイックミラーやプリズムなどからなる色分離部２６１で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光に分離される。なお、赤、緑、青の光を独立して出射可能な光源２６０を用いる場合、色分離部２６１は不要である。
【００２３】
赤色光、緑色光、青色光はそれぞれ独立して光変調素子２７０Ｒ、２７０Ｇ、２７０Ｂを照射する。光変調素子駆動部２５０は、画像変形部２９０からの画像データに基づいて、画像の色成分ごとに、画素の値に応じた透過率を実現する制御信号を生成する。そして、光変調素子駆動部２５０は生成した制御信号によって本実施形態においては透過型液晶パネルである光変調素子２７０Ｒ、２７０Ｇ、２７０Ｂを駆動する。光変調素子２７０Ｒ、２７０Ｇ、２７０Ｂは、光変調素子駆動部２５０の駆動により、それぞれ赤色光、緑色光、青色光の透過率を例えば画素ごとに調整する。光変調素子駆動部２５０は実際には色成分ごとに設けられている。
【００２４】
色合成部２８０は、例えば、ダイクロイックミラーやプリズムを有し、光変調素子２７０Ｒ、２７０Ｇ、２７０Ｂを透過した赤色（Ｒ）光学像、緑色（Ｇ）光学像、青色（Ｂ）光学像を合成する。色合成部２８０により合成されたフルカラー光学像は、投影光学系２８１に入射する。投影光学系２８１は、複数のレンズおよびレンズ駆動用のアクチュエータなどを有し、色合成部２８０から入射する合成光学像を投影する。光変調素子２７０Ｒ、２７０Ｇ、２７０Ｂの各画素の透過率は、画像変形部２９０から受信する画像データの各色成分に基づいて光変調素子駆動部２５０により制御されている。画像変形部２９０の出力する画像データは画像処理部２４０の出力する画像データに基づいているため、投影光学系２８１がスクリーン（投影面）に投影する投影像は、画像処理部２４０の出力する画像データに対応する画像である。
【００２５】
なお、本明細書では、投影面に表示されている光学像を投影像、投影像の元となる画像データ（光変調素子駆動部２５０が制御に用いる画像データ）を投影画像データと呼ぶ。投影光学系２８１が有する可動レンズをアクチュエータにより駆動することで、投影像の拡大および縮小や、焦点調整などを行うことができる。
【００２６】
投影光学系２８１は、ＣＰＵ２１０が投影光学制御部２８２を通じて駆動する。ＣＰＵ２１０は例えば操作部２１３を通じて例えば拡大や縮小の指示を受信すると、投影光学制御部２８２に指示を送信する。投影光学制御部２８２は指示に応じた駆動信号を生成し、投影光学系２８１に供給して投影光学系２８１を制御する。投影光学制御部２８２はプロセッサであってもよいし、実際にはＣＰＵ２１０がプログラムを実行することによって投影光学制御部２８２の機能を実現してもよい。
【００２７】
図２（ｂ）は、プロジェクタ１００のうち、投影像生成に関する主な構成を抜粋して模式的に示した図である。上述の通り、画像変形部２９０と光変調素子駆動部２５０は色成分ごとに設けられている。これは投影画像データを構成する複数の色成分（一般的にはＲＧＢ）のそれぞれについて、独立した変形処理を可能とするためである。
【００２８】
ＣＰＵ２１０と画像変形部２９０Ｒ、画像変形部２９０Ｇ、画像変形部２９０Ｂは、レジスタバス２００で相互接続されている。レジスタバス２００にはチップ選択信号線が含まれ、通信相手の選択に用いられる。例えばＣＰＵ２１０が画像変形部２９０Ｒ〜２９０Ｂのうち、画像変形部２９０Ｒだけに命令を送信する場合には、レジスタバス２００を通じて画像変形部２９０Ｒだけを選択した状態で命令を送信する。ＣＰＵ２１０はレジスタバス２００に接続している１つ以上の任意の処理ブロックを選択することで、選択した処理ブロックだけと通信することができる。
【００２９】
図３（ａ）は、プロジェクタ１００の投影像で観察される色ずれ（画素ずれ）を模式的に示している。プロジェクタ１００は、フルカラーの投影画像データを分離した色プレーン画像データに基づいて光学変調素子を制御し、色プレーン画像データのそれぞれを対応する光学像に変換する。そして、プロジェクタ１００は、色成分ごとの光学像を色合成部２８０によって合成してフルカラーの合成光学像を形成する。このように、プロジェクタ１００内では色成分への分離と、分離した色成分の再合成が行われる。例えば光学変調素子の取り付け誤差や経時変化などにより、色成分の光学像の相対位置がずれると、この位置ずれは、図３（ａ）に示すように投影像における色ずれ（画素ずれ）として観察される。
【００３０】
このような、投影像における色ずれは、光学系の倍率色収差によっても生じうる。倍率色収差は、光の波長による屈折率の違いが光学像の倍率の違いとして現れる現象であり、光軸から離れた位置で色ずれとして観察される。
【００３１】
図３（ｂ）は緑色光（Ｇ）を基準とした赤色光（Ｒ）と青色光（Ｂ）の倍率色収差の例を示している。縦軸は倍率色収差の量であり、横軸は光軸からの距離（像高）である。プロジェクタ１００の投影像には、光学系の倍率色収差により、光軸からの像高に応じた色ずれが発生する。図３（ｂ）に示すように、像高と倍率色収差の量との関係は一定では無く、また色によって異なる。
【００３２】
また、製造誤差などにより光学系が有する固有の歪みは、投影像の歪みとして観察される。光変調素子２７０の画素数が少なければ、画素サイズが比較的大きいため、画素あたりの光学系の歪みの影響は小さい。そのため、光学系の歪みが投影像の画質に与える影響はあまり問題にならない。しかし、いわゆる４Ｋ解像度（約８００〜９００万画素）以上の画素数となり、画素サイズが小さくなってくると、画素あたりの光学系の歪みの影響が相対的に大きくなる。そのため、光学系の歪みが投影像の画質に与える影響が無視できなくなり、光学系の歪みに起因する投影像の歪みを補正する必要性が高くなる。
【００３３】
なお、光学系の特性（収差や歪み）以外を原因とした投影像の歪みには、光軸と投影面とが直交しないことによる投影像の台形歪み（キーストーン歪みとも呼ばれる）がある。図４（ａ）は、プロジェクタ１００に正対する投影面に対し、光軸が上方を向いている場合の投影像の例を示し、投影像は上部ほど左右に拡大している。図４（ｂ）は図４（ａ）の状態で、投影画像データを変形処理の適用によって幾何補正してから投影した例を示している。具体的には、投影画像データに上部ほど左右が縮小されるような変形処理を適用して幾何補正してから投影することにより、投影像の台形歪みを補正することができる。
幾何変形によるキーストーン歪みの補正は、キーストーン補正とも呼ばれている。
【００３４】
この幾何補正で用いる補正量は、例えばユーザによる対話的な操作によって決定されてよい。具体的には操作部２１３に幾何変形によって拡大される辺の向き（上下左右）を指示するボタンを設ける。ユーザは、投影像を観察しながら、投影像の上部（下部）の拡大を強めたい（弱めたい）場合には上方向のボタンを、上部（下部）の拡大を弱めたい（強めたい）場合には下方向のボタンを操作する。左右方向についても同様である。ＣＰＵ２１０は、操作されたボタンに応じて、ボタンが操作されるごとに所定量ずつ拡大の程度を変更するよう、画像変形部２９０を制御する。
【００３５】
なお、幾何補正は例えば１ライン単位で均等に拡大や縮小するといった比較的単純な幾何変形によって実現できる。しかし、光学系の歪みに起因する投影像の歪みを補正したり、エッジブレンディングやスタック投影などで投影像間の位置合わせをしたりするためには、例えば１画素未満といった、より細かな単位で、かつ、複雑な幾何変形が必要となる。
【００３６】
このように投影像の位置調整は、色ずれ（画素ずれ）補正（レジストレーション、アライメントとも呼ぶ）のような色成分ごとの位置調整と、色成分に共通した幾何変形を適用する位置調整（幾何補正）とに大別される。光学系に起因する投影像の歪みを補正する処理（ワーピング）、キーストーン補正処理、投影像間の位置合わせは、幾何補正に含まれる。なお、色ずれ補正は画面単位で位置を調整する方法と、画面の領域単位で位置を調整する方法とがあるが、ここでは後者について説明する。
【００３７】
図５は投影画像の画素位置を領域に応じて調整するためのテストパターンの一例を示す。具体的には、投影画像を分割した複数の領域の頂点に相当する画素（代表点）の位置を調整するためのテストパターンである。テストパターンは、投影画像の代表点を色成分ごとに１画素幅のグリッド（またはメッシュ）の交点として模式的に示す。つまり、投影画像の色成分がＲＧＢであれば、テストパターンはＲのグリッド、Ｇのグリッド、Ｂのグリッドから構成される。
【００３８】
光変調素子２７０間のずれや光学系の歪みが存在しない場合など、色成分間で画素ずれが発生していなければ、各グリッドは完全に重畳するため、テストパターンの投影像は一様に白色のグリッドとして観察される。しかし、画素ずれが発生していれば、ずれの生じている位置と色成分とがグリッドのずれとして観察される。なお、図５では便宜上代表点に○を付けているが、○を付けなくてもよい。
【００３９】
次に、本実施形態のプロジェクタ１００の位置調整動作を、図６のフローチャートを用いて説明する。なお、図６のフローチャートの動作は、例えば操作部２１３の操作により、位置調整の実行が指示された際に開始される。なお、以下では便宜上、指示は操作部２１３を通じて与えられるものとするが、通信部２８３を通じてリモコンや外部機器から受信してもよい。
【００４０】
Ｓ６０２でＣＰＵ２１０は、位置調整用のテストパターンのデータをＲＯＭ２１２から読み出し、画像処理部２４０および光変調素子駆動部２５０を通じて投影する。テストパターンは例えば図５に示したものであってよいが、他のテストパターンであってもよい。
【００４１】
Ｓ６０３でＣＰＵ２１０は、画素ずれ調整を実行するか否かを判定し、画素ずれ調整を実行すると判定されればＳ６０４へ、実行しないと判定されればＳ６１０へ、処理を進める。ＣＰＵ２１０は例えばユーザから画素ずれ調整の実行が指示されたことを検出した場合には画素ずれ調整を実行すると判定し、ユーザから幾何補正の実行が指示されたことを検出した場合には画素ずれ調整を実行しないと判定する。なお、Ｓ６０２で説明したテストパターンの表示処理は、Ｓ６０３の前ではなく、Ｓ６０３からＳ６０４へ移行する際に実行してもよい。
【００４２】
Ｓ６０４〜Ｓ６０９でＣＰＵ２１０は、画像変形部２９０を用いて、画素ずれ調整のために色プレーン画像ごとの幾何変形処理を実行する（単色変形モード）。画素ずれ調整は複数の色成分（ここではＲＧＢ成分）の１つを基準色成分として、残り２つの色成分のそれぞれに対して実行する。基準色成分はユーザ設定に従ってもよいが、本実施形態ではＧ成分を基準色成分とする。これは、ＲＧＢ成分のうちＧ成分がＲ成分より短くＢ成分より長い波長を有するため、ＲやＢ成分を基準色成分とした場合よりも画素ずれ調整のための変形量を小さくできるからである。また、基準色成分以外の２つの色成分を、便宜上、色成分１，２とする。ここでは一例として色成分１をＲ成分とするが、Ｂ成分としてもよい。
【００４３】
Ｓ６０４でＣＰＵ２１０は色成分１についての画素ずれ調整処理を実行する。画素ずれ調整は対話的に実行することができる。具体的には、ＣＰＵ２１０は、操作部２１３を通じて指定された代表点の位置を、操作部２１３を通じて指示された方向に、指示の入力に応じて一定量ずつ移動させる。ユーザはまず、テストパターンのうち、赤のグリッドが見えている部分の近傍の代表点を１つ、操作部２１３を通じて選択する。そして、赤のグリッドが基準色成分のグリッドと重なって表示されるように代表点を移動させる。例えば赤のグリッドが左にずれている箇所があれば、ユーザはその近傍の代表点を選択し、右に移動する指示を入力する。ＣＰＵ２１０は指示が入力されるごとに、選択されている代表点の位置を指定された方向に一定量移動させるよう画像変形部２９０Ｒに指示する。
【００４４】
画像変形部２９０Ｒは、指示された代表点の表示位置が、指示された方向に一画素以下の一定量移動するように投影画像データを変更する。図７（ａ）は画素を水平または垂直方向の位置ｎからｎ＋１への１画素分の移動を表している。一方、図７（ｂ）は、画素を水平または垂直方向の位置ｎからｎ＋０．５への０．５画素分の移動を表している。一画素未満の移動は例えば、移動後の位置に画素の重心輝度値を移動することで実現することができる。具体的には、ｎ＋０．５の位置への移動は、位置ｎの輝度値を、位置ｎと位置ｎ＋１に半分ずつ振り分けることによって表現する。つまり、位置ｎについては輝度値×０．５、位置ｎ＋１については元の輝度値＋位置ｎの輝度値×０．５とする。これにより、移動前の位置ｎの輝度値の重心位置が、位置ｎ＋０．５の位置に移動したことになる。
【００４５】
同様に、位置ｎ＋０．１画素への移動は、位置ｎの輝度値を、位置ｎに０．９、位置ｎ＋１に０．１割り当てることによって表現することができる。なお、選択されている代表点と隣接する代表点との間の画素については、２つの代表点の補間によって移動させる。このように、画素移動は、指定された代表点に対応する画素とその近傍の複数の画素について、周辺画素の値を用いた重み付け演算などによって値を再計算することで実現できる。各代表点の画素ずれ調整値は、画素の初期位置を基準とした水平方向と垂直方向への画素の移動量で表される。ユーザの操作を投影像に直ちに反映させることにより、ユーザは投影像を観察しながら画素ずれを補正するための適切な補正量を指示することができる。
【００４６】
Ｓ６０５でＣＰＵ２１０は、色成分１の画素ずれ調整の終了指示があったか否かを判定し、終了指示があったと判定されればＳ６０６に処理を進め、判定されなければＳ６０４に処理を戻す。終了指示は例えば操作部２０３の特定の操作であってよい。
【００４７】
Ｓ６０６でＣＰＵ２１０は、色成分１であるＲ（赤）成分についての画素ずれ調整値（補正量）を、画像変形部２９０Ｒが有する画像変形部用メモリ２９１に記憶する。画素ずれ調整値は、代表点についてだけ記憶してもよいし、初期位置から移動される全ての画素について記憶してもよい。
【００４８】
Ｓ６０７〜Ｓ６０９でＣＰＵ２１０は、色成分２であるＢ（青）成分についての画素ずれ調整動作をＳ６０４〜Ｓ６０６と同様に実行する。Ｓ６０９で色成分２の画素ずれ調整の終了指示があったと判定されると、ＣＰＵ２１０はＳ６１０に処理を進める。なお、色成分１の画素ずれ調整からやり直す旨の指示が検出された場合、ＣＰＵ２１０が処理をＳ６０４に戻すようにしてもよい。
【００４９】
なお、Ｓ６０４およびＳ６０７において、ユーザが投影像を観察しながら画素ずれを調整する代わりに、ＣＰＵ２１０が自動的に画素ずれを調整することもできる。具体的には、ＣＰＵ２１０は、投影像を撮影して得られた画像を例えば画像処理部２４０で解析させて、画素ずれの発生箇所および発生量を検出する。そして、検出結果に基づき、ＣＰＵ２１０は画素ずれを打ち消すために位置の調整が必要な画素と、画素ごとの補正量を決定する。
【００５０】
また、Ｓ６０５およびＳ６０８における調整終了の判定も、ＣＰＵ２１０が投影像の撮影画像に基づいて自動的に実行してもよい。
また、ここでは色成分１，２の両方について画素ずれ調整を行うものとしたが、いずれか一方で済めば他方の調整は必要はない。また、ＲＧＢ成分のうち、ユーザの選択した色成分について画素ずれ調整を行い、画素ずれ調整の完了が指示されたと判定されたら（あるいは投影像の撮影画像に基づいて画素ずれ調整が完了したと判定されたら）処理をＳ６１０に進めてもよい。
【００５１】
以上説明したように、画素ずれ調整のように色成分ごとに異なる補正量が設定される処理では、ＣＰＵ２１０から画像変形部ごとに補正量を送信する（Ｓ６０６およびＳ６０９）。本実施形態ではＧ（緑）成分については画素ずれ調整を行わないため、画像変形部２９０Ｇには補正量を送信しない。しかし、Ｇ成分についても画素ずれ調整を行った場合には、画像変形部２９０Ｇへの補正量の送信が実行される。つまり、色成分ごとの補正に関しては、補正した色成分の数に等しい回数の通信がＣＰＵ２１０から１つの画像変形部２９０に対して実行される。
【００５２】
Ｓ６１０でＣＰＵ２１０は、幾何補正を実行するか否かを判定し、幾何補正を実行すると判定されればＳ６１１へ、実行しないと判定されればＳ６１３へ、処理を進める。ＣＰＵ２１０は例えばユーザから幾何補正の実行が指示されたことを検出した場合には幾何補正を実行すると判定し、ユーザから位置調整動作の終了が指示されたことを検出した場合には幾何補正処理を実行しないと判定する。なお、幾何補正の実施前にユーザから画素ずれ調整の実行が再度指示されたことを検出した場合、ＣＰＵ２１０は処理をＳ６０４に戻す。なお、幾何補正の実行指示は、光学系に起因する投影像の歪みを補正する処理（ワーピング）、キーストーン補正処理、投影像間の位置合わせなど、色成分に共通した変形を行う処理のいずれかの実行指示であってよい。
【００５３】
Ｓ６１１〜Ｓ６１２でＣＰＵ２１０は、画像変形部２９０を用いて、全ての色プレーン画像に共通した幾何変形処理を適用する幾何補正を実行する（全色共通変形モード）。
Ｓ６１１で実行する幾何補正処理は、操作部２１３を通じたユーザの指示に応じてＣＰＵ２１０が画像変形部２９０を用いて投影画像データに変形処理を適用し、ユーザ指示を投影像に反映させる点は画素ずれ調整と共通である。ただし、Ｓ６１１では全ての色成分について同じ変形処理を適用する点で異なる。
【００５４】
つまり、Ｓ６１１において幾何変形量を変更するユーザ指示が検出されると、ＣＰＵ２１０は、レジスタバス２００を通じて画像変形部２９０Ｒ、２９０Ｇ、２９０Ｂを全て選択した状態で補正量を送信する。送信する補正量は、現在の幾何補正量からの変更量（相対的な幾何補正量）である。個々の画像変形部２９０では、受信した補正量と画像変形部用メモリ２９１に記憶されている現在の補正量とを加算器２９２で加算することで補正量を更新する。そして、更新した補正量を画像変形処理部２９３に供給するとともに、画像変形部用メモリ２９１に現在の補正量として記憶する。
【００５５】
この補正量は、画像変形部２９０のそれぞれで、画像変形部用メモリ２９１に記憶されている画素ずれ調整値と加算されて画像変形処理部２９３に供給される。これにより、色成分ごとの補正値を用いる画素ずれ調整処理と、色成分に共通した補正値を用いる幾何補正処理の両方を反映した幾何変形を１つの画像変形処理部２９３で実現することができる。また、色成分ごとの補正値を個々の画像変形部２９０に記憶しておき、画像変形部２９０内で反映させるようにしたので、色成分に共通した補正値については複数の画像変形部２９０に一括して送信することができる。
【００５６】
なお、Ｓ６１１では、幾何補正処理の種類に応じて、画素ずれ調整に用いるテストパターンとは異なる投影画像データを変更してもよい。また、調整方法も、幾何補正処理の種類に応じて異ならせてもよい。例えば、キーストーン補正では領域ごとの調整は不要なので、図４を用いて説明したように、拡大を強めたい（弱めたい）方向を指定させる方法を用いることができる。一方、エッジブレンドやスタック投影などにおける投影像間の位置合わせのように、領域ごとの幾何変形が必要な場合には、図５に示したテストパターンを用いた代表点ごとの位置調整を行うことができる。ただし、代表点の選択、移動操作は全色成分に反映される。また、ユーザ操作に応じた単位移動量についても、キーストーン補正では１画素以上の単位とし、投影像間の位置合わせでは１画素未満の単位とするなど、幾何補正処理の種類に応じて異ならせることができる。ＣＰＵ２１０は、このような幾何補正処理の種類に応じた情報を、例えばＲＯＭ２１２を参照して取得することができる。
【００５７】
Ｓ６１２でＣＰＵ２１０は、幾何補正の終了指示があったか否かを判定し、終了指示があったと判定されればＳ６１３に処理を進め、判定されなければＳ６１１に処理を戻す。終了指示は例えば操作部２０３の特定の操作であってよい。ここでもＳ６０５やＳ６０８と同様に、ＣＰＵ２１０が投影像の撮影画像に基づいて幾何補正の終了を判定してもよい。
【００５８】
Ｓ６１３でＣＰＵ２１０は、Ｓ６０３で表示したテストパターンを消去させる。ＣＰＵ２１０は、テストパターンの出力を終了し、通信部２８３から入力される画像データに基づく投影画像データを出力するよう、画像処理部２４０に指示し、位置調整動作を終了する。
【００５９】
本実施形態の効果について説明する。画像変形部が画像変形部用メモリおよび加算器を有していない場合、ＣＰＵから画像変形処理部に補正量を直接設定する必要がある。したがって、色成分ごとの補正量を用いる第１の幾何変形処理（例えば画素ずれ調整）と、色成分に共通した補正量を用いる第２の幾何変形処理（例えばキーストーン補正）の両方を反映した幾何変形を実行する場合、ＣＰＵが補正量を加算しなければならない。そのため、例えば図６のＳ６１１においてユーザ指示を投影像に反映させる場合、ＣＰＵから画像変形部２９０のそれぞれに順次個別の補正量を送信する必要がある。
【００６０】
これに対し本実施形態では、画像変形部２９０が画像変形部用メモリ２９１と加算器２９２とを備え、画像変形部２９０内で補正値を更新する構成とした。そのため、色成分に共通した補正量については、ＣＰＵから全ての画像変形部２９０に同じ補正量を一括して送信すればよい。その結果、Ｓ６１１において、ユーザ操作による位置調整が投影像に反映されるまでの時間を短縮することができる。
【００６１】
この違いを図８に模式的に示す。画素ずれ調整時の補正量の送信については、画像変形部２９０が画像変形部用メモリ２９１と加算器２９２とを備えていてもいなくても差はない。しかし、その後、幾何補正を実施する場合、画像変形部２９０が画像変形部用メモリ２９１と加算器２９２とを備えない構成では代表点の移動操作があるごとに、ＣＰＵから画像変形部２９０Ｒ、２９０Ｇ、２９０Ｂのそれぞれに補正量を送信する必要がある。それに対し、本実施形態では、画素ずれ調整の補正量が画像変形部用メモリ２９１に保存されているため、幾何補正の補正量については画像変形部２９０Ｒ、２９０Ｇ、２９０Ｂの全てを選択して一括送信すればよい。
【００６２】
例えば画素ずれ調整後の幾何補正で代表点の移動操作が２回あったとする。この場合、画像変形部２９０が画像変形部用メモリ２９１と加算器２９２とを備えない構成ではＣＰＵ２１０はレジスタバスを通じて色成分ごとに画像変形部２９０を選択して（代表点数）×８回分の設定を行う必要があった。これに対し本実施形態の構成では、設定の回数は（代表点数）×４回分でよい。
【００６３】
なお、例えば幾何補正の補正量の積算量を、ＣＰＵ２１０がＲＡＭ２１１に記憶しておくことにより、幾何補正をやり直す場合にも容易に対応可能である。幾何補正のリセット（初期化）が指示された場合、ＣＰＵ２１０はＲＡＭ２１１に記憶しておいた幾何補正の補正量の積算量の符号を反転した補正量を画像変形部２９０Ｒ、２９０Ｇ、２９０Ｂの全てを選択して一括送信する。これにより、１回の通信で、画素ずれ補正は初期化せずに幾何補正だけを初期化することができ、直ちに幾何補正をやり直すことができる。例えば他の投影像との位置合わせ中に他のプロジェクタの設置位置がずれた場合、幾何補正を初期化して再度位置合わせする必要がある。このような場合、本実施形態によればすぐに位置合わせをやり直すことができる。
【００６４】
以上説明したように、本実施形態によれば、複数の画像変形部を用いて色成分ごとの補正量を用いる第１の幾何変形処理と、色成分に共通した補正量を用いる第２の幾何変形処理とを行う表示装置において、画像変形部のそれぞれで補正量を更新するようにした。そのため、第２の幾何変形処理の補正量については複数の画像変形部に一括送信することが可能になり、送信に要する時間を短縮することができる。そのため、例えばユーザ指示に応答した幾何変形処理の結果をフィードバックする場合、ユーザ操作に対するフィードバックの応答性を向上させることができ、使い勝手がよい補正量の変更機能を提供できる。
【００６５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６６】
１００…プロジェクタ、２１０…ＣＰＵ、２１１…ＲＡＭ、２１２…ＲＯＭ、２４０…画像処理部、２９０…画像変形部
【図１】
2018189923.tif 000003
【図２】
2018189923.tif 000004
【図３】
2018189923.tif 000005
【図４】
2018189923.tif 000006
【図５】
2018189923.tif 000007
【図６】
2018189923.tif 000008
【図７】
2018189923.tif 000009
【図８】
2018189923.tif 000010