(57)【要約】【課題】スクリーン色や外乱光の影響を低減してできるだけ本来の色調でスクリーン上に映像が再現されるように映像信号を補正する。【解決手段】投写型映像表示装置２００は、スクリーンにレンズを介して映像を投写する投写部１０と、スクリーンを撮像するための撮像部３０と、を備える。輝度成分選択部６０は、基準光が前記スクリーンに投写されるとき、前記撮像部により撮影された画像を受け取り、画像を構成する各画素の輝度成分のうち最大値を有する輝度成分を選択する。露出補正部７０は、選択された輝度成分を基準として、撮像部３０内の撮像素子における露光時間を調整する信号を発する。色補正部８８は、調整後に撮像部３０により撮影された画像を受け取り、各輝度成分が同じ比率となるように映像を補正する。【選択図】図２
2011242455.tif 000002
【特許請求の範囲】
【請求項１】
スクリーンにレンズを介して映像を投写する投写部と、前記スクリーンを撮像するための撮像部と、を備える投写型映像表示装置に搭載される制御装置であって、
基準光が前記スクリーンに投写されるとき、前記撮像部により撮影された画像を受け取り、画像を構成する各画素の輝度成分のうち最大値を有する輝度成分を選択する輝度成分選択部と、
選択された輝度成分を基準として、前記撮像部内の撮像素子における露光時間を調整する信号を発する露出補正部と、
前記調整後に前記撮像部により撮影された画像を受け取り、各輝度成分が同じ比率となるように前記映像を補正する色補正部と、
を備えることを特徴とする制御装置。
【請求項２】
スクリーンにレンズを介して映像を投写する投写部と、前記スクリーンを撮像するための撮像部と、を備える投写型映像表示装置に搭載される制御装置であって、
基準光が前記スクリーンに投写されるとき、前記撮像部により撮影された画像を受け取り、画像を構成する各画素の輝度成分のうち最大値を有する輝度成分を選択する輝度成分選択部と、
選択された輝度成分を基準として、各成分が同じ比率となるように前記基準光を補正する露出補正部と、
を備えることを特徴とする制御装置。
【請求項３】
前記撮像部により撮像された画像からスクリーン枠を検出するスクリーン枠検出部をさらに備え、
前記輝度成分選択部は、検出されたスクリーン枠内に限定して最大値を有する輝度成分を選択することを特徴とする請求項１または２に記載の制御装置。
【請求項４】
スクリーンにレンズを介して映像を投写する投写部と、
前記スクリーンを撮像するための撮像部と、
請求項１ないし３のいずれかに記載の制御装置と、
を備えることを特徴とする投写型映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スクリーン上に画像を投写する投写型映像表示装置における露出補正技術に関する。
【背景技術】
【０００２】
近年、カメラを搭載した投写型映像表示装置（以下適宜、プロジェクタと表記する）が実用化されている。カメラを搭載したプロジェクタの中には、投写されたテストパターンをそのカメラで撮像し、撮像された画像をもとにオートフォーカス調整を行う、いわゆるイージーセッティング機能を備えているものもある。
【０００３】
特許文献１には、スクリーン上に投射されたフォーカスパターンを撮像するカメラと、カメラの撮像イメージにフォーカスエリアを設定するフォーカスエリア設定部と、撮像イメージのフォーカスエリア部分を分析しつつ、投射レンズのフォーカス調整を自動的に行うオートフォーカス制御部とを備える投射装置が開示されている。これによると、プロジェクタの投影レンズのズーム調整位置にかかわらず、フォーカスパターンが投写されているエリアだけでオートフォーカス制御が行われる。そのため、スクリーンの周辺に強い外乱光があっても、精度の高い自動フォーカス調整が可能になっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２０５６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、投写型映像表示装置は、入力される三原色Ｒ、Ｇ、Ｂの各信号からなるカラー映像信号を白色のスクリーン上に投写したときに正しい色調の画像が表示されるように構成されている。そのため、スクリーンが白色以外であったり、またはスクリーンが外乱光の影響を受けてたりする場合、本来の色調とは異なった色で映像が再現されてしまうことになる。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、スクリーン色や外乱光の影響を低減してできるだけ本来の色調でスクリーン上に映像が再現されるように映像光の露出補正をする技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様の制御装置は、スクリーンにレンズを介して映像を投写する投写部と、スクリーンを撮像するための撮像部と、を備える投写型映像表示装置に搭載される。この装置は、基準光がスクリーンに投写されるとき、撮像部により撮影された画像を受け取り、画像を構成する各画素の輝度成分のうち最大値を有する輝度成分を選択する輝度成分選択部と、選択された輝度成分を基準として、撮像部内の撮像素子における露光時間を調整する信号を発する露出補正部と、調整後に撮像部により撮影された画像を受け取り、各輝度成分が同じ比率となるように映像を補正する色補正部と、を備える。
【０００８】
本発明の別の態様は、スクリーンにレンズを介して映像を投写する投写部と、スクリーンを撮像するための撮像部と、を備える投写型映像表示装置に搭載される制御装置であって、基準光がスクリーンに投写されるとき、撮像部により撮影された画像を受け取り、画像を構成する各画素の輝度成分のうち最大値を有する輝度成分を選択する輝度成分選択部と、選択された輝度成分を基準として、各成分が同じ比率となるように基準光を補正する露出補正部と、を備える。
【０００９】
本発明の別の態様は、投写型映像表示装置である。この装置は、スクリーンにレンズを介して映像を投写する投写部と、スクリーンを撮像するための撮像部と、制御装置と、を備える。
【発明の効果】
【００１０】
本発明によれば、投写型映像表示装置において、色の付いたスクリーンにカラー映像を投写した場合でも、映像本来の色を良好に再現することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る投写型映像表示装置とスクリーンとの位置関係を示す図である。
【図２】本発明の第１実施形態に係る投写型映像表示装置の構成を示す図である。
【図３】本発明の第１実施形態による露出補正処理のフローチャートである。
【図４】本発明の第２実施形態に係る投写型映像表示装置の構成を示す図である。
【図５】本発明の第２実施形態による露出補正処理のフローチャートである。
【発明を実施するための形態】
【００１２】
図１は、本発明の第１実施形態に係る投写型映像表示装置２００と、スクリーン３００との位置関係を示す図である。実施の形態に係る投写型映像表示装置２００は、スクリーン３００方向を撮影するための撮像部３０を備える。撮像部３０は、その光軸中心と、投写型映像表示装置２００から投写される投写光の光軸中心とが例えば平行な関係になるよう、設置される。図１では、スクリーン３００が投写型映像表示装置２００に対して正対せずに、右側が奧に傾いている。
【００１３】
図２は、投写型映像表示装置２００の構成を示す図である。投写型映像表示装置２００は、投写部１０、レンズ駆動部２０、撮像部３０および制御部１００を備える。制御部１００は、スクリーン枠検出部４０、輝度成分選択部６０、露出補正部７０、画像メモリ８２、映像信号設定部８４、駆動信号設定部８６、色補正部８８およびオートフォーカス調整部９０を備える。
【００１４】
制御部１００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１５】
投写部１０は、スクリーン３００に映像を投写する。投写部１０は、光源１１、光変調部１２およびフォーカスレンズ１３を含む。光源１１には、フィラメント型の電極構造を有するハロゲンランプ、アーク放電を発生させる電極構造を有するメタルハライドランプ、キセノンショートアークランプ、高圧型の水銀ランプ、ＬＥＤランプなどを採用することができる。
【００１６】
画像メモリ８２は、スクリーン３００に投写すべき画像データを保持する。当該画像データは、図示しない外部インタフェースを介して、ＰＣなどから供給される。本実施の形態では、スクリーン枠検出用の特定パターンやオートフォーカス調整時に投写されるテストパターンも保持する。映像信号設定部８４は、画像メモリ８２に保持される画像データに基づく映像信号を光変調部１２に設定する。駆動信号設定部８６は、フォーカスレンズ１３を、オートフォーカス調整部９０から指示されるレンズ位置に移動させるための駆動信号をレンズ駆動部２０に設定する。
【００１７】
光変調部１２は、映像信号設定部８４から設定される映像信号に応じて、光源１１から入射される光を変調する。例えば、光変調部１２にはＤＭＤ（Digital Micromirror Device）を採用することができる。ＤＭＤは、画素数に対応した複数のマイクロミラーを備え、各マイクロミラーの向きが各画素信号に応じて制御されることにより、所望の映像光を生成する。
【００１８】
フォーカスレンズ１３は、光変調部１２から入射される光の焦点位置を調整する。フォーカスレンズ１３は、レンズ駆動部２０によりそのレンズ位置が光軸上で移動される。光変調部１２により生成された映像光は、フォーカスレンズ１３を介して、スクリーン３００に投写される。
【００１９】
レンズ駆動部２０は、駆動信号設定部８６から設定される駆動信号に応じて、フォーカスレンズ１３の位置を移動させる。レンズ駆動部２０には、ステッピングモータ、ボイスコイルモータ（ＶＣＭ）、ピエゾ素子などを採用することができる。
【００２０】
撮像部３０は、スクリーン３００およびスクリーン３００に投影された投影画像を主な被写体として撮像する。撮像部３０は、固体撮像素子３１および信号処理回路３２を含む。固体撮像素子３１には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサなどを採用することができる。信号処理回路３２は、固体撮像素子３１から出力される信号に対して、Ａ／Ｄ変換や、ＲＧＢフォーマットからＹＵＶフォーマットへの変換などの各種信号処理を施し、制御部１００に出力する。
【００２１】
本実施形態では、露出補正を実行する前に、映像が投写されるスクリーン枠を検出する必要がある。そこで、投写型映像表示装置２００の起動時や、またはユーザによるボタン操作等の指示に応じて、投写部１０によりスクリーン枠検出用の特定パターン、例えば全面白色の画像がスクリーン３００に投写表示される。撮像部３０は、スクリーン３００およびスクリーン３００に投影された特定パターンを撮像し、スクリーン枠検出部４０に出力する。
【００２２】
スクリーン枠検出部４０は、撮像部３０により撮像された画像内に写ったスクリーンの枠を検出する。より具体的には、スクリーン枠検出部４０は、撮像画像内のエッジを抽出することにより、当該撮像画像内に写ったスクリーンの四辺（上辺、下辺、左辺および右辺）の位置を検出する。検出されたスクリーン枠は、例えば、四隅の頂点座標で特定される。
【００２３】
輝度成分選択部６０は、全面白色（無彩色）の基準光がスクリーン３００に投写されるとき、撮像部３０により撮像された画像を受け取る。そして、撮像画像を構成する各画素のＲ、Ｇ、Ｂ輝度成分のうち、最大値を有する輝度成分を選択する。
なお、輝度成分選択部６０は、撮像画像の全体に基づいて、最大値を有する輝度成分を選択するようにしてもよいが、より好適には、スクリーン枠検出部４０によって検出されたスクリーン枠内に限定して最大値を有する輝度成分を選択する。これにより、例えばスクリーン枠外の壁色や外乱光の影響を排除することができる。
【００２４】
露出補正部７０は、撮像部３０の撮像素子３１において、Ｒ、Ｇ、Ｂ輝度成分のうちいずれの輝度成分も露出オーバーとならないように、つまり撮像素子３１において各素子が保持する電荷が飽和しないように、撮像素子３１を制御する。具体的には、輝度成分選択部６０で選択された最大値を有する輝度成分が、撮像素子３１における最大許容値を下回るように、撮像素子３１の露光時間を調整する。
【００２５】
上記の調整後に新たに撮像部３０で撮像された画像をスクリーン枠検出部４０が受け取り、スクリーン枠を検出する。そして、色補正部８８は、露出補正部７０によって行われた露出制御後のＲ、Ｇ、Ｂの各輝度成分の比率をもとに、Ｒ、Ｇ、Ｂの各輝度成分が同じ比率となるように、すなわちＲ：Ｇ：Ｂ＝１：１：１となるように、映像信号設定部８４における映像信号を補正する。
【００２６】
上記のような映像信号の色補正自体は周知技術であるから、本明細書ではこれ以上の詳細な説明を省略する。
【００２７】
本明細書では詳しく説明しないが、映像信号設定部８４に供給される映像信号には、スクリーン枠の大きさに応じて映像を拡大および縮小するスケーリング処理や、検出された投写映像の形状に応じて映像の形状を補正する台形補正処理といった他の補正も施される。
【００２８】
オートフォーカス調整部９０は、例えばコントラスト検出法等の周知の手法を用いて、フォーカスを合わせる。投写型映像表示装置２００の起動時や、ユーザ操作によりオートフォーカス調整が指示されたとき、映像信号設定部８４は、画像メモリ８２からオートフォーカス調整用のテストパターンを読み出し、投写部１０に投写させる。当該テストパターンは、例えば、ストライプパターンやチェッカーフラグパターンで形成される。撮像部３０は、スクリーン３００に投影されたテストパターンを撮像する。
【００２９】
オートフォーカス調整部９０は、複数のレンズ位置にて、撮像部３０によりそれぞれ撮像された複数の画像内における、スクリーン枠検出部４０により設定された検出領域の鮮明度をもとに、レンズの位置を決定する。以下、オートフォーカス調整部９０の構成をより具体的に説明する。
【００３０】
オートフォーカス調整部９０は、ハイパスフィルタ、積算部およびレンズ位置決定部（図示せず）を含む。ハイパスフィルタは、上記検出領域内の画像信号の、所定の閾値を超える高周波成分を抽出して、その抽出した高周波成分を積算部に供給する。ハイパスフィルタは、水平方向に高周波成分を抽出してもよいし、水平方向および垂直方向の両方向に高周波成分を抽出してもよい。
【００３１】
積算部は、それぞれのレンズ位置にて、ハイパスフィルタにより抽出された高周波成分を積算し、レンズ位置決定部に供給する。なお、ハイパスフィルタにより水平方向および垂直方向の両方向に高周波成分が抽出されている場合、積算部は、両者の高周波成分を合算する。レンズ位置決定部は、積算部から供給される複数の積算値のうち、最大積算値が検出されたフォーカスレンズの位置を、合焦位置に決定する。
【００３２】
オートフォーカス機能が有効化されると、オートフォーカス調整部９０は、映像信号設定部８４にテストパターンの投写を指示するとともに、フォーカスレンズ１３をニア側からファー側へまたはファー側からニア側へ、所定のステップ幅で順次、移動させるための制御信号を駆動信号設定部８６に設定する。映像信号設定部８４は、当該テストパターンの映像信号を光変調部１２に設定し、駆動信号設定部８６は、上記制御信号に応じた駆動信号をレンズ駆動部２０に設定する。
【００３３】
オートフォーカス調整部９０は、フォーカスレンズ１３の各レンズ位置において撮像された、テストパターンに含まれるシャープネス（上記積算値を用いることができる）を算出する。このシャープネスは、フォーカスレンズ１３が合焦位置に近づくにつれ、上昇する。その上昇がピークをうち、下降に転換したとき、オートフォーカス調整部９０は、その一つ前のレンズ位置を合焦位置に決定する。
【００３４】
ところで、一般に投写型映像表示装置は、入力される三原色Ｒ、Ｇ、Ｂの各信号からなるカラー映像信号を白色のスクリーン上に投写したときに正しい色調の画像が表示されるように構成されている。そのため、スクリーンが白色以外である場合、本来の色調とは異なった色で映像が再現されてしまうことになる。
【００３５】
また、図１に示したように、投写先のスクリーンが傾いているときは、撮像部に近い側と遠い側とでスクリーンの暗さの違いが異なるので、スクリーンの両側で再現される映像の色調が異なる。また、スクリーンに強い外乱光が当たっている場合も、本来の色調とは異なった色で映像が再現されてしまう。
【００３６】
従来の投写型映像表示装置の中には、「黒板モード」「赤壁モード」といった特殊なモードを設けておき、映像を黒板や赤壁などに投写するときには、映像信号に対し所定の補正を加えて、映像本来の色調をできるだけ再現しようとするものもある。しかしながら、このような手法では、予め想定されている色にしか対応することができない。また、外乱光の影響を考慮することもできない。
【００３７】
一例として、映像を赤い壁面に投写する場合を考える。この場合、撮像部３０が受け取る反射光は、Ｒ成分が相対的に大きく、Ｇ成分およびＢ成分は相対的に小さくなる。この状態で通常の露出制御を行うと、Ｒ成分が飽和しやすくなる。
【００３８】
本実施形態では、通常のカメラの露出制御とは異なり、投写先のスクリーンの色を正確に特定する必要がある。そこで本実施形態では、上記のようにＲＧＢ輝度成分のうち一番大きい輝度成分に基づき撮像素子の露光時間を調整して、その後に映像信号の色補正を行うようにした。
【００３９】
図３は、本発明の第１実施形態による露出補正処理のフローチャートである。まず、投写部１０により、全面白色（無彩色）の画像がスクリーン３００に投写表示される（Ｓ１０）。撮像部３０は、スクリーン３００およびスクリーン３００に投影された画像を撮像し、スクリーン枠検出部４０に出力する（Ｓ１２）。スクリーン枠検出部４０は、撮像画像からスクリーン枠を検出する（Ｓ１４）。輝度成分選択部６０は、検出されたスクリーンの枠内で、画像を構成する各画素の輝度成分のうち最大値を有する輝度成分を選択する（Ｓ１６）。露出補正部７０は、輝度成分選択部６０により選択された最大値を有する輝度成分が、撮像素子３１における最大許容値を下回るように、撮像素子３１の露光時間を調整する（Ｓ１８）。色補正部８８は、露出補正部７０によって行われた露出制御後のＲ、Ｇ、Ｂの各輝度成分の比率をもとに、映像信号設定部８４における映像信号を補正する（Ｓ２０）。
【００４０】
以上説明したように、第１実施形態では、無彩色の基準光をスクリーンに投写した上でスクリーンをカメラで撮像し、撮像画像のＲ、Ｇ、Ｂの各輝度成分のうち最大値を有する輝度成分に基づいて、撮像素子の露光時間を調整することにした。
【００４１】
このように撮像素子の露光時間を調整することで、スクリーンの投写面の色が白色でなく特定の色であった場合であっても、スクリーンの色を正確に特定しその色を元にして映像信号の色補正が行われる。このため、白色スクリーンを前提にして映像信号に規定されている本来の色調に近い色合いがスクリーン上で再現されるようになる。
【００４２】
続いて、本発明の第２実施形態について説明する。第２実施形態では、無彩色の基準光をスクリーンに投写した上でスクリーンをカメラで撮像し、撮像画像のＲ、Ｇ、Ｂの各輝度成分のうち最大値を有する輝度成分に基づいて、基準光の露出補正を行う。
【００４３】
図４は、本発明の第２の実施形態における投写型映像表示装置２５０の構成を示す図である。同様の符号を有するブロックは、図２で述べたのと同様の機能を有するが、露出補正部７１の機能が異なる。
【００４４】
露出補正部７１は、輝度成分選択部６０によって選択された輝度成分を基準として、Ｒ、Ｇ、Ｂの各輝度成分が同じ比率となるように、すなわちＲ：Ｇ：Ｂ＝１：１：１となるように、基準光を補正する。このように基準光を補正することにより、撮像部３０で撮像される画像において、いずれの輝度成分も飽和することがなくなる。また、輝度値全体をもとに判断する訳ではないので、信号値の取り得る範囲を効率的に使用することが可能になる。
【００４５】
図５は、本発明の第２実施形態による露出補正処理のフローチャートである。まず、投写部１０により、全面白色（無彩色）の画像がスクリーン３００に投写表示される（Ｓ３０）。撮像部３０は、スクリーン３００およびスクリーン３００に投影された画像を撮像し、スクリーン枠検出部４０に出力する（Ｓ３２）。スクリーン枠検出部４０は、撮像画像からスクリーン枠を検出する（Ｓ３４）。輝度成分選択部６０は、検出されたスクリーンの枠内で、画像を構成する各画素の輝度成分のうち最大値を有する輝度成分を選択する（Ｓ３６）。露出補正部７０は、輝度成分選択部６０により選択された輝度成分を基準として、各成分が同じ比率となるように基準光を補正する（Ｓ３８）。
【００４６】
以上説明したように、第２実施形態では、無彩色の基準光をスクリーンに投写した上でスクリーンをカメラで撮像し、撮像画像のＲ、Ｇ、Ｂの各輝度成分のうち最大値を有する輝度成分に基づいて、基準光の露出補正をすることにした。
【００４７】
このように基準光の露出補正をすることで、スクリーンの投写面の色が白色でなく特定の色であった場合、白色スクリーンを前提にして映像信号に規定されている本来の色調に近い色合いがスクリーン上で再現されるようになる。
【００４８】
本実施形態では、最大値を有する輝度成分を基準として、Ｒ、Ｇ、Ｂの各輝度成分が同じ比率となるように基準光を補正する。このように基準光を補正することにより、撮像部３０で撮像される画像において、いずれの輝度成分も飽和することがなくなる。また、信号値の取り得る範囲を効率的に使用することが可能になる。さらに、単色のみに基づいて露出制御を行うので、露出制御時間を短縮することができる。
【００４９】
上記では、投写型映像表示装置が映像を専用のスクリーン３００に投写する場合について説明した。しかしながら、スクリーンを使用せずに単なる壁面上に映像を投写することも多い。このとき、スクリーン枠検出部は、スクリーン枠を検出できないか、あるいは壁面に投写された映像の外周をスクリーン枠と誤検出してしまうことがある。スクリーン３００の枠を検出できなかった場合、輝度成分選択部６０は、画像全体に基づき最大値を有する輝度成分を選択してもよいし、または基準光の補正を中止するよう決定してもよい。
【００５０】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００５１】
１０  投写部、  ３０  撮像部、  ４０  スクリーン枠検出部、  ６０  輝度成分選択部、  ７０、７１  露出補正部、  ８２  画像メモリ、  ８４  映像信号設定部、  ８６  駆動信号設定部、  ８８  色補正部、  ９０  オートフォーカス調整部、  １００  制御部、  ２００  投写型映像表示装置、  ３００  スクリーン。
【図１】
2011242455.tif 000003
【図２】
2011242455.tif 000004
【図３】
2011242455.tif 000005
【図４】
2011242455.tif 000006
【図５】
2011242455.tif 000007