(57)【要約】【課題】スクリーン上に投射して画像表示する画像表示装置で、投射光が直接目に入ることにより受ける眼球、網膜、視神経への刺激を最小限に抑える、安全な画像表示装置を提供する。【解決手段】カメラにより取り込んだ表示画像と入力画像信号とを比較して、異なる領域を差分領域として検出し、この差分領域に相当する入力画像信号の映像領域の画像信号を黒信号でマスクした投射画像信号を生成する。得られた投射画像信号をスクリーン上に投射表示する。【選択図】  図２
2004254145.tif 000002
【特許請求の範囲】
【請求項１】
光源からの光を映像表示素子に照射し、該映像表示素子からの出射光をスクリーンに拡大投射する投射型表示装置であって、
入力画像信号に基づいて前記映像表示素子を制御する表示素子制御手段と、
前記スクリーン上に投射された画像を撮像するカメラと、
前記スクリーン上に投射表示された領域を検出する検出手段と、
該検出手段からの検出結果に基づいて、該カメラからの撮像画像を所定の画像サイズに変更制御する画像サイズ制御手段と、
該画像サイズ制御手段によりサイズが変更制御された前記撮像画像中の人物領域を抽出する手段とを有し、
前記表示素子制御手段により、前記人物領域に対応する前記映像表示素子上の領域を所定データに置き換えるように制御することを特徴とする投射型表示装置。
【請求項２】
前記人物領域抽出手段は、サイズが変更制御された前記撮像画像信号と、前記表示素子制御手段により制御された画像信号とを比較する比較処理手段を含んで構成されることを特徴とする請求項１に記載の投射型表示装置。
【請求項３】
前記カメラの撮像タイミングを制御する撮像タイミング制御手段を有し、
前記スクリーン上に投射された画像を前記カメラにより撮像する期間のみ、前記表示素子制御手段に入力される表示画像信号に基づいて前記映像表示素子を制御し、
前記人物領域抽出手段は、サイズが変更制御された前記撮像画像信号と、前記表示画像信号とを比較する比較処理手段を含んで構成されることを特徴とする請求項１に記載の投射型表示装置。
【請求項４】
前記カメラの撮像タイミングを制御する撮像タイミング制御手段を有し、
前記スクリーン上に投射された画像を前記カメラにより撮像する期間のみ、前記表示素子制御手段に入力される表示画像信号に基づいて前記映像表示素子を制御し、
前記人物領域抽出手段は、サイズが変更制御された前記撮像画像信号と、前記表示素子制御手段により制御された画像信号とを比較する比較処理手段を含んで構成されることを特徴とする請求項１に記載の投射型表示装置。
【請求項５】
前記カメラは、光波長として赤外波長成分を対象として撮像する赤外線カメラであって、
前記スクリーン上への投射画像の拡大表示手段を有し、
該拡大表示手段の拡大率に基づいて、前記スクリーン上に投射表示された領域を検出し、検出結果に基づいて、前記赤外線カメラからの撮像画像を所定の画像サイズに変更制御し、変更制御された前記撮像画像中の人物領域を抽出するように構成したことを特徴とする請求項１に記載の投射型表示装置。
【請求項６】
前記カメラは、温度分布を測定するようにした温度分布検出装置であって、
前記スクリーン上への投射画像の拡大表示手段を有し、
該拡大表示手段の拡大率に基づいて、前記スクリーン上に投射表示された領域を検出し、検出結果に基づいて、前記検出装置からの撮像画像を所定の画像サイズに変更制御し、変更制御された前記撮像画像中の人物領域を抽出するように構成したことを特徴とする請求項１に記載の投射型表示装置。
【請求項７】
前記所定データは、特定均一色データと黒色データと前記入力画像信号に基づく輝度レベルの低い画像データの何れかであることを特徴とする請求項１乃至請求項６の何れか１項に記載の投射型表示装置。
【請求項８】
前記人物領域を抽出する手段は、投射表示された領域以外の撮像画像データから動き領域を検出する動き検出手段を含めて構成することを特徴とする請求項１乃至請求項７の何れか１項に記載の投射型表示装置。
【請求項９】
前記比較処理手段は、複数画素の平均値同士を比較するように構成することを特徴とする請求項２乃至請求項８の何れか１項に記載の投射型表示装置。
【請求項１０】
前記撮像タイミング制御手段は、所定時間内での積算光強度に基づいて撮像間隔と撮像露光時間とを定めるように構成することを特徴とする請求項３乃至請求項４の何れか１項に記載の投射型表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、スクリーン上に投射することで映像情報を表示する様にした、プロジェクションタイプの画像表示装置の安全向上技術に関する。
【０００２】
【従来の技術】
従来の前面のスクリーンに投射するようにした液晶プロジェクタにおいて、スクリーンまでの投射光路内に、壇上者或いは他者が進入し、投射側に顔を向けた場合、強力な光刺激が眼中に入る危険性があり、注意喚起表示を本体に示す等により、危険性を防止するようにしている。
【０００３】
さらに、下記特許文献１、特許文献２に記載の様に、投射光路内に物体の有無を検出する検出手段と、投射レンズからの光量を制御する制御手段を設け、物体を検出した場合には、投射レンズからの光強度を減少させることで、危険性を防止する方式が提案されている。
【０００４】
【特許文献１】
特開２０００−３０５４８１号公報（第６頁、第１図）
【特許文献２】
第２９９４４６９号公報（第１５頁、第１０図）
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の危険性を示す表示方式にあっては、やはり不用意に投射光路内に入り込む恐れが多分にあり、さらなる注意喚起を呼びかけることで対応せざるを得ない。
【０００６】
一方、特許文献１では、投射光路内に入り込んだ人物領域を検出し、人物を含む垂直方向の画像も含めて光強度を減少させること。一方、特許文献２では、各種センサを用いて人物領域を抽出し、人物領域をマスクする場合で、特にＣＣＤセンサを用いる場合、周囲照度が低い場合には、ＣＣＤの露光不足から、人物抽出精度の劣化による誤認識の恐れのあること等、課題があった。
【０００７】
本発明の目的は、上記従来技術に鑑み、壇上者による投射画像を用いた説明中に、（１）不用意に侵入者が入ってきた場合、（２）壇上者が投射光路内にあり、投射側に振り返った場合、（３）プロジェクタとスクリーンの設置状態から、拡大表示や台形歪み補正を行った場合にあっても、スクリーン上に投影する映像を維持したまま眼中に入る投射光を減少させることで、眩しさの低減を実現する画像表示装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記した課題を解決するために、本発明は、光源からの光を映像表示素子に照射し、該映像表示素子からの出射光をスクリーンに拡大投射する投射型表示装置であって、入力画像信号に基づいて前記映像表示素子を制御する表示素子制御手段と、前記スクリーン上に投射された画像を撮像するカメラと、前記スクリーン上に投射表示された領域を検出する検出手段と、該検出手段からの検出結果に基づいて、該カメラからの撮像画像を所定の画像サイズに変更制御する画像サイズ制御手段と、該画像サイズ制御手段によりサイズが変更制御された前記撮像画像中の人物領域を抽出する手段とを有し、前記表示素子制御手段により、前記人物領域に対応する前記映像表示素子上の領域を所定データに置き換えるように制御するように構成する。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００１０】
図１は本発明による前面投射型プロジェクタ装置と、スクリーン並びに壇上者を配したシステム構成の一例を示す構成図である。また、図２は本発明による画像処理部の第１の実施の形態を示すブロック図である。図６は、各処理ブロックでの画像情報を模式する模式図である。
【００１１】
ここで、本実施の形態では、表示デバイスとして、画素毎に画像情報の階調レベルに応じて液晶或いは反射鏡による光の透過量或いは反射量を制御するようにしたライトバルブ方式を用いた場合で説明する。また、表示デバイスは特に限定するものではなく、３管式ＣＲＴ方式等、何れであっても良い。また、図２の画像表示デバイスを１個で形成する場合を示しているが、ＲＧＢ毎に表示パネルを構成する様にした場合であっても同様である。
【００１２】
また、説明を簡単にするため、表示パネルの解像度をＸＧＡサイズ（１０２４ｘ７６８ｘＲＧＢ）、カメラ解像度としてＳＸＧＡ（１２８０ｘ１０２４ｘＲＧＢ）で示すが、もちろん他の解像度或いは複数台であっても同様である。カメラ方式としてＣＣＤカメラ、ＣＭＯＳカメラ何れであっても同様である。更に、画像のフレーム周波数Ｆｖとして例えば６０Ｈｚ（Ｔ１＝約１６．６７ｍｓｅｃ）（フレーム番号ｆ０，ｆ１，ｆ２，ｆ３…）で動作させる場合について示す。
【００１３】
図１で、１は前面投射型プロジェクタ、２は投射レンズ、３は投射光路、４はスクリーン、５はカメラ、６はカメラ５による撮像領域、７は撮像経路、８は人物（壇上者）、９は壇上者による影、を示す。また、図２は、プロジェクタ１内部の画像処理部の第一の実施の形態を示したものであり、１０は画像信号入力、１１は表示画像生成部、１２は撮像画像取込部、１３は投射領域判定部、１４は画像サイズ変更部、１５は画像比較部、１６は差分領域生成部、１７はマスク領域生成部、１８は画像信号合成部、１９は光源、２０は画像表示デバイス、を示す。図６は、各画像処理部での画像情報を模式する図である。
【００１４】
投射レンズ２を介して投射した光は、投射光路３を経由してスクリーン４上に結像し、投射画像を再現する。カメラ５により、撮像経路７を介して投射領域を囲む範囲を撮像領域とした撮像画像情報を得る。ここで、投射レンズ２とカメラ５の設置位置が近接する場合、投射光路と撮像経路が略一致することから、撮像画像の画像歪みは投射レンズを介して見た場合の画像歪みとほぼ一致する。もちろん、投射レンズ２とカメラ５が離れた場合や、レンズ特性の違いや、或いは投射レンズ２の設置位置を調整することで投射位置を変化させる場合等、画像歪みが一致するとは限らない。例えば図７（ａ）に示す撮像画像となる場合もある。このような場合に於いても、本発明では、後述する画像サイズ変更部１４でのスケーリング画像処理により、人物領域の抽出を実現している。
【００１５】
投射光路３内に人物８が割り込んだ場合、投射画像が遮られ、スクリーン上には影９となる。一方、カメラ５では、撮像経路７内に割り込んだ人物５を含めて撮像する。ここで、上記したように影９は撮像されない。
【００１６】
次にプロジェクタ１での処理動作を詳述する。まず、表示画像生成部１１は、画像表示デバイス２０の表示形式に一致する様に、画像信号入力１０からの入力画像情報を加工した表示画像情報（図６（ｂ））を生成する。例えば、図６（ｂ）を入力画像としＸＧＡサイズに加工し、各角に位置する画素をそれぞれＩ、Ｊ、Ｋ、Ｌで示す。
【００１７】
また、本実施の形態ではＲＧＢを同一に処理する場合を示すが、もちろんＲＧＢそれぞれ独立に処理、或いは補色信号を用いるようにしても、本発明を逸脱するものではない。
【００１８】
光源１９からのＲＧＢ光それぞれは、画像表示デバイス２０上に入射し、画素毎に図６（ｂ）により定まる投射画像情報の階調レベルに応じた光強度で光を透過或いは反射し、その出射光は投射レンズ２を介してスクリーン４上に拡大投射する。これは、液晶プロジェクタで採用される一般的な構成であり、詳細な説明は省略する。
【００１９】
一方、カメラ５により図６（ａ）に示す撮像画像が得られる。ここで、カメラの解像度ＳＸＧＡの各角に位置する画素をそれぞれＥ、Ｆ、Ｇ、Ｈで、また、撮像画像中の投射画像が示されている領域の各角に位置する画素をそれぞれＡ、Ｂ、Ｃ、Ｄで示す。
【００２０】
撮像画像取込部１２では、撮像画像情報を各種カメラ特性の補正や、色バランス・色相の調整等を施し、撮像画像情報（図６（ａ））を出力する。投射領域判定部１３では、撮像画像情報を識別し、投射画像が含まれている領域の判定により領域情報を生成する。ここで、判定方法として隣接画素或いは、過去の画像情報との比較により行うようにしてもよく、何ら規定するものではない。また、投射レンズ２とカメラ５の特性により定めることも可能であり、投射レンズ２の拡大率等により領域を予め定めるようにしても良い。また、投射レンズ２の拡大率に連動して、カメラ５の撮像レンズの拡大率を変えることで、領域情報を固定する様にしても良く、或いは、外部から領域情報を指定する様にしても良い。
【００２１】
画像サイズ変更部１４では、領域情報により画素Ａ、Ｂ、Ｃ、Ｄの位置をＸＧＡサイズである画素位置Ａ’、Ｂ’、Ｃ’、Ｄ’に合致するように撮像画像情報をスケーリング（拡大・縮小）処理し、表示領域抽出画像（図６（ｄ））として出力する。具体的には、図６（ａ）の撮像画像を（ｃ）のスケーリング画像とする。さらに、図６（ｄ）で示すように、スケーリング画像から投射領域の画像のみを表示領域抽出画像として出力する。
【００２２】
ここで、図６（ｇ）に示すＳＸＧＡサイズである画素位置Ｅ’、Ｆ’、Ｇ’、Ｈ’と画素位置Ａ’、Ｂ’、Ｃ’、Ｄ’で挟まれる領域を表示領域外画像とする。ここで、スケーリング処理として水平或いは垂直台形補正を行うようにして、投射レンズ２とカメラ５の設置条件の自由度を向上するようにしても良い。
【００２３】
画像比較部１５では、表示領域抽出画像の画像情報と、投射している合成画像情報とを画素毎に比較して、不一致情報を生成する。この場合、周辺画素の情報平均値での特徴比較、画素間の情報変化量の特徴比較、フレーム間での比較による人物の動き情報から、不一致情報を生成するようにしても良い。この不一致情報は、例えば一致する領域では１を、不一致な領域では０としている。
【００２４】
一方、比較結果により撮像画像取込部１２の補正量と調整量を定めることで、比較精度を向上する様にしても良い。また、比較する画素を間引いても良い。また、人物領域に加え、顔情報を判別するようにしても良い。ここで、領域判定方法は何ら規定するものではなく、公知の技術を用いる様にしても良い。
【００２５】
次に、差分領域生成部１６では、不一致情報により、不一致となる画素が含まれる画面上での領域を人物が存在すると判断し、差分領域情報を生成する。ここで、差分領域の取り方として、人物領域全域、顔領域、目の領域、特定形状となる領域、等、選択するようにしても良い。また、過去の差分領域情報をフレーム周期Ｆｖの単位で保持するようにし、過去の差分領域情報を用いて新たな差分領域情報を生成するようにしても良く、さらには差分領域の形状を過去の情報で固定し、領域移動により新たな差分領域を生成するようにしても良い。
【００２６】
マスク画像生成部１７は、差分領域情報で示される画素について、表示画像情報の階調レベルを下げる或いは階調レベルが低い特定色或いは黒のいずれかに置き換えたマスク画像情報（図６（ｅ））を生成する。このマスク画像情報としては、図６（ｅ）に黒信号で置き換えた画像、或いは所定レベルの灰色信号で置き換えた画像等、視覚的刺激の少ない画像であれば良く、特に規定するものではない。
【００２７】
画像信号合成部１８では、表示画像情報にマスク画像情報を重畳することで、投射画像（図６（ｆ））を生成する。
【００２８】
さらに、画像比較部１５において、図６（ｇ）に示した撮像画像情報のうち、投射表示している領域外の画像情報を用い、フレーム間での情報比較により変化がある部分、すなわち動き領域を検出する。そして、この領域を人物領域と判断し、これにより差分領域の形状を補正するようにしても良い。さらに、過去のフレームとを比較して、投射光路３内への割り込みを事前に検出する様にしても良い。
【００２９】
ここで、投射レンズ２とカメラ５が離れた場合やレンズ特性の違いにより画像歪みが一致しない場合、例えば図７（ａ）に示す撮像画像である場合であっても、画像サイズ変更部１４で台形歪み補正を施すことで図７（ｃ）を生成することで、上記説明した同様の処理が可能であることは言うまでもない。
【００３０】
以上示した第１の実施の形態によれば、投射光路内に物体が割り込んできた場合に、物体に投射される光強度のみを減少させることが可能となる。また、割り込んだ人物が、壇上者である場合、スクリーン上には、映像が映し出されていることから、画面を用いた行動が遮られることもなく、かつ、投射側に位置する聴講者の様子を確認することが容易に可能になる。これにより、快適で迫力の出せるプレゼンテーション環境が実現できる。
【００３１】
また、第１の実施の形態によれば、プロジェクタによる拡大表示処理、台形歪み補正表示を行った場合にあっても、壇上者に投射する領域を遮光することが可能である。
【００３２】
また、第１の本実施の形態によれば、プロジェクタにより背景画像を表示することにより、人物を中心とする視覚効果の向上を図る等、新しい利用方法が実現できる。
【００３３】
次に、図３を用いて本発明の第２の実施の形態を説明する。また、第１の実施の形態で説明した同一符号の部位については、ほぼ同様な機能であることから、説明の重複は避ける。
【００３４】
図３は、図２に対して、撮像タイミング制御部２１を追加した構成である。
【００３５】
本構成によれば、撮像タイミング制御部２１において、図示しないフレーム同期信号Ｆｖを計数し、固定或いは設定可能とするフレーム周期Ｎ毎、例えばＮ＝６０毎に１フレーム期間だけ撮像画像の取込許可を制御するものである。撮像画像取込部１２では、取込許可信号（例えば、取り込み時は１、保持時は０）による取込許可フレーム期間ではカメラ５からの撮像画像の取込動作を行い、取込禁止フレーム期間には取込動作停止を行うものである。
この場合、取込禁止フレーム期間では、過去の撮像画像を保持するようにしても良い。また、取込許可フレーム期間をさらに時分割して、撮像するようにしても良い。
【００３６】
ここで、Ｎの値として、例えば、カメラのシャッター速度（例えば１／６０、１／１２５／１／２５０等）からＮ＝６０、１２５、２５０と選択しても良く、さらに、Ｎ＝１２５（２５０）と等価な期間となる様に取込許可フレーム期間を１２５／６０（２５０／６０）と時分割して撮像するようにしても良い。
【００３７】
一方、画像信号合成部１８にも同様な制御信号（例えば、スルー時は１、マスク時は０）が供給されており、取込許可フレーム期間（スルー時）では表示画像を投射画像として選択する。また、取込禁止フレーム期間（マスク時）ではマスク画像を重畳した画像を投射画像として選択するよう動作する。この場合、取込許可フレーム期間をさらに時分割した短い期間で、表示画像を投射画像とするようにしても良い。
【００３８】
この時、画像比較部１５では、画像サイズ変更部１４からの表示領域抽出画像と、表示画像生成部１１からの表示画像との比較を行うように構成している。
【００３９】
また、カメラ撮影時に用いるフラッシュランプの発光時間として、例えば数千分の  １  秒単位で設定している。
【００４０】
ここで、レーザの放射安全基準として、ＩＥＣ６０８２５−１基準、日本ではＪＩＳ  Ｃ６８０２（レーザ製品の放射安全基準）で定められている。例えば、瞬きの時間０．２５ｓに対して網膜が損傷せず、最悪、双眼鏡の様な補助光学系を用いても安全なレベルとして、レーザ径に関係なく、レーザポインタ、Ｈｅ−Ｎｅ（Ｈｅｌｉｕｍ−Ｎｅｏｎ）で１ｍＷ以下３Ｗ以下の単パルス（パルス幅１０−７ｓ）可視レーザと定められている。
【００４１】
本実施の形態では、上記フレーム周期Ｎと発光量を明示しないが、投射光路内に位置する人物の眩しさの知覚状況に応じ、かつ、上記基準に準拠するよう定める様にしても良い。
【００４２】
以上説明した第２の実施の形態によれば、人物が動いた場合であっても、周期的かつ投射光路内の人物が眩しさを知覚することなくマスク領域の精度を確保することが可能となる。
【００４３】
また、第２の実施の形態においては、画像信号合成部１８において、取込許可フレーム期間（スルー時）では表示画像を、取込禁止フレーム期間（マスク時）ではマスク画像を重畳した画像を投射画像として選択する場合について述べたが、取込許可フレーム期間では人物領域に相当する画像の輝度レベルを低減させた画像としても良い。この場合には、画像比較部１５では第１の実施の形態と同様に、画像サイズ変更部１４からの表示領域抽出画像と、画像信号合成部１８からの輝度レベルを低減させた画像との比較を行うように構成する。
【００４４】
次に、図４を用いて本発明の第３の実施の形態を説明する。また、第１の実施の形態で説明した同一符号の部位については、ほぼ同様な機能であることから、説明の重複は避ける。
【００４５】
図４において、２３は赤外線カメラ、２２は人物抽出部である。また、光源１９より分光した赤外光は投射レンズ２を介して投射、或いは図示しない別光源より、赤外光をスクリーンに投射する構成である。また、スクリーン上に投射する赤外光は、画像表示領域に略一致するようにしても良い。
【００４６】
本構成により、赤外線カメラ２３は、投射光路３内に位置する人物から反射光並びにスクリーン４を反射する赤外光を捉え、撮像画像取込部１２に渡す。人物抽出部２２にて、例えば反射量の違いにより撮像画像から背景領域と人物領域を分離抽出する。この時、投射レンズ２の拡大率情報を投射領域判定部１３に供給し、スクリーン上の投射領域を定めるように構成する。
【００４７】
以上説明した第３の本実施の形態によれば、表示画像情報に依存せず、精度良く人物を抽出することが可能であり、かつ、白色の光源から分光して得られる赤外光を光源とすることから、低コストも容易に可能となる。
【００４８】
次に、図５を用いて本発明の第４の実施の形態を説明する。また、第１、３の実施の形態で説明した同一符号の部位については、ほぼ同様な機能であることから、説明の重複は避ける。
【００４９】
図５において、２４は温度分布検出装置である。また、光源は図２と同様である。
【００５０】
本構成により、温度分布検出装置２４は、投射光路３内に位置する人物から放出される温度分布、並びにスクリーン４から放出する温度分布を捉え、撮像画像取込部１２に渡す。人物抽出部２２にて、温度分布の違いから撮像画像での背景領域と人物領域を分離抽出する。この時、投射レンズ２の拡大率情報を投射領域判定部１３に供給し、スクリーン上の投射領域を定めるように構成する。
【００５１】
以上説明した第４の実施の形態によれば、表示画像情報に依存せず、抽出精度を向上させた画像表示装置が可能となる。
【００５２】
【発明の効果】
本発明によれば、プロジェクタの投射してくる方向に顔を向けた場合であっても、眼中に入り込む光量を抑えることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したシステム構成の一例を示す図である。
【図２】本発明による第１の実施の形態の画像表示装置を示す図である。
【図３】本発明による第２の実施の形態の画像表示装置を示す図である。
【図４】本発明による第３の実施の形態の画像表示装置を示す図である。
【図５】本発明による第４の実施の形態の画像表示装置を示す図である。
【図６】本発明による実施の形態の各画像処理部での画像情報を模式する図である。
【図７】本発明による実施の形態の各画像処理部での画像情報を模式する図である。
【符号の説明】
１…プロジェクタ、２…投射レンズ、３…投射光路、４…スクリーン、５…カメラ、６…撮像領域、７…撮像経路、８…人物、９…影、１０…画像信号入力、１１…表示画像生成部、１２…撮像画像取込部、１３…投射領域判定部、１４…画像サイズ変更部、１５…画像比較部、１６…差分領域生成部、１７…マスク領域生成部、１８…画像信号合成部、１９…光源、２０…画像表示デバイス、２１…撮像タイミング制御部、２２…人物抽出部、２３…赤外線カメラ、２４…温度分布検出装置。
【図１】
2004254145.tif 000003
【図２】
2004254145.tif 000004
【図３】
2004254145.tif 000005
【図４】
2004254145.tif 000006
【図５】
2004254145.tif 000007
【図６】
2004254145.tif 000008
【図７】
2004254145.tif 000009