(57)【要約】【課題】  被観察物の画質向上効果を得るために投影画像を被観察物に重ねて表示する投影装置において、画質向上効果を維持したまま投影装置のＯＳＤを見やすく表示可能な投影装置を提供すること。【解決手段】  第一の画像に対してＯＳＤを重畳した第二の画像を生成するＯＳＤ重畳手段と、前記第二の画像を投影する投影手段と、前記第二の画像が投影される投影面の反射率を取得する反射率取得手段と、前記反射率取得手段から取得した反射率に基づき、投影面の反射率の空間周波数が所定の値以下であり、かつ投影面上の反射率が所定の値以上である領域を探索する探索手段と、前記探索手段が探索した領域から前記ＯＳＤを重畳する領域を決定するＯＳＤ重畳領域決定手段を備え、前記ＯＳＤ重畳手段は、ＯＳＤ重畳領域決定手段が決定した領域に前記ＯＳＤを重畳することを特徴とする。【選択図】図６
2020072357.tif 000002
【特許請求の範囲】
【請求項１】
第一の画像に対してＯＳＤを重畳した第二の画像を生成するＯＳＤ頂上手段と、
前記第二の画像を投影する投影手段と、
前記第二の画像が投影される投影面の反射率を取得する反射率取得手段と、
前記反射率取得手段から取得した反射率に基づき、前記投影面中の反射率の空間周波数が所定の値以下であり、かつ投影面上の反射率が所定の値以上である領域を探索する探索手段と、
前記探索手段が探索した領域の中から前記ＯＳＤを重畳する領域を決定するＯＳＤ重畳領域決定手段を備え、
前記ＯＳＤ重畳手段は、ＯＳＤ重畳領域決定手段が決定した領域に前記ＯＳＤを重畳することを特徴とする投影装置。
【請求項２】
前記第一の画像とは、前記投影面の反射光の強度のダイナミックレンジを向上させる画像であることを特徴とする請求項１に記載の投影装置。
【請求項３】
前記第一の画像とは、前記投影面の反射光の強度を投影面中で一律に向上させる画像であることを特徴とする請求項１に記載の投影装置。
【請求項４】
前記反射率取得手段は、前記投影面の撮像画像から前記投影面の反射率を取得することを特徴とする請求項１に記載の投影装置。
【請求項５】
前記反射率取得手段は、前記第一の画像から算出された前記投影面の反射率を取得することを特徴とする請求項１に記載の投影装置。
【請求項６】
前記反射率取得手段は前記投影面の反射率特性を、投影装置の外部から取得することを特徴とする請求項１に記載の投影装置。
【請求項７】
前記探索手段は、前記反射率取得手段が取得した前記投影面の反射率を微分することで、前記投影面の空間周波数を求めることを特徴とする請求項１に記載の投影装置。
【請求項８】
前記探索手段により複数の領域が探索された場合、前記ＯＳＤ重畳領域決定手段は、前記ＯＳＤの内容に応じて、前記探索手段が探索した複数の領域のうち、一つの領域を前記ＯＳＤの重畳領域と決定することを特徴とする請求項１に記載の投影装置。
【請求項９】
前記ＯＳＤが、投影映像の輝度を調整するためのＯＳＤである場合、前記ＯＳＤ重畳領域決定手段は、前記探索手段が探索した複数の領域のうち、反射率が最も高い領域は避けるように前記ＯＳＤの重畳領域を決定することを特徴とする請求項８に記載の投影装置。
【請求項１０】
前記ＯＳＤが、投影映像の特定の色を調整するためのＯＳＤである場合、前記ＯＳＤ重畳領域決定手段は、前記探索手段が探索した複数の領域のうち、調整対象の色が含まれる領域は避けるようにＯＳＤ重畳位置を決定することを特徴とする請求項８に記載の投影装置。
【請求項１１】
前記ＯＳＤ重畳領域決定手段は、前記探索手段が探索した複数の領域のうち、以前にＯＳＤ重畳位置として決定した位置に近い領域をＯＳＤ重畳位置として決定することを特徴とする請求項８に記載の投影装置。
【請求項１２】
第一の画像に対してＯＳＤを重畳した第二の画像を生成する工程と、
前記第二の画像を投影する工程と、
前記第二の画像が投影される投影面の反射率を取得する工程と、
前記投影面の反射率に基づき、前記投影面における反射率の空間周波数が所定の値以下であり、かつ反射率が所定の値以上である被探索領域を探索する工程と、
前記被探索領域の中から前記第一の画像に対してＯＳＤを重畳する領域を決定する工程と、
からなる画像の投影方法。
【請求項１３】
第一の画像に対してＯＳＤを重畳した第二の画像を生成するＯＳＤ重畳手段と、
前記第二の画像を投影する投影手段と、
前記第二の画像が投影される投影面とその周辺領域を含む反射率を取得する反射率取得手段と、
前記反射率取得手段から取得した反射率に基づき、前記投影面とその周辺領域を含む反射率の空間周波数が所定の値以下であり、かつ反射率が所定の値以上である領域を探索する探索手段と、
前記探索手段が探索した領域の中で、前記ＯＳＤを重畳する領域を決定するＯＳＤ重畳領域決定手段と、
光学制御により投影面の位置を変更する投影面制御手段を備え、
前記ＯＳＤ重畳領域決定手段により決定された領域が投影面の周辺領域である場合、前記投影面制御手段により投影面の位置を前記周辺領域を含む領域に変更し、前記ＯＳＤ重畳領域決定手段により決定された領域に前記ＯＳＤを重畳することを特徴とする投影装置。
【請求項１４】
前記投影面制御手段は、レンズシフト制御であることを特徴とする請求項１３に記載の投影装置。
【請求項１５】
前記投影面制御手段は、前記ＯＳＤ重畳領域決定手段にて決定されたＯＳＤサイズからレンズシフト量を決定することを特徴とする請求項１４に記載の投影装置。
【請求項１６】
画像をシフト処理する画像シフト処理手段を備え、
前記投影面制御手段によって決定されたレンズシフト方向とレンズシフト量に応じて、レンズシフトと逆方向、及びレンズシフト量と等しい量で画像シフト処理を行い、
前記シフト処理手段で処理された第三の画像を生成して投影すること特徴とする請求項１５に記載の投影装置。
【請求項１７】
前記投影面制御手段は、光学ズーム制御であることを特徴とする請求項１３に記載の投影装置。
【請求項１８】
前記投影面制御手段は、前記ＯＳＤ重畳領域決定手段にて決定されたＯＳＤの大きさから光学ズームの倍率を決定することを特徴とする請求項１７に記載の投影装置。
【請求項１９】
画像を縮小処理する画像縮小処理手段を備え、
前記投影面制御手段によって決定された光学ズームの逆数になる倍率で前記画像縮小処理を行い、前記画像縮小処理手段で処理された第三の画像を生成して投影すること特徴とする請求項１８に記載の投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置及び投影方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等で撮影した自然界の被写体を、高いダイナミックレンジを持ったハイダイナミックレンジ画像（以下ＨＤＲ画像と記す）として取り扱う機会が増えてきている。ＨＤＲ画像を人間の視覚に対して忠実に再現することが求められており、忠実に再現することが出来れば、色や階調、質感等の表現力が増すため、その利用が期待されている。
【０００３】
一方で、液晶ディスプレイ、有機ＥＬ等の各種直視型デバイスの表示能力が進化しているとはいえ、その再現範囲は、一般的に１〜１０００ｃｄ／ｍ２程度である。従って、例えば１０００ｃｄ／ｍ２を超えるようなＨＤＲ画像をこれらのデバイスで再現するためには、トーンマッピングと呼ばれる階調圧縮処理を施す必要がある。このような場合には、ＨＤＲ画像が本来持っているダイナミックレンジを十分に表現しきれていないことになる。
【０００４】
そこで、輝度のダイナミックレンジ拡大を目的に、印刷物に投影装置で投影することでコントラストを向上させる技術が提案されている（特許文献１）。
【０００５】
従来技術では、被観察物（例えば、画像が印刷された印刷物）に対して、投影装置の投影画像を重なるように投影することにより、被観察物の輝度のダイナミックレンジを拡大することができる。
【０００６】
なお、投影装置の投影画像を被観察物の所望の位置に重畳させるためには、投影装置のレンズシフト位置調整機能やフォーカス調整機能および投影画像の台形補正機能などが一般的に使用される。また、被観察物が所望の見えにするために、投影装置の投影画像の色や輝度を調整することも行われる。
【０００７】
投影装置のユーザは、このような投影装置の様々な機能を制御するために、投影装置からＯＳＤ（Ｏｎ  Ｓｃｒｅｅｓｎ  Ｄｉｓｐｌａｙ）を投影させ、そのＯＳＤを操作するという作業を行うことが一般的である。
【０００８】
一方で、投影装置が模様のある投影対象に対して投影した場合にも、白均一の投影対象に投影した時と同じ見えになるように投影画像を補正する方法がある（以下、模様色補正と呼ぶ）（特許文献２）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−８３１８０号公報
【特許文献２】ＷＯ０５／０５７９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記の特許文献に開示された技術では、被観察物の画質向上効果を得るために投影画像を重ねて表示する投影装置において、画質向上効果を維持したまま投影装置のＯＳＤを見やすく表示することが困難であった。なぜならば、従来技術を使ってＯＳＤを見やすくするために模様色補正を行うと、投影画像の全領域に模様色補正が行われてしまい、被観察物の色や模様が投影画像によって打ち消されてしまうためである。
【００１１】
そこで、本発明の目的は、被観察物の画質向上効果を得るために投影画像を被観察物に重ねて表示する投影装置において、画質向上効果を維持したまま投影装置のＯＳＤを見やすく表示可能な投影装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明に係る投影装置は、
第一の画像に対してＯＳＤを重畳した第二の画像を生成するＯＳＤ重畳手段と、前記第二の画像を投影する投影手段と、前記第二の画像が投影される投影面の反射率を取得する反射率取得手段と、前記反射率取得手段から取得した反射率に基づき、前記投影面中の反射率の空間周波数が所定の値以下であり、かつ投影面上の反射率が所定の値以上である領域を探索する探索手段と、前記探索手段が探索した領域の中から前記ＯＳＤを重畳する領域を決定するＯＳＤ重畳領域決定手段を備え、前記ＯＳＤ重畳手段は、ＯＳＤ重畳領域決定手段が決定した領域に前記ＯＳＤを重畳することを特徴とする。
【発明の効果】
【００１３】
本発明に係る投影装置によれば、被観察物の画質向上効果を得るために投影画像を被観察物に重ねて表示する投影装置において、画質向上効果を維持したまま投影装置のＯＳＤを見やすく表示することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明における投影装置１００を用いた画像表示システムの一例
【図２】本実施例の投影装置１００の全体の構成を示す図
【図３】画像処理部１４０の内部構成を示す図
【図４】本発明における投影装置１００がＯＳＤを投影する際のフロー図
【図５】本発明における画像ＩＭＧ＿Ｐの微分量マップおよび反射率マップを示す図
【図６】本発明における投影装置１００がＯＳＤの投影位置を示した図
【図７】本発明における投影装置１００がＯＳＤを投影する際の別のフロー図
【図８】本発明における投影装置１００がレンズシフトによって印刷画像領域外にＯＳＤを投影する際のフロー図
【図９】本本発明における投影装置１００がレンズシフトによって印刷画像領域外にＯＳＤを投影する際のＯＳＤ位置を示した図
【図１０】本発明における投影装置１００が光学ズームによって印刷画像領域外にＯＳＤを投影する際のフロー図
【図１１】本発明における投影装置１００が光学ズームによって印刷画像領域外にＯＳＤを投影する際のＯＳＤ位置を示す図
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１６】
なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。
【実施例１】
【００１７】
図１は本発明における投影装置１００を用いた画像表示システムの一例である。
【００１８】
投影装置１００は、自身に入力される画像ＰＤに対して所定の画像処理を行った後に、表示面に対して投影する。投影装置１００の内部動作の詳細については、後述する。
【００１９】
プリンタ１０１は、画像ＰＤを印刷し、印刷画像１０２を出力する。印刷画像１０２は投影装置１００の投影面に配置される。
【００２０】
なお、投影装置から投影された投影画像１０３は、表示面に配置された印刷画像１０２に対し重畳して投影される。
【００２１】
以上の様に、印刷画像１０２に基づいた投影画像１０３を投影することで、印刷画像１０２の輝度のダイナミックレンジを向上させることができる。
【００２２】
なお、投影画像１０３は、印刷画像と略同一の画像である必要はなく、例えば画像ＰＤの輝度成分のみが抽出された所謂グレースケールの画像であってもよく、また全面が白のパターンの様に印刷画像の反射率を一律に向上させるような画像であってもよい。
【００２３】
また、本実施形態においては、被観察物は印刷画像１０２であるものとして、印刷画像１０２に対して投影画像１０３を投影する形態について説明するが、被観察物はこれに限るものではない。投影画像１０３が被観察物の反射率のダイナミックレンジを向上させるものや反射率を一律に向上させるものであれば、被観察物はその形態を問わず、例えば絵画や建物の壁であってもよい。
【００２４】
図２は、本実施例の投影装置１００の全体の構成を示す図である。
【００２５】
本実施例の投影装置１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、投影装置１００は、さらに、液晶制御部１５０、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、投影装置１００は、さらに、通信部１９３、撮像部１９４を有する。
【００２６】
ＣＰＵ１１０は、投影装置１００の各動作ブロックを制御するものあり、ＲＯＭ１１１には、ＣＰＵ１１０の処理手順を記述した制御プログラムが記憶されており、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納されるものである。また、ＲＯＭ１１１には、ＯＳＤも記録されている。また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、撮像部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶することもできる。
【００２７】
操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、投影装置１００の各動作ブロックを制御する。
【００２８】
画像入力部１３０は、外部装置から送信される画像を受信するものである。ここで、外部装置とは、画像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。
【００２９】
画像処理部１４０は、映像入力部１３０から受信した画像信号にフレーム数、画素数、画素値、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。なお、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行しても良い。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換（スケーリング）処理、歪み補正処理（キーストン補正処理）、輝度補正処理、色補正処理といった機能を実行することが可能である。また、画像処理部１４０は、所望のテストパターン画像を生成して液晶制御部１５０に送信することもできる。また、画像処理部１４０は、映像入力部１３０から受信した画像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。また、画像処理部１４０は、映像入力部１３０から受信した画像信号に対して、予めＲＯＭ１１１に記憶されているＯＳＤを重畳して出力することができる。
【００３０】
液晶制御部１５０は、画像処理部１４０から出力される画像信号に基づいて、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。
【００３１】
液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。
【００３２】
光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。また、色合成部１６３は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。
【００３３】
光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものであり、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。さらに、レンズ位置をシフトさせることにより、投影画像の投影位置を移動させることができ、これをレンズシフトと呼ぶ。レンズシフトのシフト方向やシフト量は光学系制御部１７０からの指示に基づく。
【００３４】
通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、投影装置１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。
【００３５】
撮像部１９４は、本実施例の投影装置１００の周辺を撮像して画像信号を取得するものであり、投影光学系１７１を介して投影された画像を撮影（スクリーン方向を撮影）することができる。撮像部１９４は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。撮像部１９４は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、レンズを介して取得した光学像を画像信号に変換する撮像素子、撮像素子により得られた画像信号をデジタル信号に変換するＡＤ変換部などからなる。
【００３６】
なお、本実施例の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。
【００３７】
次に、図３を用いて画像処理部１４０の内部構成について説明する。
【００３８】
画像処理部１４０は、前処理部１４１、ＯＳＤ重畳部１４２、メモリ制御部１４３、画像メモリ１４４、パターン生成部１４５、後処理部１４６で構成される。画像処理部１４０を構成する各部は、レジスタバス１９９を介してＣＰＵ１１０と接続されている。
【００３９】
前処理部１４１は、画像入力部１３０から入力された画像を、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂに適した色空間、解像度へ変換する。具体的には、色空間変換、拡大縮小処理、画像シフト処理を含む表示レイアウトの変換処理を行う。画像シフト処理とは、投影領域内の画像を上下左右に移動させ、投影領域からはみ出た部分はトリミングし、画像が無かった領域には黒縁領域を付加する画像処理のことをいう。
【００４０】
ＯＳＤ重畳部１４２は、ＣＰＵ１１０の指示によって、自身に入力される画像信号に対して、予めＲＯＭ１１１に記憶されているＯＳＤを重畳して出力することができる。
【００４１】
メモリ制御部１４３は、ＩＰ変換やフレームレート変換などの時間軸上の変換処理や、投影画像の形状補正のために使用される画像メモリ１４４のメモリアドレスの発行および画像の書き込み・読み出し制御を行う。メモリ制御部１４３のフレームレート変換処理には、同じ画像を画像メモリ１４４から２度読み出すことにより実現されるフレームレートの倍速化処理も含まれる。
【００４２】
パターン生成部１４５は、ＣＰＵ１１０の指示によって、全面が白や黒、またグラデーション画像といった所望の画像パターンを生成し、後処理部１４６に出力することができる。
【００４３】
後処理部１４６は、液晶素子１５１Ｒ、Ｇ、Ｂと投影光学系１７１起因の表示むら（色むら、輝度むら）、ディスクリネーションなどの補正処理を行う。更には、液晶素子１５１の階調性に合わせたガンマ変換などの画像処理を行う。
【００４４】
ここで、本発明の投影装置１００がＯＳＤを表示する際の各部の動作を図４のフローチャートを用いて説明する。
【００４５】
投影装置１００を構成する各部は、操作部１１３を介して投影装置１００の使用者からＯＳＤを表示する指示を受信すると、本フローチャートに記載の動作を実行する。
【００４６】
まず、Ｓ１０１において、ＣＰＵ１１０は、パターン生成部１４５に対して、全面が黒であるテストパターンを生成するよう指示する。パターン生成部１４５は、ＣＰＵ１１０からの指示通りに生成したテストパターンを、後処理部１４６に対して出力する。本テストパターンは、画像処理部１４０から出力された後、液晶制御部１５０によって液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ上に形成され、投影光学系１７１を介して投影される。
【００４７】
次に、Ｓ１０２において、ＣＰＵ１１０は、撮像部１９４に対して、投影装置１００から映像が投影される方向を撮像するよう指示する。撮像部１９４は、投影装置１００から映像が投影される方向を撮像し、撮像画像ＩＭＧ＿ＢをＲＡＭ１１１に記録する。
【００４８】
Ｓ１０３において、ＣＰＵ１１０は、パターン生成部１４５に対して、全面が白であるテストパターンを生成するよう指示する。パターン生成部１４５は、ＣＰＵ１１０からの指示通りに生成したテストパターンを、後処理部１４６に対して出力する。本テストパターンは、画像処理部１４０から出力された後、液晶制御部１５０によって液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ上に形成され、投影光学系１７１を介して投影される。
【００４９】
次に、Ｓ１０４において、ＣＰＵ１１０は、撮像部１９４に対して、投影装置１００から映像が投影される方向を撮像するよう指示する。撮像部１９４は、投影装置１００から映像が投影される方向を撮像し、撮像画像ＩＭＧ＿ＷをＲＡＭ１１１に記録する。
【００５０】
次に、Ｓ１０５において、ＣＰＵ１１０は、撮像画像ＩＭＧ＿ＢおよびＩＭＧ＿Ｗ中における投影装置１００の投影画像の投影領域を検出する。具体的には、ＩＭＧ＿ＢおよびＩＭＧ＿Ｗの差分をとり、所定以上の差分のある領域を投影装置１００の投影画像の投影領域と判断する。
【００５１】
次に、Ｓ１０６において、ＣＰＵ１１０は、撮像画像ＩＭＧ＿Ｂに対して射影変換を行い、Ｓ１０５で検出した投影装置の投影領域が長方形になるように変換した画像ＩＭＧ＿Ｐを作成する。以上の手順で作成した画像ＩＭＧ＿Ｐ中には、投影装置１００の投影領域における印刷画像１０２の模様が記録されている。
【００５２】
次に、Ｓ１０７において、ＣＰＵ１１０は、以下の手順で画像ＩＭＧ＿Ｐの階調値を基に投影装置１００の投影領域における印刷画像１０２の空間周波数分布を算出する。
【００５３】
まず、ＣＰＵ１１０は、画像ＩＭＧ＿Ｐに対し、微分処理を行う。微分処理とは、例えば、隣接する画素の画素値の差から、画素間の微分値（階調の変化量）を求める処理である。次に、ＣＰＵ１１０は、画像ＩＭＧ＿Ｐを図５（ａ）の様に複数の領域（Ａ１〜Ａ２５）に分割し、それぞれの領域に対して微分処理の結果を用いて、図５（ｂ）に示すような微分量マップを作成する。領域（Ａ１〜Ａ２５）毎に示された値は、分割領域内の画素の微分値を足し合わせた総微分量（総微分値）である。なお、この領域の分割量は本例に限らず、どのように分割してあってもよく、投影したＯＳＤの大きさに応じた領域であることが望ましい。
【００５４】
次に、Ｓ１０８において、ＣＰＵ１１０は、画像ＩＭＧ＿Ｐの階調値を基に投影装置１００の投影領域における印刷画像１０２の反射率分布を計算する。具体的には、ＣＰＵ１１０は、前述の領域（Ａ１〜Ａ２５）毎に、図６（ｃ）に示すような領域内の平均反射率を記録した反射率マップを作製する。
【００５５】
次に、Ｓ１０９において、ＣＰＵ１１０は、以下の手順にてＯＳＤの重畳領域を決定する。
【００５６】
まず、ＣＰＵ１１０は、微分量マップと反射率マップから、画像ＩＭＧ＿Ｐにおける空間周波数が閾値以下で、かつ反射率が閾値以上の領域を探索する。例えば、本実施例における微分量の閾値を１５とし、反射率の閾値を６０とすると、領域Ａ２２、Ａ２４およびＡ２５がＣＰＵ１１０により探索される領域となる。ここで、ＣＰＵ１１０によって複数の領域が探索された場合、ＣＰＵ１１０は、探索される領域が１つに絞られるまで、微分量の閾値もしくはの閾値もしくはこれらの両方を段階的に変更する。例えば、ＣＰＵ１１０は、微分量の閾値を５とすると、条件を満たす領域はＡ２５だけとなる。
【００５７】
そして、ＣＰＵ１１０は探索された領域（本実施例ではＡ２５）をＯＳＤの重畳領域と決定し、ＯＳＤ重畳部１４２に通知する。
【００５８】
また、一方で、領域Ａ１〜Ａ２５に前述の条件を満たす領域が１つもなかった場合、ＣＰＵ１１０は、領域が１つ探索されるまで、微分量の閾値もしくは反射率の閾値もしくはこれらの両方を段階的に変更して、その領域をＯＳＤの重畳領域と決定してもよい。若しくは、ＣＰＵ１１０は前回ＯＳＤが表示された領域をＯＳＤの重畳領域と決定してもよい。
【００５９】
次に、Ｓ１１０において、ＯＳＤ重畳部１４２は、Ｓ１０９にてＣＰＵ１１０が決定した領域に対してＯＳＤが投影されるように、ＯＳＤを自身の入力画像に対して重畳する。
【００６０】
次に、Ｓ１１１において、ＯＳＤ重畳部１４２によってＯＳＤが重畳された画像信号は、画像処理部１４０から出力された後、液晶制御部１５０によって液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ上に形成され、投影光学系１７１を介して投影される。
【００６１】
ここで、領域Ａ２５にＯＳＤ２００が投影表示された例を図６（ａ）に示す。空間周波数は低いが反射率も低い領域Ａ１にＯＳＤ２００を投影した場合（図６（ｂ））や、反射率は高いが空間周波数も高い領域Ａ２１にＯＳＤ２００を投影した場合（図６（ｃ））に比べ、ＯＳＤを見やすく表示させることが可能である。
【００６２】
以上で説明したように、本実施形態によれば、被観察物の画質向上効果を得るために投影画像を被観察物に重ねて表示する投影装置１００において、画質向上効果を維持したまま投影装置１００のＯＳＤを見やすく表示することができる。
【００６３】
なお、ここまでは、投影装置１００を構成する各部は、操作部１１３を介して投影装置１００の使用者からＯＳＤを表示する指示を受け付けると、図４のフローチャートに記載の動作を実施するとして説明したが、これに限るものでもない。例えば、使用者が投影装置１００の設置を完了し、印刷画像１０２と投影画像１０３の位置合わせが完了した後に、予めＳ１０１からＳ１０９までの工程を実施しておいてもよい。このようにすると、投影装置１００は、操作部１１３を介して投影装置１００の使用者からＯＳＤを表示する指示を受け付けると、ステップＳ１１０の動作のみを行えばよい。
【００６４】
また、本実施形態においては、画像ＩＭＧ＿Ｐを基に投影装置１００の投影領域における被観察物の空間周波数が低くかつ反射率の高い領域を探索してＯＳＤの表示位置を決定する例について説明したが、探索対象となる画像はＩＧＭ＿Ｐだけには限らない。例えば、ＣＰＵ１１０は、射影変換をする前の撮像画像ＩＭＧ＿ＢもしくはＩＭＧ＿Ｐを基にＯＳＤ画像の表示位置を探索してもよい。また、図１に記載の実施形態の様に、被観察物に関連した画像（画像ＰＤや画像ＰＤに関連した画像）が投影装置１００に入力される場合は、ＣＰＵ１１０は投影装置１００に入力される画像を探索対象としてもよい。なぜなら、被観察物に関連した画像の空間周波数が低くかつ輝度の高い領域が、被観察物の空間周波数が低くかつ輝度の高い領域に等しいと判断できるからである。
【００６５】
また、ＣＰＵ１１０は、投影領域における印刷画像１０２の空間周波数分布および反射率分布を、通信部１９３を介して外部機器から取得してもよい。
【実施例２】
【００６６】
本発明の投影装置１００がＯＳＤを表示する位置を決定する別の動作例について説明する。なお、投影装置１００を構成する各部の構成は実施例１で記載のものと同様であるため説明は省略する。
【００６７】
ここで、本実施例における投影装置１００がＯＳＤを表示する際の各部の動作を図７のフローチャートを用いて説明する。
【００６８】
投影装置１００を構成する各部は、操作部１１３を介して投影装置１００の使用者からＯＳＤを表示する指示を受け付けると、本フローチャートに記載の動作を実行する。
【００６９】
Ｓ２０１〜Ｓ２０８における投影装置１００の各部の動作に関しては、図３のＳ１０１〜Ｓ１０８と同様であるため、説明を省略する。
【００７０】
Ｓ２０９において、ＣＰＵ１１０は表示指示を受けたＯＳＤの種類を判断する。ＯＳＤの種類とは、例えば、輝度の調整、彩度の調整、もしくは画像の変形の調整等の投影画像１０３の調整に関するＯＳＤや、投影装置１００へ入力される画像のタイミングフォーマット等の情報を表示するためのＯＳＤ等が挙げられる。ここで、ＣＰＵ１１０が、表示対象のＯＳＤが投影画像１０３の調整に関するＯＳＤであると判断すると、Ｓ２１０に進む。一方、ＣＰＵが表示対象のＯＳＤが投影画像１０３の調整に関するＯＳＤではないと判断すると、Ｓ２１１に進む。
【００７１】
次に、Ｓ２１０において、ＣＰＵ１１０は、被観察物１０２上に投影される投影画像１０３のうち、ＯＳＤを介して調整される画質項目の主の調整対象となる領域を検出する。例えば表示対象のＯＳＤが投影画像１０３の輝度を調整するためのＯＳＤである場合、ＣＰＵ１１０は、投影画像１０３中における輝度が所定以上の領域を検出する。他の例として、表示対象のＯＳＤが投影画像のある特定の色を調整するためのＯＳＤである場合は、ＣＰＵ１１０は、画像投影画像１０３中の調整対象の色を表示している画素が所定数以上含まれている領域を検出する。他の例として、表示対象のＯＳＤが投影画像の一部の形状を変形するためのＯＳＤである場合、ＣＰＵ１１０は、投影画像１０３におけるその変形対象となる領域を検出する。
【００７２】
なお、本例では、表示対象のＯＳＤが、投影画像１０３の青色の色相を調整するものとし、ＣＰＵ１１０は、投影画像１０３のうち被投影面の領域Ａ２４、Ａ２５に投影される領域に青色の画素が所定以上含まれていると検出したものとして説明を続ける。
【００７３】
次に、Ｓ２１１において、ＣＰＵ１１０は、以下の手順にてＯＳＤの重畳領域を決定する。
【００７４】
まず、ＣＰＵ１１０は、微分量マップと反射率マップから、画像ＩＭＧ＿Ｐにおける空間周波数が所定値以下で、かつ輝度が所定値以上の領域を探索する。例えば、本実施例における微分量の閾値を１５とし、輝度の閾値を６０とすると、領域Ａ２２、Ａ２４およびＡ２５がＣＰＵ１１０により探索される。ＣＰＵ１１０は探索された領域をＯＳＤ重畳部１４２に通知する。
【００７５】
本例の様に、複数の領域（Ａ２２、Ａ２４、Ａ２５）が探索された場合は、ＣＰＵ１１０は、Ｓ２１０で検出した探索した領域からＯＳＤを介して調整される画質項目の主の調整対象となる領域を除外する本例の様に、ＯＳＤが投影画像１０３の青色の色相を調整するＯＳＤである場合、Ｓ２１０にてＣＰＵ１１０が検出した画像投影画像１０３中の調整対象の色を表示している画素が所定数以上含まれている領域をＯＳＤの重畳領域候補から除外する。本例では、ＣＰＵ１１０は領域Ａ２４およびＡ２５を除外し、残った領域Ａ２２をＯＳＤの重畳領域候補ＯＳＤの重畳領域と決定し、ＯＳＤ重畳部１４２に通知する。
【００７６】
なお、ＣＰＵ１１０の本動作はＯＳＤが投影画像１０３の輝度を調整するためのＯＳＤである場合や投影画像の一部の形状を変形するためのＯＳＤである場合においても、同様である。
【００７７】
Ｓ２１２〜Ｓ２１３における投影装置１００の各部の動作に関しては、図３のＳ１１０〜Ｓ１１１と同様であるため、説明を省略する。
【００７８】
以上の様に、投影装置１００の各部が動作することで、画質向上効果を維持したまま投影装置１００のＯＳＤを見やすくでき、更にユーザがＯＳＤを介して投影画像１０３の調整を行う領域をＯＳＤが隠さずに投影することができる。
【００７９】
また、Ｓ２１１において、ＣＰＵ１１０によって複数のＯＳＤの表示候補となる領域がまだ複数存在した場合、ＣＰＵ１１０は、可能な限り前回ＯＳＤを表示した領域から近い領域をＯＳＤの重畳領域と決定することが望ましい。
【実施例３】
【００８０】
実施例１、実施例２では、投影装置１００が被観察物上の最適な位置にＯＳＤを表示していた。しかし、被観察物の状態によっては、どの位置に表示してもＯＳＤが見やすくならない場合がある。本実施例では、レンズシフトによって印刷画像領域外にＯＳＤを重畳し、できるだけ画質向上効果を維持したままＯＳＤを見やすく表示する方法について述べる。
【００８１】
なお、投影装置１００を構成する各部の構成としては、実施例１で記載のものと同様であるため説明は省略する。
【００８２】
本実施例における投影装置１００がＯＳＤを表示する際の各部の動作を図８のフローチャートを用いて説明する。
【００８３】
投影装置１００を構成する各部は、操作部１１３を介して投影装置１００の使用者からＯＳＤを表示する指示を受け付けると、本フローチャートに記載の動作を実行する。
【００８４】
Ｓ１０１〜Ｓ１０６、Ｓ１０９における投影装置１００の各部の動作に関しては、実施例１と同様であるため説明を省略する。
【００８５】
Ｓ８０１において、Ｓ１０５で検出された投影領域と印刷画像の位置より、印刷画像領域外にＯＳＤ重畳可能か否かを判断する。例えば、投影領域内の印刷画像領域がある割合以下である場合は、ＯＳＤ重畳可能と判断する。ＯＳＤ重畳が可能な場合はＳ８０４へ進みレンズシフト制御なしでＯＳＤを重畳し、ＯＳＤ重畳が可能でない場合はＳ８０２へ進みレンズシフト制御を行ってＯＳＤを重畳する。
【００８６】
Ｓ８０２ではＣＰＵ１１０がレンズシフト方向（上下左右）及びレンズシフト量を決定する。
【００８７】
レンズシフト方向は、Ｓ１０２で撮像した撮像画像（印刷画像の周辺領域を含む）からＯＳＤ重畳に適した方向を判定する。具体的には、実施例１で述べたＩＭＧ＿Ｐにおける微分量マップと反射率マップを用いた解析を行いＯＳＤが見やすい位置を判定する。但し、本実施例では印刷画像１０２の領域ではなくその周辺領域について解析する。そして、ＯＳＤ重畳に適した領域と判定された方向にレンズシフトする。ここではレンズシフトする方向を判定する方法について述べたが、ユーザによって予め設定された方向にレンズシフトしてもよい。
【００８８】
図９（ａ）は印刷画像と投射領域が一致している状態を、図９（ｂ）は右方向にレンズシフトした状態を示している。図９（ｂ）のレンズシフト量９０１に関しては、ユーザ調整によって設定された値を用いてもよいし、投射画像とＯＳＤ画像のサイズの割合から算出してもよい。
【００８９】
例えば、図９（ｂ）のように、投射画像のサイズが水平１９２０画素×垂直１２００画素、ＯＳＤ画像のサイズが水平３８４画素×垂直２４０だったとする。この時、水平方向に置いて投影画像に対するＯＳＤ画像のサイズの割合は５分の１となり、ＣＰＵ１１０はレンズシフト量９０１を２０％と決定する。その決定値に基づいて光学系制御部１７０は投影光学系１７１を制御して右方向へ２０％レンズシフトする。
【００９０】
次に、Ｓ８０３において、投影画像の画像シフト処理を行う。投影画像の画像シフト処理は前処理部１４１にて行われる。例えば、右方向にレンズシフトした場合は、印刷画像に対して投影画像の表示内容も右にずれてしまい、画質向上効果が失われる。それを防ぐために投影画像の表示内容を左方向に画像シフト処理する。画像シフト量はＳ８０２で決定されたレンズシフト量を画素数換算した分とし、前述の例ではＯＳＤ画像サイズと等しい３８４画素分となる。この時、投影画像の左３８４画素分は投影できなくなるため当該領域はトリミング処理を行い、右３８４画素分は図９（ｂ）で示すように黒縁領域９０２を付加して投影する。
【００９１】
Ｓ８０４において、印刷画像領域外にＯＳＤを重畳する。レンズシフトした場合についていうと、ＯＳＤ重畳部１４２がＳ８０３で付加された図９（ｂ）で示すように黒縁領域９０２にＯＳＤ２００を重畳する。
【００９２】
このように、レンズシフトすることで印刷画像の右５分の４領域には投影画像が適切に投影されるため、画質向上効果をできるだけ維持したまま、投影装置のＯＳＤを見やすく表示することができる。本実施例では画質向上効果を維持するために画像シフト処理を行ったが、ＯＳＤを見やすく表示する目的のみを達成するならば、必ずしもＳ８０３の画像シフト処理は実施しなくてもよい。
【実施例４】
【００９３】
実施例３ではレンズシフトによって印刷画像領域外の投影領域を設け、そこにＯＳＤを重畳する例について述べた。本実施例では、レンズによる光学ズームにより印刷画像領域外の投影領域を設け、そこにＯＳＤを重畳する例について述べる。
【００９４】
本実施例における投影装置１００がＯＳＤを表示する際の各部の動作を図１０のフローチャートを用いて説明する。
【００９５】
投影装置１００を構成する各部は、操作部１１３を介して投影装置１００の使用者からＯＳＤを表示する指示を受け付けると、本フローチャートに記載の動作を実行する。Ｓ１０１〜Ｓ８０１までのフローは実施例３と同様であるため説明を省略する。
【００９６】
Ｓ８０１で印刷画像領域外にＯＳＤ重畳が可能か否かを判定し、可能でない場合はＳ１００１へ進む。
【００９７】
Ｓ１００１では光学ズーム倍率とＯＳＤ画像サイズを決定する。光学ズーム倍率とＯＳＤ画像サイズは、光学ズームによって得られた印刷画像領域外の投射画像領域にＯＳＤを重畳可能となるように決定する。これらはズーム限界とＯＳＤサイズのトレードオフで決定すればよいが、ここでは一例として、ＯＳＤサイズから光学ズーム倍率を決定する方法について述べる。
【００９８】
例えば、図１１（ａ）は光学ズーム１．０倍で投影している投影画像のサイズが水平１９２０画素×垂直１２００画素で、印刷画像と投射画像のサイズと位置が一致している状態を示している。
【００９９】
ここで、水平３２０画素×垂直２００画素のＯＳＤを重畳する場合について、図１１（ｂ）を用いて述べる。図１１（ｂ）では前記ＯＳＤサイズで重畳可能なように、光学ズームを１．５倍に変更し、投影画像はその逆数である１／１．５倍に縮小して黒縁領域１１０１を設ける。この黒縁領域１１０１に前記ＯＳＤが重畳可能となるように光学ズームの倍率を決定する。
【０１００】
Ｓ１００２では、Ｓ１００１の決定に基づいて前処理部１４１にて投影画像を１／１．５倍縮小処理し、その周辺には黒縁領域１１０１を付加した画像処理を行う。
【０１０１】
Ｓ８０４において、印刷画像領域外にＯＳＤを重畳する。光学ズームした場合についていうと、ＯＳＤ重畳部１４２がＳ１００２で付加された黒縁領域１１０１にＳ１００１で決定されたサイズのＯＳＤ２００を重畳する。
【０１０２】
このように、印刷画像には縮小した投影画像が適切に投影されるため、画質向上効果をできるだけ維持したまま、投影装置のＯＳＤを見やすく表示することができる。本実施例では画質向上効果を維持するために画像縮小処理を行ったが、ＯＳＤを見やすく表示する目的のみを達成するならば、必ずしもＳ１００２の画像縮小処理は実施しなくてもよい。
【符号の説明】
【０１０３】
１００  投影装置、１０１  プリンタ、１０２  印刷画像、１０３  投影画像、
１１０  ＣＰＵ、１１１  ＲＯＭ、１１２  ＲＡＭ、１３０  画像入力部、
１４０  画像処理部、１４１  前処理部、１４２  ＯＳＤ重畳部、
１４３  メモリ制御部、１４４  画像メモリ、１４５  パターン生成部、
１４６  後処理部、１５０  液晶制御部、１９４  撮像部
【図１】
2020072357.tif 000003
【図２】
2020072357.tif 000004
【図３】
2020072357.tif 000005
【図４】
2020072357.tif 000006
【図５】
2020072357.tif 000007
【図６】
2020072357.tif 000008
【図７】
2020072357.tif 000009
【図８】
2020072357.tif 000010
【図９】
2020072357.tif 000011
【図１０】
2020072357.tif 000012
【図１１】
2020072357.tif 000013