(57)【要約】【課題】可視画像と不可視画像をともに投影する場合において、より高い解像感をユーザに与えることができる投影装置を提供する。【解決手段】投影装置は、第１光源と第２光源と、光源の光を変調して画像を出力する変調手段と、画像の投影位置をシフトさせるシフト手段と、第１入力画像のあるフレームから複数の制御位置に対応する複数の可視光サブフレームを生成し、第２入力画像のあるフレームから複数の制御位置に対応する複数の不可視光サブフレームを生成する生成手段と、制御手段と、を備え、制御手段は、複数の可視光サブフレームそれぞれを用いて順に画像を出力させる制御を変調手段にし、投影位置が複数の可視光サブフレームそれぞれに対応する制御位置になるようにシフト手段を制御したあとで、複数の不可視光サブフレームについても同様に変調手段とシフト手段を制御することを、繰り返す。【選択図】図７
2020060654.tif 000002
【特許請求の範囲】
【請求項１】
可視光を出力する第１光源と、
不可視光を出力する第２光源と、
前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、
前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置に対応する複数の不可視光サブフレームを生成する生成手段と、
各サブフレームに基づいて前記変調手段および前記シフト手段を同期して制御する制御手段と、
を備え、
前記制御手段は、
前記複数の可視光サブフレームそれぞれを用いて順に画像を出力させる制御を前記変調手段にし、かつ、前記投影位置が前記複数の可視光サブフレームそれぞれに対応する前記制御位置になるように前記シフト手段を制御したあとで、
前記複数の不可視光サブフレームそれぞれを用いて順に画像を出力させる制御を前記変調手段にし、かつ、前記投影位置が前記複数の不可視光サブフレームそれぞれに対応する前記制御位置になるように前記シフト手段を制御し、
前記複数の可視光サブフレームを用いた制御と、前記複数の不可視光サブフレームを用いた制御とを前記所定の周期で交互に繰り返し行う
ことを特徴とする投影装置。
【請求項２】
可視光を出力する第１光源と、
不可視光を出力する第２光源と、
前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、
前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置に対応する複数の不可視光サブフレームを生成する生成手段と、
各サブフレームに基づいて前記変調手段および前記シフト手段を同期して制御する制御手段と、
を備え、
前記制御手段は、
前記シフト手段が前記投影位置を第１制御位置に制御している間に、連続して、前記複数の可視光サブフレームのうち前記第１制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、かつ、前記複数の不可視光サブフレームのうち前記第１制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、
前記シフト手段が前記投影位置を第２制御位置に制御している間に、連続して、前記複数の可視光サブフレームのうち前記第２制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、かつ、前記複数の不可視光サブフレームのうち前記第２制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をする
ことを特徴とする投影装置。
【請求項３】
可視光を出力する第１光源と、
不可視光を出力する第２光源と、
前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、
前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置のうち複数の可視制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置のうち前記可視制御位置でない複数の不可視制御位置に対応する複数の不可視光サブフレームを生成する生成手段と、
前記シフト手段と前記変調手段を同期させて、前記シフト手段が制御する前記投影位置に対応するサブフレームを用いて前記変調手段に画像を出力させる制御をする制御手段と、
を備えることを特徴とする投影装置。
【請求項４】
前記変調手段によって出力された画像が、前記投影面に投影画像として表示され、
前記複数の制御位置は、第１位置と、前記第１位置に対して水平および垂直方向に前記投影画像の半画素分シフトした第２位置と、である
ことを特徴とする請求項１または請求項２に記載の投影装置。
【請求項５】
前記変調手段によって出力された画像が、前記投影面に投影画像として表示され、
前記複数の制御位置は、
第１位置と、
前記第１位置に対して水平方向に前記投影画像の半画素分シフトした第２位置と、
前記第２位置に対して垂直方向に前記投影画像の半画素分シフトした第３位置と、
前記第１位置に対して垂直方向に前記投影画像の半画素分シフトした第４位置と、である
ことを特徴とする請求項１から３のいずれか１項に記載の投影装置。
【請求項６】
前記第１入力画像のフレームレートと前記第２入力画像のフレームレートとは同じであって、
前記シフト手段は、前記第１入力画像および前記第２入力画像のフレームレートの４倍以上の周波数で前記投影位置をシフトさせる
ことを特徴とする請求項１から５のいずれか１項に記載の投影装置。
【請求項７】
前記生成手段は、
前記第１入力画像または前記第２入力画像のあるフレームのうち、前記制御位置に対応する画素を抽出することによってサブフレームを生成する
ことを特徴とする請求項１から６のいずれか１項に記載の投影装置。
【請求項８】
前記変調手段は、透過型のパネルである
ことを特徴とする請求項１から７のいずれか１項に記載の投影装置。
【請求項９】
前記変調手段は、反射型のパネルである
ことを特徴とする請求項１から７のいずれか１項に記載の投影装置。
【請求項１０】
前記不可視光は、赤外光である
ことを特徴とする請求項１から９のいずれか１項に記載の投影装置。
【請求項１１】
前記制御手段は、
前記可視光サブフレームを用いて前記変調手段が画像を出力する場合には、前記第１光源に可視光を出力させ、
前記不可視光サブフレームを用いて前記変調手段が画像を出力する場合には、前記第２光源に不可視光を出力させる
ことを特徴とする請求項１から１０のいずれか１項に記載の投影装置。
【請求項１２】
可視光を出力する第１光源と、不可視光を出力する第２光源と、前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、を備える投影装置の制御方法であって、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置に対応する複数の不可視光サブフレームを生成する生成工程と、
各サブフレームに基づいて前記変調手段および前記シフト手段を同期して制御する制御工程と、
を有し、
前記制御工程では、
前記複数の可視光サブフレームそれぞれを用いて順に画像を出力させる制御を前記変調手段にし、かつ、前記投影位置が前記複数の可視光サブフレームそれぞれに対応する前記制御位置になるように前記シフト手段を制御したあとで、
前記複数の不可視光サブフレームそれぞれを用いて順に画像を出力させる制御を前記変調手段にし、かつ、前記投影位置が前記複数の不可視光サブフレームそれぞれに対応する前記制御位置になるように前記シフト手段を制御し、
前記複数の可視光サブフレームを用いた制御と、前記複数の不可視光サブフレームを用いた制御とを前記所定の周期で交互に繰り返し行う
ことを特徴とする投影装置の制御方法。
【請求項１３】
可視光を出力する第１光源と、不可視光を出力する第２光源と、前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、を備える投影装置の制御方法であって、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置に対応する複数の不可視光サブフレームを生成する生成工程と、
各サブフレームに基づいて前記変調手段および前記シフト手段を同期して制御する制御工程と、
を有し、
前記制御工程では、
前記シフト手段が前記投影位置を第１制御位置に制御している間に、連続して、前記複数の可視光サブフレームのうち前記第１制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、かつ、前記複数の不可視光サブフレームのうち前記第１制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、
前記シフト手段が前記投影位置を第２制御位置に制御している間に、連続して、前記複数の可視光サブフレームのうち前記第２制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、かつ、前記複数の不可視光サブフレームのうち前記第２制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をする
ことを特徴とする投影装置の制御方法。
【請求項１４】
可視光を出力する第１光源と、不可視光を出力する第２光源と、前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、を備える投影装置の制御方法であって、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置のうち複数の可視制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置のうち前記可視制御位置でない複数の不可視制御位置に対応する複数の不可視光サブフレームを生成する生成工程と、
前記シフト手段と前記変調手段を同期させて、前記シフト手段が制御する前記投影位置に対応するサブフレームを用いて前記変調手段に画像を出力させる制御をする制御工程と、
を有することを特徴とする投影装置の制御方法。
【請求項１５】
請求項１２から１４のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影装置、投影装置の制御方法、プログラム、記憶媒体に関する。
【背景技術】
【０００２】
従来から、投影装置に搭載された液晶パネルやＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）の解像度よりも投影される画像の解像度を高く見せるために、「画素ずらし」と呼ばれる技術が知られている。具体的には、画像の１フレームから一部の画素を抽出することにより解像度を下げた複数の静止画像（以降、サブフレーム画像と呼ぶ）を生成する。そして、当該１フレームの期間内に複数のサブフレーム画像を連続して投影する際に投影位置をずらす。この投影位置をずらす処理が「画素ずらし」である。これは、具体的には、画素ずらし機構により入射された投影光を屈折させて、光路をずらして投影された画素をずらす。
【０００３】
特許文献１では、投影装置の設置状態に応じて「画素ずらし」と複数のサブフレーム画像の表示タイミングを合わせることにより、高い解像感をユーザが得られることが開示されている。
【０００４】
一方、暗視装置を装着した状態で行動する訓練用のシミュレータなどに用いられる投影装置がある。このような投影装置は、赤外光光源によって不可視画像を投影し、擬似的に夜間の画像を生成する。訓練の対象者は、この画像の赤外光を可視光に変換するＮＶＧ（Ｎｉｇｈｔ  Ｖｉｓｉｏｎ  Ｇｏｇｇｌｅ）などの暗視装置を用いて観察することで、訓練を行なうことができる。即ち、夜間においては可視光が弱いために周囲の様子が肉眼では視認できないものの、ＮＶＧを用いることで、赤外照明や夜空からの自然の赤外光照射を増幅して可視化することによって視認可能とした状況での訓練ができる。なお、この際には、肉眼で視認可能な環境も擬似的に、可視画像によって投影されていることが望ましい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−６００８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
投影装置が、可視画像と不可視画像との両方を表示する場合に、各画像を交互に切り替えて投影することがある。このような可視画像と不可視画像との切り替え投影制御と、「画素ずらし」の制御とを、どのようにして両立して実行するかについて、これまで考えられていなかった。
【０００７】
そこで、本発明の目的は、可視画像と不可視画像をともに投影する場合において、より高い解像感をユーザに与えることができる投影装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、
可視光を出力する第１光源と、
不可視光を出力する第２光源と、
前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、
前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置に対応する複数の不可視光サブフレームを生成する生成手段と、
各サブフレームに基づいて前記変調手段および前記シフト手段を同期して制御する制御手段と、
を備え、
前記制御手段は、
前記複数の可視光サブフレームそれぞれを用いて順に画像を出力させる制御を前記変調手段にし、かつ、前記投影位置が前記複数の可視光サブフレームそれぞれに対応する前記制御位置になるように前記シフト手段を制御したあとで、
前記複数の不可視光サブフレームそれぞれを用いて順に画像を出力させる制御を前記変調手段にし、かつ、前記投影位置が前記複数の不可視光サブフレームそれぞれに対応する前記制御位置になるように前記シフト手段を制御し、
前記複数の可視光サブフレームを用いた制御と、前記複数の不可視光サブフレームを用いた制御とを前記所定の周期で交互に繰り返し行う
ことを特徴とする投影装置である。
【０００９】
本発明の第２の態様は、
可視光を出力する第１光源と、
不可視光を出力する第２光源と、
前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、
前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置に対応する複数の不可視光サブフレームを生成する生成手段と、
各サブフレームに基づいて前記変調手段および前記シフト手段を同期して制御する制御手段と、
を備え、
前記制御手段は、
前記シフト手段が前記投影位置を第１制御位置に制御している間に、連続して、前記複数の可視光サブフレームのうち前記第１制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、かつ、前記複数の不可視光サブフレームのうち前記第１制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、
前記シフト手段が前記投影位置を第２制御位置に制御している間に、連続して、前記複数の可視光サブフレームのうち前記第２制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、かつ、前記複数の不可視光サブフレームのうち前記第２制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をする
ことを特徴とする投影装置である。
【００１０】
本発明の第３の態様は、
可視光を出力する第１光源と、
不可視光を出力する第２光源と、
前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、
前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置のうち複数の可視制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置のうち前記可視制御位置でない複数の不可視制御位置に対応する複数の不可視光サブフレームを生成する生成手段と、
前記シフト手段と前記変調手段を同期させて、前記シフト手段が制御する前記投影位置に対応するサブフレームを用いて前記変調手段に画像を出力させる制御をする制御手段と、
を備えることを特徴とする投影装置である。
【００１１】
本発明の第４の態様は、
可視光を出力する第１光源と、不可視光を出力する第２光源と、前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、を備える投影装置の制御方法であって、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置に対応する複数の不可視光サブフレームを生成する生成工程と、
各サブフレームに基づいて前記変調手段および前記シフト手段を同期して制御する制御工程と、
を有し、
前記制御工程では、
前記複数の可視光サブフレームそれぞれを用いて順に画像を出力させる制御を前記変調手段にし、かつ、前記投影位置が前記複数の可視光サブフレームそれぞれに対応する前記制御位置になるように前記シフト手段を制御したあとで、
前記複数の不可視光サブフレームそれぞれを用いて順に画像を出力させる制御を前記変調手段にし、かつ、前記投影位置が前記複数の不可視光サブフレームそれぞれに対応する前記制御位置になるように前記シフト手段を制御し、
前記複数の可視光サブフレームを用いた制御と、前記複数の不可視光サブフレームを用いた制御とを前記所定の周期で交互に繰り返し行う
ことを特徴とする投影装置の制御方法である。
【００１２】
本発明の第５の態様は、
可視光を出力する第１光源と、不可視光を出力する第２光源と、前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、を備える投影装置の制御方法であって、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置に対応する複数の不可視光サブフレームを生成する生成工程と、
各サブフレームに基づいて前記変調手段および前記シフト手段を同期して制御する制御工程と、
を有し、
前記制御工程では、
前記シフト手段が前記投影位置を第１制御位置に制御している間に、連続して、前記複数の可視光サブフレームのうち前記第１制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、かつ、前記複数の不可視光サブフレームのうち前記第１制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、
前記シフト手段が前記投影位置を第２制御位置に制御している間に、連続して、前記複数の可視光サブフレームのうち前記第２制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をし、かつ、前記複数の不可視光サブフレームのうち前記第２制御位置に対応するサブフレームに基づいて前記変調手段に画像を出力させる制御をする
ことを特徴とする投影装置の制御方法である。
【００１３】
本発明の第６の態様は、
可視光を出力する第１光源と、不可視光を出力する第２光源と、前記第１光源および前記第２光源のいずれかから出力された光を変調して画像を出力する変調手段と、前記変調手段から出力された画像の投影面における投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段と、を備える投影装置の制御方法であって、
前記可視光を用いて投影する第１入力画像のあるフレームから前記複数の制御位置のうち複数の可視制御位置に対応する複数の可視光サブフレームを生成し、前記不可視光を用いて投影する第２入力画像のあるフレームから前記複数の制御位置のうち前記可視制御位置でない複数の不可視制御位置に対応する複数の不可視光サブフレームを生成する生成工程と、
前記シフト手段と前記変調手段を同期させて、前記シフト手段が制御する前記投影位置に対応するサブフレームを用いて前記変調手段に画像を出力させる制御をする制御工程と、
を有することを特徴とする投影装置の制御方法である。
【発明の効果】
【００１４】
本発明によれば、可視画像と不可視画像をともに投影する場合において、より高い解像感をユーザに与えることができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態１に係る投影装置の構成図
【図２】実施形態１に係る画像整列部の入出力のタイミングチャート
【図３】実施形態１および変形例１に係るサブフレーム画像の生成方法を説明する図
【図４】実施形態１に係るサブフレーム生成部のタイミングチャート
【図５】変形例１に係るサブフレーム生成部のタイミングチャート
【図６】実施形態１および変形例１に係る位置調整部の処理を説明する図
【図７】実施形態１に係る各光源の発光タイミングを説明する図
【図８】変形例１に係る各光源の発光タイミングを説明する図
【図９】実施形態２に係るサブフレーム生成部のタイミングチャート
【図１０】実施形態２に係るサブフレーム生成部のタイミングチャート
【図１１】実施形態３に係るサブフレーム生成部のタイミングチャート
【図１２】実施形態３に係るサブフレーム生成部のタイミングチャート
【図１３】画素ずらしについて説明する図
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して本発明の実施形態を説明するが、この発明は以下の実施の形態に限定されるものではない。
【００１７】
＜実施形態１＞
実施形態１では、投影する可視画像と不可視画像との切り替え制御と「画素ずらし」の制御のタイミングを適切におこなうことによって、解像感の高い画像を投影（表示）する投影装置（プロジェクタ）について説明する。なお、以下では、投影装置が、４Ｋ画像である可視画像と不可視画像との入力を、液晶パネルの解像度と等しい２Ｋ画像である可視画像と不可視画像に変換して、「画素ずらし」技術を用いて投影（出力）する。ここで、４Ｋ画像とは、３８４０画素×２１６０ラインの画像であり、２Ｋ画像とは、１９２０画素×１０８０ラインの画像である。なお、入力は、４Ｋ画像である必要はなく液晶パネルよりも高い解像度の画像であればよく、投影する画像（出力）は、２Ｋ画像である必要はなく液晶パネルと同じ解像度であればよい。
【００１８】
［画素ずらしの概要について］
はじめに、本実施形態に係る「画素ずらし」の概要について説明する。本実施形態では、投影装置は、まず、図１３（Ａ）の太線が示すように、入力画像の１フレームを２画素×２ラインごとの領域に分割する。ここで、図１３（Ａ）におけるアルファベットは、各画素を識別するための符号である。次に、投影装置は、図１３（Ｂ）が示すように、分割した領域の「左上」の画素を各領域から抽出（サンプリング）して、液晶パネルと同じ解像度の第１サブフレーム画像を生成する。そして、投影装置は、この第１サブフレーム画像をスクリーン等に、図１３（Ｃ）が示すような投影位置に投影しているものとする。ここで、第１サブフレーム画像が投影される位置は、他のサブフレーム画像の「画素ずらし」の基準位置（第１位置）である。また、この基準位置は、他のサブフレーム画像が投影される位置と比較して「左上」に配置されることから、以下では基準位置を「左上」と呼ぶ。入力画像の領域の「右下」に関しても同様に、投影装置は、図１３（Ｄ）に示すように当該１フレームから画素を抽出して第２サブフレーム画像を生成する。そして、投影装置は、図１３（Ｅ）が示すように基準位置から垂直方向に０．５画素、水平方向に０．５画素だけ投影位置をずらした第２位置に投影を行う。なお、ここでの１画素は、スクリーン（投影面）上での第１サブフレーム画像（投影画像）における１画素を示す。これによれば、分割された領域の「右下」から画素を抽出して生成された第２サブフレーム画像は、他のサブフレーム画像と比較して「右下」の位置に投影される。なお、投影装置は、入力画像の１フレームの期間内に、この第１サブフレーム画像および第２サブフレーム画像を連続してスクリーンに投影するようにする。このように「画素ずらし」により投影位置をずらすことによれば、投影装置の液晶パネルの解像度以上の解像感を観賞するユーザに与えることができる。
【００１９】
なお、画素をずらす方式には、上述のように「左上」「右下」などの斜め４５度に２方向にずらす方式（以降、「２方向駆動」と呼ぶ）と、縦横（水平垂直）に４方向にずらす方式（以降、「４方向駆動」と呼ぶ）がある。なお、本実施形態に係る投影装置では、２方向駆動によって画素ずらしを行うものとして説明する。
【００２０】
［投影装置１００の構成］
図１は、本実施形態に係る投影装置１００の構成図である。本構成図を用いた説明では、構成要素と概略機能の説明を行う。投影装置１００は、画像入力部１０１、画像処理部１０２、画像整列部１０３、サブフレーム生成部１０４、順序制御部１０５、パネル制御部１０６を有する。また、投影装置１００は、液晶パネル１０７、可視光源制御部１０８、可視光源１０９、不可視光源制御部１１０、不可視光源１１１を有する。投影装置１００は、駆動制御部１１２、位置調整部１１３、光学系制御部１１４、投影光学系１１５、入力検出部１１６、操作部１１７、制御部１１８を有する。ここで、制御部１１８は、投
影装置１００の各機能部に接続されている。なお、本実施形態を説明する上で必要な、制御部１１８と機能部との接続のみ図１にて図示している。
【００２１】
画像入力部１０１は、外部装置から入力される画像（入力画像）を取得（受信）する。本実施形態では、入力画像として可視画像および不可視画像が入力される。画像入力部１０１は、例えば、ＤｉｓｐｌａｙＰｏｒｔ端子、ＨＤＭＩ（登録商標；Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）端子等を含む。ここで、外部装置は、画像信号を出力できるものであれば、パーソナルコンピュータ、ハードディスクレコーダ、スマートフォン、撮像装置など任意のものであってもよい。また、画像入力部１０１は、受信した可視画像および不可視画像を画像処理部１０２に出力する。
【００２２】
なお、画像入力部１０１では、可視画像のみが入力される場合と、可視画像と合わせて不可視画像の画像が入力される場合とがある。本実施形態では、画像入力部１０１に可視画像のみが入力される場合のフォーマットは、４Ｋ画像であり、フレームレート（フレーム周波数）が１２０Ｈｚである。一方、可視画像と不可視画像との２つが入力される場合のフォーマットは、それぞれ４Ｋ画像であり、フレームレートが６０Ｈｚである。なお、本実施形態では、可視画像と不可視画像とは、それぞれ別の入力系統によって入力される。なお、入力される画像（入力画像）は、上述のような解像度やフレームレートに限られず、例えば、それ以上の解像度やフレームレートの画像であってもよい。このような場合には、画像処理部１０２が、入力画像を適切な解像度やフレームレートに変換する処理を行えばよい。
【００２３】
ここで、画像入力部１０１に入力される可視画像とは、人の目によって認識できる画像（画像データ）であり、例えば、ＲＧＢ画像（ＲＧＢ画像データ）である。画像入力部１０１に入力される不可視画像とは、例えば、赤外線画像（赤外線画像データ）のような人の目によって認識できない画像（画像データ）であり、可視画像と関連している画像である。具体的には、不可視画像は、可視画像から生成されるものであってもよいし、可視画像と同時に撮影された不可視画像であってもよいし、可視画像の情報を示す付帯情報であってもよい。なお、人の目によって認識できる画像を生成するための画像を可視画像とし、人の目によって認識できない画像を生成するための画像を不可視画像としてもよい。つまり、画像入力部１０１に入力される時点では、可視画像および不可視画像はデータであるので、投影される時点において人の目によって認識できるか否かで可視画像および不可視画像を定義するとよい。
【００２４】
画像処理部１０２は、画像入力部１０１から受信した画像信号に対して、各種フィルタ処理、拡大縮小処理、色補正処理といった画像処理を行う。画像処理部１０２は、可視画像と不可視画像の入力それぞれに対して画像処理を行う。画像処理部１０２は、画像処理した画像を画像整列部１０３に送信する。
【００２５】
画像整列部１０３は、順序制御部１０５から取得するアドレス等を示す制御情報に従い、フレームメモリを使用して、画像処理部１０２から入力される画像から整列画像（倍速画像）を生成する。具体的には、画像整列部１０３は、可視画像と不可視画像の入力時には、可視画像と不可視画像を「フレーム順次」にするように制御し、６０Ｈｚである２つの画像を１２０Ｈｚである１つの画像にすることによって整列画像を生成する。ここで、「フレーム順次」とは、可視画像と不可視画像とが、フレーム毎に交互に配置されていることを示す。そして、画像整列部１０３は、サブフレーム生成部１０４へ整列画像を出力する。可視画像のみの入力の場合には前述したように当該可視画像は１２０Ｈｚであるため、画像整列部１０３は何も処理せずに、可視画像を整列画像としてサブフレーム生成部１０４へ出力する。なお、「画素ずらし」を行わない場合には、投影装置１００は、この整列画像を投影することにより、可視画像と不可視画像とを同時に投影することが可能で
ある。
【００２６】
サブフレーム生成部１０４は、順序制御部１０５から取得するアドレス等を示す制御情報に従い、フレームメモリを使用して、画像整列部１０３から受信した整列画像を抽出（サンプリング）して縮小した静止画像（サブフレーム画像）を複数生成する。サブフレーム生成部１０４は、生成した複数のサブフレーム画像をパネル制御部１０６へ出力する。
【００２７】
本実施形態では、サブフレーム生成部１０４は、４Ｋ画像を縮小して、２Ｋの複数のサブフレーム画像（静止画像）を生成する。ここで、サブフレーム生成部１０４は、受信した画像から２枚のサブフレーム画像または４枚のサブフレーム画像を生成する。本実施形態では、サブフレーム生成部１０４は、２枚のサブフレーム画像を生成する。なお、以降、上述の２枚のサブフレーム画像のそれぞれを第１サブフレーム画像、第２サブフレーム画像と呼ぶ。上述の４枚のサブフレーム画像のそれぞれを第１サブフレーム画像、第２サブフレーム画像、第３サブフレーム画像、第４サブフレーム画像と呼ぶ。また、サブフレーム画像は、スクリーン（投影面）などに投影される画像であるから投影画像ということもできるため、「投影画像」の１フレームに対応する静止画像を「サブフレーム画像」と呼ぶ。
【００２８】
なお、投影装置１００が投影する投影画像のフレームレートは、サブフレーム生成部１０４が生成するサブフレーム画像の枚数に応じて速くなる。例えば、本実施形態のように、サブフレーム生成部１０４が２枚のサブフレーム画像を生成する際は、投影画像のフレームレートは整列画像の２倍である。サブフレーム生成部１０４が４枚のサブフレーム画像を生成する際は、投影画像のフレームレートは整列画像の４倍である。サブフレーム画像の詳細な生成方法については後述する。
【００２９】
順序制御部１０５は、制御部１１８の制御信号に応じて、画像整列部１０３とサブフレーム生成部１０４がフレームメモリにアクセスするためのアドレスやタイミングを示す制御情報を生成する。
【００３０】
パネル制御部１０６は、サブフレーム生成部１０４から受信した画像に基づいて、液晶パネル１０７の画素の液晶に印可する電圧を制御して、液晶パネル１０７の透過率もしくは反射率を調整する。
【００３１】
液晶パネル１０７は、可視光源１０９や不可視光源１１１が照射する光を、パネル制御部１０６から入力される電圧信号に基づく透過率で透過もしくは反射率で反射させることにより、サブフレーム画像を投影する表示パネルである。つまり、液晶パネル１０７は、本実施形態では、透過型パネルまたは反射型パネルである。また、本実施形態では、液晶パネル１０７は、可視光源１０９や不可視光源１１１が照射する光を変調して、画像を出力する変調手段である。ここで、液晶パネル１０７が出力する画像は、サブフレーム生成部１０４によって生成されたサブフレーム画像に基づくものである。また、液晶パネル１０７によって出力された画像が、投影光学系１１５を介して、投影対象物であるスクリーン（投影面）などにおいて投影画像として表示される。本実施形態の液晶パネル１０７は、２Ｋ（３８４０画素×２１６０ライン）の解像度とするが、任意の解像度でよい。
【００３２】
可視光源制御部１０８は、可視光源１０９のオン／オフの制御や光量の制御を行う。
可視光源１０９は、投影対象物であるスクリーンに画像を投影するための光を出力するものであり、投影光学系１１５に対して可視光を照射する。可視光源１０９は、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどである。
【００３３】
不可視光源制御部１１０は、不可視光源１１１のオン／オフの制御や光量の制御を行う
。
不可視光源１１１は、投影対象物であるスクリーンに画像を投影するための不可視光を出力するものであり、投影光学系１１５に対して不可視光を照射する。不可視光源１１１は、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどである。また、不可視光とは、例えば、赤外線（赤外光）である。
【００３４】
駆動制御部１１２は、制御部１１８から入力される制御信号に基づき、位置調整部１１３の駆動方式や「画素ずらし」を行うタイミングを制御する。
位置調整部１１３は、駆動制御部１１２の制御により光路をずらすことによって、投影光学系１１５が投影する画像の画素の位置を、所定の周期で、あらかじめ定められた所定の位置（制御位置）に移動（シフト）させる、いわゆる「画素ずらし」を行う。従って、本実施形態では、位置調整部１１３は、投影位置を、所定の周期であらかじめ定められた複数の制御位置のうちいずれかにシフトさせるシフト手段であるといえる。ここで、駆動制御部１１２によって、斜め方向に画素をずらす２方向駆動、または、縦横（水平垂直）方向に画素をずらす４方向駆動かが決定される。本実施形態では、駆動制御部１１２によって、２方向駆動を行うことが決定されている。また、駆動制御部１１２によって、位置調整部１１３が「画素ずらし」を行うタイミングも制御されている。位置調整部１１３の処理の詳細については後述する。
【００３５】
光学系制御部１１４は、投影光学系１１５を制御するものであり、制御用のマイクロプロセッサからなる。なお、光学系制御部１１４は、専用のマイクロプロセッサである必要はない。例えば、ＲＯＭに記憶されたプログラムによって、制御部１１８が光学系制御部１１４と同様の処理を実行してもよい。
【００３６】
投影光学系１１５は、位置調整部１１３から出力された光をスクリーンに投影するためのものである。投影光学系１１５は、複数のレンズ、レンズ駆動用のアクチュエータから構成されており、レンズをアクチュエータにより駆動することによって、投影画像の拡大縮小、投影位置のシフト調整、焦点調節などを行うことができる。
【００３７】
入力検出部１１６は、画像入力部１０１が出力する入力フォーマットを検出し、検出した情報を制御部１１８へ送信する。本実施形態では、入力検出部１１６は、入力画像が可視画像のみか、可視画像と不可視画像の両方かのいずれであるかを検出する。
【００３８】
なお、上述の検出方法に限らず、入力検出部１１６は、可視画像の入力ポートにおける、予め決められた画像データレーン（ＲＧＢのＲのレーン）にのみデータが存在する場合にも、当該データレーンに不可視画像が入力されていると判定することができる。また、上述では、入力検出部１１６は、入力画像に応じて検出していたが、操作部１１７を介する画像の数や画像の種類のユーザ入力によって検出してもよい。
【００３９】
操作部１１７は、ユーザの指示を受け付け、制御部１１８に指示信号を送信するものであり、例えば、スイッチやダイヤルなどから構成される。また、操作部１１７は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）において、受信した信号に基づいて所定の指示信号を制御部１１８に送信するものであってもよい。
【００４０】
制御部１１８は、通信バスを介して投影装置１００の各機能部を制御信号によって制御する。また、制御部１１８は、操作部１１７から入力される指示信号に応じて、投影装置１００の各機能部を制御することができる。制御部１１８は、主に順序制御部１０５、可視光源制御部１０８、不可視光源制御部１１０、駆動制御部１１２を合わせて制御し、投影装置１００全体のデータフローを制御する。
【００４１】
なお、本実施形態では、制御部１１８は、サブフレーム生成部１０４が生成したサブフレーム画像に基づいて、液晶パネル１０７の画像の出力と位置調整部１１３の「画素ずらし」を制御する。また、制御部１１８は、液晶パネル１０７と位置調整部１１３との処理のタイミングが同期するように制御する。
【００４２】
［画像整列部の処理について］
続いて、画像整列部１０３の処理について図２のタイミングチャートを使用して説明する。図２は、画像整列部１０３に入力される可視画像および不可視画像と画像整列部１０３が出力する整列画像との入出力のタイミングを示すタイミングチャートである。なお、可視画像および不可視画像は、画像処理部１０２から画像整列部１０３に入力される。なお、画像整列部１０３がフレームメモリにアクセスするタイミングやアドレスに関する情報は、順序制御部１０５から制御情報として入力される。
【００４３】
（入力について）
画像整列部１０３には、フレームレートが６０Ｈｚの４Ｋ画像として可視画像と不可視画像とが、画像処理部１０２からそれぞれ入力される。より詳細には、画像処理部１０２が、可視画像と不可視画像をフレームメモリに書き込むことによって、画像整列部１０３に当該４Ｋ画像が入力される。なお、本実施形態では、１フレームの間に、可視画像と不可視画像とがともに画像整列部１０３に入力される。
【００４４】
図２では、期間１〜期間３の各期間（各フレーム）において、画像整列部１０３に入力される可視画像の１フレームであるＲＧＢ１〜ＲＧＢ３と不可視画像の１フレームであるＩＲ１〜ＩＲ３を示している。なお、本実施形態では、可視画像と不可視画像とは同期されて同時に画像整列部１０３に入力されるが、必ずしも同期していなくてもよい。例えば、期間１において入力される可視画像の１フレームであるＲＧＢ１と不可視画像の１フレームであるＩＲ１とは関連する（対応する）画像として入力される。なお、期間１〜期間３は、それぞれ同じ長さの期間であり、より詳細には、１／６０秒である。
【００４５】
（出力について）
画像整列部１０３における出力フレームレートは、入力フレームレートの２倍のフレームレートである１２０Ｈｚである。画像整列部１０３は、入力された可視画像と不可視画像とを「フレーム順次」（交互）にするように、フレームメモリに格納されたデータを順に１２０Ｈｚで読み出す。画像整列部１０３は、読み出した画像を整列画像として、フレームメモリに書き込むことによって、サブフレーム生成部１０４に出力する。
【００４６】
例えば、画像整列部１０３は、期間１においてフレームメモリに書き込まれたＲＧＢ１とＩＲ１に関して、期間２−１においてＲＧＢ１を読み出し、期間２−２においてＩＲ１を読み出す。ここで、期間２−１および期間２−２は、期間２を２つに分割した期間である。画像整列部１０３は、同様の読み出し制御を期間３−１以降も繰り返すことで「フレーム順次」出力を実現する。なお、整列画像は、２つの入力画像の各フレームを交互につなぎあわせたものであるため、入力画像であるともいえる。
【００４７】
［サブフレーム生成部の抽出処理について］
続いて、サブフレーム生成部１０４の処理について説明する。まず、図３（Ａ）、図３（Ｃ）、図３（Ｄ）を用いて、サブフレーム生成部１０４が行う抽出（サンプリング）について説明する。サブフレーム生成部１０４は、入力された整列画像（入力画像）の１フレームから所定の画素を抽出して、サブフレーム画像（投影画像）を生成する。
【００４８】
図３（Ａ）は、２方向駆動時の抽出位置を示す図であり、細線に囲まれた領域の１つ１つは整列画像の１フレームの画素を示している。図３（Ａ）において、「Ｓ１」と示され
ている画素が第１サブフレーム画像として抽出される画素であり、「Ｓ２」と示されている画素が第２サブフレーム画像として抽出される画素である。なお、ここで抽出されない画素は画像情報として取り扱わない。すなわち、サブフレーム画像は、整列画像（入力画像）の１／４の画素数である画像である。
【００４９】
より詳細には、サブフレーム生成部１０４は、図３（Ａ）の太線が示すように、整列画像を２画素×２ラインの領域ごとに分割する。サブフレーム生成部１０４は、第１サブフレーム画像の生成のために当該領域（抽出領域）の「左上」に存在する「Ｓ１」の画素を各抽出領域から抽出（サンプリング）する。サブフレーム生成部１０４は、第２サブフレーム画像の生成のために当該抽出領域の「右下」に存在する「Ｓ２」の画素を各抽出領域から抽出する。そして、サブフレーム生成部１０４は、抽出した画素のみでサブフレーム画像を生成する。なお、サブフレーム生成部１０４が抽出する画素の位置は、位置調整部１１３が投影位置をシフトする位置（制御位置）と対応している。
【００５０】
なお、上述では、サブフレーム生成部１０４は、抽出領域の「左上」「右下」などの位置から画素を抽出しているが、これには限られない。具体的には、抽出領域の中心（中心点）を通るような縦軸および横軸によって図３（Ｃ）が示すような４つの象限を定義すると、サブフレーム生成部１０４は、抽出する画素が属する象限が各サブフレームで異なるように画素を抽出すればよい。この場合には、図３（Ａ）のように抽出領域の中心で互いに点対称であるような象限の画素から、２つのサブフレーム画像が生成されてもよい。
【００５１】
また、抽出領域は、２画素×２ラインである必要はなく、例えば、図３（Ｄ）が示すように３画素×３ラインであってもよく、入力画像の解像度および液晶パネル１０７の解像度に応じて決定されればよい。この場合も、サブフレーム生成部１０４は、抽出する画素が属する象限が各サブクレームで異なるように画素を抽出すればよい。
【００５２】
［サブフレーム生成部の入出力処理について］
続いて、サブフレーム生成部１０４の入出力処理について、図４のタイミングチャートを使用して説明する。図４および図５は、サブフレーム生成部１０４に入力される整列画像とサブフレーム生成部１０４が出力するサブフレーム画像（投影画像）との入出力のタイミングを示すタイミングチャートである。また、図４は、２方向駆動時において、サブフレーム生成部１０４がサブフレーム画像を出力する場合のタイミングチャートである。
【００５３】
なお、サブフレーム生成部１０４がフレームメモリにアクセスするタイミングやアドレスに関する情報は、順序制御部１０５から制御情報として入力される。なお、サブフレーム生成部１０４のサブフレーム画像の出力先は、パネル制御部１０６である。また、本実施形態では、パネル制御部１０６にサブフレーム画像が入力されると、遅延なくスクリーンにサブフレーム画像が投影されるものとする。従って、サブフレーム生成部１０４がサブフレーム画像を出力するタイミングは、当該サブフレーム画像が投影されるタイミングを示している。また、同様に、サブフレーム生成部１０４がサブフレーム画像を出力するタイミングは、液晶パネル１０７が当該サブフレーム画像に基づいた画像を出力するタイミングともいえる。
【００５４】
（入力について）
サブフレーム生成部１０４には、可視画像と不可視画像が組み合わさった１２０Ｈｚである４Ｋの整列画像が入力される。より詳細には、画像整列部１０３が、整列画像をフレームメモリに書き込むことによって、サブフレーム生成部１０４に入力される。つまり、サブフレーム生成部１０４における入力は、画像整列部１０３における出力と同一である。
【００５５】
（出力について）
図４が示すように、２方向駆動の場合での、サブフレーム生成部１０４における出力フレームレートは、入力フレームレートの２倍である２４０Ｈｚである。
【００５６】
サブフレーム生成部１０４は、不可視画像が入力されている期間には、まず、可視画像から抽出（読み出し；サンプリング）して第１サブフレーム画像を生成して出力する。当該期間において、次に、サブフレーム生成部１０４は、可視画像から抽出して第２サブフレーム画像を生成して出力する。サブフレーム生成部１０４は、可視画像が入力されている期間にも同様に、不可視画像から第１サブフレーム画像、次に第２サブフレーム画像を生成して出力する。ここで、サブフレーム生成部１０４は、画像の入力から１２０Ｈｚにおける１フレーム分遅れて、当該画像の２つのサブフレーム画像を出力している。なお、図４において、「１ｓｔ」とは第１サブフレーム画像であることを示しており、「２ｎｄ」とは第２サブフレーム画像であることを示しており、他の図および後述に記載のある「３ｒｄ」「４ｔｈ」も同様である。また、以下では、「１ｓｔ」「２ｎｄ」「３ｒｄ」「４ｔｈ」のことを、サブフレーム番号と呼ぶ。
【００５７】
例えば、期間２−２−１〜期間２−２−２において、サブフレーム生成部１０４は、ＲＧＢ１から画素を抽出することによって、第１サブフレーム画像と第２サブフレーム画像を生成する。同様に、期間３−１−１〜期間３−１−２において、サブフレーム生成部１０４は、ＩＲ１から画素を抽出することによって、第１サブフレーム画像と第２サブフレーム画像を生成する。なお、期間２−２−１および期間２−２−２は、期間２−２を均等に２つに分割した期間（サブフレーム）であり、期間３−１−１および期間３−１−２は、期間３−１を均等に２つに分割した期間（サブフレーム）である。
【００５８】
つまり、期間１において画像整列部１０３に入力されるＲＧＢ１およびＩＲ１から生成するサブフレーム画像を、サブフレーム生成部１０４は、期間２−２−１〜期間３−１−２において連続して出力する。ここで、サブフレーム生成部１０４は、可視画像から生成される２つのサブフレーム画像を出力した後に、不可視画像から生成される２つのサブフレーム画像を出力している。なお、以下では、簡単のために、「可視画像から生成されるサブフレーム画像」を「可視画像のサブフレーム画像（可視光サブフレーム）」と呼ぶ。また、「不可視画像から生成されるサブフレーム画像」を「不可視画像のサブフレーム画像（不可視光サブフレーム）」と呼ぶ。
【００５９】
［位置調整部について］
続いて、位置調整部１１３の処理について説明する。図６（Ａ）は、位置調整部１１３によって投影位置（画素）がずらされた画像を、投影光学系１１５がスクリーン（投影面）に投影した様子を時系列で示した図である。また、破線で囲まれた範囲１つ１つは、０．５画素×０．５ラインの範囲を示している。斜線で示されている範囲は、投影されているサブフレーム画像における、ある画素の位置を示している。
【００６０】
図６（Ａ）は、２方向駆動時の投影を時系列で示した図である。投影光学系１１５は、周期Ｔに対し、第１サブフレーム画像と第２サブフレーム画像をＴ／２毎に順次（交互に）投影する。具体的には、投影光学系１１５は、時刻ｔ１、ｔ２、ｔ５において第１サブフレーム画像を投影し、時刻ｔ３、ｔ４において第２サブフレーム画像を投影している。なお、ここで周期Ｔは、整列画像のフレームレートの逆数であり、周期Ｔは、１／１２０秒である。そのため、本実施形態における、投影位置を変更する周波数（頻度）は、入力画像のフレームレートの４倍である。また、時刻ｔ１とｔ５との間隔は周期Ｔであり、時刻ｔ１とｔ５との当該間隔を４等分するものがそれぞれ時刻ｔ２〜ｔ４である。ここで、各サブフレーム画像が、投影される位置（制御位置）は、周期Ｔによってあらかじめ決められているものとする。
【００６１】
ここで、位置調整部１１３は、図６（Ａ）が示すように、各サブフレーム画像を、互いに投影位置が水平方向および垂直方向に０．５画素（半画素）ずつずれているようにして、投影光学系１１５に投影させている。より詳細には、位置調整部１１３は、サブフレーム画像の抽出位置に応じた、投影位置の調整を行う。例えば、位置調整部１１３は、入力画像を分割した抽出領域の「左上」の画素を抽出した第１サブフレーム画像を投影する場合には、投影位置を基準位置（第１位置）である「左上」にする。抽出領域の「右下」の画素を抽出した第２サブフレーム画像を投影する場合には、位置調整部１１３は、投影位置を第２位置である「右下」にする。ここで、「左上」や「右下」は、第１位置と第２位置との中心から見て「左上」であるか「右上」であるかによって判断される。つまり、位置調整部１１３は、サブフレーム画像を抽出した象限の方向に対応するように、当該サブフレーム画像の投影位置を調整する。例えば、各抽出領域における第１象限の画素から生成されたサブフレーム画像を投影する場合には、位置調整部１１３は、当該中心からみて第１象限の方向（右上）に当該サブフレーム画像の投影位置を移動させる。なお、第１位置と第２位置との距離は、水平方向（縦）および垂直方向（横）にそれぞれ０．５画素であることが望ましいが、必ずしも０．５画素である必要はなく、例えば、０．４画素や０．２５画素であってもよい。０．５画素ずらす（半画素分シフトする）ことによれば、入力画像における抽出する画素の中心の位置と、サブフレーム画像における当該画素の中心の位置とが一致するため、他の場合よりも解像感が向上する。
【００６２】
なお、投影光学系１１５は、第１位置および第２位置を、投影位置をずらさない場合よりもそれぞれ横方向に０．２５画素、縦方向に０．２５画素ずれた位置にしてもよい。つまり、任意（一定）の点を原点として、それぞれのサブフレーム画像の投影位置の中心が、当該原点に対して当該サブフレームが抽出される際の象限と同じ象限にあるようにされればよい。そして、各サブフレーム画像の投影位置の中心それぞれと当該原点との距離が縦方向および横方向に０．２５画素であればよい。これによれば、上述の０．２５画素ずらす場合と、各サブフレーム画像の間の相対的な投影位置の関係は同じであるため、同様の効果を得ることができる。
【００６３】
このように抽出位置に応じて、各サブフレーム画像（投影画像）の投影位置を調整して投影することにより、各サブフレーム画像の解像度よりも高い解像感を観賞するユーザに与えることができる。
【００６４】
［各光源の発光とのタイミングについて］
続いて、図７を用いて、可視光源１０９と不可視光源１１１との光の出力とのタイミングについて説明する。図７は、図４が示すサブフレーム生成部１０４の出力のタイミングチャートに対して、図６（Ａ）が示した「画素ずらし」の位置状態と、可視光源１０９と不可視光源１１１が出力する光の出力状態を追加したものである。つまり、図７では、投影される各サブフレーム画像に対応する、投影位置および各光源の発光状態を示している。なお、可視光源１０９と不可視光源１１１ともにオン状態は白塗りで示しており、オフ状態は黒塗りで示している。
【００６５】
図７が示すように、本実施形態では、投影位置の変更が１／１２０秒周期で行われており、これに同期して可視光源１０９および不可視光源１１１は、それぞれオン／オフ制御されている。ここで、可視光源制御部１０８は、可視画像のサブフレーム画像（可視光サブフレーム）をサブフレーム生成部１０４が出力する場合には、可視光源１０９をオンにするよう制御する。可視光源制御部１０８は、不可視画像のサブフレーム画像（不可視光サブフレーム）をサブフレーム生成部１０４が出力する場合には、可視光源１０９をオフにするよう制御する。一方、不可視光源制御部１１０は、不可視画像のサブフレーム画像をサブフレーム生成部１０４が出力する場合には、不可視光源１１１をオンにするよう制
御する。不可視光源制御部１１０は、可視画像のサブフレーム画像をサブフレーム生成部１０４が出力する場合には不可視光源１１１をオフにするように制御する。
【００６６】
なお、上述のように、サブフレーム生成部１０４がサブフレーム画像を出力するタイミングは、投影光学系１１５が当該サブフレーム画像を投影するタイミングと同じである。従って、投影されるサブフレーム画像が可視画像から生成されたものであれば、可視光源１０９が可視光を照射し、投影されるサブフレーム画像が不可視画像から生成されたものであれば、不可視光源１１１が可視光を照射するといえる。
【００６７】
なお、上述のように、本実施形態では、投影装置１００の各機能部は、制御部１１８によって制御されている。従って、本実施形態では、制御部１１８は、以下に示す（１）および（２）の処理を交互に周期Ｔごとに繰り返しているといえる。
（１）可視画像から生成された２つのサブフレーム画像それぞれを用いて順に画像を出力させる制御を液晶パネル１０７にし、かつ、当該２つのサブフレーム画像それぞれに対応する制御位置に投影位置がなるように位置調整部１１３を制御する。
（２）その後、不可視画像から生成された２つのサブフレーム画像それぞれを用いて順に画像を出力させる制御を液晶パネル１０７にし、かつ、当該２つのサブフレーム画像それぞれに対応する制御位置に投影位置がなるように位置調整部１１３を制御する。
【００６８】
また、本実施形態では、投影装置１００が、整列画像やサブフレーム画像を生成するとしたが、このような画像が情報処理装置などの外部装置によって入力されてもよい。また、本実施形態では、可視画像と不可視画像とを異なる期間において投影することを行っているが、これらの画像は１秒間に１２０回入れ替わっているため、人間の目においては可視画像と不可視画像とが同時に投影されているといえる。なお、本実施形態では、制御部１１８が投影装置１００の各機能部を制御しているため、制御部１１８が、可視光源１０９と不可視光源１１１の発光の切り替えを制御し、投影光学系１１５のサブフレーム画像の投影を制御しているといえる。
【００６９】
以上のように、２つの可視画像と不可視画像との各画像から抽出したサブフレーム画像に対して、投影位置を調整することによって、液晶パネルの解像度以上の解像感で投影することができる。
【００７０】
［変形例１］
実施形態１では、「画素ずらし」について２駆動方式の場合について説明したが、本変形例では、４駆動方式の場合について説明する。なお、本変形例に係る投影装置１００は、実施形態１に係る投影装置１００と、サブフレーム生成部１０４と駆動制御部１１２と位置調整部１１３の処理とが異なるため、これらの処理について以下にて説明する。なお、その他の投影装置１００の機能部は、実施形態１におけるものと同様であるため詳細な説明は省略する。
【００７１】
サブフレーム生成部１０４は、画像整列部１０３から整列画像を受信して、受信した画像から４枚のサブフレーム画像を生成する。なお、受信する整列画像は、実施形態１と同じであるため、以下では、サブフレーム生成部１０４が出力するサブフレーム画像について、図５を用いて説明する。
【００７２】
図５は、サブフレーム生成部１０４がサブフレーム画像を出力する場合のタイミングチャートである。図５が示すように、４方向駆動の場合での、サブフレーム生成部１０４における出力フレームレートは、入力フレームレートの４倍である４８０Ｈｚである。サブフレーム生成部１０４は、実施形態１における２方向駆動の場合と同様に、入力される可視画像や不可視画像を抽出することによって、２Ｋである第１サブフレーム画像〜第４サ
ブフレーム画像を生成して出力する。つまり、サブフレーム生成部１０４は、画像の入力から１２０Ｈｚにおける１フレーム分遅れて、当該画像の４つのサブフレーム画像を出力する。この場合も、サブフレーム生成部１０４は、可視画像から生成される４つのサブフレーム画像を出力した後に、不可視画像から生成される４つのサブフレーム画像を出力している。
【００７３】
ここで、サブフレーム生成部１０４が、整列画像（入力画像）から４つのサブフレーム画像を生成する方法を、図３（Ｂ）を用いて説明する。図３（Ｂ）は、入力画像の１フレームを２画素×２ラインの領域に分割している図を示している。サブフレーム生成部１０４は、図３（Ｂ）が示すような、分割された領域である抽出領域での「左上」のＳ１に対応する画素を抽出して、第１サブフレーム画像を生成する。同様に、サブフレーム生成部１０４は、各抽出領域の「右上」のＳ２に対応する画素から第２サブフレーム画像を生成し、各抽出領域の「右下」のＳ３に対応する画素から第３サブフレーム画像を生成する。そして、サブフレーム生成部１０４は、各抽出領域の「左下」のＳ４に対応する画素から第４サブフレーム画像を生成する。つまり、サブフレーム生成部１０４は、分割された抽出領域の中心を原点として、第１象限〜第４象限のそれぞれに対応する画素から第１サブフレーム画像〜第４サブフレーム画像を生成する。
【００７４】
駆動制御部１１２は、４方向駆動によって「画素ずらし」を行うことを決定し、位置調整部１１３を制御する。位置調整部１１３は、駆動制御部１１２によって制御され、投影する画像を４方向に移動（シフト）させる処理を行う。
【００７５】
以下では、図６（Ｂ）を用いて、位置調整部１１３が行う「画素ずらし」について詳細に説明する。図６（Ｂ）は、位置調整部１１３によって投影位置（画素）がずらされた画像を、投影光学系１１５がスクリーンに投影した様子を時系列で示した図である。
【００７６】
本変形例では、位置調整部１１３は、４つのサブフレーム画像を互いに異なる投影位置にして投影光学系１１５に投影させる。図６（Ｂ）が示す、時刻ｔ１、ｔ５では、第１サブフレーム画像が投影されており、時刻ｔ２では、第２サブフレーム画像が投影されており、時刻ｔ３では、第３サブフレーム画像が投影されており、時刻ｔ４では、第４サブフレーム画像が投影されている。ここで、本変形例における、投影位置を変更する周波数は、入力画像のフレームレートの８倍である。このように、実施形態１および本変形例では、投影位置を変更（シフト）する周波数は、入力画像のフレームレートの４倍以上である。
【００７７】
ここで、位置調整部１１３は、第１サブフレーム画像の投影位置を、実施形態１と同様に基準位置（第１位置）に調整する。一方、位置調整部１１３は、第２サブフレーム画像の投影位置を、基準位置から水平方向に０．５画素ずれた第２位置にし、第３サブフレーム画像の投影位置を、基準位置から水平方向に０．５画素、垂直方向に０．５画素ずれた第３位置にする。なお、第３位置は、第２位置から垂直方向に０．５画素ずれた位置でもある。また、位置調整部１１３は、第４サブフレーム画像の投影位置を、基準位置から垂直方向に０．５画素ずれた第４位置にする。これによれば、第１位置〜第４位置の中心（平均）の位置からみて、第１位置は「左上」、第２位置は「右上」、第３位置は「右下」、第４位置は「左下」という位置に調整される。つまり、サブフレーム生成部１０４がサブフレーム画像を生成する際に抽出する画素の位置と、当該サブフレーム画像の投影位置とは対応する。
【００７８】
このように、４方向駆動に対応するように、サブフレーム生成部１０４が４つのサブフレーム画像を生成し、位置調整部１１３がサブフレーム画像に応じて投影位置を調整する。そして、図８が示すように、可視画像のサブフレーム画像が投影される場合には、可視
光源１０９が可視光を照射し、不可視画像のサブフレーム画像が投影される場合には、不可視光源１１１が不可視光を照射する。
【００７９】
これによれば、４方向駆動の場合においても、実施形態１の２方向駆動の場合と同様の効果を得ることができる。具体的には、２つの可視画像と不可視画像との各画像から抽出したサブフレーム画像に対して、投影位置を調整することによって、液晶パネルの解像度以上の解像感で投影することができる。
【００８０】
なお、２方向駆動するか４方向駆動するかは予め決めておき、当該駆動に応じて実施形態１または変形例１を適用するとよい。
【００８１】
＜実施形態２＞
実施形態１において説明した「画素ずらし」の方法では、入力画像でのフレーム周期（１フレームの長さ）の半分の周期ごとに、可視画像のサブフレーム画像の投影と不可視画像のサブフレーム画像の投影とが切り替わる。例えば、入力画像のフレームレートが６０Ｈｚである場合、１ｓ／１２０Ｈｚ＝約８．３ｍｓごとに、可視画像のサブフレーム画像の投影と不可視画像のサブフレーム画像の投影とが切り替わる。不可視画像のサブフレーム画像が投影されている間は可視光源がオフ状態となることから、１２０Ｈｚで可視光源の点灯と消灯とが繰り返され、ユーザにフリッカとして知覚される恐れがある。そこで、実施形態２の投影装置１００は、サブフレーム周期ごとに可視画像のサブフレーム画像の投影と不可視画像のサブフレーム画像の投影とを切り替える。そして、投影装置１００は、連続する可視画像のサブフレーム画像と不可視画像のサブフレーム画像とは、同一の投影位置に投影されるように制御する。
【００８２】
図９と図１０のタイミングチャートを用いて本実施形態に係る投影装置１００の処理を説明する。なお、本実施形態では、サブフレーム生成部１０４の処理が実施形態１と異なるため、当該機能部の実施形態１との差異について以下にて説明する。なお、投影装置１００の他の機能部は、実施形態１と同様であるため説明は省略する。
【００８３】
図９は、実施形態２を説明するための２方向駆動の場合のタイミングチャートであり、サブフレーム生成部１０４が整列画像を取得した後の処理のタイミングを示している。本実施形態では、サブフレーム画像の出力のタイミングが、実施形態１と異なるため、サブフレーム生成部１０４の出力処理について説明する。なお、当該出力の際の出力フレームレートは２４０Ｈｚである。
【００８４】
サブフレーム生成部１０４は、最初に入力された可視画像から第１サブフレーム画像を抽出して出力し、次に不可視画像から第１サブフレーム画像を抽出して出力する。サブフレーム生成部１０４は、これを第２サブフレーム画像の出力についても同様におこなう。つまり、サブフレーム生成部１０４は、画素を抽出する際の象限が同じである、可視画像から生成したサブフレーム画像と不可視画像から生成したサブフレーム画像とを連続して出力する。ここで、可視画像から生成したサブフレーム画像と不可視画像から生成したサブフレーム画像とは交互に出力されている。例えば、サブフレーム生成部１０４は、ＲＧＢ１とＩＲ１とから、２４０Ｈｚにおける４フレームかけて以下のようにサブフレーム画像を出力する（生成する）。ここで、サブフレーム画像の出力タイミングは図７に比べて２４０Ｈｚにおける１フレーム遅れる。
（１）期間２−２−２：ＲＧＢ１  １ｓｔ
（２）期間３−１−１：ＩＲ１  １ｓｔ
（３）期間３−１−２：ＲＧＢ１  ２ｎｄ
（４）期間３−２−１：ＩＲ１  ２ｎｄ
【００８５】
また、上述のように、位置調整部１１３は、サブフレーム画像を生成する際の画素の抽出位置（象限）に対応するように、当該サブフレーム画像の投影位置をシフト（調整）する。これによって、位置調整部１１３は、１つのサブフレーム画像を投影するごとに投影位置を変更していた実施形態１とは異なり、２つのサブフレーム画像を投影するごとに投影位置を変更する。例えば、期間２−２−２と期間３−１−１では、同じサブフレーム番号の画像をサブフレーム生成部１０４は出力するので、位置調整部１１３は、投影位置を変更しない。一方、期間３−１−１と期間３−１−２は異なるサブフレーム番号の画像をサブフレーム生成部１０４は出力するので、位置調整部１１３は、投影位置を変更する。本実施形態では、このように、投影位置の変更は、１／１２０秒ごとのタイミングで駆動制御部１１２によって制御される。
【００８６】
また、可視画像のサブフレーム画像と不可視画像のサブフレーム画像が必ずフレーム毎に交互に出力されるように制御されるため、それに合わせて可視光源１０９と不可視光源１１１のオン／オフ状態も交互に制御される。これにより、実施形態１の場合の半分の約４．１ｍｓのあいだ可視光源がオフ状態であるためフリッカが軽減される。
【００８７】
また、４方向駆動の「画素ずらし」の場合についても同様に、サブフレーム生成部１０４は、図１０が示すように、可視画像のサブフレーム画像と不可視画像のサブフレーム画像とを交互に出力する。そして、当該可視画像のサブフレーム画像の出力の際に、可視光源１０９を発光させて、当該不可視画像のサブフレーム画像の出力の際に不可視光源１１１を発光させる。これにより、実施形態１の場合の半分の約２．０ｍｓのあいだ可視光源がオフ状態であるため、フリッカが軽減される。
【００８８】
なお、上述のように、本実施形態では、投影装置１００の各機能部は、制御部１１８によって制御されている。従って、制御部１１８は、位置調整部１１３が投影位置をある位置に制御している間に、連続して、可視画像のサブフレーム画像に基づく画像を液晶パネル１０７に出力させ、不可視画像のサブフレーム画像に基づく画像を液晶パネル１０７に出力させている。ここで、可視画像のサブフレーム画像と不可視画像のサブフレーム画像とは、当該ある位置（制御位置）に対応する位置の入力画像の画素が抽出されることにより生成されたサブフレーム画像である。そして、制御部１１８は、この処理を、２方向駆動の場合には第１位置〜第２位置のそれぞれについて行い、４方向駆動の場合には第１位置〜第４位置のそれぞれについて行っている。
【００８９】
以上によれば、投影位置が同一であるサブフレーム画像が連続するため、位置調整部が位置をずらす回数を削減することができる。さらに、各光源の切り替え間隔を短くすることができるため、実施形態１に比べてユーザが感じる投影画像のフリッカを低減することができる。
【００９０】
＜実施形態３＞
実施形態１では、２方向駆動時において、サブフレーム生成部１０４は、可視画像と不可視画像とのいずれの場合でも、抽出領域における「左上」と「右下」との画素を抽出することによって、サブフレーム画像を生成する。しかし、本実施形態では、サブフレーム生成部１０４は、可視画像と不可視画像とで画素を抽出する位置（象限）を異ならせる。
【００９１】
具体的には、サブフレーム生成部１０４は、可視画像のうち、図３（Ｂ）のＳ１に対応する画素を抽出して第１サブフレーム画像を生成し、また、図３（Ｂ）のＳ３に対応する画素を抽出して第２サブフレーム画像を生成する。また、サブフレーム生成部１０４は、不可視画像のうち、図３（Ｂ）のＳ２に対応する画素を抽出して第１サブフレーム画像を生成し、また、図３（Ｂ）のＳ４に対応する画素を抽出して第２サブフレーム画像を生成する。
【００９２】
つまり、可視画像からサブフレーム画像を生成する場合には、サブフレーム生成部１０４は、図３（Ｃ）が示すような各抽出領域の第２象限（左上）と第４象限（右下）とから画素を抽出することによって、２つのサブフレーム画像を生成する。不可視画像からサブフレーム画像を生成する場合には、サブフレーム生成部１０４は、各抽出領域の第１象限（右上）と第３象限（左下）とから画素を抽出することによって、２つのサブフレーム画像を生成する。つまり、サブフレーム生成部１０４は、可視画像のサブフレーム画像と不可視画像のサブフレーム画像とで、抽出する画素の属する象限（位置）が重複しないようにする。また、実施形態１と同様に、可視画像から生成する場合と不可視画像から生成する場合のいずれにおいても、サブフレーム生成部１０４は、抽出領域の中心で互いに点対称であるような象限の画素から、２つのサブフレーム画像を生成する。
【００９３】
そして、サブフレーム生成部１０４がサブフレーム画像を出力する順番は、図１１が示すように、実施形態２と同様に可視画像のサブフレーム画像と不可視画像のサブフレーム画像とが交互であってもよい。また、図１２が示すように、当該順序は、サブフレーム生成部１０４が、可視画像のサブフレーム画像を連続して出力して、不可視画像のサブフレーム画像を連続して出力するような順序でもよい。つまり、図１１が示すように時計回りに投影位置が変化していってもよいし、図１２が示すように「Ｚ」字のように投影位置が変化していってもよい。
【００９４】
このように、位置調整部１１３は、可視画像のサブフレーム画像を投影する位置である可視制御位置と、不可視画像のサブフレーム画像を投影する位置である不可視制御位置とを異ならせる。なお、上述のように、位置調整部１１３は、サブフレーム画像を生成する際の画素の抽出位置と当該サブフレーム画像の投影位置とが対応するようにしている。
【００９５】
これによれば、可視画像のサブフレーム画像と不可視画像のサブフレーム画像との全体で、４方向駆動を実現することができるため、実施形態１の２方向駆動よりも高画質な画像を投影することができる。また、変形例１の４方向駆動よりも、投影画像（サブフレーム画像）のフレームレートを低減することができるため、高フレームレートによるフレームメモリ追加や基板面積の拡大などを抑制することができる。また、可視画像のサブフレーム画像と不可視画像のサブフレーム画像とで、投影位置が重複しないため、さらに高い解像感を観賞するユーザに与えることができる。
【００９６】
なお、上記の各実施形態や各変形例の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。
【００９７】
（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９８】
１００：投影装置、１０４：サブフレーム生成部、１０７：液晶パネル、
１０９：可視光源、１１１：不可視光源、１１３：位置調整部、１１８：制御部
【図１】
2020060654.tif 000003
【図２】
2020060654.tif 000004
【図３】
2020060654.tif 000005
【図４】
2020060654.tif 000006
【図５】
2020060654.tif 000007
【図６】
2020060654.tif 000008
【図７】
2020060654.tif 000009
【図８】
2020060654.tif 000010
【図９】
2020060654.tif 000011
【図１０】
2020060654.tif 000012
【図１１】
2020060654.tif 000013
【図１２】
2020060654.tif 000014
【図１３】
2020060654.tif 000015