(57)【特許請求の範囲】
【請求項１】
入力画像を表示するための表示素子を制御する表示制御装置において、
所定の数のフレームの対応する画素の画素値を基に、前記画素値の変化の幅を検出する検出手段と、
前記画素値の変化の幅が、閾値未満であるか否かを判定する判定手段と、
前記入力画像の注目フレームの画素の画素値に応じたインデックス値を、前記画素値の変化の幅が閾値未満であると判定された場合、前記注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に荷重平均の処理を適用して算出し、前記画素値の変化の幅が閾値未満でないと判定された場合、前記注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に線形補間の処理を適用して算出する算出手段と、
前記インデックス値と、フレームとフレームの間に前記表示素子の画素をオンまたはオフさせるパターンとの対応を示すテンプレートの記憶を制御する記憶制御手段と、
前記テンプレートに記憶されている、前記インデックス値に対応する前記パターンを基に、前記表示素子の前記画素のオンまたはオフを指示する指示手段と
を含むことを特徴とする表示制御装置。
【請求項２】
入力画像を表示するための表示素子を制御する表示制御方法において、
所定の数のフレームの対応する画素の画素値を基に、前記画素値の変化の幅を検出する検出ステップと、
前記画素値の変化の幅が、閾値未満であるか否かを判定する判定ステップと、
前記入力画像の注目フレームの画素の画素値に応じたインデックス値を、前記画素値の変化の幅が閾値未満であると判定された場合、前記注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に荷重平均の処理を適用して算出し、前記画素値の変化の幅が閾値未満でないと判定された場合、前記注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に線形補間の処理を適用して算出する算出ステップと、
前記インデックス値と、フレームとフレームの間に前記表示素子の画素をオンまたはオフさせるパターンとの対応を示すテンプレートの記憶を制御する記憶制御ステップと、
前記テンプレートに記憶されている、前記インデックス値に対応する前記パターンを基に、前記表示素子の前記画素のオンまたはオフを指示する指示ステップと
を含むことを特徴とする表示制御方法。
【請求項３】
入力画像を表示するための表示素子を制御する処理を、コンピュータに実行させるプログラムにおいて、
所定の数のフレームの対応する画素の画素値を基に、前記画素値の変化の幅を検出する検出ステップと、
前記画素値の変化の幅が、閾値未満であるか否かを判定する判定ステップと、
前記入力画像の注目フレームの画素の画素値に応じたインデックス値を、前記画素値の変化の幅が閾値未満であると判定された場合、前記注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に荷重平均の処理を適用して算出し、前記画素値の変化の幅が閾値未満でないと判定された場合、前記注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に線形補間の処理を適用して算出する算出ステップと、
前記インデックス値と、フレームとフレームの間に前記表示素子の画素をオンまたはオフさせるパターンとの対応を示すテンプレートの記憶を制御する記憶制御ステップと、
前記テンプレートに記憶されている、前記インデックス値に対応する前記パターンを基に、前記表示素子の前記画素のオンまたはオフを指示する指示ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、表示制御装置および方法、並びにプログラムに関し、特に、光を高速にオンまたはオフして輝度値を表現する装置を制御する表示制御装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
DMD（Digital Micromirror Device）など、半導体基板上に数十万個の超小型反射板（ミラー）を組み込み、個々のミラーをデジタル制御により高速にオン／オフさせて動かし、反射光を高速にオンまたはオフして輝度値を表現し画像を表示するディスプレイ素子であるデバイス、またはレーザーのパルスにより輝度値を表現しようとするデバイスがある。
【０００３】
このようなデバイスを使用したプロジェクタやディスプレイなどにおいて、ジャーキと称する、映像の提示方法が、視覚による知覚の特徴になじまないことによる不自然さが目立つ場合がある。ジャーキは、ジャーキネス、またはジャダーとも称する。
【０００４】
以下、ジャーキについて説明する。
【０００５】
図１乃至図４は、１つの画素における輝度値の変化と、その画素を目で見たときの違和感について説明する図である。
【０００６】
図１に示すように、時間に対して、１つの画素の輝度値が連続的に変化したとき、視聴者は、視覚的に違和感なく、その画素を知覚する。視聴者は、目に入射した光を一定時間積分した値として知覚し、その知覚した量を基に、対象物を認識する。１つの画素の輝度値が連続的に変化したとき、視聴者の視覚による知覚量は、図２に示すように、連続的に変化し、違和感を生じない。
【０００７】
これに対して、図３に示すように、所定の期間、輝度値が一定であって、輝度値の変化が瞬時になされるとき、すなわち、時間に対して、１つの画素の輝度値が段階的に変化したとき、視聴者は、違和感を覚える。
【０００８】
図４に示すように、視聴者の目に入射された光を積分した値、すなわち、視聴者の視覚による知覚量は、時間的に、離散的になる。言い換えれば、視聴者の視覚による知覚量の時間的な変化は、自然な画像と異なり、いびつになる。従って、視聴者は、図２に示す場合に比較し、画像を不自然に感じることになる。
【０００９】
【発明が解決しようとする課題】
このように、光を高速にオンまたはオフして輝度値を表現する素子により表示される画像は、各画素の輝度値が段階的に変化するので、視聴者は、ジャーキなどの不自然さを感じることになるという問題点があった。
【００１０】
本発明はこのような状況に鑑みてなされたものであり、より自然な画像を表示させることができるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明の表示制御装置は、所定の数のフレームの対応する画素の画素値を基に、画素値の変化の幅を検出する検出手段と、画素値の変化の幅が、閾値未満であるか否かを判定する判定手段と、入力画像の注目フレームの画素の画素値に応じたインデックス値を、画素値の変化の幅が閾値未満であると判定された場合、注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に荷重平均の処理を適用して算出し、画素値の変化の幅が閾値未満でないと判定された場合、注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に線形補間の処理を適用して算出する算出手段と、インデックス値と、フレームとフレームの間に表示素子の画素をオンまたはオフさせるパターンとの対応を示すテンプレートの記憶を制御する記憶制御手段と、テンプレートに記憶されている、インデックス値に対応するパターンを基に、表示素子の画素のオンまたはオフを指示する指示手段とを含むことを特徴とする。
【００１３】
本発明の表示制御方法は、所定の数のフレームの対応する画素の画素値を基に、画素値の変化の幅を検出する検出ステップと、画素値の変化の幅が、閾値未満であるか否かを判定する判定ステップと、入力画像の注目フレームの画素の画素値に応じたインデックス値を、画素値の変化の幅が閾値未満であると判定された場合、注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に荷重平均の処理を適用して算出し、画素値の変化の幅が閾値未満でないと判定された場合、注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に線形補間の処理を適用して算出する算出ステップと、インデックス値と、フレームとフレームの間に表示素子の画素をオンまたはオフさせるパターンとの対応を示すテンプレートの記憶を制御する記憶制御ステップと、テンプレートに記憶されている、インデックス値に対応するパターンを基に、表示素子の画素のオンまたはオフを指示する指示ステップとを含むことを特徴とする。
【００１４】
本発明のプログラムは、コンピュータに、所定の数のフレームの対応する画素の画素値を基に、画素値の変化の幅を検出する検出ステップと、画素値の変化の幅が、閾値未満であるか否かを判定する判定ステップと、入力画像の注目フレームの画素の画素値に応じたインデックス値を、画素値の変化の幅が閾値未満であると判定された場合、注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に荷重平均の処理を適用して算出し、画素値の変化の幅が閾値未満でないと判定された場合、注目フレームの画素の画素値と所定の数のフレームの対応する画素の画素値に線形補間の処理を適用して算出する算出ステップと、インデックス値と、フレームとフレームの間に表示素子の画素をオンまたはオフさせるパターンとの対応を示すテンプレートの記憶を制御する記憶制御ステップと、テンプレートに記憶されている、インデックス値に対応するパターンを基に、表示素子の画素のオンまたはオフを指示する指示ステップとを含む処理を実行させることを特徴とする。
【００１５】
本発明の表示制御装置および方法、並びにプログラムにおいては、入力画像の注目フレームの画素の画素値に応じたインデックス値が算出される。テンプレートに記憶されている、インデックス値に対応するパターンを基に、表示素子の画素のオンまたはオフが指示される。
【００１６】
表示制御装置は、独立した装置であっても良いし、表示装置の表示制御を行うブロックであっても良い。
【００１７】
【発明の実施の形態】
図５は、本発明に係る表示装置の一実施の形態の構成を示すブロック図である。
【００１８】
表示制御部１１は、入力画像を取得し、入力画像に対応した画像を表示部１２に表示させる制御を実行する表示制御装置である。
【００１９】
表示部１２は、表示制御部１１から供給された信号を基に、画像を表示する。
【００２０】
表示制御部１１および表示部１２は、個別の装置としても良く、一体の装置としても良い。また、表示制御部１１および表示部１２は、記録再生装置または再生装置などに組み込むことができる。
【００２１】
表示制御部１１は、フレームバッファ３１、補間部３２、インデックスバッファ３３、更新部３４、およびテンプレート記憶部３５を有する。
【００２２】
フレームバッファ３１は、補間部３２の処理に必要な、入力画像の所定の数のフレームを、フレーム単位で記憶し、記憶しているフレームを補間部３２に供給する。
【００２３】
後述する補間の処理に必要なフレームの数をＦで示す。
【００２４】
フレームバッファ３１は、補間の処理の対象となる、注目しているフレームに対して、過去または未来のフレームである、Ｆ以上のフレームを記憶する。例えば、補間部３２の処理において、５つのフレームを必要とするとき、フレームバッファ３１は、入力画像の５つのフレームを記憶する。
【００２５】
なお、補間の処理に必要なフレームの数は、本発明を限定するものではない。
【００２６】
補間部３２は、フレームバッファ３１に記憶されている所定の数のフレームを基に、入力画像の注目しているフレームの各画素に対して、単位時間当たり、所定の数のインデックス値を生成する。例えば、１秒間当たりの入力画像のフレームの数が２４であるとき、補間部３２は、各画素に対して、１秒間当たり１２０個のインデックス値を生成する。インデックス値は、画素の輝度を示し、テンプレート記憶部３５に記憶されているテンプレートを基に、表示部１２にオンまたはオフを指示するための値である。カラーの画像を表示する場合には、インデックス値は、原色の輝度などに対応させることができる。
【００２７】
以下、入力画像の単位時間当たりのフレームの数と、補間部３２が出力する、１つの画素に対応する、単位時間当たりのインデックス値の数の比をＮで示す。
【００２８】
補間部３２は、フレームバッファ３１に記憶されているフレームを基に、フレーム上の対応する画素の変化の量に対応して、線形補間により、各画素に対応するインデックス値を生成するか、または平滑化の処理により、各画素に対応するインデックス値を生成する。平滑の処理は、例えば、荷重平均の処理である。
【００２９】
補間部３２は、生成したインデックス値をインデックスバッファ３３に供給する。
【００３０】
インデックスバッファ３３は、補間部３２から供給されたインデックス値を記憶し、記憶しているインデックス値を更新部３４に供給する。インデックスバッファ３３は、表示部１２の表示素子４２の画素の数、すなわちデバイスメモリ４１の各ビットのそれぞれに対応して、それぞれ１つのインデックス値を記憶する。
【００３１】
言い換えれば、インデックスバッファ３３は、表示素子４２の画素のそれぞれに対応したインデックス値を記憶する。
【００３２】
更新部３４は、インデックスバッファ３３に記憶されている、各画素に対応するインデックス値を読み出し、テンプレート記憶部３５に記憶されている、テンプレートから、インデックス値に対応するオンオフパターンを取得する。オンオフパターンは、表示素子４２の画素に光を照射（反射）させるか、または光を照射（反射）させないかを時系列で示すデータである。
【００３３】
更新部３４は、取得したオンオフパターンを基に、表示部４１のデバイスメモリ４１の各画素に対応するデータを更新する。例えば、更新部３４は、表示素子４２の所定の画素に光を照射（反射）させるとき、対応するデバイスメモリ４１のビットに”０”を設定し、表示素子４２の所定の画素に光を照射（反射）させないとき、対応するデバイスメモリ４１のビットに”１”を設定する。
【００３４】
テンプレート記憶部３５は、インデックス値に対応する輝度に応じた、表示素子４２のオンオフパターンをテンプレートとして予め記憶している。
【００３５】
例えば、インデックス値で示される輝度が最大値の77.7%であるとき、オンオフパターンの長さが1000ビットである場合、テンプレートに記憶されている、インデックス値に対応するオンオフパターンには、777の”０”が含まれ、223の”１”が含まれる。この場合において、オンオフパターンの”０”は、表示素子４２に、所定の画素に光を照射させ、”１”は、表示素子４２に、所定の画素に光を照射させないことを示すデータである。
【００３６】
オンオフパターンの”０”と”１”の並び方は、原則として、ランダムで良いが、所定の位置に、共振リセットのパターンを配置することができる。
【００３７】
更新部３４は、共振リセットのパターンを予め含むオンオフパターンを基に、表示部１２にオンまたはオフの指示ができるので、従来のように、例えば、一定期間に、所定の回数の共振リセットの処理を実行するなど、複雑な処理を必要とせず、より簡単に、より高速に、表示部１２のオンまたはオフの更新ができるようになる。
【００３８】
表示部１２は、デバイスメモリ４１および表示素子４２を含む。
【００３９】
デバイスメモリ４１は、表示素子４２の画素に対して、１ビットのデータを記憶する。デバイスメモリ４１が記憶する１ビットのデータは、表示素子４２の画素のオンまたはオフの状態に対応する。例えば、デバイスメモリ４１の１つのビットに”０”が設定されたとき、そのビットに対応する表示素子４２上の１つの素子は、画像上の対応する１つの画素に光を照射（反射）する。デバイスメモリ４１の１つのビットに”１”が設定されたとき、そのビットに対応する表示素子４２上の１つの素子は、画像上の対応する１つの画素に光を照射（反射）しない。
【００４０】
デバイスメモリ４１は、更新部３４により更新されたデータを、表示素子４２に供給する。
【００４１】
表示素子４２は、所定の強さの光を高速にオンまたはオフし、オンしている期間とオフしている期間との長さの比により、所望の輝度を表現して画像を表示するデバイスである。例えば、DMDである表示素子４２は、毎秒数十万回の光の断続（オンまたはオフ）で画素の輝度を表現する。
【００４２】
テンプレート記憶部３５に記憶されているテンプレートのオンオフパターンの基準となる周期は、表示素子４２が光をオンオフ可能な周期とすることができる。
【００４３】
視聴者は、通常、数百ヘルツの輝度の変化を知覚することができない。そのため、視聴者は、表示素子４２により、一定の強さの光が照射されている時間と、光が照射されていない時間との比率に対応した、輝度を知覚することになる。
【００４４】
表示素子４２は、デバイスメモリ４１から供給されたデータを基に、画素に対応する、個々の素子をオンまたはオフし、画像を表示する。
【００４５】
図６は、本発明に係る表示装置の表示制御部１１によるインデックス値の更新の処理を説明するフローチャートである。
【００４６】
ステップＳ１１において、補間部３２は、フレームバッファ３１に記憶されているフレームを基に、画素に対応するダイナミックレンジＤＲを算出する。例えば、補間部３２は、フレームバッファ３１に記憶されているＦ個のフレームから対応する位置のＦ個の画素の画素値を抽出し、その最大値と最小値との差をダイナミックレンジＤＲとする。Ｆは、例えば、５とすることができる。
【００４７】
ステップＳ１２において、補間部３２は、ステップＳ１１の処理で算出されたダイナミックレンジＤＲが、予め記憶している閾値ＤＲｔｈ未満であるか否かを判定し、ダイナミックレンジＤＲが閾値ＤＲｔｈ未満であると判定された場合、時間の経過に対応する、画素値の変化の幅が小さいので、より平滑な画像を表示させるために、ステップＳ１３に進み、フレームバッファ３１に記憶されている入力画像のフレームを基に、平滑化の処理によりインデックス値を生成し、処理はステップＳ１５に進む。
【００４８】
ステップＳ１２の処理において、例えば、補間部３２は、ダイナミックレンジＤＲが、予め記憶している、１６である閾値ＤＲｔｈ未満であるか否かを判定する。
【００４９】
なお、ダイナミックレンジＤＲと比較する閾値ＤＲｔｈは、表示制御装置の外部から供給するようにしてもよい。
【００５０】
平滑化の処理は、例えば、後述する荷重平均の処理である。
【００５１】
一方、ダイナミックレンジＤＲが閾値ＤＲｔｈ未満でないと判定された場合、時間の経過に対応する、画素値の変化の幅が大きいので、入力画像により忠実な画像を表示させるために、ステップＳ１４に進み、補間部３２は、フレームバッファ３１に記憶されている入力画像のフレームを基に、線形補間の処理によりインデックス値を生成し、処理はステップＳ１５に進む。
【００５２】
ステップＳ１５において、補間部３２は、生成したインデックス値を基に、インデックスバッファ３３に記憶されているインデックス値を更新し、ステップＳ１１に戻り、インデックス値を生成し、インデックス値を更新する処理を繰り返す。
【００５３】
このように、本発明においては、時間の経過に対応する画素値の変化の幅が大きい場合、入力画像により忠実な画像を表示させるインデックス値が生成され、時間の経過に対応する画素値の変化の幅が小さい場合、より平滑な画像を表示させるインデックス値が生成される。
【００５４】
図７乃至図１２を参照して、本発明に係る表示装置により表示される画像の輝度値の変化を説明する。
【００５５】
図７は、従来の表示装置により表示された画像の輝度値の変化を示す図である。図中の黒丸は、画像の画素の画素値（符号値）を示す。図中の太線は、１つの画素の輝度を示す。１秒間に２４のフレームにより画像が表示されるとすれば、従来の表示装置において、１つのフレームの１つの画素に１つの画素値が対応しているので、２４分の１秒間、その画素値に対応した輝度の画素が表示される。次のフレームを表示するとき、従来の表示装置は、瞬時に、次のフレームの画素の画素値に対応する輝度で画素を表示する。
【００５６】
図８に示すように、このような画像を視聴することにより、視聴者の目に入射された光を積分した値は、時間的に、離散的になる。視聴者は、とびとびの輝度を、不等間隔に認識し、画像に不自然さ感じることになる。
【００５７】
一方、表示素子４２は、例えば、DMDであり、毎秒当たり数十万回、光のオンまたはオフし、オンしている時間とオフしている時間との長さの比率を変化させることにより、画素の輝度を表現する。従って、表示素子４２は、視聴者がちらつきを知覚できない程度の更新の速度で、輝度値を変化させることが可能である。
【００５８】
本発明に係る表示装置において、入力画像における各画素の輝度値の更新レート、すなわち、フレームレートに比較し、より大きな更新レートにより、各画素の輝度値を変化させる。言い換えれば、単位時間当たりの各画素の輝度値を変化させる回数が増やされる。
【００５９】
例えば、入力画像が毎秒２４フレームであるとき、補間部３２は、各画素に対して、毎秒１２０個のインデックス値を生成する。この場合、補間部３２は、入力画像の１つのフレームに対して、各画素毎に５つのインデックス値を生成する。
【００６０】
さらに、本発明に係る表示装置は、インデックス値により指定される輝度値をより連続的に（滑らかに）変化させる。これにより、より自然な画像が表示される。
【００６１】
本発明に係る表示装置において、フレームの輝度値が大きく変化するとき、線形補間により、２つのフレームの間に位置するインデックス値が算出される。この場合、フレームの画素の画素値は、そのまま、フレームの時刻に対応するインデックス値とされる。フレームに対応するインデックス値、および線形補間により算出されたインデックス値を基に、画像が表示される。
【００６２】
図９に示すように、フレームの画素値に対応するインデックス値、および線形補間により算出されたインデックス値は、時間の経過に対して、ほぼ連続的に変化する。
【００６３】
図１０は、線形補間の処理により得られたインデックス値の例を示す図である。
【００６４】
図１０中の実線は、フレームの画素の画素値を示し、図１０中の点線は、線形補間の処理により得られた、インデックス値の例を示す。
【００６５】
例えば、線形補間において、２つのフレームの対応する位置の画素の画素値の差分が算出され、算出された差分がフレーム間のインデックス値の数で除算される。その結果得られた値を、先のフレームの画素値に順次加算することにより、インデックス値が算出される。
【００６６】
線形補間の処理においては、画素値が大きく変化しても、入力画像の画素値に追従した（入力画像の画素値に忠実な）インデックス値を算出できる。
【００６７】
これにより、図１１に示すように、視聴者の目に入射した光を一定時間積分した値がほぼ連続的に変化し、すなわち、視聴者の知覚量が、連続的に変化することとなり、視聴者は、違和感を感じることがない。
【００６８】
さらに、本発明に係る表示装置において、フレームの輝度値の変化の量が少ないとき、平滑化の処理の一例である荷重平均の処理により、フレームに対応するインデックス値、およびフレームの間に位置するインデックス値が算出され、算出されたインデックス値を基に、画像が表示される。
【００６９】
図１２に示すように、荷重平均の処理により算出されたインデックス値は、線形補間により算出されたインデックス値に比較して、時間の経過に対して、より滑らかに変化する。
【００７０】
図１３および図１４は、荷重平均の処理の係数の例を示す図である。
【００７１】
図１３は、荷重平均の処理における、フレームの画素値の番号iと、対応する重み係数wiとの対応の例を示す図である。図１３に示す重み係数wiを基に、式（１）によりインデックス値Y(t)が算出される。
【００７２】
【数１】
0004069407.tif 000002
【００７３】
式（１）において、nは、iの最大値であり、例えば、８である。X(t)は、フレームの画素の画素値である。
【００７４】
図１４は、図１３に示す重み係数wiを基に生成された、５つのフレームの画素の画素値から、１つのフレームに対応する、５つのインデックス値を算出するための係数の例を示す図である。
【００７５】
ここで、位相とは、１が２つのフレームの時間的な距離に対応する、フレームからの時間的な距離を示す値である。例えば、0.0である位相は、注目しているフレームと同一の時刻を示す。0.2である位相は、注目しているフレームの時刻を基準に、２つのフレームの時間的な距離の1/5に対応する時刻を示す。同様に、0.4である位相は、注目しているフレームの時刻を基準に、２つのフレームの時間的な距離の2/5に対応する時刻を示し、0.6である位相は、注目しているフレームの時刻を基準に、２つのフレームの時間的な距離の3/5に対応する時刻を示し、0.8である位相は、注目しているフレームの時刻を基準に、２つのフレームの時間的な距離の4/5に対応する時刻を示す。
【００７６】
５つのフレームの対応する画素の画素値が、それぞれX(0)乃至X(4)であって、X(4)に対応するフレームの次のフレームがX(3)に対応するフレームであり、X(3)に対応するフレームの次のフレームがX(2)に対応するフレームであり、X(2)に対応するフレームの次のフレームがX(1)に対応するフレームであり、X(1)に対応するフレームの次のフレームがX(0)に対応するフレームであり、X(3)に対応するフレームが、注目しているフレームであるとき、位相が0.0である、すなわち、X(3)に対応するフレームと同じ位置のインデックス値Y(0.0)は、図１４に示す係数を基に、式（２）により算出される。
【００７７】
0004069407.tif 000003
【００７８】
位相が0.2である、すなわち、X(3)に対応するフレームから２つのフレームの時間的な距離の1/5に対応する距離に位置するインデックス値Y(0.2)は、図１４に示す係数を基に、式（３）により算出される。
【００７９】
0004069407.tif 000004
【００８０】
同様に、画素値がX(3)であるフレームと、画素値がX(2)であるフレームとの間に位置し、位相が0.4，0.6、または0.8であるインデックス値Y(0.4)，Y(0.6)、またはY(0.8)のそれぞれは、図１４に示す係数を基に、式（４）乃至式（６）により算出される。
【００８１】
0004069407.tif 000005
【００８２】
図１５は、荷重平均の処理により得られたインデックス値の例を示す図である。
【００８３】
図１５中の実線は、フレームの画素の画素値を示し、図１５中の点線は、荷重平均の処理により得られた、インデックス値の例を示す。
【００８４】
荷重平均の処理においては、線形補間の処理に比較して、画素値への追従性は劣るが、より滑らかに変化するインデックス値が算出される。
【００８５】
これにより、図１６に示すように、視聴者の目に入射した光を一定時間積分した値がより滑らかに変化し、すなわち、視聴者の知覚量が、より滑らかに変化することとなり、視聴者は、より自然な画像を視聴できる。
【００８６】
しかしながら、荷重平均の処理だけでは、インデックス値がフレームの画素値に追従しないので、本発明に係る表示装置においては、フレームの画素値の変化の幅に対応して、線形補間の処理と、平滑化の処理の一例である荷重平均の処理とを切り換える。
【００８７】
これにより、図１７に示すように、フレームの画素値の変化に追従するとともに、より滑らかに変化するインデックスを求めることができる。
【００８８】
図１７中の実線は、フレームの画素の画素値を示し、図１７中の点線は、線形補間の処理と、荷重平均の処理とを切り換えて得られた、インデックス値の例を示す。
【００８９】
図１７に示すインデックス値は、フレームの画素値の変化に追従すると共に、図１０に示すインデックス値に比較して、より滑らかに変化する。
【００９０】
図１８は、フレームの位置とインデックスの位置との対応を示す図である。
【００９１】
ここで、インデックスは、同一の位相のインデックス値が集合してなるデータである。
【００９２】
図１８において、フレームF(n+1)の次のフレームは、フレームF(n)であり、フレームF(n)の次のフレームは、フレームF(n-1)である。
【００９３】
フレームF(n+1)とフレームF(n)との間に生成されたインデックスは、Y(n+1)-1乃至Y(n+1)-4で示す。
【００９４】
フレームF(n)とフレームF(n-1)との間に生成されたインデックスは、Yn-1乃至Yn-4で示す。
【００９５】
インデックスY(n+1)-1およびインデックスYn-1の位相は、0.2である。インデックスY(n+1)-2およびインデックスYn-2の位相は、0.4である。インデックスY(n+1)-3およびインデックスYn-3の位相は、0.6である。インデックスY(n+1)-4およびインデックスYn-4の位相は、0.8である。
【００９６】
図１８において、図示しないが、フレームは、位相が0.0であるインデックスと重なっている。
【００９７】
フレームの間隔が、等間隔であって、２４分の１秒であるt1であるとすれば、インデックスの間隔は、１２０分の１秒であるt2となる。インデックスの間隔は、等間隔となる。
【００９８】
次に、図１９乃至図２２を参照して、更新部３４による、インデックス値を基にした、デバイスメモリ４１のデータの更新について説明する。
【００９９】
表示素子４２が、光を高速にオンまたはオフして輝度を表現するデバイスであるので、オンしている期間と、オフしている期間との割合で、所定の輝度の画素を表示する。
【０１００】
例えば、1/2の輝度を示すインデックス値を基に、1/2の輝度を表示素子４２表示させるとき、更新部３４は、図１９に示すように、所定の期間オフさせ、次に、オフと同じ長さの期間オンさせてもよい。しかしながら、このような制御を行うと、ジャーキまたはフリッカが目立つことになり好ましくない。
【０１０１】
図２０に示すように、オンとオフとを交互に繰り返し、1/2の輝度の画素を表示素子４２表示させることが表示の上では理想的である。しかしながら、一定のパターンの繰り返しで、光をオンまたはオフする表示素子４２を制御すると、表示装置４２の、個々の画素に対応する、光のオンまたはオフに伴い変形する部位に、機械的な共振が発生してしまう。
【０１０２】
このような共振を防止するため、従来は、定期的に共振リセットパルスを表示素子に供給していた。しかしながら、このような共振リセットパルスを定期的に表示素子に供給するので、映像の更新回数に制限があった。
【０１０３】
そこで、更新部３４は、図２１に示すように、インデックス値に対応する、割合で、オンとオフとを行うと共に、共振を防止するパターンを含むオンオフパターンを基に、デバイスメモリ４１にデータを書き込んで、デバイスメモリ４１のデータを更新する。これにより、本発明に係る表示制御装置は、従来に比較し、より単純なアーキテクチャとすることができ、その結果、より高速な更新を可能とすることができる。
【０１０４】
図２２は、テンプレート記憶部３５に記憶されているテンプレートの例を示す図である。テンプレートは、表示素子４２のオンオフパターンを制御するデータである。
【０１０５】
図２２に示すように、テンプレートには、１つの輝度を示す１つのインデックス値に対応させて、１つのオンオフパターンのデータが格納されている。
【０１０６】
更新部３４は、インデックスバッファ３３から、１つのインデックス値を取得すると、テンプレート記憶部３５を検索し、インデックス値に対応するオンオフパターンを取得する。更新部３４は、取得したオンオフパターンを基に、時間の経過に対応して、オンまたはオフのいずれかのデータをデバイスメモリ４１に書き込んで、表示素子４２の表示を制御する。
【０１０７】
本発明の表示装置においては、１つのフレームに対応する期間に比較して短い期間に対応するインデックス値毎に、オンオフパターンを示すテンプレートを使用するので、より少ない記憶容量でテンプレートを記憶することができるようになる。例えば、表示素子４２が１秒間に５０万回オンオフが可能であるとき、１秒間に２４フレームであるとすれば、従来は、20833回のオンオフパターンからなるテンプレートが必要であった。これに対して、本発明に係る表示装置において、同様に、表示素子４２が１秒間に５０万回オンオフが可能であるとき、１秒間に２４フレームであり、１フレームの各画素に対して５のインデックス値を生成するとすれば、4166回のオンオフパターンからなるテンプレートをテンプレート記憶部３５に記憶させればよい。
【０１０８】
なお、例えば、テンプレート記憶部３５は、1000回のオンオフパターンからなるテンプレートを記憶し、更新部３４が、1000回のオンオフパターンのテンプレートを繰り返し使用することにより、１つのインデックス値に対して、4166回のオンオフを表示部に指示するようにしてもよい。
【０１０９】
図２３は、更新部３４による表示制御の処理を説明するフローチャートである。
【０１１０】
ステップＳ３１において、更新部３４は、１つの画素に対応するインデックス値をインデックスバッファ３３から読み出す。
【０１１１】
ステップＳ３２において、更新部３４は、テンプレート記憶部３５を検索し、インデックス値に対応するオンオフパターンを取得する。
【０１１２】
ステップＳ３３において、更新部３４は、オンオフパターンを基に、時間の経過に対応して、オンまたはオフを示すデータを、表示部１２のデバイスメモリ４１の画素に対応するアドレスに書き込み、ステップＳ３１に戻り、処理を繰り返す。
【０１１３】
なお、ステップＳ３１乃至３３の処理は、画面の全ての各画素に対して、それぞれに実行される。各画素に対して、ステップＳ３１乃至３３の処理を、並列に行うようにしても、直列に行うようにしてもよい。
【０１１４】
また、本発明が、カラーの画像にも適用できることは勿論である。例えば、表示素子４２を光の原色ごとに設ける、表示素子４２に時分割により、原色の光を照射させるなどにより、カラーの画像を表示させることができる。
【０１１５】
このように、表示制御部１１が表示部１２に表示の指示をするようにした場合には、画像を表示させることができるようになる。
【０１１６】
また、補間部３２に、入力画像を基に、入力画像の各画素に対応する、入力画像のフレームの時間間隔に比較し短い時間間隔で、ほぼ連続的に変化し、入力画像のフレームの時刻において、各画素の画素値に近似するインデックス値を算出させ、テンプレート記憶部３５に、インデックス値と、時間の経過に対応する、表示素子４２の画素のオンまたはオフのパターンとの対応を示すテンプレートを記憶させ、更新部３４に、テンプレートに記憶されている、インデックス値に対応するパターンを基に、時間の経過に対応して、表示素子４２の画素のオンまたはオフを指示するようにした場合には、より自然な画像を表示させることができるようになる。
【０１１７】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１１８】
図２４は、本発明に係る表示の処理を実行するコンピュータシステムの構成の例を示すブロック図である。CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２、または記憶部１０８に記憶されているプログラムに従って各種の処理を実行する。CPU１０１は、表示制御部１１に対応する処理を実行する。
【０１１９】
RAM（Random Access Memory）１０３には、CPU１０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１０１、ROM１０２、およびRAM１０３は、バス１０４により相互に接続されている。
【０１２０】
CPU１０１にはまた、バス１０４を介して入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続されている。出力部１０７は、表示部１２に対応する。
【０１２１】
CPU１０１は、入力部１０６から入力される指令に対応して各種の処理を実行する。そして、CPU１０１は、処理の結果得られたデータ等を出力部１０７に出力する。例えば、CPU１０１は、入力部１０６から入力された入力画像に対応して、インデックス値を算出し、算出したインデックス値に基づいて、出力部１０７にオンまたはオフのデータを書き込む。出力部１０７は、CPU１０１からのオンまたはオフの指示を基に、画像を表示する。
【０１２２】
入出力インタフェース１０５に接続されている記憶部１０８は、例えばハードディスクなどで構成され、CPU１０１が実行するプログラムや各種のデータを記憶する。通信部１０９は、インターネット、その他のネットワークを介して外部の装置と通信する。
【０１２３】
また、通信部１０９を介してプログラムを取得し、記憶部１０８に記憶してもよい。
【０１２４】
入出力インタフェース１０５に接続されているドライブ１１０は、磁気ディスク１５１、光ディスク１５２、光磁気ディスク１５３、或いは半導体メモリ１５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１０８に転送され、記憶される。
【０１２５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２６】
この記録媒体は、図２４に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１５１（フレキシブルディスクを含む）、光ディスク１５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク１５３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ１５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。
【０１２７】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０１２８】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２９】
【発明の効果】
以上のように、本発明の表示制御装置および方法、並びにプログラムによれば、画像を表示させることができる。
【０１３０】
また、本発明の表示制御装置および方法、並びにプログラムによれば、より自然な画像を表示させることができるようになる。
【図面の簡単な説明】
【図１】輝度値の変化と視覚による知覚との関係を説明する図である。
【図２】輝度値の変化と視覚による知覚との関係を説明する図である。
【図３】輝度値の変化と視覚による知覚との関係を説明する図である。
【図４】輝度値の変化と視覚による知覚との関係を説明する図である。
【図５】本発明に係る表示装置の一実施の形態の構成を示すブロック図である。
【図６】インデックス値の更新の処理を説明するフローチャートである。
【図７】従来の表示装置により表示された画像の輝度値の変化を示す図である。
【図８】従来の表示装置に表示された画像の視覚による知覚量を説明する図である。
【図９】本発明に係る表示装置により表示された画像の輝度値の変化の例を示す図である。
【図１０】線形補間の処理により得られたインデックス値の例を示す図である。
【図１１】本発明に係る表示装置に表示された画像の視覚による知覚量を説明する図である。
【図１２】本発明に係る表示装置により表示された画像の輝度値の変化の例を示す図である。
【図１３】荷重平均の処理の係数の例を示す図である。
【図１４】荷重平均の処理の係数の例を示す図である。
【図１５】荷重平均の処理により得られたインデックス値の例を示す図である。
【図１６】本発明に係る表示装置に表示された画像の視覚による知覚量を説明する図である。
【図１７】本発明に係る表示装置により算出されたインデックス値の例を示す図である。
【図１８】フレームの位置とインデックスの位置との対応を示す図である。
【図１９】更新部３４による、デバイスメモリ４１のデータの更新を説明する図である。
【図２０】更新部３４による、デバイスメモリ４１のデータの更新を説明する図である。
【図２１】更新部３４による、デバイスメモリ４１のデータの更新を説明する図である。
【図２２】テンプレート記憶部３５に記憶されているテンプレートの例を示す図である。
【図２３】更新部３４による表示制御の処理を説明するフローチャートである。
【図２４】本発明に係る表示の処理を実行するコンピュータシステムの構成の例を示すブロック図である。
【符号の説明】
１１  表示制御部，  １２  表示部，  ３１  フレームバッファ，  ３２  補間部，  ３３  インデックスバッファ，  ３４  更新部，  ３５  テンプレート記憶部，  ４１  デバイスメモリ，  ４２  表示素子，  １０１  CPU，  １０２  ROM，  １０３  RAM，  １０７  出力部，  １０８  記憶部，  １５１  磁気ディスク，  １５２  光ディスク，  １５３  光磁気ディスク，  １５４  半導体メモリ
【図１】
0004069407.tif 000006
【図２】
0004069407.tif 000007
【図３】
0004069407.tif 000008
【図４】
0004069407.tif 000009
【図５】
0004069407.tif 000010
【図６】
0004069407.tif 000011
【図７】
0004069407.tif 000012
【図８】
0004069407.tif 000013
【図９】
0004069407.tif 000014
【図１０】
0004069407.tif 000015
【図１１】
0004069407.tif 000016
【図１２】
0004069407.tif 000017
【図１３】
0004069407.tif 000018
【図１４】
0004069407.tif 000019
【図１５】
0004069407.tif 000020
【図１６】
0004069407.tif 000021
【図１７】
0004069407.tif 000022
【図１８】
0004069407.tif 000023
【図１９】
0004069407.tif 000024
【図２０】
0004069407.tif 000025
【図２１】
0004069407.tif 000026
【図２２】
0004069407.tif 000027
【図２３】
0004069407.tif 000028
【図２４】
0004069407.tif 000029