(57)【特許請求の範囲】
【請求項１】
画像表示システムであって、
複数のサブフレームを表示する表示装置と、
前記表示装置が表示した光が通過する複数の透過部と、
前記各透過部に対して、前記各サブフレームの表示に同期して光の透過率を変更する透過制御部を備え、
前記各透過部は、前記透過率に応じて、通過する光の強さを変更し、
前記複数の透過部は、第１透過部と、第２透過部を含み、
前記透過率は、通過した光の強さが、光がそのまま通過する開状態と光が通過しない閉状態との間である中間状態を示す値を含み、
前記第１透過部及び前記第２透過部の透過率が前記中間状態を示す値であって、
前記第１透過部の透過率と前記第２透過部の透過率が同じならば、前記第１透過部を通過した光と前記第２透過部を通過した光は同じであり、
前記第１透過部の透過率と前記第２透過部の透過率が異なるならば、前記第１透過部を通過した光と前記第２透過部を通過した光は強さが異なる、画像表示システム。
【請求項２】
前記複数のサブフレームは、第１サブフレームを含み、
前記第１サブフレームに対して少なくとも２つの透過率が対応し、
前記第１サブフレームは、複数の入力画像から生成されたものであり、
前記複数の入力画像は、第１入力画像と、第２入力画像を含み、
前記第１サブフレームは、前記第１入力画像のみでも前記第２入力画像のみでもなく、少なくとも前記第１入力画像及び前記第２入力画像を用いて生成され、
前記第１サブフレームに対応する少なくとも２つの透過率は、前記閉状態とは異なる状態を示す値である、請求項１記載の画像表示システム。
【請求項３】
画像表示システムにおける画像表示方法であって、
透過制御部が、表示装置による複数のサブフレームの表示に同期して、複数の透過部のそれぞれに対して通過する前記表示装置の光の透過率を変更する表示ステップを含み、
前記各透過部は、前記透過率に応じて、通過する光の強さを変更し、
前記複数の透過部は、第１透過部と、第２透過部を含み、
前記透過率は、通過した光の強さが、光がそのまま通過する開状態と光が通過しない閉状態との間にある中間状態を示す値を含み、
前記第１透過部及び前記第２透過部の透過率が前記中間状態を示す値であって、
前記第１透過部の透過率と前記第２透過部の透過率が同じならば、前記第１透過部を通過した光と前記第２透過部を通過した光は同じであり、
前記第１透過部の透過率と前記第２透過部の透過率が異なるならば、前記第１透過部を通過した光と前記第２透過部を通過した光は強さが異なる、画像表示方法。
【請求項４】
画像生成装置が備える演算部が、複数の入力画像を用いて、前記複数のサブフレームに含まれる第１サブフレームを生成する生成ステップを含み、
前記第１サブフレームに対して少なくとも２つの透過率が対応し、
前記複数の入力画像は、第１入力画像と、第２入力画像を含み、
前記生成ステップにおいて、前記演算部は、前記第１サブフレームを、前記第１入力画像のみでも前記第２入力画像のみでもなく、少なくとも前記第１入力画像及び前記第２入力画像を用いて生成し、
前記第１サブフレームに対応する少なくとも２つの透過率は、前記閉状態とは異なる状態を示す値である、請求項３記載の画像表示方法。
【請求項５】
画像生成装置が生成した表示画像を表示装置が表示する画像表示方法であって、
前記画像生成装置にＭ個（Ｍは２以上の整数）の入力画像ｆi（ｉはＭ以下の自然数）が入力される入力ステップと、
前記画像生成装置が備える演算部が、Ｎ個（Ｎは２以上の整数）の表示画像Ｂn（ｎはＮ以下の自然数）、及び、ｉ及びｎに対応して透過率ｒin（ｒinは０以上１以下の数）を決定する決定ステップと、
前記表示装置が前記表示画像Ｂnを連続して表示し、透過制御部が、前記表示装置が表示した前記表示画像Ｂnの光が通過する透過部における光の透過量を、前記表示画像Ｂnの表示に同期して、少なくとも一つのｉの値に対応する透過率ｒinに従って制御する表示ステップを含み、
前記決定ステップにおいて、前記演算部は、
前記表示画像の初期値Ｂn0及び前記透過率の初期値ｒin0に対してＳi0を演算し、
ＳiがＳi0よりもｆiに近い前記表示画像Ｂn（ｎはＮ以下の自然数）及び透過率ｒin（ｒinは０以上１以下の数）を決定する、画像表示方法。
【数１】
0006740530.tif 000013
【請求項６】
前記決定ステップにおいて、前記演算部は、
前記透過率ｒinは、０よりも大きく１未満の値を含み、周期的に増減するものとし、
前記表示画像を決定して、Ｓiと前記入力画像ｆiの違いを、前記表示画像の初期値の場合の値よりも小さくする、請求項５に記載の画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、画像表示システム、画像表示方法及び透過装置に関し、特に、表示画像を表示する画像表示システム等に関する。
【背景技術】
【０００２】
従来、３Ｄ映像や多視点映像は、例えば、デジタルライトプロセッシング（ＤＬＰ）プロジェクタとアクティブシャッターメガネ（液晶メガネ）を使って実現されている。これは，左右に独立に制御可能な液晶シャッターを備えたメガネで，プロジェクタの左右像の投影とシャッターの開閉を同期させることで人間に視差映像を与えるデバイスである。
【０００３】
図１４及び図１５を使って、従来の３Ｄ映像表示技術の一例を説明する。まず、図１４を参照して概要を説明する。表示装置１０１に、右目用の映像と左目用の映像を時分割で表示する。（ａ）及び（ｂ）は、それぞれ、右目用及び左目用の映像を表示した状態を示す。液晶メガネの左目側部分１０３は、右目用の映像の表示に同期して閉じ、左目用の映像の表示に同期して開く。液晶メガネの右目側部分１０５は、右目用の映像の表示に同期して開き、左目用の映像の表示に同期して閉じる。そうすると、利用者は、（ｃ）にあるように、右目用と左目用の視差映像を得ることができる。
【０００４】
図１５を参照して、より具体的に説明する。図１５（ａ）を参照して、ＤＬＰプロジェクタでは、濃淡や色を表現するために、一枚の絵を複数のサブフレームに分割して表示する。従来技術は、サブフレームを時分割で表示する。図１５（ｂ）は、２視点の場合の一例である。２視点の場合、各視点に使えるサブフレームの数が半分になる。図１５（ｃ）は、２視点の場合に得られる画像の一例を示す。
【０００５】
液晶シャッターはOn/Off制御(0/1制御)で行っている。この原理は、1922年にハモンドが発明した機械式のメガネである3D teleview systemに遡る（特許文献１参照）。1970年代にこれが液晶シャッターに置き換わって以来、同じ原理である。
【０００６】
また、近年、左右２視点だけでなく、それよりも多い視点の映像を投影可能な多視点ディスプレイが注目を集めている。例えば、高速回転する板に映像を投影することで、裸眼多視点ディスプレイを実現している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第１４３５５２０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、アクティブシャッターメガネは、映像の時分割による。利用者が右目で右目側の映像を見るとき、左目側は閉じているため、利用者は左目でブラックフレームを見ることとなる。これがチラツキ（フリッカ）を生じる。単純に視点数を増加させると、より多くの数のブラックフレームを生じることとなる。このように、視点数を増やすとフリッカが増えてしまい、深刻な問題になる。
【０００９】
さらに、量子化誤差も問題となる。視点数を増加させることは、視点あたりのサブフレーム数を減少させる。例えば、４視点の場合、２視点の場合よりも半分になる。そのため、視点数を増やすと画像情報量が大幅に減少し、画質が悪くなってしまう。
【００１０】
また、高速回転する板などを利用すると、投影サイズを大きくすることは難しい。
【００１１】
そこで、本願発明は、チラツキを少なくし、視点数が増加しても画質の悪化を防ぐことが可能な画像表示システム等を提案することを目的とする。
【課題を解決するための手段】
【００１２】
本願発明の第１の観点は、表示画像を表示する画像表示システムであって、前記表示画像を表示する表示装置と、前記表示装置が表示した前記表示画像の光が通過する透過部と、前記透過部を、前記表示装置による前記表示画像の表示に同期して、光を部分的に遮断して部分的に通過させる中間状態にする透過制御部を備えるものである。
【００１３】
本願発明の第２の観点は、第１の観点の画像表示システムであって、前記透過部は、複数存在して、第１透過部と第２透過部を含み、前記透過制御部は、前記第１透過部及び前記第２透過部を前記中間状態にし、前記表示画像の光が前記中間状態にある前記第１透過部及び前記第２透過部を共に通過するものである。
【００１４】
本願発明の第３の観点は、第１又は第２の観点の画像表示システムであって、前記表示装置は、複数の表示画像を連続して表示し、前記複数の表示画像は、第１表示画像と第２表示画像を含み、前記第１表示画像及び前記第２表示画像の光が、前記中間状態である前記透過部を通過し、前記第１表示画像の光の通過量と前記第２表示画像の光の通過量とは異なり、前記透過制御部は、前記第１表示画像と前記第２表示画像の表示に同期して、前記透過部の光の透過量を変えるものである。
【００１５】
本願発明の第４の観点は、画像生成装置が、表示装置が表示する表示画像を生成する画像表示方法であって、
前記画像生成装置にＭ個（Ｍは２以上の整数）の入力画像ｆi（ｉはＭ以下の自然数）が入力される入力ステップと、前記画像生成装置が備える演算部が、Ｎ個（Ｎは２以上の整数）の表示画像Ｂn（ｎはＮ以下の自然数）、及び、ｉ及びｎに対応して透過率ｒin（ｒinは０以上１以下の数）を決定する決定ステップと、前記表示装置が前記表示画像Ｂnを連続して表示し、透過制御部が、前記表示装置が表示した前記表示画像Ｂnの光が通過する透過部における光の透過量を、前記表示画像Ｂnの表示に同期して、少なくとも一つのｉの値に対応する透過率ｒinに従って制御する表示ステップを含むものである。
【００１６】
本願発明の第５の観点は、第４の観点の画像表示方法であって、前記決定ステップにおいて、前記演算部は、前記表示画像の初期値Ｂn0及び前記透過率の初期値ｒin0に対してＳi0を演算し、ＳiがＳi0よりもｆiに近い前記表示画像Ｂn（ｎはＮ以下の自然数）及び透過率ｒin（ｒinは０以上１以下の数）を決定するものである。
【００１７】
本願発明の第６の観点は、第５の観点の画像表示方法であって、前記決定ステップにおいて、前記演算部は、前記透過率ｒinは、０よりも大きく１未満の値を含み、周期的に増減するものとし、前記表示画像を決定して、Ｓiと前記入力画像ｆiの違いを、前記表示画像の初期値の場合の値よりも小さくする。
【００１８】
本願発明の第７の観点は、表示装置が表示した表示画像の光が通過する透過部と、前記透過部の透過率を制御する透過制御部を備える透過装置であって、前記透過部は、光を遮断する閉状態、光を通過させる開状態、及び、光を部分的に遮断して部分的に通過させる中間状態を有し、前記透過制御部は、前記表示装置の前記表示画像の表示に同期して、前記透過部の透過率を、前記中間状態を利用して、前記開状態から前記閉状態までの間で連続的に変化させるものである。
【００１９】
【数１】
0006740530.tif 000002
【発明の効果】
【００２０】
本願発明によれば、透過部に、開状態及び閉状態に加えて、中間状態を許容する。すなわち、透過部の光の透過率は、０以上１以下の連続値となる。従来方式では、液晶シャッターは開状態及び閉状態のみであり、時分割であったため、ブラックフレーム（映像を完全にシャットアウト）が入るため、チラツキが酷かった。特に，視点数が増えるとその影響が顕著になる。本願発明によれば、常に一定の映像が視野に入るためチラツキが少なくなる。
【００２１】
特に、従来方式では、複数の透過部がある場合に、表示画像は一つの通過部のみを通過し、他の透過部ではブラックフレームとなっていた。本願発明によれば、第２の観点にあるように、表示画像は、中間状態にある複数の透過部を通過することができ、ブラックフレームの発生を回避することができる。
【００２２】
さらに、本願発明によれば、原理的には、投影すべき複数の視点で共通する部分を使いまわして投影する。そのため，情報理論的には、少ないデータ量で多くのデータを表現する情報圧縮技術が本デバイスに自動的に組みこまれることになる。よって、従来方式よりも高画質で映像を表示することが可能である。そのため、視点数が増加しても、画質の低下を防ぐことができる。
【００２３】
さらに、本願発明の第５の観点によれば、表示画像と透過率を容易に決定することができる。特に、第６の観点にあるように、透過率の増減を予め定めておき、入力画像に対して表示画像を決定することにより、計算量を大幅に削減することができる。
【図面の簡単な説明】
【００２４】
【図１】本願発明の実施の形態に係る画像表示システムの構成の一例を示すブロック図である。
【図２】図１の画像表示システム１の動作の一例を示すフロー図である。
【図３】図１の画像生成装置３の演算部１７による表示画像及び透過率の演算の一例であるアルゴリズムを示す図である。
【図４】図３のアルゴリズムによる処理の一例を示す図である。
【図５】本願発明による２視点の場合の表示画像と透過率の一例を示す図である。
【図６】サブフレーム８枚で、３視点の場合のシミュレーション例を示す図である。
【図７】ランダムサンプリングパラメータＫによるＰＳＯアルゴリズムの収束を示すグラフである。
【図８】３視点の場合のサブフレームを時空間フーリエ解析した結果を比較するための図である。
【図９】サブフレーム１２枚で、５視点の場合のシミュレーション例を示す図である。
【図１０】本願発明の試作品の一例を示す図である。
【図１１】図１０の試作品による３視点の場合の一例を示す図である。
【図１２】図１０の試作品による５視点の場合の一例を示す図である。
【図１３】本願発明の他の試作品の例を示す図である。
【図１４】従来の３Ｄ映像表示技術の一例の概要を説明するための図である。
【図１５】図１５の従来の３Ｄ映像表示技術の一例を具体的に説明するための図である。
【発明を実施するための形態】
【００２５】
以下では、図面を参照して、本願発明の実施例について説明する。なお、本願発明は、この実施例に限定されるものではない。
【実施例】
【００２６】
図１は、本願発明の実施の形態に係る画像表示システム１の構成の一例を示すブロック図である。画像表示システム１は、画像生成装置３（本願請求項の「画像生成装置」の一例）と、表示装置５（本願請求項の「表示装置」の一例）と、透過装置７（本願請求項の「透過装置」の一例）を備える。
【００２７】
画像生成装置３は、表示装置５が表示する表示画像と、透過装置７における光の透過率を決定する。画像生成装置３は、入力画像記憶部１１と、表示画像記憶部１３と、透過率記憶部１５と、演算部１７（本願請求項の「演算部」の一例）と、通信部１９と、入力部２１を備える。演算部１７は、表示画像演算部２３と、透過率演算部２５を備える。
【００２８】
表示装置５は、画像生成装置３が決定した表示画像を表示する。ハードウエアは、例えばデジタルライトプロセッシング（ＤＬＰ）プロジェクタを利用して実現することができる。表示装置５は、表示画像記憶部３１と、表示制御部３３と、表示部３５（本願請求項の「表示部」の一例）と、通信部３７を備える。
【００２９】
透過装置７は、表示装置５が表示した表示画像の光の透過率を制御する。利用者は、表示装置５が表示した表示画像を、透過装置７を経由して見る。従来は、液晶シャッターを利用し、On/Off制御(0/1制御)で行っていた。そのため、例えば左右の目の場合には、表示装置５の右目用の表示画面は、右目のみで見て、左目は遮蔽されていた。本願発明では、開状態及び閉状態に加えて、中間状態（すなわち、部分的に遮断し、部分的に通過させる状態）をも許容する。そのため、表示画像を左右両目で同時に見るように、同時に複数の透過部を通過し得ることとなる。ハードウエアは、従来の液晶シャッターを、中間状態が可能なものに変更すればよい。透過装置７は、透過率記憶部４１と、Ｍ個の透過部４３（本願請求項の「透過部」の一例）と、通信部４５と、透過制御部４７（本願請求項の「透過制御部」の一例）を備える。
【００３０】
図２は、図１の画像表示システム１の動作の一例を示すフロー図である。図２（ａ）、（ｂ）及び（ｃ）は、それぞれ、図１の画像生成装置３、表示装置５及び透過装置７の動作の一例を示す。
【００３１】
図２（ａ）を参照して、図１の画像生成装置３の動作の一例を説明する。利用者は、入力部２１より、複数の入力画像を入力する（ステップＳＴＳ１）。入力部２１は、入力された複数の入力画像を入力画像記憶部１１に記憶する。演算部１７の表示画像演算部２３と透過率演算部２５は、それぞれ、複数の表示画像と各表示画像に対応する透過率を決定する（ステップＳＴＳ２）。演算部１７による処理の一例は、後に説明する。続いて、通信部１９は、表示装置５及び透過装置７に対して、それぞれ、表示画像と透過率を送信する（ステップＳＴＳ３）。
【００３２】
図２（ｂ）を参照して、図１の表示装置５の動作の一例を説明する。通信部３７は、透過装置７の通信部４５と通信を行い、同期する（ステップＳＴＤ１）。通信部３７は、画像生成装置３の通信部１９より表示画像を受信し、表示画像記憶部３１に記憶する（ステップＳＴＤ２）。表示制御部３３は、表示部３５に、複数の表示画像を連続して表示する（ステップＳＴＤ３）。
【００３３】
図２（ｃ）を参照して、図１の透過装置７の動作の一例を説明する。通信部４５は、表示装置５の通信部３７と通信を行い、同期する（ステップＳＴＴ１）。通信部４５は、画像生成装置３の通信部１９より透過率を受信し、透過率記憶部４１に記憶する（ステップＳＴＴ２）。透過制御部４７は、透過率を用いて、表示装置５における表示画像の表示に同期して、各透過部４３における光の透過率を制御する（ステップＳＴＴ３）。
【００３４】
なお、図１及び図２で例では、透過装置７が、例えばメガネの右目用と左目用の液晶シャッターのように、一つの装置内に複数の透過部がある場合を例にして説明する。本願発明は、透過装置が複数あり、各透過装置に一つ又は複数の透過部がある場合でもよい。また、各視点に応じて透過率が定まっている場合に、各視点の透過率と各透過部との対応関係は、固定されておらずに変更してもよい。例えば、ＧＰＳ装置などで利用者の位置を検出し、利用者が右側から見ているときには視点１の透過率を使用し、左側に移動すると視点２の透過率を使用して、透過部の透過率を制御してもよい。
【００３５】
続いて、図３及び図４を参照して、図１の画像生成装置３の演算部１７による表示画像及び透過率の演算の一例について説明する。
【００３６】
ＤＬＰイメージモデルは、式(1)で定義される。ここで、Ｂn(x,y)は、ＤＬＰにおけるデジタルミラーデバイス（ＤＭＤｓ）のバイナリイメージを示す。Ｌnは、光の強さを示す。Ｎは、バイナリイメージの数を示す。例えば、８ビットのグレイスケールイメージに対して、式(2)の正規化された輝度係数が使われる。このモデルでは、投影されるイメージ０≦ｆ(x,y)≦１を提示することができる。
【００３７】
【数２】
0006740530.tif 000003
【００３８】
続いて、従来の０−１アクティブシャッターを使った多視点ディスプレイモデルを説明する。このモデルでは、Ｍ個のイメージｆiは、式(3)として示すことができる。ここで、ｒni＝｛０，１｝は、アクティブシャッターの状態を示す。１は「開」状態、０は「閉」状態である。例えば、Ｍ＝２の立体映像では、式(4)のパラメータが使用される。。この場合、右側及び左側の映像ｆ1及びｆ2は、時分割で提示される。イメージの深さは、４ビットに減らされている。
【００３９】
【数３】
0006740530.tif 000004
【００４０】
続いて、提案手法によるアナログシャッターを使った多視点ディスプレイモデルを説明する。従来の時分割アクティブシャッターに関する技術的な問題は、次のものである。まず、０−１シャッターは、完全なブラックパターンを投影するために人の目にフリッカを生じる。フリッカは、時分割数Ｍに従って増加する。そして、入力画像と投影画像との間に量子化誤差が生じる。バイナリパターンの数はＭ個に分かれているためである。
【００４１】
本願では、アクティブシャッターモデルを式(5)のように緩和することにより、これらの技術的な問題を解決することを提案する。このモデルは、アクティブシャッターが０−１状態をとることに制限されるのではなく、代わりに連続的な遷移を使うことを意味する。従来の０−１アクティブシャッターとは違って、提案モデルは、完全なブラックパターンの投影を防止し、ディスプレイのフリッカを減らすことができる。さらに、提案モデルは、単純な時分割システムよりも多くのバイナリパターンを使用することができるため、イメージの量子化誤差を減らすことができる。
【００４２】
ここで、光の強さをＬ＝１の一定値に維持することで問題を単純化する。投影のバイナリパターンの光の強さは、連続シャッターｒniで制御することができるためである。このモデルは、式(6)で示すことができる。提案の多視点ＤＬＰイメージ変換は、次のように要約することができる。
問題１：入力としてＭ個（Ｍは２以上の整数）のイメージｆi(x,y)とバイナリパターン（イメージビット）の数Ｎが与えられた場合、アクティブシャッターの最適な透過率ｒnとバイナリパターンＢn(x,y)を決定する。
【００４３】
問題１に関する技術的な問題とこれに対する我々の貢献は、以下のものである。まず、問題１に対し、効率のよい数値解法を提案する。問題１は、ＮＰ困難の問題を含む。これは、現実的な計算時間で解くことが必要である。そして、透過率が連続的に変化するアクティブシャッターメガネを開発した。提案モデルは、アクティブシャッターメガネが[0,1]の範囲で連続的な透過率の状態をとることができることを仮定する。よって、このようなデバイスを開発する必要がある。我々は、ＬＣＤシャッターに対するＰＷＭ制御を使うことで、連続的な透過率を実装した。
【００４４】
【数４】
0006740530.tif 000005
【００４５】
続いて、バイナリの連続的なイメージ分解について説明する。式(7)により、与えられた入力画像ｆiと、ＢnとＡ:=［ｒ1,...,ｒM］によって再構成された画像との間の最小二乗のエラーベースのコスト関数を定義する。ここで、Ｗ及びＨは、入力画像及びＢ(x,y)＝［Ｂ1(x,y), ... , ＢN(x,y)］Tのサイズを示す。バイナリパターンＢnとシャッターの透過率ｒiは、Ｅを最小化することによって得られる。しかしながら、コスト関数ＥとＢn(x,y)＝｛０，１｝と０≦ｒni≦１の特別な制約のために、正確な最小化を達成することは、とても難しい。例えば、もしＢnとｒiに何も制約がなければ、特異値分解（ＳＶＤ）を使うことができる。しかし、このモデルでは、ＳＶＤを使用することができない。言い換えると、バイナリと連続をベースに、入力画像を非対称の形式に分解する必要がある。
【００４６】
この困難を解決する可能性のあるアプローチは、この問題を２つのステップに分解するものである。連続変数ｒiと０−１変数Ｂnの最適化である。よって、あらかじめ定めたｒiを与えると、問題の残りは０−１の組み合わせた最適化問題となる。コスト関数をＥ（Ｂ; Ａ）と記す。
【００４７】
この研究では、ＰＳＯ（particle swarm optimization）アルゴリズムを使って最適なシャッター透過率ｒiを探索する。ＰＳＯは最適解を保証するものではないが、ＰＳＯは、問題についての仮説を必要としない強力なメタヒューリスティックスな探索技術である。
【００４８】
【数５】
0006740530.tif 000006
【００４９】
シャッター透過率に対するＰＳＯアルゴリズムを説明する。ＰＳＯアルゴリズムでは、複数の小片ｚ1, ｚ2, ... , ｚmを使用する。ここで、ｍは、小片の数である。各小片ｚiは、速度ｖi＝［ｖ1i, ... , ｖM×Ni］Tを持っている。我々のモデルでは、Ｍシャッター透過率ｒiは、ｚに割り当てられる。ここで、ｚ＝｛ｒ11, ... , ｒ1N, ｒ21, ... , ｒMN｝である。小片は、式(8)及び(9)で更新される。ここで、randは、範囲[0,1]の一様乱数の値である。ω0、ω1及びω2は、制御パラメータである。ｔは、タイムステップである。ｚtpbest,iは、式(10)で与えられる小片に対する最良の解である。ｚtgbest,iは、式(11)で与えられる群の最良解である。
【００５０】
最適化の過程で、小片の数ｍと最大反復数ｔmaxが与えられ、初期の小片ｚ0iとその速度ｚ0iがランダムに与えられる。すると、タイムステップｔがｔmaxに至るまで、小片は式(8)によって反復して更新される。ＰＳＯの反復は、コスト関数Ｅをだんだんと減らすために使用することができる。
【００５１】
【数６】
0006740530.tif 000007
【００５２】
バイナリパターンの最適化を説明する。ＰＳＯアルゴリズムは、Ｅ（Ｂ; Ａ）の計算を要求する。ｒが与えられることにより、コスト関数Ｅが(x,y)と独立になるため、各ピクセル(x,y)での式(12)のコスト関数を最適化するのに十分である。ここで、ｂ＝Ｂ(x,y)及びｆi＝ｆ(x,y)である。Ａとｆ＝［ｆ1, ... , ｆM］Tを使うと、式(13)である。||ｆ||2が一定の値であるため、式(14)が成り立つ。ここで、Ｑ＝ＡＡT、ｑ＝−２Ａｆである。よって、コスト関数を式(15)で再定義する。
【００５３】
これは、０−１の二次計画問題である。これはＮＰ困難な問題であるため、効率のよい解法が必要となる。一般に、整数計画問題を最適化するために分岐限定法を使用することができる。この方法では、線形緩和を適用することにより、０−１の整数値の制約は、範囲[0,1]の連続値とサブ問題の下限に変換される。よって、下限を使用することにより、探索するノードを効率よくカットすることができる。
【００５４】
対照的に、式(15)の我々のモデルでは、線形緩和がなくても下限を容易かつ効率よく計算することができる。これは、0-1整数二次計画問題においてＱij＞０及びｑi＜０の対称行列であることを含む特別な場合であるためである。
【００５５】
【数７】
0006740530.tif 000008
【００５６】
サブ問題への分割を説明する。分岐限定法はノードの階層的な木探索を行う。子ノードはピヴォットノードの下限によってカットされる。よって、この探索はピヴォットノードとその加減のコストの計算を要求する。
【００５７】
そのコストは、分割バイナリベクトルｂT＝［ｂ1T, ｂ2T］でコスト関数Ｅを分割することで計算することができる。ここで、ｂ1及びｂ2は、それぞれ、ｎ1ビット及びｎ2ビットのベクトルである。ｂ1が与えられて固定されているとき、残りの２n2ノード（ｂ2＝［0,0,...,0］T:=0から［1,1,...,1］T:=1）が探索ノードになる。ｂ2＝０のノード（ｎ2≧2）をピヴォットノードと定義する。
【００５８】
固定したｂ1に関する分割コスト関数は、式(16)で定義される。ここで、式(17)及び式(18)である。分割行列は、Ｑ11∈Ｒn1×n1、Ｑ12∈Ｒn1×n2及びＱ22∈Ｒn2×n2である。ベクトルは、ｑ1∈Ｒn1及びｑ2∈Ｒn2である。定数ｃ＝Ｅ(0;ｂ1)＝ｂ1TＱ11ｂ1＋ｑ1Tｂ1は、式(16)から得ることができる。
【００５９】
【数８】
0006740530.tif 000009
【００６０】
下限の分析について説明する。サブ問題への分割に従い、与えられたピヴォットノードを計算し、もしピヴォットノードの下限を得ることができるのであれば、ピヴォットノードの下限ΔＥと現在の最小計算Ｅoptによって子ノードの探索をスキップすることができる。
【００６１】
［ｂ1,0,...,0］から［ｂ1,1,...,1］のノードの下限を推定する。式(19)にあるように、ｂ1が与えられ、条件Ｑij≧０及びｑi≦０を使うことで、式(16)によりおおよその下限を容易に推定することができる。ここで、ΔＥ1:=ｑ2T１である。この式は、ピヴォットノードＥ(0;ｂ1)を計算した後で、ｂ2によることなくΔＥ1を加算することでおおよその下限を計算することができることを意味する。
【００６２】
式(16)のコスト関数を変換することで、式(20)にあるように下限を変える。ここで、ΔＥ2:=ｕ'T１及びｕi'＝min(0,ｕi)である。さらに、式(21)にあるように下限を変えることができる。ここで、diag(A)は、要素が行列Ａの対角要素によって与えられるベクトルを示す。すなわち、diag（Ａ）＝［Ａ11, Ａ22，...，Ａnn］T。Ａ^は、Ａの対角要素が０に置き換わった行列を示す。ｍ:=２ｂ1TＱ12＋diag(Ｑ22)T＋ｑ2Tである。
【００６３】
Ｑij≧０より、強化された下限は、式(22)のように計算することができる。ここで、ΔＥ3:=ｍ'T１及びｍi'＝min(0,ｍi）である。バイナリパターンの最適化の手続きは、図３のアルゴリズムにより記載することができる。
【００６４】
【数９】
0006740530.tif 000010
【００６５】
バイナリパターンの最適化の例を説明する。図４（ａ）を使って図３のアルゴリズムの簡単な例を提示する。図４（ａ）は、０−１二次計画問題に対する探索木構造の例である。ピヴォットノードの下限を計算した後で、ピヴォットノードの子ノードを探索からスキップすることができる。入力画像の数は、Ｍ＝２である。バイナリパターンの数はＮ＝４である。与えられたパラメータは、式(23)及び式(24)である。最初のピヴォットノード[0100]に到達するまで４つのノードが計算され、一時的な最適コストＥopt＝１６を得る。そして、ピヴォットノード[0100]で、ノードのコストとΔＥ＝−２を計算し、下限Ｅ＋ΔＥ＝３５を得る。この下限はＥopt＝１６よりも大きいため、[0100]の子ノードをカットすることができる。同じ方法により、次のピヴォットノード[1000]の子ノードもカットすることができる。最終的には、フルサーチでは２4＝１６ノードが必要となるが、６ノードを計算することによって最適ビット[0010]及び最適コストＥopt＝１６を得る。
【００６６】
【数１０】
0006740530.tif 000011
【００６７】
計算点のサンプリングについて説明する。ＰＳＯを使った各小片の計算は、すべてのピクセル(x,y)に対するＥの計算が必要である。しかしながら、ピクセルの数はイメージサイズＷ×Ｈに比例し、その計算はコンピュータによる集中的なものとなる。よって、我々は、Ｋランダムサンプリングによって決定された少ない数のピクセルを計算することのみによって計算するためのコンピュータ時間を加速させる。サンプリングピクセルを評価点（ＥＰ）という。
【００６８】
各ノードのカットによる効率化について説明する。いろいろなビット数（Ｎ＝８，１２，１６，２０，２４）の１００個の数値例をテストすることで分岐探索法の効率化をする。表１は、サーチノード数の比較を示すリストである。これは、各アルゴリズムに対するサーチノードを示す。そして、（・）は、フルサーチと比較したサーチノードの要素を示す。表中、「フル」はフルサーチを示す。「ΔＥ1」「ΔＥ2」及び「ΔＥ3」は、それぞれ、式(19)、式(20)及び式(22)における下限ΔＥ1、ΔＥ2及びΔＥ3に関する分岐限定法の結果を示す。図４（ｂ）は、表１の結果をグラフ化したものを示す。フルサーチと、ΔＥ1、ΔＥ2及びΔＥ3によってカットされたときのサーチノード数を示す。
【００６９】
表１と図４（ｂ）の結果より、サーチノード数を効率よく減らせることができる。特に、ΔＥ3を使うことで、サーチ効率を大幅に良くすることができる。２０ビットを使用することで、探索ノード数が2,046分の１に削減される。ここで、分岐限定法を使って得られたmin Ｅとｂは、フルサーチの結果に等しい。
【００７０】
【表１】
0006740530.tif 000012
【００７１】
図５〜図９を参照して、シミュレーション結果を説明する。
【００７２】
図５は、本願発明による２視点の場合の一例を示す。図５（ａ）は、第１視点（例えば左目側）を示す。図５（ｂ）は、第２視点（例えば右目側）を示す。共に、サブフレームの数は８であり、減っておらず、高画質である。また、完全に黒いフレームはなく、ちらつきがない。図５（ａ）と（ｂ）で、表示される画像は同じであり、既存のプロジェクタで表示することができる。メガネを変えるだけでよい。なお、従来技術では、図１５（ｂ）にあるように、２視点ではサブフレームは半減し、４となっていた。
【００７３】
図５（ｃ）にあるように、右目側と左目側で、表示画像に同期して透過部の中間状態の透過率を変更するだけで、各視点に応じた画像をえることができる。なお、従来技術では、図１５（ｃ）にあるように、半分のサブフレームのみを利用することとなった。
【００７４】
図６は、サブフレーム８枚で、３視点の場合のシミュレーション例を示す。（ａ）は単純な時分割、（ｂ）は提案法の初期状態、（ｃ）は提案法の３０反復後のものを示す。
【００７５】
（ａ）単純な時分割では、８枚の画像をプロジェクタで高速に投影し，第１及び第２視点で３枚ずつのサブフレームを使用し、第３視点には２枚しかサブフレームを割り当てていない。そのため、第３視点では、投影できる情報量が少なく，画質が急激に劣化している。単純な時分割でのエラーの度合いは、13.60である。
【００７６】
（ｃ）提案法によれば、全８枚の画像を３視点に利用することができる。すなわち、各視点で共通する画像データを使いまわすことができている。これにより，投影パターンは各視点が混ざったような不自然な画像データ列となるが，発明したメガネで通してみると高画質な映像がちゃんと表示される。初期値でのエラーの度合いが13.66であったところ、３０反復後のエラーの度合いは10.58となった。よって、提案法によって大幅に画質が改善することを示す。さらに、各視点での画質が極端に変化していない。
【００７７】
図７は、ランダムサンプリングパラメータＫの異なる値によるＰＳＯアルゴリズムの収束を示す。（ａ）Ｋ＝５０，（ｂ）Ｋ＝２００、（ｃ）Ｋ＝１０００である。Ｋが増加すると、ピクセルの全体に対する推定された計算が改善する。
【００７８】
図８は、サブフレームを時空間フーリエ解析したものである。ＸＹ軸に加えて、時間軸を考慮している。（ａ）、（ｂ）、（ｃ）は、３つの視点における解析を示す。提案法は、時間軸方向で高周波成分が少ない。よって、ちらつきが少ない。
【００７９】
図９は、５視点の場合を示す。これは１２枚のプロジェクタの投影パターンを５視点に割り振っている。（ａ）は、入力画像を示す。（ｂ）は、単純な時分割によるものを示す。各視点に２枚か３枚しかパターンを割り当てることができないため、大きな量子化誤差が生じ、画質が非常に悪い。（ｃ）は、提案法での初期状態を示す。パラメータは、Ｍ＝５、Ｎ＝１２ビットでＫ＝１０００である。（ｄ）は、３０反復後の状態を示す。提案法では、濃淡値がきちんと表示されている。エラーの度合いは、（ｂ）単純な時分割が15.7であったところ、（ｄ）では5.9となった。よって、提案法が画質を大幅に改善していることがわかる。このように、提案法は、多視点映像の投影において顕著に画質が有利である。
【００８０】
図１０〜図１２を使って、具体的な実装例について説明する。
【００８１】
図１０は、開発した試作品を示す。（ａ）にあるように従来のメガネのＬＣＤシャッターを使用し、（ｂ）にあるように構成した。ＬＣＤシャッターの透過率は、ＤＳＰによって生成されたＰＷＭ信号によってコントロールしている。シャッターのOn/Offではなく，透過率を自由に制御できる。図１０（ｃ）は、回路図である。
【００８２】
図１１は、３視点の場合を示す。（ａ）は、単純な時分割を示す。（ｂ）は、提案法によるものを示す。画質は、飛躍的に向上している。さらに、各視点では、黒いフレームがなく、チラツキが大幅に抑えられている。
【００８３】
図１２は、５視点の場合を示す。図９の場合と同様に、１２枚のサブフレームを使用する。（ａ）は、視点の一つについて、上から、従来の単純な時分割、従来の黒いフレームの連続を防いだもの、そして、提案法によるものの１２枚のフレームを示す。従来法では、１視点に３枚しか割り振ることができず、投影のほとんどが黒フレームで占められている。これは強烈なチラツキ（フリッカ）を引き起こす。従来法は、視点数が増えるとチラツキが特にひどくなる。提案法では、５視点でも、なだらかなパターン変化を投影することとなり，従来方式のような黒フレームが少なくなり、チラツキが大幅に抑えられている。両者を見比べたところ、提案法では、実際に優位にチラツキが少ないことを確認した。（ｂ）は、５つの視点で得られる画像を比較するものである。従来法に比べ、提案法は大幅に画質がよい。
【００８４】
なお、図１０では、液晶シャッターを利用し、開閉の中間状態をＰＷＭ制御により実現している。従来では液晶シャッターの開閉(On/Off, 0/1)であった。提案法では、その中間状態0〜1を許容する。また、例えば、機械式シャッターで実現してもよい。この場合、例えば、中間状態はシャッター開閉面積で制御すればよい。
【００８５】
なお、図１３にあるように、多視点プロジェクタとして活用してもよい。（ａ）は試作品を撮影したもので、（ｂ）は概略図である。ライブや展示会場などの多数の人に対しても，その人の位置に応じた複数の映像を提示させることができる。たとえば，演奏者や建造物・作品などである。従来のプロジェクションマッピングでは、一つの平面映像を投影するため視点によっては不自然になっていた。
【００８６】
また、裸眼多視点ディスプレイとして活用してもよい。液晶シャッターとディスプレイを組み合わせることで裸眼多視点ディスプレイを実現することが可能である。従来ではミラーやディスプレイをモーターで高速回転・同期表示させることで裸眼多視点ディスプレイを実現していたが，板状のものを高速回転させることは装置を大きくすることが困難で、騒音・安全上に問題があり，とても実用化できるものではない。他方，何十台ものプロジェクタを投影する方式もあるがコスト・サイズに難がある。一方、本方式では１台のプロジェクタで回転させずとも光源のコントロールで裸眼多視点ディスプレイが可能となり，サイズの制約もない。
【符号の説明】
【００８７】
１  画像表示システム、３  画像生成装置、５  表示装置、７  透過装置、１１  入力画像記憶部、１３，３１  表示画像記憶部、１５，４１  透過率記憶部、１７  演算部、１９，３７，４５  通信部、２１  入力部、２３  表示画像演算部、２５  透過率演算部、３３  表示制御部、３５  表示部、４３  透過部、４７  透過制御部
【図１】
0006740530.tif 000014
【図２】
0006740530.tif 000015
【図３】
0006740530.tif 000016
【図４】
0006740530.tif 000017
【図５】
0006740530.tif 000018
【図６】
0006740530.tif 000019
【図７】
0006740530.tif 000020
【図８】
0006740530.tif 000021
【図９】
0006740530.tif 000022
【図１０】
0006740530.tif 000023
【図１１】
0006740530.tif 000024
【図１２】
0006740530.tif 000025
【図１３】
0006740530.tif 000026
【図１４】
0006740530.tif 000027
【図１５】
0006740530.tif 000028