(57)【要約】【課題】実施形態では、表示する映像の色合いが、透過型ディスプレイの背景色の影響を受けにくくし、所望の色合いで表示できるようにした透過型ディスプレイと映像の色補正方法を提供する。【解決手段】一実施形態の透過型ディスプレイによれば、映像入力部からの映像データに基づいて映像を表示する映像表示パネルと、前記映像表示パネルを介して背面側の景色が前面側に透視される程度を表す透過率データを算出する手段と、前記映像表示パネルを介して前面に透過される背景色データを得る手段と、前記透過率データと前記背景色データを用いて、前記映像表示パネルの前面に透過する背景色の透過量データを求める手段と、前記透過量データに基づいて、前記背景色の透過による影響を低減する補正を前記映像入力部からの映像データに対して行う手段と、を備える。【選択図】図１
2019144508.tif 000002
【特許請求の範囲】
【請求項１】
映像入力部からの映像データに基づいて映像を表示する映像表示パネルと、
前記映像表示パネルを介して背面側の景色が前面側に透視される程度を表す透過率データを算出する手段と、
前記映像表示パネルを介して前面に透過される背景色データを得る手段と、
前記透過率データと前記背景色データを用いて、前記映像表示パネルの前面に透過する背景色の透過量データを求める手段と、
前記透過量データに基づいて、前記背景色の透過による影響を低減する補正を前記映像入力部からの前記映像データに対して行う手段と、を備える、透過型ディスプレイ。
【請求項２】
前記透過率データを算出する手段が算出する前記透過率データは、前記映像データを表示する画素単位ごとである、
請求項１記載の透過型ディスプレイ。
【請求項３】
前記透過率データを算出する手段が算出する前記透過率データは、前記映像データを表示する画素単位ごとに求め、さらに周辺のデータを用いてフィルタリングを行ったものである
請求項１記載の透過型ディスプレイ。
【請求項４】
前記透過率データを算出する手段が算出する前記透過率データは、前記映像データを表示するフレーム内を区分する領域単位ごとである、
請求項１記載の透過型ディスプレイ。
【請求項５】
前記透過率データを算出する手段が算出する前記透過率データは、前記映像データを表示するフレーム内を区分する領域単位ごとに求め、それらを補間してさらに小さい領域単位、あるいは画素単位としたものである
請求項１記載の透過型ディスプレイ。
【請求項６】
前記透過率データを算出する手段が算出する前記透過率データは、前記映像データを表示するフレーム単位ごとである、
請求項１記載の透過型ディスプレイ。
【請求項７】
前記映像表示パネルを介して透視される背景の前記背景色データを得る手段は、
前記映像表示パネルを透過する背景色を感知するフォトセンサを有する、
請求項１記載の透過型ディスプレイ。
【請求項８】
前記映像表示パネルを介して透視される背景の前記背景色データを得る手段は、
前記映像表示パネルを撮像するカメラを有する、
請求項１記載の透過型ディスプレイ。
【請求項９】
前記映像表示パネルを介して透視される背景の前記背景色データを得る手段は、
ユーザインターフェース（ＵＩ）等により、ユーザが選択、あるいは指定することを特徴とする
請求項１記載の透過型ディスプレイ。
【請求項１０】
前記映像表示パネルを介して透視される背景の前記背景色データを得る手段は、
スマートフォーン、ＰＣ、タブレット上で動作するアプリ等を用いて撮影等によって取得した画像を用いることを特徴とする
請求項１記載の透過型ディスプレイ。
【請求項１１】
映像入力部からの映像データに基づいて透過型の映像表示パネルに映像を表示する場合、前記映像データを補正する色補正手段を備える表示映像の色補正方法であって、
前記映像表示パネルを介して背面側の景色が前面側に透視される程度を表す透過率データを算出し、
前記映像表示パネルを介して前面に透過される背景色データを取得し、
前記透過率データと前記背景色データを用いて、前記映像表示パネルの前面に透過する背景色の透過量データを求め、
前記透過量データに基づいて、前記背景色の透過による影響を低減する補正を前記映像入力部からの映像データに対して行う、
表示映像の色補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は透過型ディスプレイと表示映像の色補正方法に関する。
【背景技術】
【０００２】
窓や壁に容易に取り付け可能なディスプレイとして、透過型ディスプレイ（透明ディスプレイと称される場合もある）装置がある。透過型ディスプレイは、映像を表示しないときは画面全体を透明にできるだけでなく、まるで空中に物体が浮かんでいるかのように映像を表示できるなど、景観を損なわず空間に溶け込むような映像表現が可能となる。
【０００３】
例えば、有機ＥＬ（Ｅｌｅｃｔｏｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）を用いた透過型ディスプレイの場合、黒を表示した場合は透過量が大きく、白を表示した場合に透過量が小さくなることにより、これを実現している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第９５１４７０６号明細書
【特許文献２】米国特許出願公開第２０１４/０２０４０２３号明細書
【特許文献３】米国特許出願公開第２０１６/０１０４３０２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、設置環境によっては、表示する映像が見にくくなる場合がある。例えば、水族館のガラスに透過型ディスプレイを使って映像を表示した場合、背景の青色が透過して表示すべき本来の映像が見にくくなってしまう場合がある。
【０００６】
また、家庭用のテレビとして透過型ディスプレイを使った場合、背景の壁の色が透過して表示すべき本来の映像が見にくくなってしまう場合がある。
【０００７】
例えば、透過型ディスプレイの背面側の壁（或いは風景）の色が赤い環境であったとする。また、透過型ディスプレイに入力された映像信号のフレーム全体は、黒色のフレームであり、その中央に赤色の楕円の領域があるものとする。このような映像信号の場合、透過型ディスプレイの画面を正面から見ると、先の背面側の壁の色（赤）が、映像の黒色の領域を透過した結果、映像の黒色の領域が赤っぽくなる。このため、赤色の楕円の領域と背景の赤っぽい黒の領域との区別が難しくなってしまう。
【０００８】
また、上記と同じ条件での入力映像（透過型ディスプレイに入力された映像信号のフレーム全体は、黒色のフレームであり、その中央に赤色の楕円の領域があるとする）において、透過型ディスプレイの背面側の壁（或いは風景）が緑の場合は、透過型ディスプレイの画面を正面から見ると、次のような見え方となる。
【０００９】
即ち、背面側の壁の色（緑）が、映像の黒色の領域を透過した結果、映像の黒色の領域が緑っぽくなり、赤色の楕円の領域は赤と緑が混ざって黄土色或いはオレンジ色っぽく見えるようになる。このために、実際に表示された映像は、本来意図した映像の色とかけ離れてしまう。
【００１０】
そこで本実施形態では、表示する映像の色合いが、透過型ディスプレイの背景色の影響を受けにくくし、所望の色合いで表示できるようにした透過型ディスプレイと映像の色補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本実施形態の透過型ディスプレイによれば、
映像入力部からの映像データに基づいて映像を表示する映像表示パネルと、
前記映像表示パネルを介して背面側の景色が前面側に透視される程度を表す透過率データを算出する手段と、
前記映像表示パネルを介して前面に透過される背景色データを得る手段と、
前記透過率データと前記背景色データを用いて、前記映像表示パネルの前面に透過する背景色の透過量データを求める手段と、
前記透過量データに基づいて、前記背景色の透過による影響を低減する補正を前記映像入力部からの映像データに対して行う手段と、を備える。
【図面の簡単な説明】
【００１２】
【図１】図１は、一実施形態の構成例を示すブロック図である。
【図２】図２は、透過型ディスプレイの透過率特性の一例を示す特性図である。
【図３】図３は、透過型ディスプレイの映像表示パネルの前で観測される背景色情報を取得するための手段の構成例を示す図である。
【図４】図４は、透過型ディスプレイの映像表示パネルの前で観測される背景色情報を取得するための手段の他の構成例を示す図である。
【図５Ａ】図５Ａは、図１に示した色補正部の一構成例を示す図である。
【図５Ｂ】図５Ｂは、図１に示した色補正部の他の構成例を示す図である。
【図６】図６は、透過型ディスプレイの映像表示パネルの前で観測される背景色情報の他の例を示す説明図である。
【発明を実施するための形態】
【００１３】
以下、実施の形態について図面を参照して説明する。図１は一実施形態の構成図である。１００は、映像入力部であり、映像再生装置で再生された映像やチューナーで受信された映像などが入力される。映像入力部１００から入力された映像データは、色補正部１１１と透過率算出部１１４に入力される。
【００１４】
色補正部１１１は、後述するようにディスプレイの背景色の透過量データに基づいて、入力映像データに対して背景色が全面に透過する影響を低減する補正を行う。色補正部１１１から出力された映像信号は、透過型の映像表示パネル１１３に入力されて表示される。
【００１５】
色補正部１１１の動作は、背景色透過量算出部１１５で算出された補正データに基づいて補正されるが、補正データは、これから説明する透過率算出部１１４の算出値、背景色情報取得部１１７の取得値に基づいて生成される。
【００１６】
透過率算出部１１４について説明する。透過率算出部１１４は、映像データが表示される映像表示パネル１１３において、スクリーン１１３を介して背面側が前面側に透視される程度を表す透過率データを算出する。
【００１７】
透過率は透過型ディスプレイの性能により特性が異なるが、有機ＥＬを用いた場合は、一般的に黒は透過率が高く、白は透過率が低くなる。
【００１８】
例えば、映像データの入力に対して図２に示すような透過率特性を持つディスプレイだった場合、入力データ１２８／２５５が入力されると透過率は５０％となる。入力データの値が、大きくなると透過率が減少し、入力データの値が小さくなると透過率が大ききなる。つまり入力データが例えば白を表す方向へ変化すると透過率が減少し、黒を表す方向へ変化すると透過率が大きくなる。
【００１９】
透過率を示すデータは予め測定された情報をディスプレイ内部のメモリに持っておいても良いし、設置場所の変更時、或いは電源投入時などに測定を行って求めるなどしても構わない。
【００２０】
透過率データを算出する手段が、透過率データを求める形態には各種の形態が存在する。
（１）即ち、算出する透過率データは、映像データを表示する画素単位でごとに求めるデータであってもよい。また、透過率データを算出する手段が算出する前記透過率データは、映像データを表示する画素単位ごとに求め、さらに周辺のデータを用いてフィルタリングを行ったものであってもよい。
（２）或いは、算出する透過率データは、映像データを表示するフレーム内を複数の領域に分け、区分する領域単位ごとに求めたデータであってもよい。また、算出する透過率データは、映像データを表示するフレーム内を区分する領域単位ごとに求め、それらを補間するなどしてさらに小さい領域単位、あるいは画素単位としたものであってもよい。さらには、領域単位で求めたデータを補間して、連続的な画素単位のデータにしても良い。
（３）又は透過率データは、映像データを表示するフレーム単位ごとに求めたデータであってもよい。透過率データが、フレーム単位で採用される場合は、背景色がフレーム単位或いは複数フレーム単位で周期的に変化する場合には有効である。このようなケースとしては、透過型ディスプレイの背景の壁が、例えばネオンの表示色に影響を受けるような場合である。また時間帯により、背景の壁が、近辺のライトの色に影響を受けるような場合もある。
【００２１】
画素単位で透過率データを求める場合、入力Ｒ（赤）Ｇ（緑）Ｂ（青）データに対し、ディスプレイの特性に基づきＲＧＢそれぞれの透過率を求め、平均化を行う。仮に、ある画素（８ビットで表される場合）に、（Ｒ，Ｇ，Ｂ）＝（255/255, 128/255, 0/255）が入力され、ディスプレイが図２の特性だった場合、該当画素の透過率は(20%+50%+80%)/3=50%となる。
【００２２】
フレーム内の領域単位で透過率データを求める場合、入力データを領域で平均化し、平均化したデータに対する透過率を求める。例えば、１つの領域が縦４×横４の１６画素で構成される場合、１６画素のＲ、Ｇ、Ｂ値を加算して１６で割るなどして、平均値を求める。次にディスプレイの特性が図２のような特性であった場合は、この特性図と前記平均値を参照して当該領域の透過率を決定する。
【００２３】
画面全体の場合、入力映像データを画面全体で平均化し、平均化したデータに対する透過率を求める。
【００２４】
背景色情報取得部１１７は、背景色センサ（色センサ、カメラ、ＵＩ、スマートフォーンなど）１１６を利用して、透明ディスプレイの背景の色及び明るさがどの程度であるかといった情報を取得する。
【００２５】
図３は、透過型ディスプレイのスクリーンの前で観測される背景色情報を取得するための手段の構成例である。また、図３の例は背景の壁３００が黄色で、スクリーン１１３全体の映像は黒表示領域３１０となっており、背景の色、明るさが前面に透過している例である。この例では黒は、透過率が高くなるために、黒表示領域３１０が黄色味がかっている。
【００２６】
ここで、透過型ディスプレイの映像表示パネル１１３におて、色、明るさを例えばフォトセンサ３２１を用いて測定する。測定箇所は、画面の中央などの一部のエリアを測定しても良く、複数箇所測定して平均化しても良い。
【００２７】
測定値は、例えば、ＣＩＥ表色系の三刺激値ＸＹＺなどで取得する。例えば黒（１００％）を表示させたときのディスプレイの透過率（予め製品により測定されている）に基づいて逆算することで、背景の色、明るさ（この例は黄）を求めることができる。つまり、透過率８０％の透過型ディスプレイにおいて、測定した三刺激値がＸ１/Ｙ１/Ｚ１だった場合、Ｘ１/０．８、Ｙ１/０．８、Ｚ１/０．８により求めることができる。単位はＸＹＺでなくても、色、明るさが把握できるものであれば良い。
【００２８】
図４は、背景色情報を取得するための手段の構成例である。この例の場合も背景の壁３００が黄色で、映像表示パネル１１３全体の映像は黒表示領域３１０となっており、背景の色、明るさが前面に透過しているものとして説明する。
【００２９】
この手段は、例えばスマートフォーン４００を利用する例である。スマートフォーン４００は、カメラを備える。この、スマートフォーン４００には、背景色情報取得用のアプリケーションがインストールされている。背景色情報取得機能に切り替えられると、表示領域４１１内に、透過型ディスプレイの映像表示パネル１１３を位置合わせするための測定窓４２１が表示される。また同時に、操作部としての撮影ボタン４１２が表示される。
【００３０】
今、スマートフォーン４００のカメラを透過型ディスプレイの映像表示パネル１１３に向けているものとする。また透過型ディスプレイの背景の壁は、先の図３の例のように黄色であり、映像表示パネル１１３には黒が表示されているものとする。
【００３１】
ユーザは、測定窓４２１に、透過型ディスプレイの映像表示パネル１１３を位置合わせする。すると、表示領域４１１内において、測定窓４２１における明るさと、その周囲の明るさが異なる。これは、透過型ディスプレイでは黒に対する透過率が８０％であるからである。
【００３２】
測定窓４２１に、透過型ディスプレイの映像表示パネル１１３が位置合わせされた状態で、ユーザは、撮影ボタン４１２にタッチする。これにより、測定窓内４１２内の背景色情報、つまり撮影した映像から背景の色、明るさが取得される。取得したデータは、無線通信、例えばWiFi等を使って透過型ディスプレイに送信される。これにより、背景色情報取得部１１７で背景色の情報が取得される。
【００３３】
図５Ａは、図１に示した色補正部１１１の一構成例を示す図である。色補正部１１１は、減算器１１ｃ、マイナス値の補正回路１１ｄを有する。入力部１１aに映像データが入力され、入力部１１ｂに背景色透過量データが入力される。この色補正部１１１は、対応画素に対して、背景色透過量算出部１１５で求めた背景色の色、明るさの透過量を考慮した色の補正を行う。
【００３４】
例えば、ディスプレイの入力映像データが
(Ｒ,Ｇ,Ｂ)＝（128/255, 64/255, 160/255）で、背景から
(Ｒ,Ｇ,Ｂ)＝（16/255, 8/255, 0）が透過しているとする。
【００３５】
この場合、入力映像データから背景色の透過量データを減算器１１ｃで減算して、
(Ｒ,Ｇ,Ｂ) ＝（112/255, 56/255, 160/255）とすれば良い。実際には、ディスプレイは２．２乗といったガンマ特性を持つことが多いが、ここではリニアな演算が可能なようにデガンマ処理を予め行うといった対応が取られているものとする。
【００３６】
また、減算した場合にマイナスの値となるような場合がある。例えば、ディスプレイの入力映像信号が(Ｒ,Ｇ,Ｂ)＝（32/255, 64/255, 16/255）で、
背景色透過量が(Ｒ,Ｇ,Ｂ)＝（48/255, 24/255, 0）とする。このような場合、減算器１ｃで減算を行うと、(Ｒ,Ｇ,Ｂ)＝（-16/255, 40/255, 16/255）となる。
【００３７】
そこで、マイナスの値がある場合は、マイナス値の補正回路１１ｄにより、マイナス値の補正を行う。例えば、マイナス値の場合は0にしたり、マイナス値分をＲＧＢに同じ量加算しても良い。(Ｒ,Ｇ,Ｂ)＝（0/255, 40/255, 16/255）としても良いし、あるいは(Ｒ,Ｇ,Ｂ)＝（0/255, 56/255, 32/255）としても良い。
【００３８】
このように補正を行うことで、背景の明るさ、色の影響を補正して、透明ディスプレイに良好な映像表示を行うことができる。
【００３９】
図５Ｂは、色補正部１１１の他の構成例を示す図である。色補正部１１１は、加算器１１f、補色計算部１１eを有する。入力部１１aに映像データが入力され、入力部１１ｂに背景色透過量データが入力される。
【００４０】
色補正は以下のように背景色透過量に対して、補色を加える。例えば、背景色透過量が(Ｒ,Ｇ,Ｂ)＝（48/255, 24/255, 0）の場合、補色は足して白になることから、
(Ｒ,Ｇ,Ｂ)
＝（Max(Ｒ,Ｇ,Ｂ) - 48/255, Max(Ｒ,Ｇ,Ｂ) - 24/255, Max(Ｒ,Ｇ,Ｂ) - 0/255）
で求められ、Max(Ｒ,Ｇ,Ｂ)=48であるから、
(Ｒ,Ｇ,Ｂ)＝（0/255, 24/255, 48/255）となり、これを映像信号に加える。
【００４１】
このようにすれば、背景の透過する色を見た目上、常に白に補正できることから、色相の変化を小さくすることができる。なおこの場合、補正量に応じて映像の全体色の彩度を強調する強調機能が連動してもよい。
【００４２】
上記した例は、背景色が透過型ディスプレイの背面の全領域で同じ色であった。しかし、背景色が透過型ディスプレイの背面の全領域で同じ色とは限らない。また、時間帯によって背面の背景色が変化する場合もある。
【００４３】
図６は、映像表示パネル１１３の領域１１３Ａ、１１３Ｂは透過率がそれぞれ異なる背景色３００（背景色Ａ），３１０（背景色Ｂ）により影響を受けた場合の例を示している。本実施形態による透過型ディスプレイは、画面の部分、部分に応じて背景色が映像に影響するのを低減できるので、図６に示すような壁に映像表示パネル１１３が配置されたとしても、その映像に対して背景色が強く影響するのを低減できる。なおこの場合、正面から見るタイプの透過型ディスプレイにおいて有効である。
【００４４】
上記した透過型ディスプレイは、展示場やコンビニエンスストアの窓ガラスに配置された場合、展示場やコンビニエンスストアの外から展示場やコンビニエンスストア内の展示物と映像表示を重ねて眺めることができる。またホテル、展望台などの屋内から外の風景を眺められる窓ガラスなどと一体化して使用した場合、外の風景を観察しながら、ディスプレイの映像を重ねてみることができる。また水族館などでは、水槽内生物の説明用として利用できものである。
【００４５】
上記したように、一実施形態においては、映像表示パネルを介して透視される背景の背景色データを得る手段が、映像表示パネルを透過する背景色を感知するフォトセンサを有する。また、他の実施形態においては、前記背景色データを得る手段は、映像表示パネルを撮像するカメラを有する。さらにまた他の実施形態においては、前記背景色データを得る手段は、背景色データ及び又はその手段をユーザ操作（ユーザインターフェース（ＵＩ）等）により、ユーザが選択、あるいは指定することが可能である。また他の実施形態においては、前記背景色データを得る手段は、スマートフォーン、ＰＣ、タブレット上で動作するアプリ等を用いて撮影等によって取得した画像を用いることを含む。また上記した手段を選択的に組み合わせて用いてもよい。
【００４６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。
【００４７】
また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同一又は類似した機能を発揮する構成要素には同一の参照符号を付し、重複する詳細な説明を適宜省略することがある。
【００４８】
また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。
【符号の説明】
【００４９】
１００・・・データソース、１１１・・・色補正部、１１３・・・映像表示パネル、１１４・・・透過率算出部、１１５・・・背景色透過量算出部、１１７・・・背景色情報取得部。
【図１】
2019144508.tif 000003
【図２】
2019144508.tif 000004
【図３】
2019144508.tif 000005
【図４】
2019144508.tif 000006
【図５Ａ】
2019144508.tif 000007
【図５Ｂ】
2019144508.tif 000008
【図６】
2019144508.tif 000009