(57)【要約】画像を表示する表示部（２）と、表示部（２）に表示する物体の３次元データを記録する記録部（３）と、表示部（２）に照射される光の輝度が最も高い第１照射方向と、第１照射方向からの光の第１輝度と、第１輝度よりも低くかつ第１照射方向以外の方向からの光の第２輝度とを基に、３次元データと第１照射方向とで物体の陰影の形状を演算し、第１輝度で陰影の濃度を演算し、第２輝度で陰影の濃度の補正係数を演算する演算部（４）とを備え、表示部（２）は、演算部（４）の演算結果に基づく陰影を物体に付けた画像を表示する。
2017154046.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
前記表示部に表示する物体の３次元データを記録する記録部と、
前記表示部に照射される光の輝度が最も高い第１照射方向と、前記第１照射方向からの光の第１輝度と、前記第１輝度よりも低くかつ前記第１照射方向以外の方向からの光の第２輝度とを基に、前記３次元データと前記第１照射方向とで前記物体の陰影の形状を演算し、前記第１輝度で前記陰影の濃度を演算し、前記第２輝度で前記陰影の濃度の補正係数を演算する演算部とを備え、
前記表示部は、前記演算部の演算結果に基づく陰影を前記物体に付けた画像を表示する表示装置。
【請求項２】
前記第１照射方向と前記第１輝度と前記第２輝度とを検出する検出部をさらに備えて、
前記検出部で検出された前記第１照射方向と前記第１輝度と前記第２輝度とに基づいて前記演算部で前記演算を行う、
請求項１に記載の表示装置。
【請求項３】
前記検出部を複数個備え、
前記複数個の検出部は、前記表示部の周辺にそれぞれ配置され、前記複数個の検出部で検出された検出結果に基づいて前記第１照射方向と前記第１輝度と前記第２輝度とを検出する、
請求項２に記載の表示装置。
【請求項４】
前記第１照射方向から照射されかつ輝度閾値以上の前記第１輝度を有する光は、光源から照射される第１光であり、
前記輝度閾値未満の前記第２輝度を有する光は、前記光源から照射される前記第１光とは異なる光である、
請求項１に記載の表示装置。
【請求項５】
前記第１照射方向から照射されかつ前記第１輝度を有する光は、光源から照射される第１光であり、
前記第２輝度を有する光は、前記光源から照射される前記第１光とは異なる周囲光である、
請求項１に記載の表示装置。
【請求項６】
前記演算部は、前記表示部における前記陰影の形状の画素領域を算出し、前記画素領域の隣同士の画素で陰影の濃淡の差が所定値以内になるように、前記陰影の濃度を演算する、
請求項１に記載の表示装置。
【請求項７】
前記演算部は、
前記３次元データと前記第１照射方向とで前記物体の陰影
の形状を演算し、前記第１輝度で前記陰影の濃度を演算する陰影算出部と、前記第２輝度で前記陰影の濃度の補正係数を演算する補正係数算出部とを備える、
請求項１に記載の表示装置。
【請求項８】
前記検出部は、
前記表示部の周囲を撮像するカメラと、
前記カメラで撮像された画像データから輝度分布を検出する輝度検出器と、
前記輝度分布から輝度閾値以上の輝度を有する高輝度領域と前記輝度閾値未満の輝度を有する低輝度領域とを検出する輝度領域検出部と、
前記高輝度領域の輝度情報を基に前記第１照射方向を算出する第１照射方向算出部と、
前記高輝度領域の輝度情報を基に前記第１輝度を算出する第１輝度算出部と、
前記低輝度領域の輝度情報を基に前記第２輝度を算出する第２輝度算出部とを備える、
請求項２に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、陰影付けをした物体の画像を表示可能な表示装置に関する。
【背景技術】
【０００２】
特許文献１は、コンピュータグラフィックスを用いて、形状の特定されている各種の物体に陰影付けをするための陰影設定装置を開示している。この装置では、画像内における仮想光源の位置を予め設定して、画像内の物体に陰影付けをしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２８５２５４号公報
【発明の概要】
【０００４】
本開示は、環境光に合わせた違和感ない陰影付けをすることができる表示装置を提供する。
【０００５】
本開示における表示装置は、画像を表示する表示部と、表示部に表示する物体の３次元データを記録する記録部と、表示部に照射される光の輝度が最も高い第１照射方向と、第１照射方向からの光の第１輝度と、第１輝度よりも低くかつ第１照射方向以外の方向からの光の第２輝度とを基に、３次元データと第１照射方向とで物体の陰影の形状を演算し、第１輝度で陰影の濃度を演算し、第２輝度で陰影の濃度の補正係数を演算する演算部とを備え、表示部は、演算部の演算結果に基づく陰影を物体に付けた画像を表示する。
【０００６】
本開示における表示装置は、環境光に合わせた違和感ない陰影付けをすることができる。
【図面の簡単な説明】
【０００７】
【図１】図１は実施の形態１における表示装置の構成を示すブロック図である。
【図２】図２は従来技術における表示装置の問題を説明するための図である。
【図３】図３は実施の形態１における表示装置を説明するための図である。
【図４Ａ】図４Ａは元画像を説明するための図である。
【図４Ｂ】図４Ｂは元画像に付ける陰影の形状を説明するための図である。
【図４Ｃ】図４Ｃは濃度を補正せずに陰影を付けた場合を説明するための図である。
【図４Ｄ】図４Ｄは濃度を補正した陰影を付けた場合を説明するための図である。
【図５】図５は実施の形態１の変形例における表示装置の構成を示すブロック図である。
【図６Ａ】図６Ａは実施の形態１の変形例において濃淡差補正を説明するための図である。
【図６Ｂ】図６Ｂは実施の形態１の変形例において濃淡差補正を説明するための図である。
【図６Ｃ】図６Ｃは実施の形態１の変形例において濃淡差補正を説明するための図である。
【図７】図７は実施の形態２における表示装置を説明するための図である。
【図８】図８は実施の形態２における表示装置の検出部の構成を示すブロック図である。
【図９Ａ】図９Ａはカメラの光軸回りにおける輝度分布を説明するための図である。
【図９Ｂ】図９Ｂは図９Ａの点線Ｌ１における輝度分布を説明するための図である。
【図１０】図１０は図１の演算部に図８の検出部を接続させた表示装置のブロック図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（課題）
特許文献１では、図２に示すように、ディスプレイ１０４に対する光源５１からの直接光５２の照射方向に関係なく画像内における仮想光源の位置を設定し、画像内の物体１０２ａ，１０２ｂにそれぞれ陰影１０３ａ，１０３ｂを付けて、その画像をディスプレイ１０４で表示している。例えば、図２では、光源５１はディスプレイ１０４に対して右上に配置されており、光源５１からの直接光５２の照射方向はディスプレイ１０４の右上から左下となっている。このとき、ディスプレイ１０４の下側の物体１０２ｂに対して右上から左下に向けて表示される陰影１０３ｂは自然である。しかしながら、ディスプレイ１０４の上側の物体１０２ａに対して左上から右下に向けて表示される陰影１０３ａは不自然である。このように、本来陰影が付くはずがない位置に陰影が付いた画像がディスプレイ１０４で表示されると、観察者は違和感を感じ、実物感を損なうことになる。
【００１１】
そこで、本開示では、光源の照射方向に合わせた陰影を表示することにより、観察者が違和感を感じず、実物感を損なわない表示装置を提供する。
【００１２】
（実施の形態１）
以下、図１、図３〜図６Ｃを用いて、実施の形態１を説明する。
【００１３】
［１−１．構成］
図３は、実施の形態１における表示装置１を説明するための図である。図３に示すように、光源５１からの光を表示装置１に照射するとき、表示装置１には２種類の光が照射されていることになる。１つは光源５１から表示装置１に直接照射される直接光５２であり、もう１つは直接光５２が壁５０ａや床５０ｂなどで反射された後、表示装置１に間接的に照射される周囲光５３である。
【００１４】
図１は実施の形態１における表示装置１の構成を示すブロック図である。
【００１５】
図１に示すように、実施の形態１における表示装置１は、少なくとも、表示部２と、記録部３と、演算部４とで構成されている。
【００１６】
表示部２は、少なくともディスプレイ２１を有しており、演算部４が形成する画像をディスプレイ２１に表示する。
【００１７】
記録部３は、ディスプレイ２１に表示する物体５４（図３参照）のデータ（３次元データと画像データ）と、光源５１からディスプレイ２１に照射される光（環境光）に関する情報とを少なくとも記録する。上記データは被写体である物体５４を予め撮像して生成される。上記データおよび情報は、記録部３に直接記録してもよいし、記憶媒体を介して、又は通信手段等を用いて、図示しないデータベースに記録されている記録情報を記録部３で取得してもよい。
【００１８】
記録部３は、一例として、メモリ３１と、メモリ３２と、メモリ３３とで構成されている。
【００１９】
メモリ３２には、物体５４の３次元データが記録され、記録された３次元データは演算部４の陰影算出部４１で使用される。
【００２０】
メモリ３３には、物体５４の画像データが記録され、記録された画像データは演算部４の画像補正部４４で使用される。
【００２１】
メモリ３１には、光源５１からディスプレイ２１に照射される環境光に関する情報が記録される。環境光に関する情報としては、光源５１からディスプレイ２１に直接照射される直接光５２に関する情報と、壁５０ａや床５０ｂなどで反射された後、ディスプレイ２１に照射される周囲光（間接光）５３に関する情報とがある。さらに、直接光５２に関する情報は２つある。１つはディスプレイ２１に直接照射される光のうち、輝度が最も高い直接光５２の照射方向の情報であり、この照射方向を第１照射方向と定義する。もう１つはこの第１照射方向からの直接光５２の輝度の情報であり、この輝度を第１輝度と定義する。周囲光５３に関する情報は、第１輝度よりも低くかつ第１照射方向以外の方向からディスプレイ２１に照射される周囲光５３の輝度の情報であり、この輝度を第２輝度と定義する。メモリ３１は、光源５１からディスプレイ２１に照射される環境光に関する情報、つまり、光源５１の第１照射方向と、第１輝度と、第２輝度とを記録する。これら環境光に関する情報は演算部４の陰影算術部４１と補正係数算出部４２で使用される。
【００２２】
演算部４は、記録部３に記録された３次元データと、第１照射方向と、第１輝度と、第２輝度とを基に、３次元データと第１照射方向とから物体５４の陰影の形状を演算し、第１輝度から陰影の濃度を演算し、第２輝度から陰影の濃度の補正係数を演算する。
【００２３】
演算部４は、一例として、ソフトウェアまたはファームウェアで記載されたコンピュータプログラムを実行して演算処理が可能なコンピュータ９０で実現することが可能である。コンピュータ９０には、表示部２と、記録部３と、各種入力情報を入力可能な入力装置９１と、が接続されている。
【００２４】
演算部４は、具体的には、陰影算出部４１と、補正係数算出部４２と、画像補正部４４とで構成されている。
【００２５】
陰影算出部４１は、記録部３に記録された３次元データと第１照射方向とから物体５４の陰影の形状を演算し、第１輝度から陰影の濃度を演算する。
【００２６】
補正係数算出部４２は、記録部３に記録された第２輝度から陰影の濃度の補正係数を演算する。
【００２７】
画像補正部４４は、陰影算出部４１で演算した陰影の濃度に、補正係数算出部４２で演算した陰影の濃度の補正係数を乗算して、表示すべき陰影５５（図３参照）の濃度を演算する。そして、メモリ３３に記録された物体５４の画像データと、陰影算出部４１で演算された陰影５５の形状と、演算した陰影５５の濃度とに基づいて画像を補正・形成する。
【００２８】
表示部２は、一例として、ディスプレイ２１で構成され、演算部４の画像補正部４４で形成された画像を表示する。
【００２９】
ここで、第１輝度から演算した陰影の濃度をそのまま使用せずに、第２輝度から演算した陰影の濃度の補正係数を使用する理由について説明する。
【００３０】
図４Ａに示すような陰影を付けたい元画像７１（例えば、陰影が付かないよう撮像した絵画の画像）に対して、直接光５２の第１照射方向からの光で図４Ｂに示すような半球形状の物体に生じる陰影７２（例えば、筆タッチの凹凸に基づく陰影）を重ね合わせる場合を考える。このとき、陰影算出部４１は、３次元データと、直接光５２の第１輝度とで陰影を演算する。
【００３１】
ここで、元画像７１に対して、直接光５２のみで陰影を付けると、図４Ｃに示すように、処理画像７３は陰影７４が濃くなり過ぎて、実際の見え方と異なった画像となる。
【００３２】
そこで、表示装置１では、周囲光５３に対応した補正係数を算出し、その補正係数を陰影算出部４１で演算した陰影の濃度に乗算して、元画像７１を処理する。すると、図４Ｄに示すように、周囲光５３に対応した補正係数を陰影の濃度にかけて元画像７１を処理した処理画像７５が得られる。図４Ｃに示す処理画像７３の陰影７４よりも図４Ｄに示す処理画像７５の陰影７６の方が薄くなり、実際の見え方に近くなる。
【００３３】
補正係数として、例えば、陰影の濃度を０（暗）から２５５（明）階調までの変化を、１６５（中）から２５５（明）階調までの変化に抑えるように設定する。つまり、陰影の濃度を調整できる補正係数とする。
【００３４】
次に、補正係数による陰影の濃度の具体的な求め方の一例について説明する。
【００３５】
陰影の濃度は、光源５１と物体５４を構成する各面との相対角度関係で陰影算出部４１により決定される。例えば、陰影算出部４１において、物体５４の各面の法線ベクトルＮと光源ベクトルｄとの内積をとることにより、両ベクトルのなす角度θを算出し、陰影の濃度（例えば１−ｃｏｓθ）を演算する。
【００３６】
具体的には
θ＝０°のときは、光源５１の光が、物体５４の陰影を決定すべき面に直角に当たるため、陰影の濃度は０（明るいところ）となる。
【００３７】
θ＝９０°のときは、光源５１の光が、物体５４の陰影を決定すべき面に対して面沿いに当たるため、陰影の濃度は１（暗いところ）となる。
【００３８】
画像データのＲＧＢ（赤・緑・青）レベルに、それぞれ、例えば（１−ｃｏｓθ）を陰影算出部４１により積算することで、陰影を表示できる。
【００３９】
ここで、予め決められた輝度閾値より高い輝度の高輝度領域の輝度総和をＳ１とし、輝度閾値以下の輝度の低輝度領域の輝度総和をＳ２とすると、低輝度領域の輝度の分だけ、光源の陰影を薄める必要がある。光源の陰影を薄めない、つまり演算した陰影の濃度をそのまま使用すると、陰影が強くなり過ぎて実際の見え方と異なったものになる場合があるからである。このため、補正係数算出部４２で陰影の濃度の補正係数＝Ｓ１／（Ｓ１＋Ｓ２）を演算する。そして、画像補正部４４で、陰影算出部４１で演算した陰影の濃度に、補正係数算出部４２で演算した陰影の濃度の補正係数を乗算する。その陰影の濃度、例えば、補正係数×（１−ｃｏｓθ）、で求められた陰影の濃度に基づき画像を形成することで、自然な陰影が付いた画像の表示が可能となる。
【００４０】
ここで、輝度閾値の設定の仕方としては、以下の方法が例示できる。１つめの方法は、環境光の輝度の最大値と輝度の平均値との中間値を採る。ただし、中間値ではなくてもよく、周囲光５３の輝度の分散によっては、輝度閾値を高めに設定してもよい。２つめの方法は、環境光の輝度の最大値の中間値を採る。ただし、中間値ではなくてもよく、周囲光５３の輝度の分散によっては、輝度閾値を高めに設定してもよい。
【００４１】
［１−２．効果等］
このような実施の形態１の構成によれば、光源５１の照射方向を考慮して、その照射方向に合わせた陰影付けをすることができる。これにより、観察者が違和感を感じず、実物感を損なわない画像を表示できる。
【００４２】
また、直接光５２に加えて、間接光である周囲光５３をも考慮することで、陰影が薄くなり、自然な陰影が付いた画像の表示が可能となる。すなわち、周辺輝度（周囲光５３の輝度）を考慮して陰影を付けることができる。これに対して、従来の方式では、光源（例えば電灯）５１からの直接光５２のみを考慮するだけであるため、陰影が濃くなり、実際の見え方と異なったものになる。このような問題は、本実施の形態１における表示装置１では、すべて解消される。言い換えれば、表示装置１では光源５１の位置（第１照射方向）と、最大輝度（第１輝度）と、間接光等の周囲輝度（第２輝度）とを考慮し、自然な陰影が付いた画像を表示できる。これは、物体５４の３次元データと第１照射方向とで物体５４の陰影５５の形状を演算し、第１輝度で陰影５５の濃度を演算したのち、第２輝度で陰影５５の濃度の補正係数を演算し、周囲輝度を考慮して陰影５５の濃度を調整しているためである。これにより、周囲輝度を考慮して陰影の濃度を変化させることができ、自然な陰影が付いた画像を表示できる。この結果、例えば、遠隔地で、ディスプレイ２１で美術品を表示するとき、実物感のある美術鑑賞が可能となる。
【００４３】
［１−３．変形例］
ここで、例えばディスプレイ２１で美術品を表示する場合、高解像度のディスプレイでは、問題はないが、低解像度のディスプレイでは、暗い陰影部分が強調され過ぎて画質を損なう恐れがある。
【００４４】
そこで、ディスプレイの解像度情報に基づいて、高解像度のディスプレイのときは補正しないが、低解像度のディスプレイのときには陰影補正をする、すなわち、暗い陰影部分が強調され過ぎないように階調変化を抑制する。そのため、演算部４は、濃淡差補正部４３をさらに備えており、濃淡差補正を行うようにしている（図５を参照）。
【００４５】
濃淡差補正部４３には、ディスプレイ２１からディスプレイ２１の解像度の情報が入力され、この情報に基づき、濃淡差補正部４３は、ディスプレイ２１の解像度が予め設定された解像度の閾値を超えるか否かを判定する。高解像度か低解像度かの判定のための解像度の閾値は、ディスプレイ２１で表示すべき対象物によって、入力装置９１などを使用して、使用者が濃淡差補正部４３に任意に設定してもよいし、予め製造段階で設定していてもよい。
【００４６】
以下、濃淡差補正部４３で行われる濃淡差補正について説明する。
【００４７】
ここでは、一例として、以下のような配置状態を仮定する。図６Ａに示す物体７７に対して、左上に光源５１を配置するとともに、左上から右下に向けて光源５１から光を物体７７に照射し、物体７７の凸部７７ａの右側に形成される陰影を考える。ここでの濃淡差補正は、陰影の形状、陰影の濃度及び陰影の濃度の補正係数を演算したのち、実際にディスプレイ２１に表示する段階で、ディスプレイ２１の解像度によっては、隣接する画素の階調が大きく異なる場合に行う濃淡差補正を意味している。
【００４８】
このような凸部７７ａでの陰影において、まず、高解像度のディスプレイ２１で表示すると、図６Ｂに示すように、物体７７の断面（図６Ｂの上段のグラフ参照）に応じて、隣接画素との階調差Ｄ１が小さい陰影画像が表示される（図６Ｂの下段のグラフ参照）。
【００４９】
これに対して、低解像度のディスプレイ２１で表示すると、図６Ｃに示すように、物体７７の断面（図６Ｃの上段のグラフ参照）に応じて、隣接画素との階調差Ｄ２が大きい陰影が付いた画像が表示される（図６Ｃの中段のグラフ参照）。これは陰影が強調され過ぎて画質が損なわれていることを意味し、これでは、不自然な画像が表示されてしまう。そこで、隣接画素との階調差が大きい低輝度領域である凸部７７ａの陰影を薄めるように、濃淡差補正部４３で濃淡差の補正を行う。この補正で暗い陰影部分が強調され過ぎないように階調差Ｄ２を階調差Ｄ３に縮小し、大きな階調変化を抑制することで、画質低減を防ぐことができる（図６Ｃの下段のグラフ参照）。例えば、隣接セル（ディスプレイ２１における陰影の形状の隣接画素領域の隣同士の画素）間での濃淡差が濃淡差補正の閾値を超える箇所があるとする。この場合、当該箇所の隣接セル間での濃淡差が、濃淡差補正の閾値内となるように、隣接セルでそれぞれの陰影の濃度を調整して補正する。
【００５０】
ここで、濃淡差補正の手順としては、以下のような例が挙げられる。
【００５１】
まず、第１ステップとして、該当画素ａと、その該当画素ａの隣接画素ｂとの濃淡差を演算する。
【００５２】
次いで、第２ステップとして、演算した濃淡差が濃淡差補正の閾値を超える場合、暗い方の画素の陰影の濃度を薄くして明るくする。陰影の濃度を薄くして明るくする場合、補正後の濃淡差が濃淡差補正用の閾値以内になるようにする。なお、演算した濃淡差が濃淡差補正の閾値を超えない場合、補正は行わない。
【００５３】
次いで、第３ステップとして、暗い方の画素が、該当画素ａの隣接画素ｂである場合を考える。この場合、濃淡差が閾値以内になるように隣接画素ｂの陰影の濃度を薄くして明るくする補正を行う。この際、濃淡差補正部４３での演算の結果、隣接画素ｂの陰影の濃度が、隣接画素ｂの周囲の画素の陰影の濃度より薄くなったとしても、隣接画素ｂの陰影の濃度が、隣接画素ｂの，周囲の画素の陰影の濃度を超えない値になるよう補正を行う。すなわち、補正処理によって、隣接画素ｂが、隣接画素ｂの周囲の画素より極端に陰影が変化することを抑えて、隣接画素ｂの陰影とその周囲の陰影とを合わせることで、補正処理により画質が逆に悪化することを抑えるようにする。補正手順上は、第２ステップが、先に処理される順番ではあるが、条件としては、第３ステップの方が優先されるようにする。つまり、隣接画素ｂは、該当画素ａとの濃淡差が、濃淡差補正の閾値以下の陰影の濃度かつ、該当画素ａを除く隣接画素ｂの周囲の画素の陰影の濃度を超えない値に補正される。
【００５４】
このように構成すれば、ディスプレイ２１の解像度が低く、陰影が強調され過ぎて、画質を損なう場合であっても、濃淡差補正部４３で大きな階調変化を抑制するように濃淡差の補正を行うことができて、画質低減を防ぐことができる。
【００５５】
（実施の形態２）
以下、図７〜図１０を用いて、実施の形態２を説明する。
【００５６】
［２−１．構成］
実施の形態１では記録部３に予め記録されていた第１照射方向と第１輝度と第２輝度とを使用していた。実施の形態２では、図７及び図８に示すように、ディスプレイ２１を配置した位置と光源５１との位置関係を検出部６０（図８参照）で検出し、検出結果から、第１照射方向と第１輝度と第２輝度とを取得する構成にしてもよい。
【００５７】
このため、実施の形態２における表示装置１はディスプレイ２１の周囲に、検出部６０を少なくとも１つ配置している。検出部６０は、カメラ６１と、輝度検出器（輝度検出部）６２と、光解析部６３とで構成されている。光解析部６３は、輝度領域検出部６４と、光源方向算出部（第１照射方向算出部）６５と、光源輝度算出部（第１輝度算出部）６６と、周囲輝度算出部（第２輝度算出部）６７とで構成されている。光解析部６３は、一例として、ソフトウェアまたはファームウェアで記載されたコンピュータプログラムを実行して演算処理が可能なコンピュータ９０で実現することが可能であり、コンピュータ９０には、検出部６０と、表示部２と、各種入力情報を入力可能な入力装置９１と、記録部３とが接続されている。
【００５８】
図７では、カメラ６１を、ディスプレイ２１の上縁の両端部近傍に２台配置している。ここでは、２台のカメラ６１でディスプレイ２１の周囲を撮影することにより、光源５１の照明位置を取得して、第１照射方向と第１輝度と第２輝度とを取得して記録部３に記録している。また、１台のカメラ６１をディスプレイ２１の上縁の各端部近傍の位置に移動させて、それぞれの位置でディスプレイ２１の周囲を撮影することにより、２台のカメラ６１を配置した場合と同じ作用効果を奏するようにしてもよい。
【００５９】
カメラ６１は１台より複数台配置するほうがより正確に光源５１の照明位置やディスプレイ２１からの距離、といった情報を取得することができる。
【００６０】
これらカメラ６１は、一例として、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサを有するデジタルカメラで構成され、それぞれの位置で、ディスプレイ２１の周囲の画像を撮影する。
【００６１】
輝度検出器６２は、２台のカメラ６１で撮影された２つのディスプレイ２１の周囲の画像から輝度分布を作成する。
【００６２】
光解析部６３は、輝度検出器６２で作成された輝度分布を基に解析して、第１照射方向と第１輝度と第２輝度とを検出する。輝度検出器６２で作成された輝度分布の例を図９Ａ、図９Ｂに示す。図９Ａは、１つのカメラ６１の光軸回りの３６０度の輝度分布を示す図である。図９Ｂは、図９Ａの点線Ｌ１で示す９０度〜２７０度方向の断面におけるカメラ６１からの輝度分布を示す図である。
【００６３】
光解析部６３の輝度領域検出部６４は、カメラ６１で撮影された画像の中で、最も高い輝度の光（図９Ａの輝度分布の高輝度領域Ｂ１及び図９Ｂの輝度分布の高輝度領域Ｂ１における最も高い輝度の光）を検出して、輝度閾値以上の輝度を有する高輝度領域Ｂ１と、輝度閾値未満の低輝度領域Ｂ２とを検出する。
【００６４】
光源方向算出部（第１照射方向算出部）６５は、高輝度領域Ｂ１の輝度を基に高輝度領域Ｂ１のうち最も高い輝度の光が照射されている方向（例えば、平行光が照射されている方向）を第１照射方向と決定し、第１照射方向の情報を演算部４に送るか、又は、メモリ３１に記録する。光源方向算出部６５の第１照射方向の具体的な決め方としては、高輝度領域Ｂ１の光が平行光か放射状光かを判別する。平行光の場合はその方向を第１照射方向とし、放射状光の場合は、各カメラ６１（又はカメラ検出位置）間の距離を考慮して光源５１の位置を算出して第１照射方向を決定する。
【００６５】
また、光源輝度算出部（第１輝度算出部）６６は、高輝度領域Ｂ１の輝度を基に高輝度領域Ｂ１の輝度の和を第１輝度として検出し、第１輝度の情報を演算部４に送るか、又は、メモリ３１に記録する。
【００６６】
さらに、周囲輝度算出部（第２輝度算出部）６７は、低輝度領域Ｂ２の輝度を基に低輝度領域Ｂ２の輝度の和を第２輝度として検出し、第２輝度の情報を演算部４に送るか、又は、メモリ３１に記録する。
【００６７】
なお、図１０は、図１の演算部に図８の検出部を接続させた表示装置のブロック図である。
【００６８】
ここで、第１輝度を有する光は、輝度閾値以上かつ、第１照射方向沿いに光源５１から照射される第１光（直接光５２）である。第２輝度を有する光は、輝度閾値未満かつ、光源５１から照射される第１光とは異なる光（周囲光５３又は第１光とは異なる光源からの光）である。ここで、光源５１の例は、ディスプレイ２１に向けて照射される１台のスポットライトであり、第１光とは異なる光源の例は、ディスプレイ２１が配置されている部屋の天井等に配置された１個又は複数個の光源である。また、周囲光５３は、光源５１から照射された光のうち、壁５０ａや床５０ｂなどで反射した後、ディスプレイ２１に照射される光のことを言う。第１光とは異なる光源からの光は、第１光とは異なる光源から壁５０ａや床５０ｂなどで反射した後ディスプレイ２１に照射される光と、第１光とは異なる光源からディスプレイ２１に直接照射される光のことを言う。
【００６９】
なお、最低限、ディスプレイ２１の中心から見て、どの方向から直接光５２が来ているかが検出部６０でわかれば、光源方向算出部６５で第１照射方向が決定できる。第１照射方向が決定できれば、第１照射方向からの光の輝度を光源輝度算出部６６で第１輝度とすることができ、その他の光の輝度を周囲輝度算出部６７で第２輝度とすることができる。
【００７０】
［２−２．効果等］
ディスプレイ２１に対する第１照射方向と第１輝度と第２輝度とを１台又は複数台のカメラ６１と輝度検出器６２とで検出するため、設置条件が変化しても光源５１の照射方向に合わせた陰影を表示でき、観察者が違和感を感じず、実物感を損なわない。ここで、設置条件が変化するとは、ディスプレイ２１の位置が変わったり、光源５１の位置、強度（種類）又は個数が変化して、記録部３に記録された第１照射方向と第１輝度と第２輝度と異なる状態になる場合をいう。よって、実施の形態２の構成によれば、光源５１の照明位置又はディスプレイ２１の設置位置を任意に設定することが可能となる。また、太陽光のような平行光又はライト照明のような放射状光にも対応することが可能となるとともに、複数の光源がある場合も対応が可能となる。これにより、被写体の陰影を忠実に表示することで、自然な質感を表現することができる。また、ディスプレイ２１に高精細ディスプレイを採用することにより、さらに被写体の陰影を忠実に表示し、自然な質感を表現することができる。
【００７１】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００７２】
そこで、以下、他の実施の形態を例示する。
【００７３】
実施の形態２では、検出部の一例としてのカメラ６１をＣＣＤイメージセンサで構成する例を示した。ここで、カメラ６１は、被写体を撮像して画像データを生成するものであればよい。したがって、カメラ６１は、ＣＣＤイメージセンサに限定されない。ただし、カメラ６１としてＣＣＤイメージセンサを用いれば、カメラ６１を安価に入手可能である。また、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサをカメラ６１として用いてもよい。カメラ６１としてＣＭＯＳイメージセンサを用いれば、消費電力の抑制に有効である。
【００７４】
実施の形態１および２では、演算部の一例としてコンピュータ９０を説明した。演算部は、所定の演算を実行できるものであれば、物理的にどのように構成してもよい。したがって、演算部はコンピュータ９０に限定されない。ただし、プログラム可能なコンピュータ９０を用いれば、プログラムの変更により処理内容を変更できるので、演算部の設計の自由度を高めることができる。また、演算部は、ハードロジックで実現してもよい。演算部をハードロジックで実現すれば、処理速度の向上に有効である。演算部は１つの素子で構成してもよいし、物理的に複数の素子で構成してもよい。複数の素子で構成する場合、請求の範囲に記載の演算部の各構成要素を別の素子で実現してもよい。この場合、それらの複数の素子で一つの演算部の各構成要素を構成すると考えることができる。また、演算部と別の機能を有する部材とを１つの素子で構成してもよい。
【００７５】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００７６】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７７】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置換、付加、省略などを行うことができる。例えば、上記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。また、実施形態同士の組み合わせ又は実施例同士の組み合わせ又は実施形態と実施例との組み合わせが可能であると共に、異なる実施形態又は実施例の中の特徴同士の組み合わせも可能である。
【産業上の利用可能性】
【００７８】
本開示は、環境光に合わせて違和感なく陰影を設定することが可能な表示装置に適用可能である。具体的には、遠隔地の美術館又は博物館などで展示されている美術品、骨董品又は絵画などの陰影を忠実に表示した擬似展示が可能となる。また、デザイナー服などの物品の販売又は物品のオークション時には、対象物が手元に無くとも実物に近い印象を受けることが可能な表示装置、例えば、壁掛け型ディスプレイにも、本開示は適用可能である。さらに本開示は、壁掛け型ディスプレイに限らず、ディスプレイを有する電子機器、例えば、デジタルスチルカメラ、ムービー、カメラ機能付き携帯電話機、スマートフォンなどにも、適用可能である。
【符号の説明】
【００７９】
１  表示装置
２  表示部
３  記録部
４  演算部
２１  ディスプレイ
３１，３２，３３  メモリ
４１  陰影算出部
４２  補正係数算出部
４３  濃淡差補正部
４４  画像補正部
５０ａ  壁
５０ｂ  床
５１  光源
５２  直接光
５３  周囲光
５４  物体
５５  陰影
６０  検出部
６１  カメラ
６２  輝度検出器（輝度検出部）
６３  光解析部
６４  輝度領域検出部
６５  光源方向算出部
６６  光源輝度算出部
６７  周囲輝度算出部
７１  元画像
７２，７４，７６  陰影
７３，７５  処理画像
７７  物体
７７ａ  凸部
９０  コンピュータ
９１  入力装置
１０２ａ，１０２ｂ  物体
１０３ａ，１０３ｂ  陰影
１０４  ディスプレイ
【図１】
2017154046.tif 000003
【図２】
2017154046.tif 000004
【図３】
2017154046.tif 000005
【図４Ａ】
2017154046.tif 000006
【図４Ｂ】
2017154046.tif 000007
【図４Ｃ】
2017154046.tif 000008
【図４Ｄ】
2017154046.tif 000009
【図５】
2017154046.tif 000010
【図６Ａ】
2017154046.tif 000011
【図６Ｂ】
2017154046.tif 000012
【図６Ｃ】
2017154046.tif 000013
【図７】
2017154046.tif 000014
【図８】
2017154046.tif 000015
【図９Ａ】
2017154046.tif 000016
【図９Ｂ】
2017154046.tif 000017
【図１０】
2017154046.tif 000018
【手続補正書】
【提出日】平成29年2月14日(2017.2.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、陰影付けをした物体の画像を表示可能な表示装置に関する。
【背景技術】
【０００２】
特許文献１は、コンピュータグラフィックスを用いて、形状の特定されている各種の物体に陰影付けをするための陰影設定装置を開示している。この装置では、画像内における仮想光源の位置を予め設定して、画像内の物体に陰影付けをしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２８５２５４号公報
【発明の概要】
【０００４】
本開示は、環境光に合わせた違和感ない陰影付けをすることができる表示装置を提供する。
【０００５】
本開示における表示装置は、画像を表示する表示部と、表示部に表示する物体の３次元データを記録する記録部と、表示部に照射される光の輝度が最も高い第１照射方向と、第１照射方向からの光の第１輝度と、第１輝度よりも低くかつ第１照射方向以外の方向からの光の第２輝度とを基に、３次元データと第１照射方向とで物体の陰影の形状を演算し、第１輝度で陰影の濃度を演算し、第２輝度で陰影の濃度の補正係数を演算する演算部とを備え、表示部は、演算部の演算結果に基づく陰影を物体に付けた画像を表示する。
【０００６】
本開示における表示装置は、環境光に合わせた違和感ない陰影付けをすることができる。
【図面の簡単な説明】
【０００７】
【図１】図１は実施の形態１における表示装置の構成を示すブロック図である。
【図２】図２は従来技術における表示装置の問題を説明するための図である。
【図３】図３は実施の形態１における表示装置を説明するための図である。
【図４Ａ】図４Ａは元画像を説明するための図である。
【図４Ｂ】図４Ｂは元画像に付ける陰影の形状を説明するための図である。
【図４Ｃ】図４Ｃは濃度を補正せずに陰影を付けた場合を説明するための図である。
【図４Ｄ】図４Ｄは濃度を補正した陰影を付けた場合を説明するための図である。
【図５】図５は実施の形態１の変形例における表示装置の構成を示すブロック図である。
【図６Ａ】図６Ａは実施の形態１の変形例において濃淡差補正を説明するための図である。
【図６Ｂ】図６Ｂは実施の形態１の変形例において濃淡差補正を説明するための図である。
【図６Ｃ】図６Ｃは実施の形態１の変形例において濃淡差補正を説明するための図である。
【図７】図７は実施の形態２における表示装置を説明するための図である。
【図８】図８は実施の形態２における表示装置の検出部の構成を示すブロック図である。
【図９Ａ】図９Ａはカメラの光軸回りにおける輝度分布を説明するための図である。
【図９Ｂ】図９Ｂは図９Ａの点線Ｌ１における輝度分布を説明するための図である。
【図１０】図１０は図１の演算部に図８の検出部を接続させた表示装置のブロック図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（課題）
特許文献１では、図２に示すように、ディスプレイ１０４に対する光源５１からの直接光５２の照射方向に関係なく画像内における仮想光源の位置を設定し、画像内の物体１０２ａ，１０２ｂにそれぞれ陰影１０３ａ，１０３ｂを付けて、その画像をディスプレイ１０４で表示している。例えば、図２では、光源５１はディスプレイ１０４に対して右上に配置されており、光源５１からの直接光５２の照射方向はディスプレイ１０４の右上から左下となっている。このとき、ディスプレイ１０４の下側の物体１０２ｂに対して右上から左下に向けて表示される陰影１０３ｂは自然である。しかしながら、ディスプレイ１０４の上側の物体１０２ａに対して左上から右下に向けて表示される陰影１０３ａは不自然である。このように、本来陰影が付くはずがない位置に陰影が付いた画像がディスプレイ１０４で表示されると、観察者は違和感を感じ、実物感を損なうことになる。
【００１１】
そこで、本開示では、光源の照射方向に合わせた陰影を表示することにより、観察者が違和感を感じず、実物感を損なわない表示装置を提供する。
【００１２】
（実施の形態１）
以下、図１、図３〜図６Ｃを用いて、実施の形態１を説明する。
【００１３】
［１−１．構成］
図３は、実施の形態１における表示装置１を説明するための図である。図３に示すように、光源５１からの光を表示装置１に照射するとき、表示装置１には２種類の光が照射されていることになる。１つは光源５１から表示装置１に直接照射される直接光５２であり、もう１つは直接光５２が壁５０ａや床５０ｂなどで反射された後、表示装置１に間接的に照射される周囲光５３である。
【００１４】
図１は実施の形態１における表示装置１の構成を示すブロック図である。
【００１５】
図１に示すように、実施の形態１における表示装置１は、少なくとも、表示部２と、記録部３と、演算部４とで構成されている。
【００１６】
表示部２は、少なくともディスプレイ２１を有しており、演算部４が形成する画像をディスプレイ２１に表示する。
【００１７】
記録部３は、ディスプレイ２１に表示する物体５４（図３参照）のデータ（３次元データと画像データ）と、光源５１からディスプレイ２１に照射される光（環境光）に関する情報とを少なくとも記録する。上記データは被写体である物体５４を予め撮像して生成される。上記データおよび情報は、記録部３に直接記録してもよいし、記憶媒体を介して、又は通信手段等を用いて、図示しないデータベースに記録されている記録情報を記録部３で取得してもよい。
【００１８】
記録部３は、一例として、メモリ３１と、メモリ３２と、メモリ３３とで構成されている。
【００１９】
メモリ３２には、物体５４の３次元データが記録され、記録された３次元データは演算部４の陰影算出部４１で使用される。
【００２０】
メモリ３３には、物体５４の画像データが記録され、記録された画像データは演算部４の画像補正部４４で使用される。
【００２１】
メモリ３１には、光源５１からディスプレイ２１に照射される環境光に関する情報が記録される。環境光に関する情報としては、光源５１からディスプレイ２１に直接照射される直接光５２に関する情報と、壁５０ａや床５０ｂなどで反射された後、ディスプレイ２１に照射される周囲光（間接光）５３に関する情報とがある。さらに、直接光５２に関する情報は２つある。１つはディスプレイ２１に直接照射される光のうち、輝度が最も高い直接光５２の照射方向の情報であり、この照射方向を第１照射方向と定義する。もう１つはこの第１照射方向からの直接光５２の輝度の情報であり、この輝度を第１輝度と定義する。周囲光５３に関する情報は、第１輝度よりも低くかつ第１照射方向以外の方向からディスプレイ２１に照射される周囲光５３の輝度の情報であり、この輝度を第２輝度と定義する。メモリ３１は、光源５１からディスプレイ２１に照射される環境光に関する情報、つまり、光源５１の第１照射方向と、第１輝度と、第２輝度とを記録する。これら環境光に関する情報は演算部４の陰影算術部４１と補正係数算出部４２で使用される。
【００２２】
演算部４は、記録部３に記録された３次元データと、第１照射方向と、第１輝度と、第２輝度とを基に、３次元データと第１照射方向とから物体５４の陰影の形状を演算し、第１輝度から陰影の濃度を演算し、第２輝度から陰影の濃度の補正係数を演算する。
【００２３】
演算部４は、一例として、ソフトウェアまたはファームウェアで記載されたコンピュータプログラムを実行して演算処理が可能なコンピュータ９０で実現することが可能である。コンピュータ９０には、表示部２と、記録部３と、各種入力情報を入力可能な入力装置９１と、が接続されている。
【００２４】
演算部４は、具体的には、陰影算出部４１と、補正係数算出部４２と、画像補正部４４とで構成されている。
【００２５】
陰影算出部４１は、記録部３に記録された３次元データと第１照射方向とから物体５４の陰影の形状を演算し、第１輝度から陰影の濃度を演算する。
【００２６】
補正係数算出部４２は、記録部３に記録された第２輝度から陰影の濃度の補正係数を演算する。
【００２７】
画像補正部４４は、陰影算出部４１で演算した陰影の濃度に、補正係数算出部４２で演算した陰影の濃度の補正係数を乗算して、表示すべき陰影５５（図３参照）の濃度を演算する。そして、メモリ３３に記録された物体５４の画像データと、陰影算出部４１で演算された陰影５５の形状と、演算した陰影５５の濃度とに基づいて画像を補正・形成する。
【００２８】
表示部２は、一例として、ディスプレイ２１で構成され、演算部４の画像補正部４４で形成された画像を表示する。
【００２９】
ここで、第１輝度から演算した陰影の濃度をそのまま使用せずに、第２輝度から演算した陰影の濃度の補正係数を使用する理由について説明する。
【００３０】
図４Ａに示すような陰影を付けたい元画像７１（例えば、陰影が付かないよう撮像した絵画の画像）に対して、直接光５２の第１照射方向からの光で図４Ｂに示すような半球形状の物体に生じる陰影７２（例えば、筆タッチの凹凸に基づく陰影）を重ね合わせる場合を考える。このとき、陰影算出部４１は、３次元データと、直接光５２の第１輝度とで陰影を演算する。
【００３１】
ここで、元画像７１に対して、直接光５２のみで陰影を付けると、図４Ｃに示すように、処理画像７３は陰影７４が濃くなり過ぎて、実際の見え方と異なった画像となる。
【００３２】
そこで、表示装置１では、周囲光５３に対応した補正係数を算出し、その補正係数を陰影算出部４１で演算した陰影の濃度に乗算して、元画像７１を処理する。すると、図４Ｄに示すように、周囲光５３に対応した補正係数を陰影の濃度にかけて元画像７１を処理した処理画像７５が得られる。図４Ｃに示す処理画像７３の陰影７４よりも図４Ｄに示す処理画像７５の陰影７６の方が薄くなり、実際の見え方に近くなる。
【００３３】
補正係数として、例えば、陰影の濃度を０（暗）から２５５（明）階調までの変化を、１６５（中）から２５５（明）階調までの変化に抑えるように設定する。つまり、陰影の濃度を調整できる補正係数とする。
【００３４】
次に、補正係数による陰影の濃度の具体的な求め方の一例について説明する。
【００３５】
陰影の濃度は、光源５１と物体５４を構成する各面との相対角度関係で陰影算出部４１により決定される。例えば、陰影算出部４１において、物体５４の各面の法線ベクトルＮと光源ベクトルｄとの内積をとることにより、両ベクトルのなす角度θを算出し、陰影の濃度（例えば１−ｃｏｓθ）を演算する。
【００３６】
具体的には
θ＝０°のときは、光源５１の光が、物体５４の陰影を決定すべき面に直角に当たるため、陰影の濃度は０（明るいところ）となる。
【００３７】
θ＝９０°のときは、光源５１の光が、物体５４の陰影を決定すべき面に対して面沿いに当たるため、陰影の濃度は１（暗いところ）となる。
【００３８】
画像データのＲＧＢ（赤・緑・青）レベルに、それぞれ、例えば（１−ｃｏｓθ）を陰影算出部４１により積算することで、陰影を表示できる。
【００３９】
ここで、予め決められた輝度閾値より高い輝度の高輝度領域の輝度総和をＳ１とし、輝度閾値以下の輝度の低輝度領域の輝度総和をＳ２とすると、低輝度領域の輝度の分だけ、光源の陰影を薄める必要がある。光源の陰影を薄めない、つまり演算した陰影の濃度をそのまま使用すると、陰影が強くなり過ぎて実際の見え方と異なったものになる場合があるからである。このため、補正係数算出部４２で陰影の濃度の補正係数＝Ｓ１／（Ｓ１＋Ｓ２）を演算する。そして、画像補正部４４で、陰影算出部４１で演算した陰影の濃度に、補正係数算出部４２で演算した陰影の濃度の補正係数を乗算する。その陰影の濃度、例えば、補正係数×（１−ｃｏｓθ）、で求められた陰影の濃度に基づき画像を形成することで、自然な陰影が付いた画像の表示が可能となる。
【００４０】
ここで、輝度閾値の設定の仕方としては、以下の方法が例示できる。１つめの方法は、環境光の輝度の最大値と輝度の平均値との中間値を採る。ただし、中間値ではなくてもよく、周囲光５３の輝度の分散によっては、輝度閾値を高めに設定してもよい。２つめの方法は、環境光の輝度の最大値の中間値を採る。ただし、中間値ではなくてもよく、周囲光５３の輝度の分散によっては、輝度閾値を高めに設定してもよい。
【００４１】
［１−２．効果等］
このような実施の形態１の構成によれば、光源５１の照射方向を考慮して、その照射方向に合わせた陰影付けをすることができる。これにより、観察者が違和感を感じず、実物感を損なわない画像を表示できる。
【００４２】
また、直接光５２に加えて、間接光である周囲光５３をも考慮することで、陰影が薄くなり、自然な陰影が付いた画像の表示が可能となる。すなわち、周辺輝度（周囲光５３の輝度）を考慮して陰影を付けることができる。これに対して、従来の方式では、光源（例えば電灯）５１からの直接光５２のみを考慮するだけであるため、陰影が濃くなり、実際の見え方と異なったものになる。このような問題は、本実施の形態１における表示装置１では、すべて解消される。言い換えれば、表示装置１では光源５１の位置（第１照射方向）と、最大輝度（第１輝度）と、間接光等の周囲輝度（第２輝度）とを考慮し、自然な陰影が付いた画像を表示できる。これは、物体５４の３次元データと第１照射方向とで物体５４の陰影５５の形状を演算し、第１輝度で陰影５５の濃度を演算したのち、第２輝度で陰影５５の濃度の補正係数を演算し、周囲輝度を考慮して陰影５５の濃度を調整しているためである。これにより、周囲輝度を考慮して陰影の濃度を変化させることができ、自然な陰影が付いた画像を表示できる。この結果、例えば、遠隔地で、ディスプレイ２１で美術品を表示するとき、実物感のある美術鑑賞が可能となる。
【００４３】
［１−３．変形例］
ここで、例えばディスプレイ２１で美術品を表示する場合、高解像度のディスプレイでは、問題はないが、低解像度のディスプレイでは、暗い陰影部分が強調され過ぎて画質を損なう恐れがある。
【００４４】
そこで、ディスプレイの解像度情報に基づいて、高解像度のディスプレイのときは補正しないが、低解像度のディスプレイのときには陰影補正をする、すなわち、暗い陰影部分が強調され過ぎないように階調変化を抑制する。そのため、演算部４は、濃淡差補正部４３をさらに備えており、濃淡差補正を行うようにしている（図５を参照）。
【００４５】
濃淡差補正部４３には、ディスプレイ２１からディスプレイ２１の解像度の情報が入力され、この情報に基づき、濃淡差補正部４３は、ディスプレイ２１の解像度が予め設定された解像度の閾値を超えるか否かを判定する。高解像度か低解像度かの判定のための解像度の閾値は、ディスプレイ２１で表示すべき対象物によって、入力装置９１などを使用して、使用者が濃淡差補正部４３に任意に設定してもよいし、予め製造段階で設定していてもよい。
【００４６】
以下、濃淡差補正部４３で行われる濃淡差補正について説明する。
【００４７】
ここでは、一例として、以下のような配置状態を仮定する。図６Ａに示す物体７７に対して、左上に光源５１を配置するとともに、左上から右下に向けて光源５１から光を物体７７に照射し、物体７７の凸部７７ａの右側に形成される陰影を考える。ここでの濃淡差補正は、陰影の形状、陰影の濃度及び陰影の濃度の補正係数を演算したのち、実際にディスプレイ２１に表示する段階で、ディスプレイ２１の解像度によっては、隣接する画素の階調が大きく異なる場合に行う濃淡差補正を意味している。
【００４８】
このような凸部７７ａでの陰影において、まず、高解像度のディスプレイ２１で表示すると、図６Ｂに示すように、物体７７の断面（図６Ｂの上段のグラフ参照）に応じて、隣接画素との階調差Ｄ１が小さい陰影画像が表示される（図６Ｂの下段のグラフ参照）。
【００４９】
これに対して、低解像度のディスプレイ２１で表示すると、図６Ｃに示すように、物体７７の断面（図６Ｃの上段のグラフ参照）に応じて、隣接画素との階調差Ｄ２が大きい陰影が付いた画像が表示される（図６Ｃの中段のグラフ参照）。これは陰影が強調され過ぎて画質が損なわれていることを意味し、これでは、不自然な画像が表示されてしまう。そこで、隣接画素との階調差が大きい低輝度領域である凸部７７ａの陰影を薄めるように、濃淡差補正部４３で濃淡差の補正を行う。この補正で暗い陰影部分が強調され過ぎないように階調差Ｄ２を階調差Ｄ３に縮小し、大きな階調変化を抑制することで、画質低減を防ぐことができる（図６Ｃの下段のグラフ参照）。例えば、隣接セル（ディスプレイ２１における陰影の形状の隣接画素領域の隣同士の画素）間での濃淡差が濃淡差補正の閾値を超える箇所があるとする。この場合、当該箇所の隣接セル間での濃淡差が、濃淡差補正の閾値内となるように、隣接セルでそれぞれの陰影の濃度を調整して補正する。
【００５０】
ここで、濃淡差補正の手順としては、以下のような例が挙げられる。
【００５１】
まず、第１ステップとして、該当画素ａと、その該当画素ａの隣接画素ｂとの濃淡差を演算する。
【００５２】
次いで、第２ステップとして、演算した濃淡差が濃淡差補正の閾値を超える場合、暗い方の画素の陰影の濃度を薄くして明るくする。陰影の濃度を薄くして明るくする場合、補正後の濃淡差が濃淡差補正用の閾値以内になるようにする。なお、演算した濃淡差が濃淡差補正の閾値を超えない場合、補正は行わない。
【００５３】
次いで、第３ステップとして、暗い方の画素が、該当画素ａの隣接画素ｂである場合を考える。この場合、濃淡差が閾値以内になるように隣接画素ｂの陰影の濃度を薄くして明るくする補正を行う。この際、濃淡差補正部４３での演算の結果、隣接画素ｂの陰影の濃度が、隣接画素ｂの周囲の画素の陰影の濃度より薄くなったとしても、隣接画素ｂの陰影の濃度が、隣接画素ｂの，周囲の画素の陰影の濃度を超えない値になるよう補正を行う。すなわち、補正処理によって、隣接画素ｂが、隣接画素ｂの周囲の画素より極端に陰影が変化することを抑えて、隣接画素ｂの陰影とその周囲の陰影とを合わせることで、補正処理により画質が逆に悪化することを抑えるようにする。補正手順上は、第２ステップが、先に処理される順番ではあるが、条件としては、第３ステップの方が優先されるようにする。つまり、隣接画素ｂは、該当画素ａとの濃淡差が、濃淡差補正の閾値以下の陰影の濃度かつ、該当画素ａを除く隣接画素ｂの周囲の画素の陰影の濃度を超えない値に補正される。
【００５４】
このように構成すれば、ディスプレイ２１の解像度が低く、陰影が強調され過ぎて、画質を損なう場合であっても、濃淡差補正部４３で大きな階調変化を抑制するように濃淡差の補正を行うことができて、画質低減を防ぐことができる。
【００５５】
（実施の形態２）
以下、図７〜図１０を用いて、実施の形態２を説明する。
【００５６】
［２−１．構成］
実施の形態１では記録部３に予め記録されていた第１照射方向と第１輝度と第２輝度とを使用していた。実施の形態２では、図７及び図８に示すように、ディスプレイ２１を配置した位置と光源５１との位置関係を検出部６０（図８参照）で検出し、検出結果から、第１照射方向と第１輝度と第２輝度とを取得する構成にしてもよい。
【００５７】
このため、実施の形態２における表示装置１はディスプレイ２１の周囲に、検出部６０を少なくとも１つ配置している。検出部６０は、カメラ６１と、輝度検出器（輝度検出部）６２と、光解析部６３とで構成されている。光解析部６３は、輝度領域検出部６４と、光源方向算出部（第１照射方向算出部）６５と、光源輝度算出部（第１輝度算出部）６６と、周囲輝度算出部（第２輝度算出部）６７とで構成されている。光解析部６３は、一例として、ソフトウェアまたはファームウェアで記載されたコンピュータプログラムを実行して演算処理が可能なコンピュータ９０で実現することが可能であり、コンピュータ９０には、検出部６０と、表示部２と、各種入力情報を入力可能な入力装置９１と、記録部３とが接続されている。
【００５８】
図７では、カメラ６１を、ディスプレイ２１の上縁の両端部近傍に２台配置している。ここでは、２台のカメラ６１でディスプレイ２１の周囲を撮影することにより、光源５１の照明位置を取得して、第１照射方向と第１輝度と第２輝度とを取得して記録部３に記録している。また、１台のカメラ６１をディスプレイ２１の上縁の各端部近傍の位置に移動させて、それぞれの位置でディスプレイ２１の周囲を撮影することにより、２台のカメラ６１を配置した場合と同じ作用効果を奏するようにしてもよい。
【００５９】
カメラ６１は１台より複数台配置するほうがより正確に光源５１の照明位置やディスプレイ２１からの距離、といった情報を取得することができる。
【００６０】
これらカメラ６１は、一例として、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサを有するデジタルカメラで構成され、それぞれの位置で、ディスプレイ２１の周囲の画像を撮影する。
【００６１】
輝度検出器６２は、２台のカメラ６１で撮影された２つのディスプレイ２１の周囲の画像から輝度分布を作成する。
【００６２】
光解析部６３は、輝度検出器６２で作成された輝度分布を基に解析して、第１照射方向と第１輝度と第２輝度とを検出する。輝度検出器６２で作成された輝度分布の例を図９Ａ、図９Ｂに示す。図９Ａは、１つのカメラ６１の光軸回りの３６０度の輝度分布を示す図である。図９Ｂは、図９Ａの点線Ｌ１で示す９０度〜２７０度方向の断面におけるカメラ６１からの輝度分布を示す図である。
【００６３】
光解析部６３の輝度領域検出部６４は、カメラ６１で撮影された画像の中で、最も高い輝度の光（図９Ａの輝度分布の高輝度領域Ｂ１及び図９Ｂの輝度分布の高輝度領域Ｂ１における最も高い輝度の光）を検出して、輝度閾値以上の輝度を有する高輝度領域Ｂ１と、輝度閾値未満の低輝度領域Ｂ２とを検出する。
【００６４】
光源方向算出部（第１照射方向算出部）６５は、高輝度領域Ｂ１の輝度を基に高輝度領域Ｂ１のうち最も高い輝度の光が照射されている方向（例えば、平行光が照射されている方向）を第１照射方向と決定し、第１照射方向の情報を演算部４に送るか、又は、メモリ３１に記録する。光源方向算出部６５の第１照射方向の具体的な決め方としては、高輝度領域Ｂ１の光が平行光か放射状光かを判別する。平行光の場合はその方向を第１照射方向とし、放射状光の場合は、各カメラ６１（又はカメラ検出位置）間の距離を考慮して光源５１の位置を算出して第１照射方向を決定する。
【００６５】
また、光源輝度算出部（第１輝度算出部）６６は、高輝度領域Ｂ１の輝度を基に高輝度領域Ｂ１の輝度の和を第１輝度として検出し、第１輝度の情報を演算部４に送るか、又は、メモリ３１に記録する。
【００６６】
さらに、周囲輝度算出部（第２輝度算出部）６７は、低輝度領域Ｂ２の輝度を基に低輝度領域Ｂ２の輝度の和を第２輝度として検出し、第２輝度の情報を演算部４に送るか、又は、メモリ３１に記録する。
【００６７】
なお、図１０は、図１の演算部に図８の検出部を接続させた表示装置のブロック図である。
【００６８】
ここで、第１輝度を有する光は、輝度閾値以上かつ、第１照射方向沿いに光源５１から照射される第１光（直接光５２）である。第２輝度を有する光は、輝度閾値未満かつ、光源５１から照射される第１光とは異なる光（周囲光５３又は第１光とは異なる光源からの光）である。ここで、光源５１の例は、ディスプレイ２１に向けて照射される１台のスポットライトであり、第１光とは異なる光源の例は、ディスプレイ２１が配置されている部屋の天井等に配置された１個又は複数個の光源である。また、周囲光５３は、光源５１から照射された光のうち、壁５０ａや床５０ｂなどで反射した後、ディスプレイ２１に照射される光のことを言う。第１光とは異なる光源からの光は、第１光とは異なる光源から壁５０ａや床５０ｂなどで反射した後ディスプレイ２１に照射される光と、第１光とは異なる光源からディスプレイ２１に直接照射される光のことを言う。
【００６９】
なお、最低限、ディスプレイ２１の中心から見て、どの方向から直接光５２が来ているかが検出部６０でわかれば、光源方向算出部６５で第１照射方向が決定できる。第１照射方向が決定できれば、第１照射方向からの光の輝度を光源輝度算出部６６で第１輝度とすることができ、その他の光の輝度を周囲輝度算出部６７で第２輝度とすることができる。
【００７０】
［２−２．効果等］
ディスプレイ２１に対する第１照射方向と第１輝度と第２輝度とを１台又は複数台のカメラ６１と輝度検出器６２とで検出するため、設置条件が変化しても光源５１の照射方向に合わせた陰影を表示でき、観察者が違和感を感じず、実物感を損なわない。ここで、設置条件が変化するとは、ディスプレイ２１の位置が変わったり、光源５１の位置、強度（種類）又は個数が変化して、記録部３に記録された第１照射方向と第１輝度と第２輝度と異なる状態になる場合をいう。よって、実施の形態２の構成によれば、光源５１の照明位置又はディスプレイ２１の設置位置を任意に設定することが可能となる。また、太陽光のような平行光又はライト照明のような放射状光にも対応することが可能となるとともに、複数の光源がある場合も対応が可能となる。これにより、被写体の陰影を忠実に表示することで、自然な質感を表現することができる。また、ディスプレイ２１に高精細ディスプレイを採用することにより、さらに被写体の陰影を忠実に表示し、自然な質感を表現することができる。
【００７１】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００７２】
そこで、以下、他の実施の形態を例示する。
【００７３】
実施の形態２では、検出部の一例としてのカメラ６１をＣＣＤイメージセンサで構成する例を示した。ここで、カメラ６１は、被写体を撮像して画像データを生成するものであればよい。したがって、カメラ６１は、ＣＣＤイメージセンサに限定されない。ただし、カメラ６１としてＣＣＤイメージセンサを用いれば、カメラ６１を安価に入手可能である。また、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサをカメラ６１として用いてもよい。カメラ６１としてＣＭＯＳイメージセンサを用いれば、消費電力の抑制に有効である。
【００７４】
実施の形態１および２では、演算部の一例としてコンピュータ９０を説明した。演算部は、所定の演算を実行できるものであれば、物理的にどのように構成してもよい。したがって、演算部はコンピュータ９０に限定されない。ただし、プログラム可能なコンピュータ９０を用いれば、プログラムの変更により処理内容を変更できるので、演算部の設計の自由度を高めることができる。また、演算部は、ハードロジックで実現してもよい。演算部をハードロジックで実現すれば、処理速度の向上に有効である。演算部は１つの素子で構成してもよいし、物理的に複数の素子で構成してもよい。複数の素子で構成する場合、請求の範囲に記載の演算部の各構成要素を別の素子で実現してもよい。この場合、それらの複数の素子で一つの演算部の各構成要素を構成すると考えることができる。また、演算部と別の機能を有する部材とを１つの素子で構成してもよい。
【００７５】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００７６】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００７７】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置換、付加、省略などを行うことができる。例えば、上記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。また、実施形態同士の組み合わせ又は実施例同士の組み合わせ又は実施形態と実施例との組み合わせが可能であると共に、異なる実施形態又は実施例の中の特徴同士の組み合わせも可能である。
【産業上の利用可能性】
【００７８】
本開示は、環境光に合わせて違和感なく陰影を設定することが可能な表示装置に適用可能である。具体的には、遠隔地の美術館又は博物館などで展示されている美術品、骨董品又は絵画などの陰影を忠実に表示した擬似展示が可能となる。また、デザイナー服などの物品の販売又は物品のオークション時には、対象物が手元に無くとも実物に近い印象を受けることが可能な表示装置、例えば、壁掛け型ディスプレイにも、本開示は適用可能である。さらに本開示は、壁掛け型ディスプレイに限らず、ディスプレイを有する電子機器、例えば、デジタルスチルカメラ、ムービー、カメラ機能付き携帯電話機、スマートフォンなどにも、適用可能である。
【符号の説明】
【００７９】
１    表示装置
２    表示部
３    記録部
４    演算部
２１    ディスプレイ
３１，３２，３３    メモリ
４１    陰影算出部
４２    補正係数算出部
４３    濃淡差補正部
４４    画像補正部
５０ａ    壁
５０ｂ    床
５１    光源
５２    直接光
５３    周囲光
５４    物体
５５    陰影
６０    検出部
６１    カメラ
６２    輝度検出器（輝度検出部）
６３    光解析部
６４    輝度領域検出部
６５    光源方向算出部
６６    光源輝度算出部
６７    周囲輝度算出部
７１    元画像
７２，７４，７６    陰影
７３，７５    処理画像
７７    物体
７７ａ    凸部
９０    コンピュータ
９１    入力装置
１０２ａ，１０２ｂ    物体
１０３ａ，１０３ｂ    陰影
１０４    ディスプレイ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
前記表示部に表示する物体の３次元データを記録する記録部と、
前記表示部に照射される光の輝度が最も高い第１照射方向と、前記第１照射方向からの光の第１輝度と、前記第１輝度よりも低くかつ前記第１照射方向以外の方向からの光の第２輝度とを基に、前記３次元データと前記第１照射方向とで前記物体の陰影の形状を演算し、前記第１輝度で前記陰影の濃度を演算し、前記第２輝度で前記陰影の濃度の補正係数を演算する演算部とを備え、
前記表示部は、前記演算部の演算結果に基づく陰影を前記物体に付けた画像を表示する表示装置。
【請求項２】
前記第１照射方向と前記第１輝度と前記第２輝度とを検出する検出部をさらに備えて、
前記検出部で検出された前記第１照射方向と前記第１輝度と前記第２輝度とに基づいて前記演算部で前記演算を行う、
請求項１に記載の表示装置。
【請求項３】
前記検出部を複数個備え、
前記複数個の検出部は、前記表示部の周辺にそれぞれ配置され、前記複数個の検出部で検出された検出結果に基づいて前記第１照射方向と前記第１輝度と前記第２輝度とを検出する、
請求項２に記載の表示装置。
【請求項４】
前記第１照射方向から照射されかつ輝度閾値以上の前記第１輝度を有する光は、光源から照射される第１光であり、
前記輝度閾値未満の前記第２輝度を有する光は、前記光源から照射される前記第１光とは異なる光である、
請求項１に記載の表示装置。
【請求項５】
前記第１照射方向から照射されかつ前記第１輝度を有する光は、光源から照射される第１光であり、
前記第２輝度を有する光は、前記光源から照射される前記第１光とは異なる周囲光である、
請求項１に記載の表示装置。
【請求項６】
前記演算部は、前記表示部における前記陰影の形状の画素領域を算出し、前記画素領域の隣同士の画素で陰影の濃淡の差が所定値以内になるように、前記陰影の濃度を演算する、
請求項１に記載の表示装置。
【請求項７】
前記演算部は、
前記３次元データと前記第１照射方向とで前記物体の陰影
の形状を演算し、前記第１輝度で前記陰影の濃度を演算する陰影算出部と、前記第２輝度で前記陰影の濃度の補正係数を演算する補正係数算出部とを備える、
請求項１に記載の表示装置。
【請求項８】
前記検出部は、
前記表示部の周囲を撮像するカメラと、
前記カメラで撮像された画像データから輝度分布を検出する輝度検出器と、
前記輝度分布から輝度閾値以上の輝度を有する高輝度領域と前記輝度閾値未満の輝度を有する低輝度領域とを検出する輝度領域検出部と、
前記高輝度領域の輝度情報を基に前記第１照射方向を算出する第１照射方向算出部と、
前記高輝度領域の輝度情報を基に前記第１輝度を算出する第１輝度算出部と、
前記低輝度領域の輝度情報を基に前記第２輝度を算出する第２輝度算出部とを備える、
請求項２に記載の表示装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2017154046.tif 000019
【図２】
2017154046.tif 000020
【図３】
2017154046.tif 000021
【図４Ａ】
2017154046.tif 000022
【図４Ｂ】
2017154046.tif 000023
【図４Ｃ】
2017154046.tif 000024
【図４Ｄ】
2017154046.tif 000025
【図５】
2017154046.tif 000026
【図６Ａ】
2017154046.tif 000027
【図６Ｂ】
2017154046.tif 000028
【図６Ｃ】
2017154046.tif 000029
【図７】
2017154046.tif 000030
【図８】
2017154046.tif 000031
【図９Ａ】
2017154046.tif 000032
【図９Ｂ】
2017154046.tif 000033
【図１０】
2017154046.tif 000034
【国際調査報告】
2017154046.tif 000035
2017154046.tif 000036
2017154046.tif 000037
2017154046.tif 000038