(57)【要約】【課題】より立体的な画像を表示できる表示装置を提供する。【解決手段】表示装置１０の制御部４１は、例えば照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒの検出値から、外部に存在する光源の方向を少なくとも含む照明条件を取得し、この照明条件に基づいて、表示すべき画像において影ができる影部分を判別する。そして、前記表示すべき画像の前記影部分に影を付けた影付き画像を生成して、プロジェクタ４２により、その影付き画像を投影表示させる。【選択図】図４
2016086249.tif 000002
【特許請求の範囲】
【請求項１】
外部に存在する光源の方向を少なくとも含む照明条件を取得する照明条件取得手段と、
前記照明条件に基づいて、表示すべき画像において影ができる影部分を判別する影部分判別手段と、
前記表示すべき画像の前記影部分に影を付けた影付き画像を生成する影付き画像生成手段と、
前記影付き画像を表示する表示手段と、
を備えることを特徴とする表示装置。
【請求項２】
前記影部分判別手段は、前記照明条件に加えて、前記表示すべき画像に含まれる物体の凹凸状態に基づいて、前記影部分を判別することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示手段は、立体部を備えるスクリーンと、当該スクリーンに画像を投影する投影手段と、を含み、
前記影部分判別手段は、前記照明条件に加えて、前記スクリーンの前記立体部の凹凸形状に基づいて、前記影部分を判別することを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
前記スクリーンの凹凸形状は、前記表示すべき画像に含まれる物体の凹凸状態に基づいて形成されていることを特徴とする請求項３に記載の表示装置。
【請求項５】
前記影付き画像生成手段は、前記表示すべき画像における前記影部分の輝度を下げることで、前記表示すべき画像中に影画像を生成することを特徴とする請求項１乃至４の何れか１つに記載の表示装置。
【請求項６】
前記照明条件取得手段は、当該表示装置に対する複数の方向からの照度を検出する複数の照度センサと、前記複数の照度センサの検出値に基づいて前記光源の方向を検出する方向検出手段と、を含むことを特徴とする請求項１乃至５の何れか１つに記載の表示装置。
【請求項７】
前記照明条件取得手段は、カメラと、当該カメラで撮像した画像から前記光源の方向を検出する方向検出手段と、を含むことを特徴とする請求項１乃至６の何れか１つに記載の表示装置。
【請求項８】
前記照明条件取得手段は、前記照明条件の一つとして、当該表示装置に対する照明光の色を検出する色検出手段を更に含み、
前記影付き画像生成手段は、前記照明光の色に基づいて前記表示すべき画像の色を調整する色調整手段を含むことを特徴とする請求項１乃至７の何れか１つに記載の表示装置。
【請求項９】
ネットワークを介してサーバと通信するための通信手段を更に備え、
前記影部分判別手段及び前記影付き画像生成手段の少なくとも一方を前記サーバ上に構成したことを特徴とする請求項１乃至８の何れか１つに記載の表示装置。
【請求項１０】
前記影付き画像生成手段は、表示すべき画像において既に影部分が含まれるか否かを判別し、既に影部分が含まれていると判別された場合に、既に含まれている影部分を消去した上で、前記表示すべき画像の前記影部分に影を付けた影付き画像を生成することを特徴とする請求項１乃至９の何れか１つに記載の表示装置。
【請求項１１】
表示装置における表示制御方法であって、
前記表示装置の外部に存在する光源の方向を少なくとも含む照明条件を取得する工程と、
前記照明条件に基づいて、表示すべき画像において影ができる影部分を判別する工程と、
前記表示すべき画像の前記影部分に影を付けた影付き画像を生成する工程と、
前記影付き画像を表示する工程と、
を備えることを特徴とする表示制御方法。
【請求項１２】
表示装置が備えるコンピュータに、
前記表示装置の外部に存在する光源の方向を少なくとも含む照明条件を取得させることと、
前記照明条件に基づいて、表示すべき画像において影ができる影部分を判別させることと、
前記表示すべき画像の前記影部分に影を付けた影付き画像を生成させることと、
前記影付き画像を表示させることと、
を実行させるための表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示制御方法及び表示制御プログラムに関する。
【背景技術】
【０００２】
近年、鑑賞者に対して印象付けた告知を行うべく、人型に形成された板状のスクリーンに対して人物画像を投影し、種々の告知を行わせる表示装置が開発されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５０２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記特許文献１に記載されているような表示装置においては、より現実味のある印象を鑑賞者に与えるべく、人物等の凹凸のある物体がより立体的に見える画像を表示することが望まれている。
【０００５】
そこで、本発明は、より立体的な画像を表示できる表示装置、表示制御方法及び表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を果たすため、本発明の一態様によれば、表示装置は、外部に存在する光源の方向を少なくとも含む照明条件を取得する照明条件取得手段と、前記照明条件に基づいて、表示すべき画像において影ができる影部分を判別する影部分判別手段と、前記表示すべき画像の前記影部分に影を付けた影付き画像を生成する影付き画像生成手段と、前記影付き画像を表示する表示手段と、を備える。  
前記目的を果たすため、本発明の一態様によれば、表示制御方法は、表示装置における表示制御方法であって、前記表示装置の外部に存在する光源の方向を少なくとも含む照明条件を取得する工程と、前記照明条件に基づいて、表示すべき画像において影ができる影部分を判別する工程と、前記表示すべき画像の前記影部分に影を付けた影付き画像を生成する工程と、前記影付き画像を表示する工程と、を備える。  
前記目的を果たすため、本発明の一態様によれば、表示制御プログラムは、表示装置が備えるコンピュータに、前記表示装置の外部に存在する光源の方向を少なくとも含む照明条件を取得させることと、前記照明条件に基づいて、表示すべき画像において影ができる影部分を判別させることと、前記表示すべき画像の前記影部分に影を付けた影付き画像を生成させることと、前記影付き画像を表示させることと、を実行させる。
【発明の効果】
【０００７】
本発明によれば、より立体的な人物画像を表示できる表示装置、表示制御方法及び表示制御プログラムを提供できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る表示装置を斜め上方から見た斜視図である。
【図２】第１実施形態に係る表示装置を略正面から見た斜視図である。
【図３】第１実施形態に係る表示装置の内部構成を示す斜視図である。
【図４】第１実施形態に係る表示装置の主制御構成を示すブロック図である。
【図５】第１実施形態に係る表示装置の動作を説明するためのフローチャートを示す図である。
【図６】（Ａ）は第１実施形態に係る表示装置の使用状況を示す図であり、（Ｂ）は照度センサの出力例を示す図であり、（Ｃ）は影付き画像を示す図である。
【図７】（Ａ）及び（Ｂ）はそれぞれ照度センサの出力例を示す図である。
【図８】本発明の第２実施形態に係る表示装置の動作を説明するためのフローチャートを示す図である。
【図９】（Ａ）乃至（Ｃ）はそれぞれ本発明の第３実施形態に係る表示装置における影付き画像の例を示す図である。
【図１０】本発明の第４実施形態に係る表示装置を備える表示システムの構成を示す図である。
【図１１】第４実施形態に係る表示装置の動作を説明するためのフローチャートを示す図である。
【図１２】第４実施形態におけるサーバの動作を説明するためのフローチャートを示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明を実施するための最良の形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲を以下の実施形態及び図示例に限定するものではない。
【００１０】
［第１実施形態］
まず、図１乃至図４を参照して、本発明の第１実施形態に係る表示装置１０の構成を説明する。
【００１１】
表示装置１０は、例えば、店舗や展示会会場などに設置され、商品の説明、案内、アンケート等のコンテンツを再生するものであっても良いし、介護施設等に設置され、脳活性化のための間題を出題するコンテンツを再生するものであっても良く、その使用用途は特に限定されない。
【００１２】
なお、本実施形態では、スクリーン部３１に人物像が映し出され、その人物像が何等かの説明や案内を行うコンテンツを再生するのに適したものとして、図１に示すように、人型のスクリーン部３１とした場合を示しているが、スクリーン部３１の形状などは、これに限定されるものではない。
【００１３】
表示装置１０は、全体略矩形箱状の筐体２０を有する。
【００１４】
表示装置１０は、店舗や展示会会場の商用電源を主電源とするもので、その商用電源からの電力の供給を受けるためのコンセント（図示せず）を備えた電源コード１１を備えると共に、主電源からの電力の供給が断たれたときのための補助電源（バッテリなど）１２も備えている。
【００１５】
なお、表示装置１０においては、商用電源から供給された電力を表示装置１０の駆動に適した状態にするための電源アダプタなどの部分を指して主電源と呼ぶ。
【００１６】
また、筐体２０の一方の端部（図１において右端）には、スクリーン取付部３２を介してスクリーン部３１が交換可能に取り付けられており、コンテンツに応じて適切な形状のスクリーン部３１に交換することが可能になっている。
【００１７】
なお、以下の説明においては、筐体２０を机等に載置した際の上方（上側）を「上方（上側）」とし、スクリーン部３１側を「前方（前側）」とし、スクリーン部３１と反対側を「後方（背面側）」として説明する。
【００１８】
筐体２０におけるスクリーン取付部３２の下方には、ボタン式の操作部４５と、音声を出力するスピーカなどの音声出力部４６と、が設けられている。さらに、スクリーン部３１の上方と筐体２０の前後左右それぞれの側面に照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒと、が設けられている。なお、上照度センサ４７Ｔは、スクリーン部３１の上方ではなく、筐体２０の上面に設けても良い。
【００１９】
そして、図３に示すように、筐体２０は、前後左右を囲う側板２１を有し、上方に開口部を有している。開口部には、パネル２３が取り付けられており、パネル２３の中央は光を透過する透明部２３１とされている。
【００２０】
なお、本実施形態では、パネル２３の透明部２３１以外の部分が、黒色印刷等により、筐体２０の内部が見えないようにされているが、これに限定されるものではなく、パネル２３全部を透明にしても良い。
【００２１】
図３に示すように、筐体２０の内部における略中央には、投影光を生成して筐体２０の後方に向けて照射する投影部２２が、スクリーン部３１の背面側の下方に位置するように設けられている。
【００２２】
そして、筐体２０の後方には、凹面の反射面を有する第１のミラー２４が設けられており、第１のミラー２４が、投影部２２からの投影光を、平面の反射面を有する第２のミラー２５へ向けて反射し、さらに、投影光は、第２のミラー２５でスクリーン部３１へ向けて反射される。
【００２３】
従って、投影部２２から発せられた投影光（画像）は、第１のミラー２４で下方に向けて反射された後、第２のミラー２５で上方に向けて反射され、パネル２３の透明部２３１を通って筐体２０の外部に設けられているスクリーン部３１に投影される（投影光ＬＢ）。これにより、スクリーン部３１は、投影部２２から照射された投影光を背面で受けて前面で表示することになる。
【００２４】
スクリーン部３１は、図３に示すように、例えばアクリル板などから形成された拡散透過部３３と、拡散透過部３３の背面側に配置されたフレネルレンズ３４と、を備えている。
【００２５】
拡散透過部３３は、平板状に形成された平板部３３１と、前方に向けて凸となるように立体的に形成された立体部３３２とを備えている。平板部３３１は、各種情報が表示される掲示部であるため、視認性を確保すべく平板状に形成されている。また、立体部３３２は、背面側が開放された中空形状となっている。立体部３３２は、人をなす投影光が投影される部分であり、リアリティを追求するのであれば、より人に近い立体形状に形成されていることが好ましい。さらに、立体部３３２の拡散透過部３３においては、少なくとも一部のパーツの表面にマット加工が施されていることが好ましい。マット加工によって、外部の光が拡散透過部３３の表面で反射しにくくなり、映像が見えにくくなることを防止することができる。
【００２６】
フレネルレンズ３４は、板状に形成されていて、拡散透過部３３の背面側全体を覆うようになっている。具体的には、光出射側であるフレネルレンズ３４の拡散透過部３３側は、のこぎり歯状の断面形状となっている。そして、フレネルレンズ３４の投影部２２側は平面になっている。なお、フレネルレンズ３４の形状はこの構造に限らない。この構造とは反対に、フレネルレンズ３４の拡散透過部３３側が平面になっており、フレネルレンズ３４の投影部２２側がのこぎり歯状の断面形状となっていても良い。或いは、フレネルレンズ３４の両面側が共にのこぎり歯状の断面形状となっていても良い。
【００２７】
ここで、拡散透過部３３の立体部３３２とフレネルレンズ３４とは、一部の領域が所定の距離だけ離間している。また、投影部２２は投射レンズを有しており、投影部２２とスクリーン部３１との配置関係は、投影部２２の投射レンズの光軸に対してスクリーン部３１が上方に配置されている。すなわち、投影部２２は、スクリーン部３１の下方に配置されているシフト光学系となっている。また、フレネルレンズ３４は投影部２２の投射レンズ投影光の光軸に対して略垂直に配置されている。フレネルレンズ３４は、投影部２２から投影された投影光ＬＢを所定の角度で屈折させると共に、全体として平行光に変換する。ここで、鑑賞者は、スクリーン部３１に正対して当該スクリーン部３１上の映像を鑑賞するために、その正対位置から正確に映像が視認できるようにすることが望まれる。このため、フレネルレンズ３４は、鑑賞者の正対位置である仮想平面に対して略直交する平行光になるように投影光ＬＢを変換する構成に形成されている。
【００２８】
なお、フレネルレンズ３４は、必ずしも平行光に変換する必要はない。鑑賞者は、一般的にスクリーン部３１より高い視点からスクリーン部３１を見る場合が多い。よって、投影光ＬＢを、フレネルレンズ３４を介すことで、鑑賞者の視線の方向（例えばスクリーン部３１と略直交する方向に対して上向きに１０°）である平行に近い少し拡がる光に変換する構成としても良い。
【００２９】
また、図１乃至図３に示すように、スクリーン部３１は、スクリーン取付部３２により回動可能に支持されており、使用時にはスクリーン部３１を立てた状態にでき、使用しない時は、筐体２０側にスクリーン部３１を倒した状態にできる。
【００３０】
このため、表示装置１０を移動する時などに、スクリーン部３１が持ち運びの邪魔にならないように、筐体２０側にスクリーン部３１を倒して収納することができる。
【００３１】
次に、図４に示すブロック図を参照しながら、本第１実施形態に係る表示装置１０の主な構成について、さらに説明する。
【００３２】
投影部２２は、制御部４１と、プロジェクタ４２と、記憶部４３と、通信部４４と、を主に備えており、プロジェクタ４２、記憶部４３、通信部４４は、各々制御部４１に接続されている。また、制御部４１には、操作部４５、音声出力部４６、照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒが接続されている。
【００３３】
制御部４１は、記憶部４３に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵとプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。
【００３４】
そして、制御部４１は、記憶部４３のプログラム記憶部４３１に記憶されているプログラムとの協働により、各部を制御する。
【００３５】
プロジェクタ４２は、制御部４１から出力された画像データを投影光に変換してスクリーン部３１に向けて照射する投影装置である。
【００３６】
例えば、プロジェクタ４２としては、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Ｄｉｇｉｔａｌ  ＬｉｇＨｔ  Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）プロジェクタが適用可能である。
【００３７】
記憶部４３は、ＨＤＤや不揮発性の半導体メモリ等により構成されており、プログラム記憶部４３１、画像データ記憶部４３２、音声データ記憶部４３３等が設けられている。
【００３８】
例えば、プログラム記憶部４３１には、制御部４１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
【００３９】
また、画像データ記憶部４３２には、コンテンツ再生時において表示対象となるコンテンツ動画データなどが記憶されている。
【００４０】
さらに、音声データ記憶部４３３には、コンテンツの音声出力用の音声データが記憶されている。
【００４１】
通信部４４は、例えば、外部の情報端末（図示省略）などとの通信を可能とし、データ送受信などを行う。
【００４２】
具体的な通信方式は、特に限定されるものではなく、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等による無線接続であっても良いし、例えば、ＵＳＢケーブル等を用いた有線接続であってもよい。
【００４３】
通信部４４は、例えば、スクリーン部３１に映し出す新しいコンテンツなどのデータを画像データ記憶部４３２や音声データ記憶部４３３に取り込むときのデータ受信手段として機能する。
【００４４】
次に、本実施形態に係る表示装置１０の動作について説明する。
【００４５】
表示装置１０の制御部４１は、プログラム記憶部４３１に記憶された処理プログラムの一部である図５のフローチャートで示すような表示制御プログラムに従って、表示制御動作を行う。
【００４６】
すなわち、制御部４１は、まず、現在の照明条件を取得する（ステップＳ１１）。これは、照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒの検出値を読み込むことにより行われる。
【００４７】
例えば、図６（Ａ）に示すような左上方に照明光源ＬＳが存在するような位置に当該表示装置１０が設置されると、照明光源ＬＳからの照明光ＩＬによって、当該表示装置１０は、左上方より照明されることになる。このような状況では、図６（Ｂ）に示すように、前照度センサ４７Ｆ及び後照度センサ４７Ｂの検出値よりも、左照度センサ４７Ｌ及び上照度センサ４７Ｔの検出値が大きくなり、右照度センサ４７Ｒの出力値が低くなる。このように、照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒの検出値から、照明光源ＬＳが存在する方向を照明条件として取得することができる。
【００４８】
なお、ここでは、照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒを用いて照明条件を取得するようにしているが、これに限定するものではない。照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒの代わりに、少なくとも一つのカメラを備えることで、撮像した画像から照明条件を取得することも可能である。また、照度センサとカメラを併用しても良い。さらには、当該表示装置１０の設置者が操作部４５を用いて照明条件を設定したり、通信部４４により外部から通信により照明条件を設定したりすることで、照明条件を取得するようにしても良い。また、当該表示装置１０の設置場所の照明条件が予め判っているのであれば、当該表示装置１０の製造工程において或いは工場出荷時に、記憶部４３にその照明条件を記憶しておき、これを読み出すことで照明条件を取得するものであっても構わない。
【００４９】
また、照明条件は、このような照明光源ＬＳの方向だけでなく、照明光ＩＬの明るさ（輝度レベル）も含めても良い。
【００５０】
こうして照明条件が取得されたならば、制御部４１は、画像データ記憶部４３２に記憶されているコンテンツ動画データをフレーム単位の画像データに分解し、分解した各フレーム単位の画像データを画像データ記憶部４３２に記憶する（ステップＳ１２）。
【００５１】
次に、制御部４１は、画像データ記憶部４３２から分解したフレーム単位の画像データの一つを読み出し、当該フレーム単位の画像データに含まれる物体の画像の三次元データで示される凹凸状態と前記ステップＳ１１で取得した照明条件とから、その凹凸に対応して当該フレーム単位の画像データ中の影のできる部分を判別する（ステップＳ１３）。つまり、スクリーン部３１に投影表示される画像に相当する実際の物体がスクリーン部３１の位置に存在すると想定したときに、その物体が照明光源ＬＳからの照明光ＩＬによって照明された場合に、その物体上で影になるであろう部分を判別する。
【００５２】
具体的には、当該フレーム単位の画像データに含まれる対象物（物体）の立体的な形状を取得し、影のできる部分を判別する。取得に際しては、物体の形状から実際の立体形状を推定して取得しても良いし、画像データ内に実際の立体形状が予め組み込まれていて、それを読み出すことにより、取得するようにしても良い。
【００５３】
こうして影のできる部分が判別されたならば、制御部４１は、当該フレーム単位の画像データにおいて、前記判別した影のできる部分の輝度を下げることにより、影付きフレーム画像データを作成し、画像データ記憶部４３２に記憶する（ステップＳ１４）。なおこの場合、照明条件として照明光ＩＬの明るさも取得していれば、それに応じて影の輝度も調整するようにしても良い。
【００５４】
その後、制御部４１は、前記ステップＳ１２で分解し画像データ記憶部４３２に記憶されたフレーム単位の画像データの全てについての処理が終了したか否かを判別する（ステップＳ１５）。ここで、未だ未処理のフレーム単位の画像データが存在すると判別した場合には、処理を前記ステップＳ１３に戻し、次のフレーム単位の画像データに対する処理を繰り返す。
【００５５】
これに対して、前記ステップＳ１５において、画像データ記憶部４３２に記憶されたフレーム単位の画像データの全てについての処理が終了したと判別した場合には、制御部４１は、画像データ記憶部４３２に記憶された全影付きフレーム画像データから影付き動画データを作成して、画像データ記憶部４３２に記憶する（ステップＳ１６）。
【００５６】
そして、制御部４１は、画像データ記憶部４３２に記憶された影付き動画データを読み出して、プロジェクタ４２に出力することで、影付きの動画をスクリーン部３１に投影表示すると共に、音声データ記憶部４３３に記憶された音声データを読み出して、音声出力部４６に出力することで、投影表示される影付き動画に同期して音声を出力させる（ステップＳ１７）。これにより、スクリーン部３１には、図６（Ｃ）に示すような画像の凹凸と照明光源ＬＳの方向とに応じた影画像ＳＩを含む影付きの動画が表示され、人物等の凹凸のある物体がより立体的に見える画像が表示されることになる。
【００５７】
その後、制御部４１は、照明条件を変更するか否かを判別する（ステップＳ１８）。これは、例えば、当該表示装置１０が屋外や室内で会っても窓際に設置されていたりして、照明光源ＬＳである太陽の方向が時間と共に変化するような場合、時間経過に合わせて影画像ＳＩを変化させることが望ましく、そのために、例えば予め照明条件を変更する時刻を決めておき、その時刻になったか否かを、このステップで判別する。あるいは、照明光源ＬＳが室内灯で位置が固定されていたとしても、当該表示装置１０の設置位置が任意に変更可能な場合には、変更した設置位置での照明光源ＬＳの方向に合わせて影画像ＳＩを変化させることが望ましく、そのために、例えば操作部４５の操作により照明条件を変更する操作がなされたか否かを、このステップで判別する。
【００５８】
このステップＳ１８において、照明条件を変更しないと判別した場合には、制御部４１は、処理を前記ステップＳ１７に戻して、影付き動画の投影表示を続ける。
【００５９】
これに対して、前記ステップＳ１８において、照明条件を変更すると判別した場合には、制御部４１は、処理を前記ステップＳ１１に戻して、前述した処理を繰り返すことで、新たな照明条件を取得して、それに応じた影付き動画の投影表示を行うことになる。
【００６０】
図７（Ａ）は、時間と共に照明条件を変更する場合の照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒの出力例を示しており、図７（Ｂ）は、設置位置の変更と共に照明条件を変更する場合の照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒの出力例を示している。
【００６１】
以上のように、本第１実施形態に係る表示装置１０では、制御部４１が、例えば照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒの検出値から、当該表示装置１０の外部に存在する照明光源ＬＳの方向を少なくとも含む照明条件を取得し、この照明条件に基づいて、表示すべき画像において影ができる影部分を判別して、その影部分に影を付けた影付き画像を生成し、こうして生成した影付き画像をプロジェクタ４２によってスクリーン部３１に投影表示させることで、人物等の凹凸のある物体がより立体的に見える画像を表示することができる。
【００６２】
また、影部分の判別に際しては、前記照明条件に加えて、前記表示すべき画像に含まれる物体の凹凸状態に基づいて判別されるので、物体の凹凸状態に応じた影画像ＳＩが付された影付き画像が違和感なく表示されるようになる。
【００６３】
ここで、前記表示すべき画像における前記影部分の輝度を下げることにより、前記表示すべき画像中に影画像ＳＩを生成することで、黒を投影表示することができないプロジェクタ４２でも影付き画像を表示できる。
【００６４】
また、当該表示装置に対する複数の方向からの照度を検出する複数の照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒの検出値に基づいて前記照明光源ＬＳの方向を検出するようにしているので、容易に方向を検出できる。
【００６５】
あるいは、カメラで撮像した画像から前記照明光源ＬＳの方向を検出するようにしているので、容易に方向を検出できる。
【００６６】
なお、照明光ＩＬの明るさも取得できている場合は、その明るさに基づいて、影の濃さを変えるようにしても良い。
【００６７】
また、元画像に、既に影が付加されている場合には、適切な画像解析により既に影画像が含まれているか否かを判断し、（不必要な）影を消す処理（補正処理）を行い、その後に、照明条件に基づいて、上記のように新たな影を付加するようにすることが望ましい。
【００６８】
［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、ここでは、前述の第１実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。
【００６９】
前記第１実施形態は、影画像ＳＩを表示する位置を、コンテンツ動画データ中の物体の三次元データに基づいて決定していた。一方、スクリーン部３１の立体部３３２はそもそも、その三次元データを元に凹凸が形成されているものである。そこで、本第２実施形態は、スクリーン部３１の凹凸に基づいて影画像ＳＩを表示する位置を決定するようにした場合を説明する。
【００７０】
具体的には、このスクリーン部３１の凹凸形状を示すデータを記憶部４３に記憶しておく。なお、前述したように、スクリーン部３１は交換可能であるため、予め複数のスクリーン部３１それぞれについての凹凸形状を示すデータを記憶部４３に記憶しておくと共に、現在取り付けられているスクリーン部３１を特定するための情報を操作部４５から設定あるいは通信部４４を介して通信により設定できるようにしておくことが必要となる。あるいは、各スクリーン部３１の種類を機械的あるいは光学的に検出可能な構成とすることで、表示装置１０がスクリーン部３１の種類を特定できるようにしても良いし、スクリーン部３１各々にその凹凸形状を示すデータを記憶しておいて、表示装置１０がそれを読み出せるように構成しても良い。
【００７１】
そして、動作において、制御部４１は、図８のフローチャートに示すように、前記第１実施形態と同様に、まず、照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒの検出値等から、少なくとも照明光源ＬＳの方向を含む現在の照明条件を取得する（ステップＳ１１）。
【００７２】
その後、本実施形態においては、制御部４１は、スクリーン部３１の凹凸形状を示すデータを記憶部４３から或いはスクリーン部３１から読み出して、スクリーン部３１の凹凸形状と前記ステップＳ１１で取得した照明条件とから、その凹凸に対応してスクリーン部３１における影のできる部分を判別する（ステップＳ２１）。
【００７３】
そして、制御部４１は、画像データ記憶部４３２に記憶されているコンテンツ動画データをフレーム単位の画像データに分解し、分解した各フレーム単位の画像データを画像データ記憶部４３２に記憶する（ステップＳ１２）。
【００７４】
次に、制御部４１は、画像データ記憶部４３２から分解したフレーム単位の画像データの一つを読み出し、当該フレーム単位の画像データにおいて、前記判別したスクリーン部３１の影のできる部分に相当する画像部分の輝度を下げることにより、影付きフレーム画像データを作成し、画像データ記憶部４３２に記憶する（ステップＳ２２）。
【００７５】
その後、制御部４１は、前記ステップＳ１２で分解し画像データ記憶部４３２に記憶されたフレーム単位の画像データの全てについての処理が終了したか否かを判別する（ステップＳ１５）。ここで、未だ未処理のフレーム単位の画像データが存在すると判別した場合には、処理を前記ステップＳ２２に戻し、また、全フレーム単位の画像データについての処理が終了したと判別した場合には、処理を前記第１実施形態におけるステップＳ１６に進める。
【００７６】
以上のように、本第２実施形態では、影部分の判別に際して、前記照明条件に加えて、立体部３３１を備えるスクリーン部３１の凹凸形状に基づいて、前記影部分が判別されるので、スクリーン部３１の立体部３３１の凹凸形状に応じた影画像ＳＩが付された影付き画像が違和感なく表示されるようになる。
【００７７】
また、前記スクリーンの凹凸形状は、前記表示すべき画像に含まれる物体の凹凸状態に基づいて形成されているので、物体の凹凸状態に応じた影付き画像が違和感なく表示されるようになる。
【００７８】
［第３実施形態］
次に、本発明の第３実施形態について説明する。
【００７９】
前記第１及び第２実施形態では、取得した照明条件に応じた影付き動画の投影表示を行うものとしたが、更に、図９（Ａ）乃至（Ｃ）に示すように、照明光ＩＬの色（温度）に追従して、影画像ＳＩも含めた投影画像の色も調整するようにしても良い。
【００８０】
この場合には、前記第１及び第２実施形態のステップＳ１１において、照明条件として照明光源ＬＳの方向だけでなく、その照明光ＩＬの色も同時に取得できるようにし、ステップＳ１４或いはステップＳ２２において影付きフレーム画像データを作成する際に、色も調整するように構成すれば良い。
【００８１】
以上のように、本第３実施形態では、前記照明条件の一つとして、当該表示装置１０に対する照明光ＩＬの色を検出し、それに基づいて前記表示すべき画像の色を調整するので、よりリアリティの高い表示が可能になる。
【００８２】
［第４実施形態］
次に、本発明の第４実施形態について説明する。なお、ここでは、前述の第１実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。
【００８３】
前記第１実施形態では、表示装置１０内で影付き動画データを生成するようにしていたが、本実施形態は、表示装置１０の外部で影付き動画データを生成するようにしたものである。
【００８４】
すなわち、図１０に示すように、複数の表示装置１０が無線ＬＡＮやインターネットを含むネットワークＮＷを介して、外部のサーバＳＶに接続された表示システムを構成する。
【００８５】
この場合、各表示装置１０の制御部４１は、図１１のフローチャートに示すように、まず、照度センサ４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒの検出値等から、少なくとも照明光源ＬＳの方向を含む現在の照明条件を取得する（ステップＳ１０１）。
【００８６】
そして、制御部４１は、その取得した照明条件を、通信部４４によりネットワークＮＷを介してサーバＳＶに送信する（ステップＳ１０２）。
【００８７】
サーバＳＶでは、図１２のフローチャートに示すように、不図示のサーバＳＶの制御部は、この表示装置１０から送信されてきた照明条件を受信することで、送信元の表示装置１０の照明条件を取得する（ステップＳ２０１）。
【００８８】
そして、サーバＳＶの制御部は、自身が記憶している当該表示装置１０に表示するべきコンテンツ動画データをフレーム単位の画像データに分解する（ステップＳ２０２）。
【００８９】
次に、サーバＳＶの制御部は、その分解したフレーム単位の画像データの一つに含まれる物体の画像の三次元データで示される凹凸状態と前記ステップＳ２０１で取得した照明条件とから、その凹凸に対応して当該フレーム単位の画像データ中の影のできる部分を判別する（ステップＳ２０３）。
【００９０】
こうして影のできる部分が判別されたならば、サーバＳＶの制御部は、当該フレーム単位の画像データにおいて、前記判別した影のできる部分の輝度を下げることにより、影付きフレーム画像データを作成する（ステップＳ２０４）。
【００９１】
その後、サーバＳＶの制御部は、前記ステップＳ２０２で分解したフレーム単位の画像データの全てについての処理が終了したか否かを判別する（ステップＳ２０５）。ここで、未だ未処理のフレーム単位の画像データが存在すると判別した場合には、処理を前記ステップＳ２０３に戻し、次のフレーム単位の画像データに対する処理を繰り返す。
【００９２】
これに対して、前記ステップＳ２０５において、文化したフレーム単位の画像データの全てについての処理が終了したと判別した場合には、サーバＳＶの制御部は、作成済みの全影付きフレーム画像データから影付き動画データを作成する（ステップＳ２０６）。
【００９３】
そして、サーバＳＶの制御部は、その作成した影付き動画データを、対応する音声データと共に、ネットワークＮＷを介して、対応する表示装置１０に送信して（ステップＳ２０７）、処理を終了する。
【００９４】
表示装置１０の制御部４１は、このようにしてサーバＳＶからネットワークＮＷを介して送られてきた影付き動画データ及び音声データを通信部４４により受信して、画像データ記憶部４３２及び音声データ記憶部４３３に記憶する（ステップＳ１０３）。
【００９５】
そして、制御部４１は、この画像データ記憶部４３２に記憶された影付き動画データを読み出して、プロジェクタ４２に出力することで、影付きの動画をスクリーン部３１に投影表示すると共に、音声データ記憶部４３３に記憶された音声データを読み出して、音声出力部４６に出力することで、投影表示される影付き動画に同期して音声を出力させる（ステップＳ１０４）。
【００９６】
その後、制御部４１は、照明条件を変更するか否かを判別し（ステップＳ１０５）。照明条件を変更しないと判別した場合には、処理を前記ステップＳ１０４に戻して、影付き動画の投影表示を続け、また、照明条件を変更すると判別した場合には、処理を前記ステップＳ１０１に戻して、新たな照明条件を取得することになる。
【００９７】
なお、ここでは、影ができるべき部分の判別と、それに応じた影付き動画の生成とをサーバＳＶ側で行う例を説明したが、その利用法の機能をサーバＳＶに設けることは必ずしも必須ではなく、サーバＳＶは少なくとも一方の機能を備えていれば良い。サーバＳＶが有しない機能については、前記第１乃至第３実施形態のように表示装置１０側が有していれば良い。
【００９８】
また、サーバＳＶの不図示の制御部は、前述した第２実施形態のように、影画像ＳＩを表示する位置を、コンテンツ動画データ中の物体の三次元データに基づくのではなく、表示装置１０のスクリーン部３１の凹凸に基づいて決定するようにしても良いことは勿論である。ただしこの場合には、サーバＳＶの制御部は、各表示装置１０のスクリーン部３１の凹凸形状を予め記憶しているか、表示装置１０からサーバＳＶに送信することが必要となる。
【００９９】
さらに、前記第３実施形態のように、画像の色も調整できるようにしても良い。
【０１００】
以上のように、本第４実施形態では、ネットワークＮＷを介してサーバＳＶと通信するための通信部４４により、影部分の判別機能及び影付き画像生成の機能の少なくとも一方を前記サーバＳＶ上で行うことが可能となり、表示装置１０の制御部４１として処理能力がそれほど要求されず、安価な表示装置を提供することができるようになる。
【０１０１】
以上、実施形態を用いて本発明を説明したが、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【０１０２】
例えば、前記第１、第３及び第４実施形態では、スクリーン部３１は凹凸を有する立体部３３２を備えるものとしたが、平板部３３１のみを備える平面スクリーンであっても、影画像ＳＩを含む影付き画像を投影表示することで、より立体的に見える画像を表示することが可能になる。
【０１０３】
また、前記第１乃至第４実施形態では、表示装置１０は、投影型表示装置として説明してきたが、本発明は、直視型表示装置であっても同様に適用可能である。
【０１０４】
また、各実施形態で説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムを用いて実現され得る。このプログラムは、記録媒体や記録部に収められ得る。この記録媒体又は記録部への記録の方法は様々であり、製品出荷時に記録されても良く、配布された記録媒体が利用されて記録されても良く、インターネットを介したダウンロードが利用されて記録されても良い。
【０１０５】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。  
［１］
外部に存在する光源の方向を少なくとも含む照明条件を取得する照明条件取得手段と、
前記照明条件に基づいて、表示すべき画像において影ができる影部分を判別する影部分判別手段と、
前記表示すべき画像の前記影部分に影を付けた影付き画像を生成する影付き画像生成手段と、
前記影付き画像を表示する表示手段と、
を備えることを特徴とする表示装置。
［２］
前記影部分判別手段は、前記照明条件に加えて、前記表示すべき画像に含まれる物体の凹凸状態に基づいて、前記影部分を判別することを特徴とする［１］に記載の表示装置。
［３］
前記表示手段は、立体部を備えるスクリーンと、当該スクリーンに画像を投影する投影手段と、を含み、
前記影部分判別手段は、前記照明条件に加えて、前記スクリーンの前記立体部の凹凸形状に基づいて、前記影部分を判別することを特徴とする［１］又は［２］に記載の表示装置。
［４］
前記スクリーンの凹凸形状は、前記表示すべき画像に含まれる物体の凹凸状態に基づいて形成されていることを特徴とする［３］に記載の表示装置。
［５］
前記影付き画像生成手段は、前記表示すべき画像における前記影部分の輝度を下げることで、前記表示すべき画像中に影画像を生成することを特徴とする［１］に記載［４］の何れか１つに記載の表示装置。
［６］
前記照明条件取得手段は、当該表示装置に対する複数の方向からの照度を検出する複数の照度センサと、前記複数の照度センサの検出値に基づいて前記光源の方向を検出する方向検出手段と、を含むことを特徴とする［１］に記載［５］の何れか１つに記載の表示装置。
［７］
前記照明条件取得手段は、カメラと、当該カメラで撮像した画像から前記光源の方向を検出する方向検出手段と、を含むことを特徴とする［１］に記載［６］の何れか１つに記載の表示装置。
［８］
前記照明条件取得手段は、前記照明条件の一つとして、当該表示装置に対する照明光の色を検出する色検出手段を更に含み、
前記影付き画像生成手段は、前記照明光の色に基づいて前記表示すべき画像の色を調整する色調整手段を含むことを特徴とする［１］に記載［７］の何れか１つに記載の表示装置。
［９］
ネットワークを介してサーバと通信するための通信手段を更に備え、
前記影部分判別手段及び前記影付き画像生成手段の少なくとも一方を前記サーバ上に構成したことを特徴とする［１］に記載［８］の何れか１つに記載の表示装置。
［１０］
前記影付き画像生成手段は、表示すべき画像において既に影部分が含まれるか否かを判別し、既に影部分が含まれていると判別された場合に、既に含まれている影部分を消去した上で、前記表示すべき画像の前記影部分に影を付けた影付き画像を生成することを特徴とする［１］乃至［９］の何れか１つに記載の表示装置。
［１１］
表示装置における表示制御方法であって、
前記表示装置の外部に存在する光源の方向を少なくとも含む照明条件を取得する工程と、
前記照明条件に基づいて、表示すべき画像において影ができる影部分を判別する工程と、
前記表示すべき画像の前記影部分に影を付けた影付き画像を生成する工程と、
前記影付き画像を表示する工程と、
を備えることを特徴とする表示制御方法。
［１２］
表示装置が備えるコンピュータに、
前記表示装置の外部に存在する光源の方向を少なくとも含む照明条件を取得させることと、
前記照明条件に基づいて、表示すべき画像において影ができる影部分を判別させることと、
前記表示すべき画像の前記影部分に影を付けた影付き画像を生成させることと、
前記影付き画像を表示させることと、
を実行させるための表示制御プログラム。
【符号の説明】
【０１０６】
１０…表示装置
２０…筐体
２２…投影部
３１…スクリーン部
３２…スクリーン取付部
３３…拡散透過部
３３１…平板部
３３２…立体部
３４…フレネルレンズ
４１…制御部
４２…プロジェクタ
４３…記憶部
４３１…プログラム記憶部
４３２…画像データ記憶部
４３３…音声データ記憶部
４４…通信部
４５…操作部
４６…音声出力部
４７Ｔ，４７Ｆ，４７Ｂ，４７Ｌ，４７Ｒ…照度センサ
ＩＬ…照明光
ＬＳ…照明光源
ＮＷ…ネットワーク
ＳＩ…影画像
ＳＶ…サーバ
【図１】
2016086249.tif 000003
【図２】
2016086249.tif 000004
【図３】
2016086249.tif 000005
【図４】
2016086249.tif 000006
【図５】
2016086249.tif 000007
【図７】
2016086249.tif 000008
【図８】
2016086249.tif 000009
【図１０】
2016086249.tif 000010
【図１１】
2016086249.tif 000011
【図１２】
2016086249.tif 000012
【図６】
2016086249.tif 000013
【図９】
2016086249.tif 000014