(57)【要約】映像表示システム（１）は、映像信号が示す映像と透過した背景とを含む表示映像を表示する表示装置（１０）と、表示装置（１０）に送信する映像信号が示す映像を、背景に関する特性に基づいて変換処理する映像処理装置（３０）とを備える。
2017221663.tif 000002
【特許請求の範囲】
【請求項１】
映像信号が示す映像と透過した背景とを含む表示映像を表示する表示装置と、
前記表示装置に送信する前記映像信号が示す映像を、前記背景に関する特性に基づいて変換処理する映像処理装置と、
を備える映像表示システム。
【請求項２】
前記背景に関する特性は、前記表示映像に含まれる透過した背景の特性である、
請求項１に記載の映像表示システム。
【請求項３】
前記表示装置に表示された表示映像を撮影する第１の撮像装置をさらに備え、
前記映像処理装置は、前記第１の撮像装置によって撮影された前記表示映像の輝度および色度を分析し、分析結果に基づいて前記映像信号が示す映像の輝度および色度を変換処理する、
請求項１に記載の映像表示システム。
【請求項４】
前記背景を撮影する第２の撮像装置をさらに備え、
前記映像処理装置は、前記第２の撮像装置によって撮影された前記背景の輝度および色度を分析し、分析結果に基づいて前記映像信号が示す映像の輝度および色度を変換処理する、
請求項１に記載の映像表示システム。
【請求項５】
前記映像処理装置は、
前記映像信号が示す映像から文字を抽出し、
前記映像を前記表示装置に表示したときの視認性を改善するように、前記文字の変換処理を行う、
請求項１に記載の映像表示システム。
【請求項６】
前記文字の変換処理は、前記文字の縁取り処理又はフォント変換処理である請求項５に記載の映像表示システム。
【請求項７】
前記映像処理装置は、
前記映像信号が示す映像から人または動物の静止画像を抽出し、
前記映像を前記表示装置に表示したときの視認性を改善するように、前記静止画像の変換処理を行う、
請求項１に記載の映像表示システム。
【請求項８】
前記静止画像の変換処理は、前記静止画像の縁取り処理である請求項７に記載の映像表示システム。
【請求項９】
前記表示装置は、
主面において入射光の一部を拡散反射し、かつ、前記主面において入射光の一部を透過する透明なスクリーンと、
前記スクリーンに前記映像を投影する投影装置と、
を備える請求項１に記載の映像表示システム。
【請求項１０】
前記表示装置は、透明型ＥＬ表示装置、または、透明型液晶表示装置である請求項１に記載の映像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像表示システムに関する。
【背景技術】
【０００２】
特許文献１は、映像を表示する映像表示システムを開示する。この映像表示システムは、映像表示装置としてＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）や液晶ディスプレイだけではなく、プロジェクタを利用し、スクリーンに映像を表示するシステムである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１４７６８号公報
【発明の概要】
【０００４】
近年、映像表示システムとして、透明なスクリーンや透明なＥＬ（Ｅｌｅｃｔｒｏｎｉｃ  Ｌｕｍｉｎｅｓｃｅｎｔ）表示装置等の透明な表示装置に映像を表示して当該映像と表示装置越しの背景との両方を同時に視認できるシステムが知られている。
【０００５】
本開示は、透明な表示装置において背景と映像とが重なるときに、表示装置の背景に起因して映像の視認性が低下することを抑制する映像表示システムを提供する。
【０００６】
本開示における映像表示システムは、映像信号が示す映像と透過した背景とを含む表示映像を表示する表示装置と、表示装置に送信する映像信号が示す映像を、背景に関する特性に基づいて変換処理する映像処理装置とを備える。
【０００７】
本開示における映像表示システムは、表示装置において背景と映像とが重なるときに、表示装置の背景に起因して映像の視認性が低下することを抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本開示にかかる映像表示システムの構成を示す図である。
【図２】図２は、本開示にかかる映像処理装置の構成を示す図である。
【図３】図３は、実施の形態１にかかる映像処理装置による映像処理動作を示すフローチャートである。
【図４】図４は、実施の形態２にかかる映像処理装置による映像処理動作を示すフローチャートである。
【図５Ａ】図５Ａは、元映像に含まれる文字の加工の一例を説明するための図である。
【図５Ｂ】図５Ｂは、元映像に含まれる人の静止画像の加工の一例を説明するための図である。
【図６】図６は、実施の形態３にかかる映像処理装置による映像処理動作を示すフローチャートである。
【図７Ａ】図７Ａは、透明スクリーンに表示する元映像の一例を示す図である。
【図７Ｂ】図７Ｂは、透明スクリーンに表示された元映像と背景とが重なった表示映像の一例を示す図である。
【図８】図８は、実施の形態４にかかる映像処理装置による映像処理動作を示すフローチャートである。
【図９】図９は、第２の撮像装置で撮影された背景の一例を示す図である。
【図１０】図１０は、実施の形態５にかかる映像処理装置による映像処理動作を示すフローチャートである。
【図１１】図１１は、透明スクリーンに映像を表示した一例を示す図である。
【図１２】図１２は、実施の形態６にかかる映像処理装置による映像処理動作を示すフローチャートである。
【図１３Ａ】図１３Ａは、実施の形態６にかかる映像処理装置による映像の表示位置の決定動作の一例を説明するための図である。
【図１３Ｂ】図１３Ｂは、実施の形態６にかかる映像処理装置による映像の表示位置の決定動作の一例を説明するための図である。
【図１４】図１４は、実施の形態７にかかる映像処理装置による映像処理動作を示すフローチャートである。
【図１５】図１５は、映像処理装置による映像の表示位置の決定動作の一例を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
（実施の形態１）
以下、図１〜３を用いて、実施の形態１を説明する。
【００１２】
［１−１．構成］
図１は、本開示にかかる映像表示システム１の構成を示す図である。図１に示す映像表示システム１は、表示装置１０と、第１の撮像装置２１と、第２の撮像装置２２と、検出装置２３と、映像処理装置３０とを備える。本実施の形態では、表示装置１０は、透明スクリーン１１と、投影装置１２とを備える。
【００１３】
実施の形態１にかかる映像表示システム１は、透明スクリーン１１に映像を投影する。映像表示システム１は、透明スクリーン１１に投影装置１２から投影された映像と、透明スクリーン１１の背景との両方を同時に視認できる映像表示システムである。例えば、この映像表示システム１の透明スクリーン１１をサッカースタジアム等の鑑賞室の窓ガラスに適用することにより、鑑賞者は、透明スクリーン１１越しに試合（背景）を鑑賞しながら、透明スクリーン１１に表示される選手情報等の様々な情報（映像）をも見ることができる。
【００１４】
透明スクリーン１１は、ガラスや樹脂等の透明な板に、光拡散機能を有するシートを貼り付けて構成される。透明スクリーン１１は、一部の光を透過するとともに、一部の光を拡散反射させる。すなわち、透明スクリーン１１は、背景を透過するとともに、投影装置１２によって投影される映像を拡散反射させて表示する。
【００１５】
投影装置１２は、映像処理装置３０からの映像信号に基づいて、投影光を透明スクリーン１１に投影する。
【００１６】
つまり、表示装置１０は、映像信号が示す映像と透過した背景とを含む表示映像を表示する。
【００１７】
第１の撮像装置２１は、例えば鑑賞室の室内の天井に設置され、透明スクリーン１１に投影された映像と透明スクリーン１１を通して視認される背景とを撮影する。撮影された映像と背景は、表示映像データとして映像処理装置３０に送信される。第１の撮像装置２１の一例はカメラやビデオカメラなどである。
【００１８】
第２の撮像装置２２は、例えば鑑賞室の室外の上方に設置され、透明スクリーン１１の背景を直接撮影する。撮影された背景は、背景画像データとして映像処理装置３０に送信される。第２の撮像装置２２の一例はカメラやビデオカメラなどである。なお、第２の撮像装置２２は、照度及び輝度を検出するセンサであってもよい。この場合、第２の撮像装置２２は、検出した背景の照度及び輝度を映像処理装置３０に送信する。
【００１９】
検出装置２３は、例えば鑑賞室の室内の天井に設置され、鑑賞者の位置を検出して映像処理装置３０に送信する。また、検出装置２３は、鑑賞者の注目位置を検出して映像処理装置３０に送信する。鑑賞者の注目位置とは、鑑賞者が透明スクリーン１１上で注目する位置を示す。例えば、検出装置２３はヘッドトラッキング装置を用いて鑑賞者の頭の向きを検出することにより鑑賞者の注目位置を検出する。或いは、検出装置２３は視線検出装置を用いて鑑賞者の視線を検出することにより鑑賞者の注目位置を検出してもよい。位置検出のための検出装置２３の一例は位置検出センサやウェアラブル装置などであり、注目位置検出のための検出装置２３の一例はヘッドトラッキング装置や視線検出装置などである。
【００２０】
映像処理装置３０は、透明スクリーン１１において背景と映像とが重なる場合に、以下に示す３つの情報の何れかに基づいて映像の変換処理を行う。１つめの情報は、第１の撮像装置２１から取得した表示映像データが示す透明スクリーン１１の表示映像（映像＋背景）に関する情報である。２つめの情報は、第２の撮像装置２２から取得した背景画像データが示す透明スクリーン１１の背景に関する情報である。３つめの情報は、後述する予め分かっている透明スクリーン１１の特性に関する情報である。これらの情報に基づいて映像の変換処理を行うことで、透明スクリーン１１上における映像の視認性が向上する。
【００２１】
また、映像処理装置３０は、以下に示す２つの情報の何れかに基づいて、透明スクリーン１１上における映像の表示位置を決める。１つめの情報は、第２の撮像装置２２から取得した背景画像データが示す透明スクリーン１１の背景に関する情報である。２つめの情報は、検出装置２３から取得した鑑賞者の位置及び注目位置に関する情報である。映像処理装置３０は、これらの情報に基づいて背景の注目範囲に映像が重ならないように透明スクリーン１１上における映像の表示範囲を決める。これにより、鑑賞者が注目する注目位置又は鑑賞者が注目するであろうと予測される対象物を含む背景の注目範囲における視認性が向上する。なお、「背景の注目範囲」については、一例を示しながら後述する。
【００２２】
図２は、本開示にかかる映像処理装置３０の構成を示す図である。図２に示すように、映像処理装置３０は、第１の通信部３１と、第２の通信部３２と、記憶部３３と、制御部３４とを備える。
【００２３】
第１の通信部３１は、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標、以下同様）、Ｗｉ−Ｆｉ等の規格に準拠して、ネットワークを介して第１の撮像装置２１、第２の撮像装置２２、検出装置２３等とデータ通信を行う通信モジュールである。第２の通信部３２は、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ等の規格に準拠して、投影装置１２とデータ通信を行う通信モジュールである。本実施の形態では、表示装置１０は、透明スクリーン１１と、投影装置１２とを備えるため、第２の通信部３２は、映像信号の送信先である投影装置１２とデータ通信を行う。
【００２４】
記憶部３３は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの記憶装置である。記憶部３３は、各種のプログラム、及び、投影装置１２に送信する映像信号であって、透明スクリーン１１に投影する映像を示す映像信号（例えば、試合のスコア、選手に関する情報や顔写真などを示す映像信号）を格納する。なお、映像信号は第１の通信部３１及びネットワークを介して外部装置から提供されるものであってもよい。また、記憶部３３は、透明スクリーン１１の特性（表示装置の背景を透過するときの表示特性、つまり背景に関する特性）を記憶している。例えば、透明スクリーン１１の特性としては、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報を含む。
【００２５】
制御部３４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などで構成され、映像処理装置３０の全体の動作を制御する。制御部３４は、記憶部３３に格納されたプログラムを実行することによって、各種の機能を実現する。制御部３４の各種の機能については、後述する動作の説明において詳細に説明する。
【００２６】
なお、制御部３４の機能は、ハードウェアとソフトウェアの協同により実現したが、制御部３４を所定の機能を実現するように専用に設計されたハードウェア回路のみで実現してもよい。例えば、制御部３４は、ＣＰＵ、ＭＰＵのみならず、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等で構成することができる。
【００２７】
以上、本開示の映像表示システム１及び映像処理装置３０の構成について説明した。実施の形態１の映像表示システム１は、第１の撮像装置２１で予め撮影した透明スクリーン１１越しの背景を示す背景画像情報（透明スクリーン１１の特性）に基づいて元映像の変換処理を行う。なお、ここでいう元映像とは、映像処理装置３０で変換処理される前の映像のことである。
【００２８】
［１−２．動作］
以上のように構成された実施の形態１の映像表示システム１について、その動作を以下説明する。
【００２９】
本実施の形態の映像表示システム１では、透明スクリーン１１の特性に基づいて、透明スクリーン１１において背景と映像とが重なるときに映像の視認性を向上するように、元映像の変換処理を行う。ここで言う透明スクリーン１１の特性とは、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報である。また、ここで言う映像とは、透明スクリーン１１に投影装置１２から投影される映像であり、元映像とは、変換処理される前の映像のことである。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景に起因して映像の視認性が低下することを抑制することができる。
【００３０】
図３は、実施の形態１にかかる映像処理装置３０による映像処理動作を示すフローチャートである。図３に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ１１）。また、制御部３４は、第１の撮像装置２１で撮影されて記憶部３３に記憶されている背景画像情報が示す背景の輝度及び色度を分析する（Ｓ１２）。
【００３１】
次に、制御部３４は、これらの分析結果に基づいて、元映像の補正が必要か否かの判断を行う（Ｓ１３）。具体的には、制御部３４は、透明スクリーン１１において背景と映像とが重なるときに背景に起因して映像の視認性が低下する場合に、元映像の補正が必要と判断する（Ｓ１３のＹＥＳ）。例えば、制御部３４は、元映像の輝度が背景の輝度を考慮した所定のしきい値よりも低い場合、又は、元映像の色と背景の色との差が少ない場合に、元映像の補正が必要と判断する。また、例えば、制御部３４は、元映像のコントラストが所定量よりも小さい場合、又は、元映像と背景とのコントラストが所定量よりも小さい場合に、元映像の補正が必要と判断する。
【００３２】
制御部３４は、元映像の補正が必要であると判断した場合、元映像の補正を行う（Ｓ１４）。例えば、制御部３４は、元映像の輝度、色度、コントラストの補正、及び、輪郭強調等の補正を行う。より具体的には、制御部３４は、背景の輝度が明るい場合には元映像の輝度を高める、という補正を行う。また、制御部３４は、色度の補正において、背景の色が黒色や青色、赤色等の暗い色である場合には元映像の色を白色や黄色、水色等の明るい色に変更する。上記の補正を行うことで、透明スクリーン１１上において背景と映像が重なった場合でも、映像の視認性が向上する。
【００３３】
その後、制御部３４は、補正した映像を示す映像信号を投影装置１２に送信する（Ｓ１５）。
【００３４】
一方、ステップＳ１３において、制御部３４は、元映像の補正が必要でないと判断した場合（Ｓ１３のＮＯ）、元映像を示す映像信号を投影装置１２に送信する（Ｓ１６）。
【００３５】
これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。
【００３６】
［１−３．効果等］
以上のように、本実施の形態において、映像表示システム１は、透明スクリーン１１と、投影装置１２と、映像処理装置３０とを備える。透明スクリーン１１と投影装置１２とは、映像信号が示す映像と透過した背景とを含む表示映像を表示する。映像処理装置３０は、投影装置１２に送信する映像信号が示す映像を、透明スクリーン１１の特性（透明スクリーン１１を透過した背景に関する特性）に基づいて変換処理する。
【００３７】
これにより、透明スクリーン１１の特性に基づいて、透明スクリーン１１において背景と映像とが重なるときに映像の視認性を向上するように、映像の変換処理を行うことができる。ここでいう透明スクリーン１１の特性とは、例えば、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報をいう。そのため、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景に起因して映像の視認性が低下することを抑制することができる。
【００３８】
（実施の形態２）
実施の形態１では、映像処理装置３０は、映像信号が示す元映像全体を補正した。実施の形態２では、映像信号が示す元映像が文字、又は、人や動物等の静止画像を含む場合、映像処理装置３０は、映像信号が示す元映像から文字、又は、人や動物等の静止画像を抽出し、抽出した文字や静止画像を加工する。
【００３９】
実施の形態２にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態２の映像表示システム１は、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報（透明スクリーン１１の特性）に基づいて元映像の文字や静止画像の変換処理を行う。
【００４０】
以下、図４、図５Ａ及び図５Ｂを用いて、実施の形態２にかかる映像処理装置３０の動作を説明する。図４は、実施の形態２にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
【００４１】
図４に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している映像信号が示す元映像から文字、又は、人や動物等の静止画像を抽出する（Ｓ２１）。制御部３４は、文字を抽出した場合、この文字の輝度、色度、フォントの種類、サイズ等を分析する（Ｓ２２）。また、制御部３４は、人や動物等の静止画像を抽出した場合、この静止画像の輝度、色度等を分析する（Ｓ２２）。また、制御部３４は、記憶部３３に記憶している背景画像情報が示す背景の輝度、色度等を分析する（Ｓ２３）。
【００４２】
次に、制御部３４は、これらの分析結果に基づいて、文字や静止画像の加工が必要か否かの判断を行う（Ｓ２４）。具体的には、制御部３４は、透明スクリーン１１において背景と文字又は静止画像とが重なるときに背景に起因して文字又は静止画像の視認性が低下する場合に、文字や静止画像の加工が必要と判断する（Ｓ２４のＹＥＳ）。制御部３４は、文字や静止画像の加工が必要であると判断した場合、文字や静止画像の加工を行う（Ｓ２５）。上記の加工を行うことで、透明スクリーン１１上において背景と文字又は静止画像とが重なった場合でも、文字又は静止画像の視認性が向上する。文字や静止画像の加工の必要性判断、及び、文字や静止画像の加工の一例について以下に説明する。
【００４３】
図５Ａは、元映像に含まれる文字の加工の一例を説明するための図であり、図５Ｂは、元映像に含まれる人の静止画像の加工の一例を説明するための図である。図５Ａの一例では、長方形状の元映像Ａ１０は文字Ａ１１を含み、元映像Ａ１０における文字Ａ１１以外の部分は無色である。また、図５Ｂの一例では、長方形状の元映像Ａ２０は人の静止画像Ａ２１を含み、元映像Ａ２０における静止画像Ａ２１以外の部分は無色である。ここでいう元映像Ａ１０、Ａ２０は、加工前の映像のことをいう。
【００４４】
ここで、本願発明者らは、透明スクリーン１１の背景が黒色等の暗い色である場合（いわゆる、黒背景）、この透明スクリーン１１に表示する文字が青色や赤色等の暗い色であり、かつ、文字のサイズが所定サイズ以下であると、透明スクリーン１１に表示したこの文字を視認し難いことを見出した。また、本願発明者らは、透明スクリーン１１の背景が黒色等の暗い色である場合、この透明スクリーン１１に表示する人や動物等の静止画像を視認し難いことを見出した。このような知見に基づき、本実施の形態では、文字や静止画像が視認し難いときに、これらが視認し易くなるように、文字や静止画像の加工を行う。
【００４５】
すなわち、制御部３４は、例えば図５Ａに示すように、元映像Ａ１０から文字Ａ１１を抽出する。このとき、背景画像情報が示す透明スクリーン１１の背景が黒色等の暗い色であり、かつ、文字Ａ１１が青色や赤色等の暗い色であり、さらに文字Ａ１１のサイズが所定サイズ以下である場合に、制御部３４は、文字Ａ１１の加工が必要であると判断する（Ｓ２４のＹＥＳ）。一方、制御部３４は、透明スクリーン１１の背景が黒色等の暗い色であり、かつ、文字Ａ１１が青色や赤色等の暗い色であっても、文字Ａ１１のサイズが所定サイズよりも大きい場合には、文字Ａ１１の加工は必要でないと判断する（Ｓ２４のＮＯ）。また、制御部３４は、透明スクリーン１１の背景が黒色等の暗い色であり、かつ、文字Ａ１１が白色や黄色等の明るい色である場合にも、文字Ａ１１の加工は必要でないと判断する（Ｓ２４のＮＯ）。
【００４６】
制御部３４は、文字Ａ１１の加工が必要であると判断した場合、文字Ａ１１のシルエットを強調する加工を行う（Ｓ２５）。例えば、制御部３４は、文字Ａ１１を水色等の明るい色に変更したり、白色等の明るい色で縁取りをしたり、サイズを所定サイズよりも大きくしたり、フォントの種類を変更する（例えば、明朝体をゴシック体に変更）。
【００４７】
また、制御部３４は、例えば図５Ｂに示すように、元映像Ａ２０から人の静止画像Ａ２１を抽出する。このとき、背景画像情報が示す透明スクリーン１１の背景が黒色等の暗い色である場合に、制御部３４は、静止画像Ａ２１の加工が必要であると判断する（Ｓ２４のＹＥＳ）。
【００４８】
制御部３４は、静止画像Ａ２１の加工が必要であると判断した場合、静止画像Ａ２１のシルエットを強調する加工を行う（Ｓ２５）。例えば、制御部３４は、人の静止画像Ａ２１の周りに白色等の明るい色の円形の領域Ａ２２を追加したり（丸抜き、いわゆる縁取り処理）、元映像Ａ２０における静止画像Ａ２１以外の部分に水色等の明るい色を設定する（背景ベタ、いわゆる縁取り処理）。また、制御部３４は、静止画像Ａ２１の周りに光っているようにみえる領域Ａ２３を設ける光彩処理（いわゆる縁取り処理）を施す。
【００４９】
その後、制御部３４は、加工した文字や静止画像を含む映像を示す映像信号を投影装置１２に送信する（Ｓ２６）。
【００５０】
一方、ステップＳ２４において文字や静止画像に加工が必要でないと判断した場合（Ｓ２４のＮＯ）、制御部３４は、元映像を示す映像信号を投影装置１２に送信する（Ｓ２７）。
【００５１】
これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。
【００５２】
以上のように、本実施の形態２の映像表示システム１によれば、映像信号が示す元映像が文字、又は、人や動物等の静止画像を含む場合、映像から文字、又は、人や動物等の静止画像を抽出する。次に、映像表示システム１は、透明スクリーン１１の特性基づいて、透明スクリーン１１において背景と文字又は静止画像とが重なるときに文字又は静止画像の視認性を向上するように、文字又は静止画像のシルエットを強調する加工を行う。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景に起因して映像の視認性が低下することを抑制することができる。なお、ここで言う透明スクリーン１１の特性とは、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報である。
【００５３】
（実施の形態３）
実施の形態１及び２では、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報（透明スクリーン１１の特性）に基づいて元映像の変換処理を行った。実施の形態３では、透明スクリーン１１に表示された表示映像（映像＋背景）に基づいて元映像の変換処理を行う。
【００５４】
実施の形態３にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態３の映像表示システム１は、第１の撮像装置２１の出力に基づいて元映像の変換処理を行う。
【００５５】
以下、図６、図７Ａ及び図７Ｂを用いて、実施の形態３にかかる映像処理装置３０の動作を説明する。図６は、実施の形態３にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
【００５６】
図６に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している元映像を示す映像信号を投影装置１２に送信する（Ｓ３１）。これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。第１の撮像装置２１は、透明スクリーン１１に表示された元映像と透明スクリーン１１を通して視認される背景とが重なった表示映像を撮影する。
【００５７】
次に、制御部３４は、第１の撮像装置２１で撮影された表示映像を示す表示映像データを取得する（Ｓ３２）。次に、制御部３４は、取得した表示映像データから表示映像の輝度及び色度を分析する（Ｓ３３）。また、制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ３４）。
【００５８】
次に、制御部３４は、分析した表示映像の輝度及び色度と元映像の輝度及び色度とを比較し（Ｓ３５）、この分析比較結果に基づいて、元映像の輝度及び色度の変更が必要か否かの判断を行う（Ｓ３６）。具体的には、制御部３４は、表示映像の視認性が低下する場合に元映像の輝度及び色度の変更が必要と判断する（Ｓ３６のＹＥＳ）。制御部３４は、元映像の輝度及び色度の変更が必要であると判断した場合、表示映像がより視認し易くなるように、元映像の輝度及び色度の変更処理を行う（Ｓ３７）。元映像の輝度及び色度の変更の必要性判断、及び、元映像の輝度及び色度の変更処理の一例について以下に説明する。
【００５９】
図７Ａは透明スクリーン１１に表示する元映像Ａ３１の一例を示す図であり、図７Ｂは透明スクリーン１１に表示された元映像Ａ３１と背景とが重なった映像Ａ３２の一例を示す図である。図７Ａの例では、元映像Ａ３１は、異なる色の円形形状の複数の画像を含む。より具体的には、元映像Ａ３１は、各色において６個ずつからなる白色の画像の列、黄色の画像の列、水色の画像の列、緑色の画像の列、赤色の画像の列、及び、青色の画像の列を含む。
【００６０】
図７Ｂの例では、透明スクリーン１１はサッカースタジアムのピッチ及び鑑賞席を含む背景を透過するとともに、図７Ａの元映像Ａ３１に基づく映像を表示する。これにより、鑑賞者は、元映像Ａ３１と背景とが重なった映像Ａ３２を視認する。透明スクリーン１１に映像Ａ３２を表示する場合、透明スクリーン１１の背景の輝度及び色度に起因して、元映像Ａ３１の明るさや色調が再現されなかったり、視認し難くなったりする。図７Ｂの例では、透明スクリーン１１の背景におけるサッカースタジアムのピッチの輝度は明るく、鑑賞席の輝度は暗い。また、図９の説明において後述するように、サッカースタジアムのピッチは主に緑色を含み、鑑賞席は青色や赤色、白色等を含む。このように、透明スクリーン１１の背景は領域ごとに輝度及び色度が異なることがある。
【００６１】
制御部３４は、例えば、映像Ａ３２において元映像Ａ３１の明るさや色調が再現されていない場合に、又は、元映像Ａ３１の明るさや色調が背景の明るさや色調に近く映像Ａ３２が視認し難い場合に、元映像Ａ３１の輝度及び色度の変更が必要であると判断する（Ｓ３６のＹＥＳ）。制御部３４は、元映像Ａ３１の輝度及び色度の変更が必要であると判断した場合、元映像Ａ３１の輝度及び色度を変更処理する（Ｓ３７）。例えば、制御部３４は、映像Ａ３２において元映像Ａ３１の明るさや色調がより再現されるように、又は、映像Ａ３２がより視認し易くなるように、元映像Ａ３１の輝度及び色度を変更する。このとき、制御部３４は、上述した実施の形態１の元映像の補正処理、及び／又は、実施の形態２の元映像における文字、人や動物等の静止画像の抽出及び加工処理をさらに行ってもよい。
【００６２】
その後、制御部３４は、変更処理を行った映像を示す映像信号を投影装置１２に送信する（Ｓ３８）。
【００６３】
ステップＳ３６において変更が必要でないと判断した場合（Ｓ３６のＮＯ）、制御部３４は、元映像Ａ３１を示す映像信号を投影装置１２に送信する（Ｓ３９）。
【００６４】
これにより、投影装置１２は、元映像Ａ３１を示す映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。
【００６５】
以上のように、本実施の形態３の映像表示システム１によれば、透明スクリーン１１に表示された元映像Ａ３１と透明スクリーン１１を通して視認される背景とが重なった表示映像（映像Ａ３２）を第１の撮像装置２１で撮影する。次に、映像表示システム１は、この表示映像の輝度及び色度に基づいて、表示映像がより視認し易くなるように、元映像Ａ３１の輝度及び色度の変更処理を行う。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景の輝度及び色度に起因して映像の視認性が低下することを抑制することができる。
【００６６】
（実施の形態４）
実施の形態３では、実際に元映像Ａ３１が透明スクリーン１１上で視認できる映像（元映像＋背景）に基づいて元映像Ａ３１の変換処理を行った。実施の形態４では、透明スクリーン１１の背にある背景に基づいて元映像の変換処理を行う。
【００６７】
実施の形態４にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態４の映像表示システム１は、第２の撮像装置２２の出力に基づいて元映像の変換処理を行う。
【００６８】
以下、図８及び図９を用いて、実施の形態４にかかる映像処理装置３０の動作を説明する。図８は、実施の形態４にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
【００６９】
まず、第２の撮像装置２２が透明スクリーン１１の背景を直接に撮影する。次に、図８に示すように、映像処理装置３０の制御部３４は、第２の撮像装置２２で撮影された背景を示す背景画像データを取得する（Ｓ４１）。次に、制御部３４は、取得した背景画像データから背景の輝度、色度、及び後述する背景の注目範囲を分析する（Ｓ４２）。また、制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ４３）。
【００７０】
次に、制御部３４は、これらの分析結果に基づいて、元映像の輝度及び色度の変更が必要か否かの判断を行う（Ｓ４４）。具体的には、制御部３４は、表示映像の視認性が低下する場合に元映像の輝度及び色度の変更が必要と判断する（Ｓ４４のＹＥＳ）。制御部３４は、元映像の輝度及び色度の変更が必要であると判断した場合、元映像の輝度及び色度の変更処理を行う（Ｓ４５）。上記の変更処理を行うことで、透明スクリーン１１上における表示映像がより視認し易くなる。元映像の輝度及び色度の変更の必要性判断、及び、元映像の輝度及び色度の変更処理の一例について以下に説明する。
【００７１】
図９は、第２の撮像装置２２で撮影された背景Ｂ４０の一例を示す図である。図９の例では、サッカースタジアムのピッチ及び鑑賞席を含む背景Ｂ４０が示されており、背景Ｂ４０は異なる輝度及び色度の３つの領域Ｂ４１、Ｂ４２、Ｂ４３からなる。本実施の形態では、上下方向の中央の領域Ｂ４１は、サッカースタジアムのピッチに相当し、主に芝の緑色を含む。また、中央の領域Ｂ４１は選手のユニホーム等の白色も含む。この領域Ｂ４１の輝度は明るい。また、上下方向の上部の領域Ｂ４２及び下部の領域Ｂ４３は、鑑賞席に相当し、青色や赤色、白色を含む。これらの領域Ｂ４２、Ｂ４３の輝度は暗い。このように、第２の撮像装置２２で撮影された背景Ｂ４０に、輝度及び色度の異なる複数の領域が存在する場合、制御部３４は、背景の注目範囲を分析する。背景の注目範囲とは、第２の撮像装置２２で撮影された背景画像において、鑑賞者が注目するであろうと予測される対象物の範囲又は対象物を含んでそれよりも広い所定の範囲である。例えば、対象物がサッカースタジアムのピッチである場合、背景の注目範囲はピッチの範囲である。また、対象物がサッカーボールである場合、背景の注目範囲はサッカーボールを含む所定の範囲である。例えば、図９の例では、サッカースタジアムのピッチ（対象物）の範囲Ｂ４１を注目範囲とする（Ｓ４２）。
【００７２】
次に、制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ４３）。そして、制御部３４は、例えば、元映像が背景の注目範囲Ｂ４１と重なり、元映像の明るさや色調が再現されないことが予測される場合に、元映像の輝度及び色度の変更が必要と判断する（Ｓ４４のＹＥＳ）。また、制御部３４は、元映像が背景の注目範囲Ｂ４１と重なり、元映像の明るさや色調が背景の明るさや色調に近く、元映像が視認し難いと予測される場合にも、元映像の輝度及び色度の変更が必要と判断する。制御部３４は、上記のように、元映像の輝度及び色度の変更が必要であると判断した場合、背景の注目範囲Ｂ４１の輝度及び色度に合わせて元映像の輝度及び色度を変更する（Ｓ４５）。この変更により、元映像がより確認しやすくなることに加え、元映像の明るさや色調がより再現されるようになる。このとき、制御部３４は、上述した実施の形態１の元映像の補正処理、及び／又は、実施の形態２の元映像における文字、人や動物等の静止画像の抽出及び加工処理をさらに行ってもよい。
【００７３】
その後、制御部３４は、変更処理を行った映像を示す映像信号を投影装置１２に送信する（Ｓ４６）。
【００７４】
また、ステップＳ４４において変更が必要でないと判断した場合（Ｓ４４のＮＯ）、制御部３４は、元映像を示す映像信号を投影装置１２に送信する（Ｓ４７）。
【００７５】
これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。
【００７６】
以上のように、実施の形態４の映像表示システム１によれば、透明スクリーン１１の背景を第２の撮像装置２２で直接に撮影する。次に、映像処理装置３０は、第２の撮像装置２２によって撮影された背景の輝度及び色度を分析する。映像処理装置３０は、この分析結果に基づいて、表示映像がより視認し易くなるように、元映像の輝度及び色度の変更処理を行う。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景の輝度及び色度等に起因して表示映像の視認性が低下することを抑制することができる。
【００７７】
（実施の形態５）
実施の形態１〜４では、透明スクリーン１１に表示される映像の視認性を向上することを目的として元映像の変換処理を行う態様について説明した。実施の形態５では、透明スクリーン１１を通して視認される背景の視認性を向上することを目的として元映像の表示位置を変更する態様について説明する。
【００７８】
実施の形態５にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態５の映像表示システム１は、第２の撮像装置２２の出力に基づいて映像の表示位置を決定する。
【００７９】
以下、図１０、図１１及び図９を用いて、実施の形態５にかかる映像処理装置３０の動作を説明する。図１０は、実施の形態５にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
【００８０】
まず、第２の撮像装置２２が透明スクリーン１１の背景を直接に撮影する。次に、図１０に示すように、映像処理装置３０の制御部３４は、第２の撮像装置２２で撮影された透明スクリーン１１の背景を示す背景画像データを取得する（Ｓ５１）。次に、制御部３４は、取得した背景画像データから背景の輝度及び色度を分析し、背景の注目範囲を検出する（Ｓ５２）。本実施の形態では、背景の注目範囲はサッカースタジアムのピッチである。
【００８１】
次に、制御部３４は、検出した背景の注目範囲、又は、分析した背景の輝度及び色度に基づいて、透明スクリーン１１において映像が背景の注目範囲に重ならないように、透明スクリーン１１における映像の表示位置を決定する（Ｓ５３）。以下、映像の表示位置の決定の具体的一例について説明する。
【００８２】
図１１は、透明スクリーン１１に映像を表示した一例を示す図である。図１１の例では、透明スクリーン１１の背景は図９に示すサッカースタジアムの背景Ｂ４０と同一である。
【００８３】
制御部３４は、図９に示すように、また上述したように、取得した背景画像データから背景Ｂ４０の輝度及び色度を分析し、鑑賞者が注目するであろうと予測される対象物を含む背景の注目範囲を決定する。本実施の形態では、サッカースタジアムのピッチの領域Ｂ４１を、鑑賞者が注目するであろうと予測される対象物（例えば、サッカースタジアムのピッチ）を含む背景の注目範囲として決定する（Ｓ５２）。そして、制御部３４は、図１１に示すように、透明スクリーン１１において背景の注目範囲に重ならないように、すなわちサッカースタジアムのピッチの領域Ｂ４１に重ならないように、映像Ａ１の表示位置を決定する（Ｓ５３）。なお、制御部３４は、分析した背景の輝度及び色度に基づいて、例えば最も暗い輝度の領域（図９の領域Ｂ４２又はＢ４３）を表示位置として決定してもよい。
【００８４】
次に、制御部３４は、決定した表示位置に映像Ａ１を表示するように制御信号を投影装置１２に送信する（Ｓ５４）。これにより、投影装置１２は、制御信号に従って表示位置の変更を行う。
【００８５】
ところで、本実施の形態では、映像Ａ１は注目範囲Ｂ４１とは異なる背景の注目範囲の拡大映像である。具体的には、この背景の注目範囲は、上述したサッカーボールを含む所定の範囲である。この背景の注目位置の拡大映像である映像Ａ１は、例えば以下のように生成される。
【００８６】
制御部３４は、背景画像データが示す背景からサッカーボールを検出し、サッカーボールを含む所定の範囲を背景の注目範囲Ｂ１として決定する。そして、制御部３４は、この注目範囲Ｂ１を拡大した拡大映像を透明スクリーン１１に表示する映像Ａ１として生成する。これにより、注目位置Ｂ１を強調表示することができる。このとき、ステップＳ５３において、制御部３４で分析した背景の輝度及び色度に基づいて決定した、映像Ａ１の表示位置の背景が黒等の暗い色である場合、映像Ａ１に白色等の明るい色で縁取りを行う映像変換処理を行ってもよい。
【００８７】
以上のように、本実施の形態の映像表示システム１によれば、まず、鑑賞者が注目することが予測される対象物を含む注目範囲Ｂ４１を検出する。次に、制御部３４は、検出された注目範囲Ｂ４１に基づいて、透明スクリーン１１において別の注目範囲の拡大映像である映像Ａ１が注目範囲Ｂ４１に重ならないように、映像Ａ１の表示位置を決定する。これにより、透明スクリーン１１において背景と映像とが重なることに起因して、透明スクリーン１１を通して視認される背景の視認性が低下することを防止することができる。
【００８８】
（実施の形態６）
実施の形態５では、背景の注目範囲（例えばサッカースタジアムのピッチ）に基づいて映像の表示位置を決定した。実施の形態６では、鑑賞者の位置及び鑑賞者の注目位置に基づいて映像の表示位置を決定する。
【００８９】
実施の形態６にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態６の映像表示システム１は、検出装置２３の出力に基づいて映像の表示位置を決定する。
【００９０】
以下、図１２、図１３Ａ及び図１３Ｂを用いて、実施の形態６にかかる映像処理装置３０の動作を説明する。図１２は、実施の形態６にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
【００９１】
図１２に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している元映像を示す映像信号を投影装置１２に送信する（Ｓ６１）。これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。検出装置２３は、この透明スクリーン１１に表示された映像及び背景を鑑賞する鑑賞者の位置及び鑑賞者の注目位置を検出する。次に、制御部３４は、検出装置２３で検出された鑑賞者の位置及び鑑賞者の注目位置を取得する（Ｓ６２）。次に、制御部３４は、鑑賞者の位置及び鑑賞者の注目位置に基づいて、透明スクリーン１１における映像の表示位置を決定する（Ｓ６３）。例えば、制御部３４は、鑑賞者が背景に注目しているときには背景を見易いように、一方、鑑賞者が映像に注目しているときには映像を見易いように、映像の表示位置を決定する。次に、制御部３４は、決定した表示位置に映像を表示するように制御信号を投影装置１２に送信する（Ｓ６４）。以下、映像の表示位置の決定の具体的一例について説明する。
【００９２】
図１３Ａ及び図１３Ｂは、実施の形態６にかかる映像処理装置３０による映像の表示位置の決定動作の一例を説明するための図である。図１３Ａ及び図１３Ｂの例では、透明スクリーン１１の背景Ｂ１はサッカースタジアムであり、投影装置１２が透明スクリーン１１に投影する映像Ａ１は選手の背番号を示す情報（背景の対象物に関する情報）（バナー表示）である。
【００９３】
図１３Ａの例では、最初に、映像Ａ１は透明スクリーン１１において背景Ｂ１の上部に表示される。このとき、鑑賞者Ｃ１が透明スクリーン１１に対して所定距離内に接近し、かつ、鑑賞者Ｃ１の注目位置Ｃ２が背景Ｂ１にある。そのため、制御部３４は、鑑賞者Ｃ１が背景Ｂ１を見易いように、映像Ａ１の表示位置を例えば透明スクリーン１１の上方に設けられた情報表示部Ｂ２に決定する（Ｓ６３）。そして、制御部３４は、決定した表示位置に映像Ａ１を移動するように投影装置１２を制御する（Ｓ６４）。なお、制御部３４は、映像Ａ１の表示位置を透明スクリーン１１の下方や横方向に決定してもよい。このとき、制御部３４は、映像Ａ１を縮小表示するように投影装置１２を制御してもよい。これにより、投影装置１２は、制御信号に従って映像Ａ１の表示位置の変更を行う。
【００９４】
一方、図１３Ｂでは、鑑賞者Ｃ１が透明スクリーン１１に対して所定距離内に接近しておらず、かつ、鑑賞者Ｃ１の注目位置Ｃ２が透明スクリーン１１上方の情報表示部Ｂ２における映像Ａ１にある。そのため、制御部３４は、鑑賞者Ｃ１が映像Ａ１を見易いように、映像Ａ１が透明スクリーン１１の全面（例えばサッカースタジアムのピッチの全面）に表示されるように映像Ａ１の表示位置及び拡大表示サイズを決定する（Ｓ６３）。そして、制御部３４は、決定した表示位置に映像Ａ１を移動して拡大表示するように投影装置１２を制御する（Ｓ６４）。これにより、投影装置１２は、制御信号に従って映像Ａ１の表示位置の変更を行う。
【００９５】
なお、鑑賞者Ｃ１が複数人いる場合、複数の鑑賞者Ｃ１の重心位置を上述した鑑賞者Ｃ１の位置としてもよい。また、複数の鑑賞者Ｃ１の複数の注目位置Ｃ２に基づいて、所定時間ごとに映像Ａ１の表示位置を変更してもよい。
【００９６】
以上のように、本実施の形態の映像表示システム１によれば、まず、鑑賞者Ｃ１の位置及び鑑賞者Ｃ１の注目位置Ｃ２を検出する。次に、制御部３４は、検出された鑑賞者Ｃ１の位置及び鑑賞者Ｃ１の注目位置Ｃ２に基づいて、透明スクリーン１１における映像Ａ１の表示位置を決定する。この構成によれば、鑑賞者Ｃ１が透明スクリーン１１の背景Ｂ１に注目しているときには、制御部３４は、映像Ａ１が背景Ｂ１に重ならないように、透明スクリーン１１における映像Ａ１の表示位置を決定する（図１３Ａ）。これにより、透明スクリーン１１において背景と映像とが重なることに起因して、透明スクリーン１１の背景の視認性が低下することを防止することができる。
【００９７】
一方、鑑賞者Ｃ１が映像Ａ１に注目しているときには、制御部３４は、映像Ａ１が背景Ｂ１に重なるように、透明スクリーン１１における映像Ａ１の表示位置を決定する（図１３Ｂ）。これにより、映像Ａ１と背景Ｂ１との両方が同時に視認可能となる。
【００９８】
（実施の形態７）
実施の形態６では、鑑賞者が透明スクリーン１１に接近し、かつ、鑑賞者の注目位置が背景にある場合に映像が背景に重ならないようにした。実施の形態７では、鑑賞者が透明スクリーン１１に接近した場合に映像が背景に重なるようにする。さらに、実施の形態７では、鑑賞者の注目位置の近傍に追加の映像を表示する。
【００９９】
実施の形態７にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態７の映像表示システム１は、第２の撮像装置２２の出力及び検出装置２３の出力に基づいて映像の表示位置を決定する。
【０１００】
以下、図１４及び図１５を用いて、実施の形態７にかかる映像処理装置３０の動作を説明する。図１４は、実施の形態７にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
【０１０１】
図１４に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している元映像を示す映像信号を投影装置１２に送信する（Ｓ７１）。これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。検出装置２３は、この透明スクリーン１１に表示された映像及び背景を鑑賞する鑑賞者の位置及び鑑賞者の注目位置を検出する。また、第２の撮像装置２２は透明スクリーン１１の背景を撮影する。
【０１０２】
次に、制御部３４は、第２の撮像装置２２で撮影された背景を示す背景画像データを取得する（Ｓ７２）。次に、制御部３４は、取得した背景画像データから背景の輝度及び色度を分析し、上述した背景の注目範囲を検出する（Ｓ７３）。また、制御部３４は、検出装置２３で検出された鑑賞者の位置及び鑑賞者の注目位置を取得する（Ｓ７４）。次に、制御部３４は、検出した背景の注目範囲、鑑賞者の位置及び鑑賞者の注目位置に基づいて、透明スクリーン１１における映像の表示位置を決定する（Ｓ７５）。例えば、制御部３４は、背景及び映像を見易いように、映像の表示位置を決定する。次に、制御部３４は、決定した表示位置に映像を表示するように制御信号を投影装置１２に送信する（Ｓ７６）。以下、映像の表示位置の決定の具体的一例について説明する。
【０１０３】
図１５は、映像処理装置３０による映像の表示位置の決定動作の一例を説明するための図である。図１５の例でも、図１３Ａ及び図１３Ｂ例と同様に、透明スクリーン１１の背景Ｂ１はサッカースタジアムであり、投影装置１２が透明スクリーン１１に投影する映像Ａ１は選手の背番号を示す情報である。
【０１０４】
図１５に示すように、鑑賞者Ｃ１が透明スクリーン１１に対して所定距離内に接近した場合に、制御部３４は、映像Ａ１が背景の注目範囲である透明スクリーン１１の全面（例えばサッカースタジアムのピッチの全面）に表示されるように映像Ａ１の表示位置及び拡大表示サイズを決定する（Ｓ７５）。そして、制御部３４は、決定した表示位置に映像Ａ１を移動して拡大表示するように投影装置１２を制御する（Ｓ７６）。これにより、投影装置１２は、制御信号に従って映像Ａ１の表示位置の変更を行い、サッカースタジアムのピッチの全面に映像Ａ１が重なって表示される。
【０１０５】
また、ステップＳ７５において、鑑賞者Ｃ１が特定の選手（対象物）を含む注目位置Ｃ２に注目している場合、制御部３４は、鑑賞者Ｃ１の注目位置Ｃ２を含む所定の範囲の画像を拡大した拡大画像（追加の映像）Ａ２を生成する。なお、拡大画像Ａ２は、第２の撮像装置２２からの背景画像データから生成される。そして、制御部３４は、この拡大映像Ａ２の表示位置を鑑賞者Ｃ１の注目位置Ｃ２の近傍に決定する。そして、ステップＳ７６において、制御部３４は、決定した表示位置に拡大映像Ａ２を表示するように投影装置１２を制御する。これにより、投影装置１２は、制御信号に従って決定した表示位置に拡大映像Ａ２を表示し、鑑賞者Ｃ１の注目位置Ｃ２の近傍に拡大映像Ａ２が表示される。このとき、上述したように、分析した背景の輝度及び色度に基づいて、拡大映像Ａ２に白色等の明るい色で縁取りを行う映像変換処理を行ってもよい。
【０１０６】
以上のように、本実施の形態の映像表示システム１によれば、鑑賞者Ｃ１の位置及び背景の注目範囲（例えばサッカースタジアムのピッチ）を検出する。そして、制御部３４は、鑑賞者Ｃ１が透明スクリーン１１に接近したときに、映像Ａ１が背景の注目範囲である例えばサッカースタジアムのピッチの全面に重なるように、透明スクリーン１１における映像Ａ１の表示位置を決定する。これにより、例えば背景Ｂ１の選手と映像Ａ１の選手情報との両方が同時に視認可能となる。
【０１０７】
また、本実施の形態７の映像表示システム１によれば、鑑賞者Ｃ１の注目位置Ｃ２を検出し、注目位置Ｃ２の近傍に、この注目位置Ｃ２を含む所定の範囲の拡大映像（追加の映像）Ａ２を表示するように、透明スクリーン１１における拡大映像Ａ２の表示位置を決定する。これにより、例えば鑑賞者Ｃ１が注目する選手の拡大映像Ａ２をも同時に視認可能となる。
【０１０８】
なお、実施の形態５では、背景の注目範囲に基づいて透明スクリーン１１における映像の表示位置を決定した。また、実施の形態６では、鑑賞者の位置や鑑賞者の注目位置に基づいて透明スクリーン１１における映像の表示位置を決定した。これに対し、実施の形態７のように、背景の注目範囲、及び、鑑賞者の位置や鑑賞者の注目位置の両方に基づいて映像の表示位置を決定してもよい。
【０１０９】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜７を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜７で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【０１１０】
（１）本実施の形態では、映像信号が示す映像を表示し、かつ、背景を透過する透明な表示装置として、透明スクリーン１１と投影装置１２とを例示した。しかし、表示装置は、自発光方式の透明型ＥＬ表示装置や透明型液晶表示装置等であってもよい。なお、この場合、第２の通信部３２は、これらの表示装置とデータ通信を行う。
【０１１１】
（２）本実施の形態では、第２の撮像装置２２と制御部３４とが協働して、サッカースタジアムのピッチやボール等の鑑賞者が注目するであろうと予測される対象物を含む背景の注目範囲の検出を行った。しかし、第２の撮像装置２２が、背景の注目範囲の検出を単独で行える機能を備えてもよい。
【０１１２】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１１３】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１１４】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置換、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１１５】
本開示は、透明な表示装置に表示する映像と当該表示装置の背景との両方を同時に視認できる映像表示システムに適用可能である。
【符号の説明】
【０１１６】
１  映像表示システム
１０  表示装置
１１  透明スクリーン
１２  投影装置
２１  第１の撮像装置
２２  第２の撮像装置
２３  検出装置
３０  映像処理装置
３１  第１の通信部
３２  第２の通信部
３３  記憶部
３４  制御部
【図１】
2017221663.tif 000003
【図２】
2017221663.tif 000004
【図３】
2017221663.tif 000005
【図４】
2017221663.tif 000006
【図５Ａ】
2017221663.tif 000007
【図５Ｂ】
2017221663.tif 000008
【図６】
2017221663.tif 000009
【図７Ａ】
2017221663.tif 000010
【図７Ｂ】
2017221663.tif 000011
【図８】
2017221663.tif 000012
【図９】
2017221663.tif 000013
【図１０】
2017221663.tif 000014
【図１１】
2017221663.tif 000015
【図１２】
2017221663.tif 000016
【図１３Ａ】
2017221663.tif 000017
【図１３Ｂ】
2017221663.tif 000018
【図１４】
2017221663.tif 000019
【図１５】
2017221663.tif 000020
【国際調査報告】
2017221663.tif 000021
2017221663.tif 000022
2017221663.tif 000023
2017221663.tif 000024