(57)【要約】【課題】本発明は、マルチビュー表示装置を用いた新規な情報提示システムを提供することを目的とする。【解決手段】本発明によれば、入力された多重化画像を構成する複数の画像を異なる視域において別々に視認されるように表示画面に表示することができるマルチビュー表示装置と、前記マルチビュー表示装置に多重化画像を入力する情報処理装置と、を含み、前記情報処理装置は、複数の画像が割り当てられた視域において視認されるように該複数の画像の多重化画像を生成する画像多重化部と、多重化画像を構成する各画像に割り当てた視域を動的に変更する視域変更部とを含む情報提示システムが提供される。【選択図】図４
2017138468.tif 000002
【特許請求の範囲】
【請求項１】
入力された多重化画像を構成する複数の画像を異なる視域において別々に視認されるように表示画面に表示することができるマルチビュー表示装置と、
前記マルチビュー表示装置に多重化画像を入力する情報処理装置と、
を含み、
前記情報処理装置は、
複数の画像が割り当てられた視域において視認されるように該複数の画像の多重化画像を生成する画像多重化部と、
多重化画像を構成する各画像に割り当てた視域を動的に変更する視域変更部と、
を含む、
情報提示システム。
【請求項２】
さらに、前記表示画面の前方の状態をセンシングするためのセンシング手段を含み、
前記情報処理装置は、
前記センシング手段が取得したセンシング情報に基づいて、多重化画像を構成する各画像が割り当てられた視域における混雑度を取得する混雑度取得部を含み、
前記視域変更部は、
各視域における前記混雑度に応じて、多重化画像を構成する各画像に割り当てた視域を動的に変更する、
請求項１に記載の情報提示システム。
【請求項３】
前記情報処理装置は、
第１の画像が割り当てられた第１の視域と第２の画像が割り当てられた第２の視域に挟まれる第３の視域において黒画像が視認されるように各画像の視域を割り当てるクロストーク防止部を含む、
請求項１または２に記載の情報提示システム。
【請求項４】
前記情報処理装置は、
前記表示画面の法線方向からずれた方向に位置する視域が割り当てられた画像の輝度値を、該視域から見た該画像のコントラストが均一に感じられるように、補正する輝度補正部を含む、
請求項１〜３のいずれか一項に記載の情報提示システム。
【請求項５】
前記情報処理装置は、
前記表示画面の法線方向からずれた方向に位置する視域が割り当てられた画像に対して、該視域から見た該画像が元の形状を維持した状態で視認されるように、射影変換を施す射影変換部を含む、
請求項１〜４のいずれか一項に記載の情報提示システム。
【請求項６】
前記情報処理装置は、
多重化画像を構成する各画像上の同じ位置に共通する情報のレイヤーをオーバーレイ表示するオーバーレイ処理部を含む、
請求項１〜５のいずれか一項に記載の情報提示システム。
【請求項７】
さらに、設定された複数の方向に異なる音声を同時に出力することができる音声出力装置を含み、
前記情報処理装置は、
多重化画像を構成する各画像に伴う音声の出力方向を該画像に割り当てられた視域の方向に設定する音声出力方向設定部を含む、
請求項１〜６のいずれか一項に記載の情報提示システム。
【請求項８】
入力された多重化画像を構成する複数の画像を異なる視域において別々に視認されるように表示画面に表示することができるマルチビュー表示装置に対して多重化画像を入力する情報処理装置であって、
複数の画像が割り当てられた視域において視認されるように該複数の画像の多重化画像を生成する画像多重化部と、
多重化画像を構成する各画像に割り当てた視域を動的に変更する視域変更部と、
を含む、
情報処理装置。
【請求項９】
入力された多重化画像を構成する複数の画像を異なる視域において別々に視認されるように表示画面に表示することができるマルチビュー表示装置に対して多重化画像を入力するコンピュータを、
複数の画像が割り当てられた視域において視認されるように該複数の画像の多重化画像を生成する画像多重化手段、
多重化画像を構成する各画像に割り当てた視域を動的に変更する視域変更手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提示システムに関し、より詳細には、マルチビュー表示装置を用いた情報提示システムに関する。
【背景技術】
【０００２】
従来、１つの表示画面上で異なる方向から別々の映像を見ることができるマルチビュー表示装置が提供されている。
【０００３】
この点につき、特開２００８−１６４７４３号公報（特許文献１）は、マルチビュー表示装置を用いて、運転席および助手席のそれぞれの方向から個別の映像を閲覧することを可能にした車載用ナビゲーション装置を開示する。            
【０００４】
一方、近年、集団で観賞することを目的としてスポーツの試合やコンサートの映像などを大型ディスプレイに表示する“パブリックビューイング”や、街角に設置した大型ディスプレイに広告映像を表示する“デジタルサイネージ”が広く一般に浸透してきている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１６４７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記従来技術に鑑みてなされたものであり、マルチビュー表示装置を用いた新規な情報提示システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明者は、マルチビュー表示装置を用いた新規な情報提示システムにつき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。
【０００８】
すなわち、本発明によれば、入力された多重化画像を構成する複数の画像を異なる視域において別々に視認されるように表示画面に表示することができるマルチビュー表示装置と、前記マルチビュー表示装置に多重化画像を入力する情報処理装置と、
を含み、前記情報処理装置は、複数の画像が割り当てられた視域において視認されるように該複数の画像の多重化画像を生成する画像多重化部と、多重化画像を構成する各画像に割り当てた視域を動的に変更する視域変更部とを含む情報提示システムが提供される。
【発明の効果】
【０００９】
上述したように、本発明によれば、マルチビュー表示装置を用いた新規な情報提示システムが提供される。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の情報提示システムを示す図。
【図２】マルチビュー機能を説明するための概念図。
【図３】マルチビュー機能を説明するための概念図。
【図４】本実施形態の情報処理装置の機能ブロック図。
【図５】本実施形態の情報処理装置が実行する処理のフローチャート。
【図６】視域変更処理のフローチャート。
【図７】視域変更処理を説明するための概念図。
【図８】視域変更処理を説明するための概念図。
【図９】クロストーク防止処理を説明するための概念図。
【図１０】輝度補正処理を説明するための概念図。
【図１１】射影変換処理を説明するための概念図。
【図１２】共通情報表示領域を示す図。
【図１３】本実施形態の情報処理装置のハードウェア構成図。
【発明を実施するための形態】
【００１１】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１２】
図１（ａ）は、本実施形態の情報提示システム１０００のシステム構成を模式的に示し、図１（ｂ）は、情報提示システム１０００の外観を例示的に示す。図１（ａ）、（ｂ）に示すように、本実施形態の情報提示システム１０００は、異なる位置にいる観者に対して、Ｎ個（Ｎは２以上の整数。以下同様。）の異なるコンテンツを同時的に提示することを可能にする。なお、本実施形態において、“コンテンツを同時的に提示する”とは、Ｎ個の異なる各コンテンツがＮ個の異なる各位置において観者に別々に視認されるように提示することを意味する。なお、本実施形態において、“コンテンツ”とは、静止画または動画（映像）またはこれらと音声の組み合わせを意味する。以下においては、“コンテンツ”を単に“画像”という場合がある。
【００１３】
図１（ａ）に示すように、本実施形態の情報提示システム１０００は、情報処理装置１００と、マルチビュー表示装置２０と、指向性スピーカーアレイ３０と、センシングデバイス４０とを含んで構成されている。
【００１４】
情報処理装置１００は、マルチビュー表示装置２０と指向性スピーカーアレイ３０を制御するためのコンピュータであり、情報処理装置１００は、マルチビュー表示装置２０、指向性スピーカーおよびセンシングデバイス４０の各々と通信可能に接続されている。なお、情報処理装置１００は、パーソナルコンピュータ（ＰＣ）であってもよいし、マルチビュー表示装置２０と一体化した形で搭載される組み込みコンピュータなどであってもよい。
【００１５】
指向性スピーカーアレイ３０は、設定された複数の方向に異なる音声を同時に出力することが可能な音声出力装置である。図１（ｂ）に示すシステムでは、指向性スピーカーアレイ３０として、遅延アレー方式を利用したアレイスピーカーを採用している。当該アレイスピーカーは、Ｎ個の狭指向性の音響ビームを形成することができ、且つ、各音響ビームを任意の方向に形成することができるように構成されている。なお、指向性スピーカーアレイ３０は、遅延アレー方式を利用したアレイスピーカーに限定されるものではなく、例えば、複数の単一指向性スピーカーを組み合わせたスピーカーシステムを採用してもよい。
【００１６】
センシングデバイス４０は、観者の混雑度（後述する）を取得する目的で、マルチビュー表示装置２０の表示画面の前方の空間領域の状態をセンシングするための手段であり、センシングデバイス４０は、取得したデータを有線通信または無線通信を介して情報処理装置１００にリアルタイム送信するように構成されている。なお、図１（ｂ）は、センシングデバイス４０として、デジタルビデオカメラを採用した例を図示しているが、本実施形態には、センシングデバイス４０をデジタルビデオカメラに限定するものではなく、レンジセンサ（測域センサ）をはじめとする各種光学センサ、サーモセンサ、圧電素子、メカニカルスイッチといった既存のデバイスの中から、観者の混雑度を取得するアルゴリズムに応じた適切なデバイスを採用する。
【００１７】
マルチビュー表示装置２０は、複数のビューを実現することができる表示装置であり、本実施形態では、大型のディスプレイ２２の表示画面に対してレンチキュラーレンズ２４を付加することによって構成される。なお、ディスプレイ２２は、液晶ディスプレイ、有機ＥＬディスプレイ、無機ＥＬディスプレイ、ＬＥＤディスプレイ等のいずれであってもよく、ディスプレイ２２の表示画面は曲面であってよい。
【００１８】
図２（ａ）は、マルチビュー表示装置２０の表示面の断面を拡大した模式図である。図２（ａ）に示すように、マルチビュー表示装置２０においては、ディスプレイ２２のピクセルを構成する複数のサブピクセルがレンチキュラーレンズ２４の１つのセル内に収められており、各サブピクセルから放射される光（RGB）がレンチキュラーレンズ２４によって屈折して異なる方向に出射するように構成されている。
【００１９】
以上、本実施形態の情報提示システム１０００の基本構成について説明してきたが、続いて、情報提示システム１０００が実現するマルチビュー機能について説明する。
【００２０】
本システムでは、情報処理装置１００が同時的に提示するＮ個の各画像について、図２（ａ）に示した各サブピクセルの光の放射方向を考慮に入れて光線計算を行い、レンチキュラーレンズ２４を介して表示される各画像が所望の視域において観者に視認されるように、各画像のサブピクセル単位のピクセル値を計算によって求める。ここで、“視域”とは、各画像を視認できる領域を意味する。
【００２１】
具体的には、情報処理装置１００は、Ｎ個の各画像を構成する画素データ毎に、図２（ｂ）に示すように、ディスプレイ２２の視野角Θ（Viewing angle）=θ1+θ2+…+θN-1を満たす（N-1）個のθiをパラメータとして光線計算を行い、その結果に基づいて各画像を構成する各画素のピクセル値を求める。その後、情報処理装置１００は、ピクセル値を決定したＮ個の画像を多重化（合成）して多重化画像（レンダリングデータ）を生成し、当該多重化画像をマルチビュー表示装置２０に入力して表示させる。
【００２２】
図３は、５個の画像を同時的に提示するための視域を示す。図３に示す例では、パラメータθ1〜θ4に基づいて５個の各画像に対応する５個の視域１〜５が定義されている。ここで、インテジャー・ビュー方式の場合、パラメータθiは、視野角Θを整数で除してなる値しか取ることができないが、フラクショナル・ビュー方式の場合は、Θ=θ1+θ2+…+θN-1を満たす限りにおいて、自由な値を取ることができるので、各画像の視域の大きさを自由に定義することが可能となる。なお、ここでいうフラクショナル・ビュー方式とは、水平方向のみに視差があるレンチキュラー方式において、レンズピッチとフラットパネルディスプレイの画素ピッチの比として整数比以外を許容する方式であり、“石井源久：フラクショナル・ビュー・ディスプレイ─非整数ビューの立体視─, 3次元画像コンファレンス2004論文集, P1-9, pp. 65-68 (2004-6)”に詳細が開示される。
【００２３】
本システムでは、ユーザまたはプログラムが、Ｎ個の各コンテンツに対して、所定の大きさを設定した固有の視域を割り当てる。各コンテンツに割り当てた視域の設定情報（以下、視域設定情報という）は、記憶領域１１３に保持される。
【００２４】
以上、情報提示システム１０００が実現するマルチビュー機能について説明してきたが、続いて、情報処理装置１００の機能構成を図４に示す機能ブロック図に基づいて説明する。
【００２５】
図４に示すように、本実施形態の情報処理装置１００は、コンテンツ入力部１０２、画像多重化部１０３、オーバーレイ処理部１０４、音声出力方向設定部１０５、コンテンツ出力部１０６、混雑度取得部１０７、視域変更部１０８、クロストーク防止部１０９、輝度補正部１１０、および射影変換部１１２を含んで構成されている。
【００２６】
コンテンツ入力部１０２は、同時的に提示するＮ個のコンテンツを所定の記憶領域から入力するための手段である。
【００２７】
画像多重化部１０３は、同時的に提示するＮ個の画像の多重化画像を生成するための手段である。
【００２８】
オーバーレイ処理部１０４は、多重化画像を構成する各画像上の同じ位置に共通する情報のレイヤーをオーバーレイ表示するための手段である。
【００２９】
音声出力方向設定部１０５は、多重化画像を構成する各画像に伴う音声の出力方向を当該画像に割り当てられた視域の方向に設定するための手段である。
【００３０】
コンテンツ出力部１０６は、画像多重化部１０３が生成した多重化画像をマルチビュー表示装置２０に入力して表示させるとともに、指向性スピーカーアレイ３０を制御して、音声出力方向設定部１０５が設定した方向に各コンテンツの音声が出力させるための手段である。
【００３１】
混雑度取得部１０７は、センシングデバイス４０が取得したセンシング情報に基づいて、多重化画像を構成する各画像が割り当てられた視域における混雑度（後述する）を取得するための手段である。
【００３２】
視域変更部１０８は、多重化画像を構成する各画像に割り当てた視域を動的に変更するための手段である。
【００３３】
クロストーク防止部１０９は、第１の画像が割り当てられた第１の視域と第２の画像が割り当てられた第２の視域に挟まれる第３の視域において黒画像が視認されるように各画像の視域を割り当てるための手段である。
【００３４】
輝度補正部１１０は、マルチビュー表示装置２０の表示画面の法線方向からずれた方向に位置する視域が割り当てられた画像の輝度値を、当該視域から見た当該画像のコントラストが均一に感じられるように、補正するための手段である。
【００３５】
射影変換部１１２は、マルチビュー表示装置２０の表示画面の法線方向からずれた方向に位置する視域が割り当てられた画像に対して、当該視域から見た当該画像が元の形状を維持した状態で視認されるように、射影変換を施すための手段である。
【００３６】
上述した各手段は、情報処理装置１００が所定のプログラムを実行することによって実現される。なお、上述した各手段の一部または全部をハードウェア回路で実装してもよい。
【００３７】
以上、情報処理装置１００の機能構成について説明してきたが、続いて、情報処理装置１００が実行する処理を図５に示すフローチャートに基づいて説明する。なお、以下の説明においては、適宜、図４を参照するものとする。
【００３８】
まずステップ１０１では、コンテンツ入力部１０２が、本システムが同時的に提示するＮ個のコンテンツを所定の記憶領域から読み出す。なお、同時的に提示するコンテンツは、情報処理装置１００の記憶手段に保存されたコンテンツであってもよいし、外部記憶装置に保存されたデータであってもよいし、ネットワークを介して取得されるストリーミングデータであってもよい。
【００３９】
続くステップ１０２では、画像多重化部１０３が、ステップ１０１で読み出された各コンテンツの最新の視域設定情報を記憶領域１１３から読み出す。
【００４０】
その後、後続するステップ１０３では、全視域の観者に向けて同時的に提示するコンテンツを追加するための処理（「オーバーレイ処理」）が実行され、さらに後続するステップ１０４、１０５および１０６では、コンテンツの視認性を向上させるための３つの処理（「クロストーク防止処理」、「輝度補正処理」、「射影変換処理」）が実行されるが、その詳細については後述する。
【００４１】
続くステップ１０７では、ステップ１０３〜１０６を経た後のＮ個の画像に基づいて、画像多重化部１０３が画像多重化処理を実行する。具体的には、Ｎ個の各画像について、図２（ａ）に示した各サブピクセルの光の放射方向を考慮に入れて光線計算を行い、レンチキュラーレンズ２４を介して表示される各画像がそれぞれに割り当てられた視域において視認されるように、各画像のサブピクセル単位のピクセル値を計算によって求める。その後、各画像の計算結果を合成することによって、Ｎ個の画像を空間的に多重化したレンダリングデータ（以下、多重化画像という）を得る。
【００４２】
再び図５に戻って説明を続ける。
【００４３】
続くステップ１０８では、音声出力方向設定部１０５がＮ個の各画像に伴う音声の出力方向を当該画像に割り当てられた視域の方向に設定する。
【００４４】
続くステップ１０９では、コンテンツ出力部１０６が、多重化されたコンテンツを出力する。具体的には、コンテンツ出力部１０６は、先のステップ１０７でで生成された多重化画像（レンダリングデータ）をマルチビュー表示装置２０に入力して表示させるとともに、各画像に伴う音声の音響ビームが先のステップ１０７で設定された出力方向に形成されるように指向性スピーカーアレイ３０を制御する。
【００４５】
上述した一連の処理が実行される結果、Ｎ個の各コンテンツが、それぞれに割り当てられたＮ個の各視域において別々に視聴可能となる。
【００４６】
なお、上述した一連の処理は、Ｎ個のコンテンツに動画が含まれている場合は、当該動画のフレーム周期に同期して実行され、Ｎ個のコンテンツが全て静止画である場合は、視域変更部１０８が各コンテンツの視域を変更するタイミング（この詳細については後述する）、または、いずれかのコンテンツ（静止画）の内容を切り替えるタイミングに同期して実行される。
【００４７】
以上、情報処理装置１００が実行する処理の基本部分について説明してきたが、続いて、情報処理装置１００の混雑度取得部１０７と視域変更部１０８が協働して実行する「視域変更処理」を図６に示すフローチャートに基づいて説明する。
【００４８】
本実施形態においては、以下に述べる一連の処理を所定の時間間隔で繰り返し実行する。
【００４９】
まずステップ２０１では、混雑度取得部１０７がセンシングデバイス４０から取得したセンシング情報に基づいて各コンテンツに設定された現在の混雑度を取得する。以下、この点を図７に基づいて説明する。図７に示すケースでは、５つのコンテンツ「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」のそれぞれに対して「視域１」、「視域２」、「視域３」、「視域４」、「視域５」が割り当てられている。また、図７に示すケースでは、センシングデバイス４０であるデジタルビデオカメラがマルチビュー表示装置２０の視域全体を撮影し、その撮影画像を図示しない情報処理装置１００にリアルタイムで送信している。
【００５０】
一方、混雑度取得部１０７は、情報処理装置１００がデジタルビデオカメラから受信した撮影画像から特定される各視域の撮影画像を所定のアルゴリズムに基づいて解析して、各視域の混雑度を導出する。ここで、「混雑度」とは、人が混雑している度合いを示す所定の評価値を意味し、任意の方法で定義・導出することができる。
【００５１】
例えば、センシングデバイス４０としてデジタルビデオカメラを採用する場合、各視域の撮影画像から観者が写っている矩形領域を抽出し、当該矩形領域の重複面積の総和に基づいて混雑度を導出してもよい。また、センシングデバイス４０としてサーモセンサを採用し、各視域の放射温度に基づいて混雑度を導出してもよい。また、視域の床面に人を検知するマットスイッチを設けたり、視域に設置された観客席の着座状況を検出するリレースイッチ（光学式もしくは接点方式）を設けたりして、検知された観者の数に基づいて混雑度を導出してもよい。また、一定時間内の動画像の差分領域による動的な混雑を導出してもよい。なお、本実施形態は、混雑度の定義およびその導出方法を限定するものではない。
【００５２】
続くステップ２０２では、視域変更部１０８が、混雑度取得部１０７が取得した各視域の混雑度を所定の閾値と比較し、閾値を超えた視域があるか否かを判断する。その結果、いずれの視域の混雑度も閾値を超えていない場合は（ステップ２０２、Ｎｏ）、そのまま処理を終了する。一方、いずれの視域の混雑度が閾値を超えていた場合は（ステップ２０２、Ｙｅｓ）、処理はステップ２０３に進む。
【００５３】
ステップ２０３では、視域変更部１０８が、Ｎ個の各視域の混雑度を勘案して、混雑度が閾値を超えた視域が適切な大きさに拡大されるように、Ｎ個の各コンテンツの視域を再設定する。例えば、図７に示すケースにおいて、「視域２」の混雑度が閾値を超えていると判断した場合、視域変更部１０８は、混雑度が閾値を超えていない４つの視域１、３、４、５の混雑度を含め、全ての視域の混雑度を総合的に勘案して、コンテンツ「Ｂ」に割り当てられている「視域２」の大きさが適切な大きさに拡大するように、記憶領域１１３に保持される各コンテンツの視域設定情報について、その設定値（視域の大きさ）を再設定する。
【００５４】
５つのコンテンツＡ〜Ｅに割り当てられた視域の設定値が変更されると、５つのコンテンツＡ〜Ｅのそれぞれが、変更後の視域１〜５において視認されるような多重化画像が生成され、マルチビュー表示装置２０に表示される。その結果、図８に示すように、混雑度が小さかった「視域３」および「視域４」の大きさが縮小される一方で、混雑度が閾値を超えていた「視域２」の大きさが拡大される。つまり、本実施形態によれば、観者の注目度に応じてコンテンツの視域の大きさが動的に変更されるので、観者の注目を集めているコンテンツがより多くの観者に視認可能な状態で提示されるようになる。
【００５５】
以上、コンテンツの視域を動的に変更する機構について説明してきたが、続いて、コンテンツの視認性を向上させるための３つの処理（「クロストーク防止処理」、「輝度補正処理」、「射影変換処理」）を順を追って説明する。
【００５６】
まず、クロストーク防止部１０９が実行する「クロストーク防止処理」を説明する。
【００５７】
図９（ａ）に示すように、３つのコンテンツ「Ａ」、「Ｂ」、「Ｃ」のそれぞれに対して「視域１」、「視域２」、「視域３」が割り当てられている場合、斜線を引いた領域では、近隣チャネルの画像が同時に視認される、いわゆるクロストークが生じることによってコンテンツの視認性が低下する。この点につき、本実施形態の情報処理装置１００は、“クロストーク防止モード”を提供し、ユーザがこれを選択した場合に、クロストーク防止部１０９が先のステップ１０４で以下の処理を実行する。
【００５８】
図９（ａ）に示すケースにおいて、“クロストーク防止モード”が選択された場合、クロストーク防止部１０９は、新たに、５つの視域１〜５を定義し直した上で、３つのコンテンツ「Ａ」、「Ｂ」、「Ｃ」のそれぞれに対して「視域１」、「視域３」、「視域５」を割り当てる一方で、「視域１」と「視域３」の挟まれる「視域２」、および、「視域３」と「視域５」の挟まれる「視域４」のそれぞれに黒画像を新たに割り当て、その内容を記憶領域１１３に保持される視域設定情報に反映させる。
【００５９】
３つのコンテンツＡ〜Ｃと黒画像に係る設定値が変更されると、３つのコンテンツＡ〜Ｃと２つの黒画像のそれぞれが、視域１〜５において視認されるような多重化画像が生成され、マルチビュー表示装置２０に表示される。その結果、図９（ｂ）に示すように、「視域１」と「視域３」が重なる領域（すなわち、コンテンツ「Ａ」とコンテンツ「Ｂ」の境界）、ならびに、「視域３」と「視域５」が重なる領域（すなわち、コンテンツ「Ｂ」とコンテンツ「Ｃ」の境界）に黒帯画像が表示されるようになる。この場合、黒帯画像が隣接するチャネル間のバーチャルなフレームとして機能し、隣接チャネルの画像が同時に視認されることが防止される。
【００６０】
次に、輝度補正部１１０が実行する「輝度補正処理」を説明する。
【００６１】
本実施形態では、例えば、図３に示す「視域１」や「視域５」のように、表示画面の法線方向から大きくずれた方向に位置する視域がコンテンツに割り当てられる場合がある。この場合、放射輝度は、光の放射方向と表示画面の法線方向のなす角度が大きくなるほど小さくなるため、表示画面の法線方向から大きくずれた視域から表示画面を見ると、表示画面の左右の放射輝度の差が大きくなる。
【００６２】
このことを図３を例にとって説明すると、図１０（ａ）に示すコンテンツ（元の画像）を、そのままマルチビュー表示装置２０に表示させた場合、「視域１」から見た元の画像は、図１０（ｂ）に示すように、紙面右側の領域Ｒが紙面左側の領域Ｌよりも暗く見えるため、画像に色ずれ（明るさや色の違い）が生じ、視認性が低下する。そして、この傾向は表示画面が大型化するほど顕著になる。
【００６３】
この点につき、輝度補正部１１０は、表示画面の法線方向から大きくずれた方向に位置する視域を割り当てるコンテンツ（元の画像）に対して、当該視域から見た画像のコントラストが均一に感じられるように、元の画像の輝度値を補正する。具体的には、図１０（ｃ）に示すように、元の画像に対して、紙面右側から紙面左側にかけて輝度が徐々に小さくなるような補正（すなわち、水平方向に輝度勾配を付与する補正）を施す。なお、発光素子の放射輝度が角度に依存することから、補正値は逆算によって求めることができる。
【００６４】
図１０（ｄ）は、補正後の画像（補正画像）を「視域１」から見た図を示す。この場合、補正画像は、一様にコントラストが低くなるものの、画面の水平方向において放射輝度の大きさが揃うため、コントラストが均一に感じられるようになり、画像の粒状性、ユニフォミティ、色再現性が向上する。
【００６５】
なお、表示画面の法線方向から極端にずれているために、上述した輝度補正によっても画質が十分に改善されない視域には、黒帯画像を表示させたり、「右（または左）に移動してください」等のメッセージを表示させたり、ユニフォミティ異常を感知されにくい白黒画像を表示させたりするようにしてもよい。
【００６６】
次に、射影変換部１１２が実行する「射影変換処理」を説明する。
【００６７】
コンテンツに割り当てられた視域が表示画面の法線方向からずれると、その分、当該視域で視認される画像に歪みが生じる。このことを図３を例にとって説明すると、図１１（ａ）に示すコンテンツ（元の画像）を、そのままマルチビュー表示装置２０に表示させた場合、「視域１」から見た元の画像は、図１１（ｂ）に示すように、大きく歪んで見えるため、視認性が低下し、例えば、文字を伴うコンテンツの場合には、文字の可読性が低下するといった問題が生じる。
【００６８】
この点につき、射影変換部１１２は、各コンテンツに割り当てた視域において、当該コンテンツ（元の画像）が元の矩形形状を維持した状態で視認されるように、当該元の画像に対して射影変換を施す。このことを図３を例にとって説明すると、事前に、視域１〜５のそれぞれの代表視点位置からマルチビュー表示装置２０の表示画面上の任意の４点（例えば、表示画面の四隅）を撮影した画像に基づいて各視域に係る射影変換行列を計算により求めておく。そして、射影変換部１１２は、各コンテンツの元の画像がそれぞれの視域において矩形に見えるように、当該元の画像に対して、その画像に割り当てた視域に係る射影変換行列を用いて射影変換を施す。なお、射影変換に伴って欠損する画素領域は、これを黒領域としたり、フォーカスブラーを施したりしてもよい。
【００６９】
図１１（ｃ）は、図１１（ａ）に示す元の画像に対して射影変換を施した後の画像（射影変換画像）を示し、図１１（ｄ）は、当該射影変換画像を「視域１」から見た図を示す。この場合、図１１（ｄ）に示すように、視域１に位置する観者には、若干、サイズが小さくなることを除いて、表示画面に正対した場合に見える画像と同等の画像（矩形を維持した画像）が見えることになる。このことは、他の視域２〜５の観者においても同様であり、これにより、全視域の観者に、あたかも表示画面に正対しているような感覚でコンテンツを観賞させることができる。
【００７０】
以上、コンテンツの視認性を向上させるための３つの処理（「クロストーク防止処理」、「輝度補正処理」、「射影変換処理」）について説明してきたが、続いて、オーバーレイ処理部１０４が実行する「オーバーレイ処理」について説明する。
【００７１】
本システムの利用シーンによっては、各視域の観者のそれぞれに対して別々の情報を提示することに並行して、全視域の観者に同じ情報を提示することが求められるケースがある。例えば、それは、スポーツ試合の多視点映像を各視域の観者に向けて提示することに並行して、スポンサー広告を全視域の観者に向けて提示するようなケースである。
【００７２】
この点につき、オーバーレイ処理部１０４は、先のステップ１０１で読み出したＮ個のコンテンツの各レイヤーに対して、全視域の観者に向けて同時的に提示したいコンテンツ（以下、共通情報という）の情報レイヤーをオーバーレイ表示する。具体的には、Ｎ個の各画像において、画像上の同じ位置に共通情報が表示されるように、各画像のレイヤーの上に共通情報の情報レイヤをオーバーレイ表示する。
【００７３】
その結果、共通情報がオーバレイされたＮ個の画像に基づいて多重化画像が生成され、マルチビュー表示装置２０に表示される。なお、共通情報が音声を伴う場合、全視域の方向を音声の出力に設定する。これにより、Ｎ個の各画像をＮ個の各視域の観者に別々に視認させると同時に、共通情報を全視域の観者に視認させることが可能になる。この場合、図１２（ａ）〜（ｂ）に例示するように、共通情報を表示させる領域（共通情報表示領域）の位置を任意に選択することができることはいうまでもない。
【００７４】
なお、Ｎ個のコンテンツの各レイヤーに対して、同一内容の情報を同じ位置にオーバーレイ表示することに加えて、異なる内容の情報を任意の位置にオーバーレイ表示してもよいことはいうまでもない。この場合、例えば、各コンテンツに対して、他の視域で視聴可能なコンテンツの情報（例えば、「左側では○○を上映しています」、「右側では××を上映しています」といった案内情報）をオーバーレイ表示することは、ユーザビリティの観点から有効である。
【００７５】
以上、説明したように、本実施形態によれば、観者の状態に応じて、コンテンツの視域を動的に変更することができるので、インタラクティブな情報提示が可能となる。さらに、本実施形態によれば、視域の位置に応じた補正を画像に施すので、全方位においてコンテンツの視認性が担保される。
【００７６】
本実施形態の情報提示システム１０００は、“パブリックビューイング”や“デジタルサイネージ”といったパブリックビューイングの用途をはじめとして、大型のディスプレイを用いた様々な情報提示の用途に広く適用することができる。なお、本システムは、提示するコンテンツの内容を限定するものではなく、また、Ｎ個の視域に提示されるＮ個のコンテンツは、その一部または全部が同じ内容を有していてもよいし、３Ｄコンテンツであってもよい。
【００７７】
以上、本実施形態の情報提示システム１０００について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、例えば、以下のような設計変更が可能である。
【００７８】
マルチビュー表示装置に関して言えば、上述したレンチキュラーレンズを９０度回転させてディスプレイに付加すれば、垂直方向に複数の視域を定義することが可能になる。また、マルチビュー表示装置として、光線空間再生方式ディスプレイ（Light Field Display：LFD）を採用することによって、水平・垂直方向に複数の視域を定義することが可能になる。なお、光線空間再生方式としては、フラットパネルディスプレイにフライアイレンズ（またはピンホールアレイ）を付加する“インテグラルフォトグラフィ方式”や、フラットパネルディスプレイに直交する２枚のレンチキュラーレンズを付加する“直交レンチキュラー方式（インテグラルフォトグラフィ方式の変形）”を例示することができる。さらに、マルチビュー表示装置は、パララックスバリア方式、あるいは、インテグラルフォトグラフィ方式に代表される光線空間再生方式ディスプレイなどの裸眼３Ｄディスプレイであってもよい。また、発光素子のピクセル毎に光を複数方向に振り分ける光学系を付加した専用の表示装置を作製してもよい。なお、上述したフラクショナルビュー方式をインテグラルフォトグラフィに適用できるように拡張した拡張フラクショナルビュー方式については、“Kazuhisa Yanaka：Integral photography using hexagonal fly's eye lens and fractional view，Proc. SPIE 6803, Stereoscopic Displays and Applications XIX, 68031K, 8 pages (29 February 2008)．”に詳細が開示される。
【００７９】
また、視域の動的変更に関して言えば、上述した混雑度に応じて視域を動的に拡大・縮小させることに加えて、例えば、所定の属性（年齢、性別、服装など）を有する観者をターゲットにするコンテンツの視域を、当該観者の移動に追従する形で動的に変更させてもよい。
【００８０】
さらに、視域の動的変更に関して言えば、上述した混雑度に応じて視域を動的に拡大・縮小させることに加えて、例えば、所定の属性（年齢、性別、服装など）を有する観者をターゲットにするコンテンツの視域を、当該観者の移動に追従する形で動的に変更させてもよい。
【００８１】
最後、図１３に基づいて本実施形態の情報処理装置１００のハードウェア構成を説明する。
【００８２】
図１３に示すように、情報処理装置１００は、少なくとも、装置全体の動作を制御するプロセッサ１０と、ブートプログラムやファームウェアプログラムなどを保存するＲＯＭ１１と、プログラムを実行するための実行空間を提供するＲＡＭ１２と、レンダリングなどの画像処理を実行する画像処理エンジン１３と、上述する機能を実現するプログラムや各種データ等を記憶する補助記憶装置１４と、上述したセンシングデバイス４０と通信するためのデバイス・インターフェース１５と、上述した指向性スピーカーアレイ３０に音声出力信号を伝送するための音声出力インターフェース１６と、上述したマルチビュー表示装置２０に画像出力信号を伝送するための画像出力インターフェース１７と、コンテンツを記憶する外部記憶装置などの外部装置と通信するための外部装置インターフェース１８と、インターネットなどのネットワークに接続するためのネットワーク・インターフェース１９とを備えている。
【００８３】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００８４】
なお、上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【符号の説明】
【００８５】
１０…プロセッサ、１１…ＲＯＭ、１２…ＲＡＭ、１３…画像処理エンジン、１４…補助記憶装置、１５…デバイス・インターフェース、１６…音声出力インターフェース、１７…画像出力インターフェース、１８…外部装置インターフェース、１９…ネットワーク・インターフェース、２０…マルチビュー表示装置、２２…ディスプレイ
２４…レンチキュラーレンズ、３０…指向性スピーカーアレイ、４０…センシングデバイス、１００…情報処理装置、１０２…コンテンツ入力部、１０３…画像多重化部
１０４…オーバーレイ処理部、１０５…音声出力方向設定部、１０６…コンテンツ出力部、１０７…混雑度取得部、１０８…視域変更部、１０９…クロストーク防止部
１１０…輝度補正部、１１２…射影変換部、１１３…記憶領域、１０００…情報提示システム
【図１】
2017138468.tif 000003
【図２】
2017138468.tif 000004
【図３】
2017138468.tif 000005
【図４】
2017138468.tif 000006
【図５】
2017138468.tif 000007
【図６】
2017138468.tif 000008
【図７】
2017138468.tif 000009
【図８】
2017138468.tif 000010
【図９】
2017138468.tif 000011
【図１０】
2017138468.tif 000012
【図１１】
2017138468.tif 000013
【図１２】
2017138468.tif 000014
【図１３】
2017138468.tif 000015