(57)【要約】【課題】映像中の特定の被写体へのユーザの感情移入を容易にしたり、映像コンテンツの内容の理解を促進させる。【解決手段】本発明は、複数の表示部に映像及び／又は音声を出力する信号処理装置１において、ユーザからの操作入力を受け付ける操作部１３と、ユーザに提供可能な効果とユーザの視聴位置との対応及び、映像中の被写体と被写体の映像を提示する表示部との対応を記述したテーブルを記憶した記憶部１０と、操作部１３を介して選択された効果により特定されるテーブルに基づいて、被写体の映像及び／又は音声を、被写体と対応づけられた表示部に出力する制御部１２とを備えた。そして、特定の被写体への感情移入が効果として選択された場合には、複数の表示部Ｄのうちユーザの視界に入らない位置に設置された表示部Ｄに、特定の被写体の映像及び／又は音声を出力するようにした。【選択図】図２
2009060286.tif 000002
【特許請求の範囲】
【請求項１】
複数の表示部に映像及び／又は音声を出力する信号処理装置において、
ユーザの視聴位置及び、前記映像中の被写体と前記被写体の映像を提示する前記表示部との対応を記述したテーブルを記憶した記憶部と、
前記テーブルに記載の内容に基づいて、前記ユーザが感情移入をする特定の被写体以外の被写体の映像及び／又は音声を、前記複数の表示部のうち前記ユーザの視界に位置する前記表示部に出力する制御部とを備えることを特徴とする
信号処理装置。
【請求項２】
請求項１記載の信号処理装置において、
前記制御部は、前記複数の表示部のうち前記ユーザの視界に入らない位置に設置された表示部に、前記特定の被写体の映像及び／又は音声を出力することを特徴とする
信号処理装置。
【請求項３】
請求項２記載の信号処理装置において、
ユーザからの操作入力を受け付ける操作部をさらに備え、
前記記憶部は、前記ユーザに提供可能な効果と前記ユーザの視聴位置との対応及び、前記映像中の被写体と前記被写体の映像を提示する前記表示部との対応を記述したテーブルを記憶し、
前記制御部は、前記操作部を介して選択された効果が、前記特定の被写体への感情移入である場合に、前記ユーザが感情移入をする特定の被写体以外の被写体の映像及び／又は音声を、前記複数の表示部のうち前記ユーザの視界に位置する前記表示部に出力することを特徴とする
信号処理装置。
【請求項４】
請求項３記載の信号処理装置において、
前記テーブルは、前記ユーザに提供可能な効果と前記表示部の配置パターンと前記ユーザの視聴位置とを対応づけた第１のテーブルと、前記表示部の配置パターンと前記映像中の被写体と前記被写体の映像を提示する前記表示部との対応を記載した第２のテーブルとで構成されることを特徴とする
信号処理装置。
【請求項５】
請求項４記載の信号処理装置において、
前記制御部は、前記操作部を介して選択された効果に基づいて、前記第１のテーブル中で特定された視聴位置に前記ユーザを誘導するための映像及び／又は音声を、前記表示部のいずれかに出力する制御を行うことを特徴とする
信号処理装置。
【請求項６】
請求項４記載の信号処理装置において、
前記複数の表示部のいずれかのうちの少なくとも１つが、前記第２のテーブルを生成するためのユーザインタフェースを備えたことを特徴とする
信号処理装置。
【請求項７】
請求項６記載の信号処理装置において、
前記ユーザインタフェースでは、前記被写体の映像と音声とをそれぞれ個別に前記複数の表示部のいずれかと対応させることを特徴とする
信号処理装置。
【請求項８】
請求項４記載の信号処理装置において、
前記制御部は、前記操作部を介して選択された効果に基づいて、前記第１のテーブル中で特定された前記表示部の配置パターン通りに、前記複数の表示部を配置させるためのガイド映像及び／又はガイド音声を、前記複数の表示部に出力する制御を行うことを特徴とする
信号処理装置。
【請求項９】
請求項４記載の信号処理装置において、
前記複数の表示部を搭載する治具であり、前記制御部の制御に基づいて点灯又は消灯する点灯部を備えた治具を備え、
前記制御部は、前記操作部を介して選択された効果に基づいて、前記第１のテーブル中で特定された視聴位置に備えられた前記治具又は、前記操作部を介して選択された効果に基づいて、前記第１のテーブル中で特定された前記表示部の配置パターンの各位置に備えられた前記治具の前記点灯部を点灯させる制御を行うことを特徴とする
信号処理装置。
【請求項１０】
請求項１記載の信号処理装置において、
前記映像を解析して前記映像中の被写体を特定する被写体解析部と、
前記音声を解析して前記映像中の発話者を解析する発話者解析部と、
前記被写体解析部での解析結果又は前記発話者解析部の解析結果に基づいて前記映像及び／又は音声を出力する先の前記表示部を切り替える切り替え部とを備えたことを特徴とする
信号処理装置。
【請求項１１】
請求項１記載の信号処理装置において、
前記複数の表示部をさらに備えることを特徴とする
信号処理装置。
【請求項１２】
複数の表示部に映像及び／又は音声を出力する信号処理方法において、
ユーザの視聴位置及び、前記映像中の被写体と前記被写体の映像を提示する前記表示部との対応を記述したテーブルを記憶する手順と、
前記テーブルに記載の内容に基づいて、前記ユーザが感情移入をする特定の被写体以外の被写体の映像及び／又は音声を、前記複数の表示部のうち前記ユーザの視界に位置する前記表示部に出力する手順とを備えたことを特徴とする
信号処理方法。
【請求項１３】
複数の表示部に映像及び／又は音声を出力する信号処理方法をコンピュータに実行させるためのプログラムにおいて、
ユーザの視聴位置及び、前記映像中の被写体と前記被写体の映像を提示する前記表示部との対応を記述したテーブルを記憶する手順と、
前記テーブルに記載の内容に基づいて、前記ユーザが感情移入をする特定の被写体以外の被写体の映像及び／又は音声を、前記複数の表示部のうち前記ユーザの視界に位置する前記表示部に出力する手順とを実行させるための
プログラム。
【請求項１４】
複数の表示部に映像及び／又は音声を出力する信号処理方法をコンピュータに実行させるためのプログラムを記録した記録媒体において、
ユーザの視聴位置及び、前記映像中の被写体と前記被写体の映像を提示する前記表示部との対応を記述したテーブルを記憶する手順と、
前記テーブルに記載の内容に基づいて、前記ユーザが感情移入をする特定の被写体以外の被写体の映像及び／又は音声を、前記複数の表示部のうち前記ユーザの視界に位置する前記表示部に出力する手順とを実行させるためのプログラムを記録した
記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の位置に配置された複数の表示部に対して、被写体ごとに出力先を変えて映像及び音声を出力するのに好適な信号処理装置、信号処理方法、プログラム並びにプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
近年、映像で表現される世界を視聴者により深く理解させるための、様々な手法が考案されている。例えば、映像の高解像度化や高視野角化、３次元化などがあり、これらの手法を用いることで、ユーザに高い臨場感や没入感を得させることができる。
【０００３】
例えば特許文献１には、ユーザを取り囲むような形式で表現された映像データを、ユーザの周囲に配された複数の表示装置に分割して表示する手法について開示してある。
【特許文献１】特開２００６−２９４０３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このような手法を用いることで、ユーザに対して様々な角度から映像が提供されるようになるため、より高い臨場感をユーザに味わわせることができるようになる。ところが、特許文献１に記載の手法や、従来技術として述べた手法では、映像中の特定の被写体へのユーザの感情移入を容易にしたり、映像コンテンツの内容の理解を促進させる効果を、ユーザにもたらすことができないという問題があった。
【０００５】
本発明はかかる点に鑑みてなされたものであり、映像中の特定の被写体へのユーザの感情移入を容易にしたり、映像コンテンツの内容の理解を促進させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、複数の表示部に映像及び／又は音声を出力する信号処理装置において、ユーザからの操作入力を受け付ける操作部と、ユーザに提供可能な効果とユーザの視聴位置との対応及び、映像中の被写体と被写体の映像を提示する表示部との対応を記述したテーブルを記憶した記憶部と、操作部を介して選択された効果により特定される、テーブルに記載の内容に基づいて、被写体の映像及び／又は音声を、テーブル内で被写体と対応づけられた表示部に出力する制御部とを備えた。そして、特定の被写体への感情移入が効果として選択された場合には、制御部がテーブルに記載の内容に基づいて、複数の表示部のうちユーザの視界に入らない位置に設置された表示部に、特定の被写体の映像及び／又は音声を出力するようにしたものである。
【０００７】
このようにしたことで、ユーザが得たい効果として、特定の被写体への感情移入が選択された場合には、ユーザの視界に入らない位置に配置された表示部上で、特定した被写体の映像及び／又は音声が提示されるようになる。
【発明の効果】
【０００８】
本発明によると、ユーザが得たい効果として、特定の被写体への感情移入が選択された場合には、ユーザの視界に入らない位置に配置された表示部上で、特定した被写体の映像及び／又は音声が提示されるようになるため、ユーザが特定の被写体になりきってコンテンツを視聴することができるようになる。よって、コンテンツを理解することも容易となる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施の形態を、添付図面を参照して説明する。図１は、本実施の形態の例による信号処理装置を使用したシステムの構成例を示した概略図である。図１においては、信号処理装置を構成する複数の表示部が、ユーザを囲む円周上の各位置に配置された様子を示してある。図１では、映像とともに音声も提示可能な表示部を用いた場合を例に挙げるが、表示部とは別に、音声を放音させるためのスピーカを別途設けた構成に適用してもよい。
【００１０】
図１において、一番奥側に表示部Ｄ１を配置してあり、表示部Ｄ１と対面する位置には表示部Ｄ３を配置してある。また、表示部Ｄ１と９０°をなす角度で左側に隣接する位置には表示部Ｄ２を配置してあり、表示部Ｄ２と対面する位置には表示部Ｄ４を配置してある。表示部Ｄ１〜Ｄ４は、図示せぬ再生処理部とネットワークを介して接続してあり、再生処理部で再生された映像コンテンツが表示されるようにしてある。
【００１１】
図１に示した状態では、表示部Ｄ１上に被写体Ｏｂ１の映像が表示されており、被写体Ｏｂ１の発する音声Ｖｏ１が、同じく表示部Ｄ１から放音されている様子が示されている。表示部Ｄ１〜Ｄ４上に表示させる映像は、コンテンツ内の被写体によって決定するようにしてある。つまり、コンテンツ内で被写体Ｏｂ１が登場する場面では被写体Ｏｂ１の映像を表示部Ｄ１に表示し、被写体Ｏｂ２が登場する場面では被写体Ｏｂ２の映像を表示部Ｄ２に表示するといった制御が行われる。表示部Ｄ１〜Ｄ４上で放音させる音声に関しても映像と同様に、映像コンテンツ内の発話者によって決定するようにしてある。そして、ユーザＵを表示部Ｄ１の前側に配置された椅子Ｃｈに腰掛けさせて、コンテンツを視聴させる形態としてある。なお、図１ではユーザＵが一人でコンテンツを視聴する形態としてあるが、複数のユーザＵをそれぞれ異なる位置に位置させ、コンテンツを視聴させるようにしてもよい。
【００１２】
本例では、各表示部Ｄへの映像又は音声の振り分けを、スイッチャを用いて行うようにしてあり、スイッチャを含めたシステム構成の例については、次の図２を参照して説明する。図２は、図１に示したシステムの内部構成例を示した概略図である。図２においても、ユーザＵを囲む円周上の各位置に表示部Ｄ１〜Ｄ４を配置してあり、再生処理部１１で再生されたコンテンツが、映像用スイッチャＳｗ１と音声用スイッチャＳｗ２によって出力先を切り替えられて、Ｄ１〜Ｄ４に伝送される様子を示してある。再生処理部１１と映像用スイッチャＳｗ１、音声用スイッチャＳｗ２、表示部Ｄ１〜Ｄ４とはネットワーク２０を介して接続してある。図２では、ネットワーク２０として有線のネットワークを使用した例を示しているが、無線のネットワークを用いるようにしてもよい。コンテンツ内のどの被写体をどの表示部Ｄに割り当てるかについては、ユーザＵからの操作入力等に基づいて予め決定されているものであり、被写体と表示部Ｄとの関連付けの詳細については後述する。
【００１３】
図２に示したシステムにおいて、例えばコンテンツ内の被写体Ｏｂ１の映像及び音声は表示部Ｄ１に、被写体Ｏｂ２の映像及び音声は表示部Ｄ２に、被写体Ｏｂ３の映像及び音声は表示部Ｄ３に、被写体Ｏｂ４の映像及び音声は表示部Ｄ４に出力されるように、予め設定してあるものとする。この場合、再生処理部１１で再生されたコンテンツの映像が被写体Ｏｂ１の映像であり、音声もまた被写体Ｏｂ１の音声Ｖｏ１であるという場面では、映像用スイッチャＳｗ１及び音声用スイッチャＳｗ２の接続先が表示部Ｄ１となり、被写体Ｏｂ１の映像が表示部Ｄ１に出力されるとともに、被写体Ｏｂ１の音声Ｖｏ１も表示部Ｄ１に出力されるようになる。
【００１４】
また、再生処理部１１で再生されたコンテンツの映像は被写体Ｏｂ１の映像であるが、音声は被写体Ｏｂ３の音声であるといった場面においては、映像用スイッチャＳｗ１の接続先は表示部Ｄ１となるが、音声用スイッチャＳｗ２の接続先は表示部Ｄ３となる。このため、被写体Ｏｂ１の映像は表示部Ｄ１上で表示されるが、音声は被写体Ｏｂ３のものであるため、表示部Ｄ３から放音されるようになる。
【００１５】
図３は、コンテンツ内での被写体の登場場面毎に、その映像が出力される先の表示部Ｄが切り替わる様子を示した図である。図３では、映像を再生する時系列において、被写体Ｏｂ１、Ｏｂ２、Ｏｂ３、Ｏｂ１、Ｏｂ４、Ｏｂ２が順に登場するコンテンツを例に挙げてある。コンテンツにおいて被写体Ｏｂ１が登場する場面では、被写体Ｏｂ１の映像が表示部Ｄ１上に表示され、他の表示部Ｄ２〜Ｄ４では黒画面を表示させている様子を示してある。また、被写体Ｏｂ２が登場する場面では、被写体Ｏｂの映像が表示部Ｄ２上に表示され、表示部Ｄ１、Ｄ３、Ｄ４には黒画面が表示されている。図３においては映像の切り替えについての例を示してあるが、音声も同様に振り分けられる。
【００１６】
このように、コンテンツ内の映像及び音声が各表示部Ｄに振り分けられる環境で、ユーザＵが図１又は図２に示したように、表示部Ｄ１の前側に位置してコンテンツを視聴する場合には、背面に配置された表示部Ｄ１上に表示されている被写体Ｏｂ１を見ることはできないが、被写体Ｏｂ１の発する音声は視聴することができる。また、被写体Ｏｂ１以外の被写体の映像及び音声は、表示部Ｄ２〜Ｄ４を通して得ることができる。
【００１７】
人は、感情移入したい（成り切りたい）対象が目に入るとその対象に感情移入がしにくくなり、また自分の近くに提示された対象に対しては親近感を覚えるといった特性を持つため、このような視聴形態においては、ユーザＵは被写体Ｏｂ１になりきって（感情移入して）コンテンツを視聴することができるようになる。また、ユーザＵから比較的離れた位置に設置された表示部Ｄで提示される被写体には、感情移入がしにくくなるため、感情移入したい被写体と対立する関係にある被写体などを、ユーザＵから離れた位置にある表示部Ｄ３等に表示するようにすれば、ユーザＵが感情移入したい対象への感情移入の度合いをより強くすることも可能となる。
【００１８】
つまり、ユーザＵと被写体との距離感によって情報を表現することが可能であり、表示部Ｄの配置パターンとユーザＵの視聴位置との関係は、ユーザＵが取得する情報やユーザＵが感じる印象を決定する重要な要素となるといえる。本例では、図４に示したように、ユーザに提供可能な「効果」と「表示部配置パターン」と「ユーザの視聴位置」とを対応づけた配置パターンテーブル（第１のテーブル）を予めデータとして備えておき、ユーザＵに自分が得たい「効果」を選択させることで、その効果を引き出す最適な表示部の配置パターンとユーザの視聴位置の情報とが求められる構成としてある。「効果」を選択させるユーザインタフェース（以下、ＵＩと称する）は、表示部Ｄのいずれか上に表示させるようにしてもよく、操作部１３に表示部を設け、その表示部上に表示させるようにしてもよい。
【００１９】
配置パターンテーブルにおいては、「感情移入」を効果として求める場合には、表示部配置パターンは「円周上」とし、「ユーザの視聴位置」は「感情移入対象の前」すればよいことが示されている。また、効果として「人物相関理解（２派）」を得たい場合には、「表示部配置パターン」は「平行線上」とし、「ユーザの視聴位置」は「自由」でよいことが示されている。「人物相関理解（２派）」とは、立場や意見の異なる２つの被写体間の関係を理解することを目的としたものである。２つの異なる平行線上に２つの複数台の表示部Ｄをそれぞれ配置し、異なるライン間で関係の異なる被写体を提示することで、被写体間の関係の理解を深めることができる。なお、この配置パターンテーブルに記載の内容に基づいて表示部Ｄを所定の位置に配置させる処理の詳細については、後述する。
【００２０】
また、コンテンツ内のどの被写体をどの表示部Ｄに割り当てるかについても、ユーザＵからの操作入力に基づいて作成されたテーブルによって決定される。図５には、コンテンツの提示方法及び、コンテンツ内の被写体と表示装置Ｄとの関係が記載されたテーブルの例を示してある。以下の説明においては、このテーブルを提示方法設定テーブル（第２のテーブル）と称する。提示方法設定テーブルは、ヘッダ部分とデータ部分とで構成され、ヘッダ部分には、使用する表示部Ｄの台数と、表示部Ｄの配置パターンとが記載されている。
【００２１】
表示部Ｄの台数は、ユーザＵからの値の入力を受けて決定される。表示部Ｄの配置パターンは、前述した配置パターンテーブル上に記載の「効果」をユーザＵに選択させることにより、「効果」に対応して設定されている「表示部配置パターン」が抽出されることにより決定する。この提示方法設定テーブルは、ユーザが得たい効果や表示部配置パターンの数に応じて、複数用意されるものとする。なお、図５に示した提示方法設定テーブルに「効果」の項目を追加するようにしてもよい。
【００２２】
提示方法設定テーブルのデータ部分には、映像中の各フレームにおける映像と音声と、映像提示用表示部と音声提示用表示部との対応を示してある。実際には、表示部Ｄは映像も音声も同時に提示可能な１つの表示部として構成してあるが、１つの場面（フレーム）において、映像としての被写体と音声としての被写体とが一致しない場合が想定されるため、提示方法設定テーブル上では、映像提示用表示部と音声提示用表示部とを分けるようにしてある。図５の提示方法設定テーブルにおいて、例えばフレーム番号１のフレームにおいては、被写体Ｏｂ１の画像を映像提示用表示部Ｄ１に出力し、被写体Ｏｂ３の音声であるＶｏ３を、音声提示用表示部Ｄ２に出力するよう設定がされている。
【００２３】
また、フレーム番号５番目のフレームにおいては、被写体Ｏｂ３の画像を映像提示用表示部Ｄ３に出力し、被写体Ｏｂ３の音声であるＶｏ３を、音声提示用表示部Ｄ２に出力するように設定されている。つまり、この提示方法設定テーブルで設定された内容に基づいて、図１及び図２に示したスイッチャＳｗ１及びＳｗ２が切り替えられるようになる。提示方法設定テーブルの作成方法については後述する。
【００２４】
図６は、本例におけるシステム（信号処理装置）の内部構成例を、より詳細に示した図である。図６に示したシステムは、記憶部１０と、再生処理部１１と、制御部１２と、操作部１３と、映像用スイッチャＳｗ１と、音声用スイッチャＳｗ２と、表示部Ｄ１〜Ｄ４を備える。記憶部１０は、例えばＤＶＤ（Digital Versatile Disc）ドライブやＨＤＤ（Hard Disk Drive）で構成してあり、映像コンテンツを記憶させてある。また記憶部１０には、配置パターンテーブルや、提示方法設定テーブルも記憶させてある。なお、記憶部１０を外部記憶媒体として構成してもよい。
【００２５】
再生処理部１１は、制御部１２の制御に基づいて記憶部１０からコンテンツを読み出し、読み出した映像は映像用スイッチャＳｗ１に、音声は音声用スイッチャＳｗ２に出力する。スイッチャＳｗ１及びＳｗ２の接続先を切り替えるための制御信号は、上述した提示方法設定テーブルに記載の内容に基づいて制御部１２で生成され、スイッチャＳｗ１及びＳｗ２に入力される。つまり、再生処理部１１で再生された映像及び音声は、提示方法設定テーブルに記載された内容に基づいて、各表示部Ｄに配分されるようになる。
【００２６】
制御部１２は、例えばＭＰＵ（Micro Processing Unit）で構成され、信号処理装置１を構成する各部の制御を行う。操作部１３は、例えばリモートコントローラ等で構成してあり、ユーザから入力された指示に応じた指令信号を生成して制御部１２に出力する。映像用スイッチャＳｗ１及び音声用スイッチャＳｗ２と、表示部Ｄ１〜Ｄ４については、図１及び図２を参照して行った説明の中で既に述べてあるため、ここでは説明を省略する。
【００２７】
次に、ユーザＵから、コンテンツの視聴時に得たい効果の指定を受けてから、各表示部Ｄによってコンテンツが提示されるまでの処理例について、図７のフローチャートを参照して説明する。図７は処理の大まかな流れを示したものであり、各処理の詳細については、個別に他のフローチャートを参照しながら説明する。
【００２８】
図７において、信号処理装置１はまず、ユーザＵより操作部１３を介して「得たい効果」の選択を受け付けると（ステップＳ１）、選択された効果を基に、配置パターンテーブルを参照して、各表示部Ｄの配置パターンとユーザの視聴位置と、コンテンツの提示方法とを決定する（ステップＳ２）。つまり、ステップＳ１で選択された効果が例えば「感情移入」であった場合には、図４に示された配置パターンテーブルに記載の内容に基づいて、「表示部配置パターン」としては「円周上」が、「ユーザの視聴位置」としては「感情移入対象の前」が決定される。ステップＳ１において、効果として「感情移入」が選択された場合には、続いて感情移入したい対象を特定する操作も受け付けるようにしてある。また、「表示部配置パターン」が「円周上」と決定されたことで、どの提示方法設定テーブルを用いるかも決定される。つまり、「表示部配置パターン」が「円周上」である、例えば図５に示したような提示方法設定テーブルが選択されるようになる。
【００２９】
次に、実際に各表示部Ｄを「円周上」等の所定の位置に配置する作業を行い（ステップＳ３）、ユーザＵを視聴位置まで移動させる処理を行う（ステップＳ４）。図１及び図２に示した例で言えば、ユーザＵを表示部Ｄ１の前に位置させるようにする。ユーザＵを視聴位置まで誘導する手法としては、表示部Ｄに「視聴位置はここです」等の表示させる手法や、音声で案内する手法、もしくはランプ等を点灯させて案内する手法を用いるものとする。なお、「効果」として例えば「人物相関理解（２派）」が選択された場合には、ユーザの視聴位置は「自由」でよいため、ユーザの誘導を行う必要はなくなる。そして次のステップＳ５では、各表示部Ｄでのコンテンツの提示が行われる。上述した各ステップの処理の詳細について説明する前に、ここで、提示方法設定テーブルの作成方法について説明する。提示方法設定テーブルは、図８に示したようなＵＩを通して作成できるようにしてある。
【００３０】
図８のＵＩは、画面の左上に、コンテンツ内のｎ（ｎは自然数）フレーム目の画像を表示する画像表示部Ａｒを設けてあり、その右隣の位置に、画像表示部Ａｒに表示させるフレームを決定するためのストリーム制御ボタンＢｎ１を設けてある。ストリーム制御ボタンＢｎ１は、早送りや巻き戻し、一時停止等のボタンで構成してあり、これらのボタンが押下されることで、画像表示部Ａｒに表示されるフレームが時間方向に前後するようになる。
【００３１】
その右隣には、画像表示部Ａｒに表示されたフレームの出力先としての表示部Ｄを選択する、表示部指定ボタンＢｎ２を設けてある。Ｄ１、Ｄ２、Ｄ３、Ｄ４と記載された番号は、表示装置Ｄ１〜Ｄ４に対応しており、いずれかのボタンを押下することで、画像表示部Ａｒに表示されている画像が、押下された表示部Ｄに割り当てられる。割り当てられた結果は、画面の下方のタイムチャートＴｃ上で確認することができるようにしてある。タイムチャートＴｃの左端の番号は表示部Ｄ１〜Ｄ４に対応しており、画像表示部Ａｒに表示されているフレームがいずれかの表示部Ｄに割り当てられたタイミングで、画像表示部Ａｒに表示されている画像がアイコンＩｃとして、タイムチャートＴｃ中に示されるようになる。表示部指定ボタンＢｎ２の再下段のＥＮＤボタンは、処理を終了させるためのボタンである。
【００３２】
図８（ａ）は、１フレーム目の画像を表示装置Ｄ１に割り当てる処理を示した図である。画像表示部Ａｒに被写体Ｏｂ１が映ったフレームが表示されている状態で、表示部指定ボタンＢｎ２のうちのＤ１が押下されたことで、被写体Ｏｂ１の画像が表示部Ｄ１に割り当てられ、その結果、タイムチャートＴｃ上の表示部Ｄ１の欄に、被写体Ｏｂ１を示すアイコンＩｃ１が追加されている様子が示されている。
【００３３】
図８（ｂ）には、５フレーム目の画像を表示装置Ｄ３に割り当てる場合の処理例について示してある。画像表示部Ａｒに被写体Ｏｂ３が映ったフレームが表示されている状態で、表示部指定ボタンＢｎ２のうちのＤ３が押下されたことで、被写体Ｏｂ３の画像が表示部Ｄ３に割り当てられ、その結果、タイムチャートＴｃ上の表示部Ｄ３の欄に、被写体Ｏｂ３を示すアイコンＩｃ３が追加されている様子が示されている。
【００３４】
図８（ｃ）には、１３フレーム目の画像を表示装置Ｄ２に割り当てる場合の処理例について示してある。画像表示部Ａｒに被写体Ｏｂ２が映ったフレームが表示されている状態で、表示部指定ボタンＢｎ２のうちのＤ２が押下されたことで、被写体Ｏｂ２の画像が表示部Ｄ２に割り当てられ、その結果、タイムチャートＴｃ上の表示部Ｄ２の欄に、被写体Ｏｂ２を示すアイコンＩｃ２が追加されている様子が示されている。
【００３５】
図８に示したようなＵＩを用いて提示方法設定テーブルが作成される様子を、図９にフローチャートで示してある。まず、ユーザＵによる操作部１３への操作により、表示部配置パターンが決定すると（ステップＳ１１）、次にフレームの番号に対応する変数Ｎｆに１を代入する処理が行われる（ステップＳ１２）。変数Ｎｆの値は、信号処理装置１の制御部１２等に記憶させておくものとする。そして、表示部ＤにＮｆフレーム目の画像を表示する処理が行われる（ステップＳ１３）。この段階で、ストリーム制御ボタンＢｎ１の押下操作を受け付けたか否かの判断が行われ（ステップＳ１４）、押下が行われた場合には、押下されたボタンの種類や押下回数に応じて、Ｎｆの値を新たに設定し（ステップＳ１５）、ステップＳ１３に戻って処理が続けられる。
【００３６】
ステップＳ１４で、ストリーム制御ボタンＢｎ１の押下操作を受け付けていないと判断した場合には、次に表示部指定ボタンＢｎ２の押下操作を受け付けたか否かの判断を行う（ステップＳ１６）。表示部指定ボタンＢｎ２の押下操作を受け付けたと判断した場合には、タイムチャートＴｃの所定の位置に、画像表示部Ａｒに表示された被写体を示すアイコンを追加し（ステップＳ１７）、変数Ｎｆに１を追加したものを新たな変数Ｎｆとして設定する（ステップＳ１８）。ステップＳ１６で、表示部指定ボタンＢｎ２が押下されていないと判断した場合には、次にＥＮＤボタンを押下する操作を受け付けたか否かの判断が行われる（ステップＳ１９）。ＥＮＤボタンは押されていないと判断した場合には、ステップＳ１４に戻って処理が続けられる。
【００３７】
ＥＮＤボタンが押下されたと判断した場合には、タイムチャート上にアイコンが追加されている表示部Ｄの台数を算出し（ステップＳ２０）、算出した表示部Ｄの台数を提示方法設定テーブルに追加する（ステップＳ２１）。そして、ステップＳ１１で決定された表示部配置パターンを提示方法設定テーブルに追加し（ステップＳ２２）、タイムチャートをデータ化したものを提示方法設定テーブルに追加する処理を行う（ステップＳ２３）。
【００３８】
次に、図１０のフローチャートを参照して、図７のステップＳ３で説明した表示部Ｄの配置処理について説明する。図１０では、まず操作部１３を通して、ユーザから使用する表示部Ｄの台数の入力を受け付けると（ステップＳ３１）、次に配置パターンテーブルから表示部配置パターンを読み込む処理を行う（ステップＳ３２）。ここで、表示部Ｄが自律移動可能か否かの判断が行われる（ステップＳ３３）。自律移動可能な表示部Ｄとは、自走台車等で自ら移動が可能であり、センサ等から得た情報を基に自己の位置を算出可能な構成としてあるものを指す。このような場合、表示部Ｄには、目標設置位置の情報を予め個別に記憶させてあるものとする。このような表示部Ｄを使用している場合には、ステップＳ３３では“Ｙｅｓ”が選択され、ステップＳ３４に移動する。
【００３９】
ステップＳ３４では、表示部Ｄによる自律移動が行われ、表示部Ｄが所定の位置に移動すると、次に表示部の配置位置の確認が行われる（ステップＳ３５）。そして、表示部Ｄが目標の位置に到達しているか否かが判断される（ステップＳ３６）。目標の位置に到達していないと判断した場合には、ステップＳ３４に戻って処理が続けられる。目標の位置に到達したと判断した場合には、次にユーザを所定の視聴位置に誘導する必要があるか否かの判断を行う（ステップＳ３７）。「効果」として「感情移入」が選択された場合などには、ユーザの位置を所定の位置に誘導する必要があるため、ここでは“Ｙｅｓ”が選択されることになる。ユーザを所定の視聴位置に誘導する必要があると判断した場合には、表示部Ｄを通してユーザに視聴位置を通知する処理を行い（ステップＳ３８）、処理は終了となる。ステップＳ３７でユーザを所定の視聴位置に誘導する必要がないと判断した場合にも、処理は終了となる。
【００４０】
ステップＳ３３で、表示部Ｄは自律移動可能ではないと判断した場合には、ユーザ自身に表示部Ｄを移動させる処理を行う（ステップＳ３７）。そして、表示部Ｄが目標の位置まで到達した後は、ステップＳ３７に進む。ステップＳ３６での判断は、例えば位置情報取得機能を備えたカメラ等で表示部Ｄを撮影し、撮影して得たデータを基に判断するようにする。もしくは、ユーザＵが目視で確認するようにしてもよい。ユーザＵが目視して確認した結果を、操作部１３等を通して入力させるようにしてもよい。
【００４１】
ユーザ自身に表示部Ｄを移動させる場合には、表示部Ｄの画面上での表示等によって、ユーザＵに対して表示部Ｄの設置位置をガイドする処理を行う。例えば、図１１に示したように、表示部Ｄ１の画面上に、各表示部Ｄの配置図と、配置図内での表示部Ｄの番号等を「このモニタは１番です」のように表示させるようにし、このガイドに従って表示部Ｄを移動させるようにする。もしくは、図１２に示したように、表示部Ｄを設置するための表示部用設置治具Ｓｔを、表示部Ｄの設置予定位置に予め配置しておき、表示部用設置治具Ｓｔに設けたランプＬｍ（点灯部）を点灯させることで、ユーザＵに対して表示部Ｄの目標位置を示すようにする。この場合は、表示部Ｄに配置図を表示させる必要はなく、その表示部Ｄが配置図内の何番の表示部に該当するのかのみを表示させればよい。
【００４２】
図１３は、ユーザに表示部Ｄの配置を行わせる場合の処理例を示すフローチャートである。図１３では、まず、表示部の使用台数を示す変数Ｎｕに、表示部の使用台数を代入する処理が行われる（ステップＳ４１）。変数Ｎｕの値は、信号処理装置１の制御部１２等に記憶させておき、ネットワークを介して各表示部Ｄに伝送するようにしてもよく、各表示部Ｄが個別に記憶部を備えている場合には、その記憶部に記憶させておくようにしてもよい。そして、各表示部Ｄに対して、１〜Ｎｕの番号を割り振る処理が行われる（ステップＳ４２）。使用する表示部Ｄの台数が４台の場合には、各表示部Ｄに対して１〜４の番号が割り当てられることになる。
【００４３】
次に、表示部用設置治具Ｓｔを用いるか否かの判断が行われ（ステップＳ４３）、表示部用設置治具Ｓｔを使用しない場合には、各表示部Ｄで、ステップＳ４２で自身に割り振られた番号と、配置図とを画面上に表示する処理が行われる（ステップＳ４４）。そしてユーザＵは、その番号と配置図とを参照して表示部Ｄを配置図内の配置位置まで移動させ、設置する（ステップＳ４５）。この場合、表示部用設置治具Ｓｔに表示部Ｄが設置されたか否かを検知するセンサを設け、そのセンサからの信号によって、表示部Ｄの配置が完了したか否かを判断するようにしてもよい。
【００４４】
表示部用設置治具Ｓｔを使用する場合には、ステップＳ４３で“Ｙｅｓ”が選択され、ステップＳ４６に進む。ステップＳ４６では、配置パターンテーブルに記載された表示部配置パターンに基づいて、表示部Ｄの数と対応させて用意された表示部用設置治具Ｓｔのそれぞれに、１〜Ｎｕの番号を割り振る処理が行われる。１〜Ｎｕの番号の割り振りは、制御部１２等がネットワークを通して付与するようにしてもよく、各表示部用設置治具Ｓｔに記憶部を設けてある場合には、そこに記憶させるようにしてもよい。
【００４５】
そして、変数ｉに１が代入され（ステップＳ４８）、ループ１として示された処理（ステップＳ４９）が、ループ１の継続条件式（ｉ＜Ｎ）が満たされている間、繰り返して行われる。ｉ＜Ｎｕが満たされている間は、まずｉ番目の表示部用設置治具Ｓｔのランプを点灯させ（ステップＳ５０）、ユーザＵによって、ランプの点灯している表示部用設置治具Ｓｔの上に、表示部Ｄを設置する処理が行われる（ステップＳ５１）。設置が終了した段階で、変数ｉに１を加算したものを新たな変数ｉとする処理が行われ（ステップＳ５２）、ｉ＝Ｎｕとなった時点で（ステップＳ５３）、ループ１は終了となる。
【００４６】
そして次に、ユーザを視聴位置に誘導する必要性の有無が判断される（ステップＳ５４）。ユーザを視聴位置に誘導する必要性があると判断された場合には、視聴位置をユーザに通知する処理を行い（ステップＳ５５）、処理を終了する。ユーザを視聴位置に誘導する必要性はないと判断した場合にも、処理は終了となる。ここでのユーザへの視聴位置の通知は、表示部用設置治具を用いている場合には、治具に設けられたランプを点灯することで行ってもよい。
【００４７】
このような処理を行うことによって、ユーザＵが得たい効果から導き出された表示部配置パターンに基づく位置に、表示部Ｄが間違いなく配置されるようになる。
【００４８】
次に、図１４のフローチャートを用いて、図７のステップＳ５として説明した表示部での情報提示処理の例について説明する。図１４において、まず再生処理部１１が記憶部１０から再生データ（コンテンツ）を読み込む処理を行い（ステップＳ６１）、読み込んだデータを再生する処理を行う（ステップＳ６２）。そして、提示方法設定テーブルに記載された内容に基づいて映像用スイッチャＳｗ１と音声用スイッチャＳｗ２との接続先が切り替えられる（ステップＳ６３）。次に、再生すべきデータがまだあるか否かの判断が行われ（ステップＳ６４）、再生データが終了していないと判断された場合には、ステップＳ６３に戻って処理が続けられる。再生データが終了したと判断された場合には、処理は終了となる。
【００４９】
このような構成としたことにより、ユーザＵによって、得たい効果として「感情移入」が選択された場合には、ユーザＵの背面に配置された表示部Ｄから、感情移入したい対象の被写体の音声が提示され、被写体の映像はユーザＵの視界に入らないようになる。このため、感情移入したい対象の被写体になりきってコンテンツを視聴することができる。この場合、感情移入したい対象として、コンテンツ内に登場する主人公でなく脇役（敵役）を選択することで、脇役になりきってコンテンツを視聴することもできる。
【００５０】
また、ユーザＵにより、ユーザが得たい効果が操作部１３等を介して装置に入力されると、配置パターンテーブルに基づいて、効果を導き出すのに最適な表示部Ｄの配置パターンとユーザの視聴位置情報が選択されるため、得たい効果の種類によって表示部Ｄの配置パターンを考え直す必要がなくなる。
【００５１】
また、コンテンツ内の映像と音声とを別々に各表示部Ｄに割り当てるようにしたため、感情移入したい対象の映像と、感情移入したい対象以外の音声とが同時に出力されるような場面においても、感情移入したい被写体の映像が、ユーザＵの視界に入ってしまうようなことがなくなる。つまり、ユーザＵは、特定の被写体に深く感情移入してコンテンツを視聴できるようになる。
【００５２】
また、得たい効果として「人物相関理解（２派）」が選択された場合には、表示部Ｄの配置パターンは平行となり、ユーザＵは自由な位置で視聴可能となる。このため、平行線上に並べられた各表示部Ｄの位置関係で、２つの異なる立場もしくは意見を持つ被写体同士の関係が表現されるようになり、ユーザＵによる被写体間の関係の理解を、より容易にすることができる。つまり、単一の表示部Ｄを用いた視聴形態に比べて、ユーザＵによるコンテンツの内容理解の度合いを深めることができるようになる。
【００５３】
なお、上述した実施の形態では表示部Ｄを４つ用いた場合を例に挙げたが、コンテンツ内に登場する被写体の数に合わせて、２台や５台等の台数を用いるようにしてもよい。
【００５４】
また、上述した実施の形態では、図８に示したようなＵＩを通して手動で設定された提示方法設定テーブルに基づいて、映像用スイッチャＳｗ１や音声用スイッチャＳｗ２が切り替わる構成を例に挙げたが、入力された映像や音声をオンラインで解析して、解析した結果のデータに基づいてスイッチャＳｗ１とＳｗ２とを制御する構成としてもよい。この場合のシステムの内部構成例を、図１５を参照して説明する。図１５において、図２と対応する箇所には同一の符号を付す。
【００５５】
図１５に示す信号制御装置１′は、記憶部の代わりに信号入力部１４を備えており、信号入力部１４は、チューナやＤＶＤプレーヤから出力される映像及び音声を、信号処理装置１内に取り込む処理を行う。信号入力部１４を通して取り込まれた映像は、被写体解析部１５及び映像用スイッチャＳｗ１に出力される。また、信号入力部１６を通して取り込まれた音声は、発話者解析部１６及び音声用スイッチャＳｗ２に出力される。
【００５６】
被写体解析部１５では、特開２００４−６４７００に記載のような方法で、被写体の解析を行う。つまり、予め備えておいた画像データと入力画像との比較によって入力画像を特定の被写体として分類する。そして、予め設定してある被写体と表示部Ｄとの対応付けに基づいて、分析の結果、例えば被写体は被写体Ｏｂ１であったと判断された場合には、映像用スイッチャＳｗ１の出力先を表示部Ｄ１に切り替えさせるための制御信号を、映像用スイッチャＳｗ１に出力する。そして、被写体Ｏｂ１の映像を含むフレームは、映像用スイッチャＳｗ１を介して表示部Ｄ１に出力され、表示部Ｄ１上で表示されるようになる。
【００５７】
発話者解析部１６では、テキスト依存方式やベクトル量子化歪方式等の手法を用いて発話者の認識を行い、発話者に応じて、音声用スイッチャＳｗ２の出力先を切り替えさせるための制御信号を、音声用スイッチャＳｗ２に出力する。このような構成とすれば、図８に示したようなＵＩを通して、提示方法設定テーブルを手動で作成する手間を省くことができる。なお、図１５に示した例において、被写体解析部１５や発話者解析部１６での解析結果に基づいて直接スイッチャを制御する構成としたが、被写体解析部１５や発話者解析部１６での解析結果に基づいて提示方法設定テーブルを自動で生成し、生成した提示方法設定テーブルに基づいて映像及び音声の出力先を切り替えるようにしてもよい。
【００５８】
また、上述した実施の形態では映像用もしくは音声用のスイッチャを用いて、映像及び音声の出力先である表示部Ｄを切り替える構成としたが、各表示部Ｄ上で提示させる専用のコンテンツを別途生成しておき、そのコンテンツを表示部Ｄで提示する構成としてもよい。この場合の信号処理装置１′′の内部構成例を、図１６に示してある。図１６においても、図２及び図１５と対応する箇所には同一の符号を付してある。
【００５９】
図１６に示した信号処理装置１′′においては、各表示部Ｄの数に対応させて再生処理部１１及び記憶部１０を設けてあり、各記憶部１０には、各表示部Ｄで表示させるための専用のコンテンツを記憶させてある。つまり、表示部Ｄ１に接続された記憶部１０には、被写体Ｏｂ１の映像及び音声しか含んでいないコンテンツを記憶させてあり、このコンテンツを再生処理部１１が読み出して表示部Ｄ１に出力することで、表示部Ｄ１からは、被写体Ｏｂ１の映像又は音声しか出力されないことになる。
【００６０】
また、上述した実施の形態では、ユーザＵの視聴位置に椅子Ｃｈを配置し、椅子Ｃｈに腰掛けた状態でコンテンツを視聴させる形態としたが、図１７に示すように、表示部Ｄ１〜Ｄ４とその設置台、及びユーザＵが腰かけるソファＳｆとを一体化させたようなシステムに適用してもよい。図１に示した例では、ユーザＵが必要に応じて椅子Ｃｈを所望の場所に移動させることが可能な構成としてあったが、図１７に示した例においては、ユーザＵの視聴位置と表示部Ｄの配置位置との関係が、ある程度限定されるようになる。ユーザＵの視聴位置と表示部Ｄの配置位置との関係をある程度限定した方が、より効果的である場合などには、このような視聴形態でコンテンツを提供するようにしてもよい。
【００６１】
または、図１８に示したように、椅子Ｃｈの背もたれの部分に表示部Ｄを配置したり、図１９に示したように、椅子Ｃｈの背もたれ部分及びアームＡｍの先端部分に表示部Ｄを配置するような形態をとってもよい。この場合、複数のアームＡｍを用いて、その先端部分に設ける表示部Ｄを複数個用意するようにしてもよい。
【００６２】
また、上述した実施の形態では、各表示部Ｄが提示する情報が映像コンテンツである場合を例に挙げたが、カメラ等を通してリアルタイムに得られる被写体の映像又は音声を提示するようにしてもよい。
【００６３】
上述した実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。
【００６４】
また、上述した実施形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
【００６５】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００６６】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって上述した実施形態例の機能が実現される場合も含まれる。
【００６７】
また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００６８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施の形態によるシステムの構成例を示す説明図である。
【図２】本発明の一実施の形態によるシステムの内部構成例を示すブロック図である。
【図３】本発明の一実施の形態による映像の出力先切り替えの例を示す説明図である。
【図４】本発明の一実施の形態による配置パターンテーブルの構成例を示す説明図である。
【図５】本発明の一実施の形態による提示方法設定テーブルの構成例を示す説明図である。
【図６】本発明の一実施の形態によるシステムの内部構成例を示すブロック図である。
【図７】本発明の一実施の形態による情報提示処理の例を示すフローチャートである。
【図８】本発明の一実施の形態による提示方法設定テーブル作成用ＵＩの構成例を示す説明図である。
【図９】本発明の一実施の形態による提示方法設定テーブルの作成処理例を示すフローチャートである。
【図１０】本発明の一実施の形態による表示部の配置処理例を示すフローチャートである。
【図１１】本発明の一実施の形態による表示部の設置位置をガイドする場合の表示画面の例を示す説明図である。
【図１２】本発明の一実施の形態による表示部の設置位置をガイドする場合の例を示す説明図である。
【図１３】本発明の一実施の形態によるユーザに対する表示部設置位置ガイドの処理例を示すフローチャートである。
【図１４】本発明の一実施の形態による表示部での情報提示処理例を示すフローチャートである。
【図１５】本発明の他の実施の形態によるシステムの内部構成例を示すブロック図である。
【図１６】本発明の他の実施の形態によるシステムの内部構成例を示すブロック図である。
【図１７】本発明の他の実施の形態によるシステムの構成例を示す説明図である。
【図１８】本発明の他の実施の形態によるシステムの構成例を示す説明図である。
【図１９】本発明の他の実施の形態によるシステムの構成例を示す説明図である。
【符号の説明】
【００７０】
１…信号処理装置、１０…記憶部、１１…再生処理部、１２…制御部、１３…操作部、１４…信号入力部、１５…被写体解析部、１６…発話者解析部、Ｄ１〜Ｄ４…表示部、Ｓｗ１…映像用スイッチャ、Ｓｗ２…音声用スイッチャ
【図１】
2009060286.tif 000003
【図２】
2009060286.tif 000004
【図３】
2009060286.tif 000005
【図４】
2009060286.tif 000006
【図５】
2009060286.tif 000007
【図６】
2009060286.tif 000008
【図７】
2009060286.tif 000009
【図８】
2009060286.tif 000010
【図９】
2009060286.tif 000011
【図１０】
2009060286.tif 000012
【図１１】
2009060286.tif 000013
【図１２】
2009060286.tif 000014
【図１３】
2009060286.tif 000015
【図１４】
2009060286.tif 000016
【図１５】
2009060286.tif 000017
【図１６】
2009060286.tif 000018
【図１７】
2009060286.tif 000019
【図１８】
2009060286.tif 000020
【図１９】
2009060286.tif 000021