(57)【特許請求の範囲】
【請求項１】
上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラと、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクと、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段と、
前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段と
を備え、
前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信システム。
【請求項２】
上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラと、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクと、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段と、
前記端末装置内で、受信した音声から、前記指定された方向の音声を取得する音声処理手段と
を備え、
前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信システム。
【請求項３】
請求項１または２のいずれか一項に記載の画像・音声配信システムにおいて、
前記音声処理手段は、前記マイクにより採取された複数の音声に対し、前記指定された方向に対応した係数を乗じて加算することで前記指定された方向に対応した音声を取得する
ことを特徴とする画像・音声配信システム。
【請求項４】
上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段と、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段と、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段と、
前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段と
を備え、
前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信装置。
【請求項５】
上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段と、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段と、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、
前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段と
を備え
前記端末装置内で、受信した音声から、前記指定された方向の音声を取得し、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得することを特徴とする画像・音声配信装置。
【請求項６】
コンピュータを、
上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段、
前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段、
前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段
として機能させ、
前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得する画像・音声配信プログラム。
【請求項７】
コンピュータを、
上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラから画像を入力する画像入力手段、
前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクから音声を入力する音声入力手段、
端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段、
前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段
として機能させ、
前記端末装置内で、受信した音声から、前記指定された方向の音声を取得し、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得する画像・音声配信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像・音声をネットワークを介して配信する技術に関する。
【背景技術】
【０００２】
音楽業界において、これまでのライブ（生演奏）の撮影は通常のカメラによるものがほとんどであり、現地に居る迫力は今ひとつ伝わらないものであった。そこで、様々なライブ映像の配信方法が考案され、その一つに３６０度配信というものがある。この配信方法は、カメラの設置位置を中心に３６０度の全方向の映像をすべて同時に取り込み、視聴者が指定した方向の映像を配信するものである。これにより、視聴者は自分の好きな視点の映像を選択して見ることができ、新しい映像体験によりライブ映像の付加価値を高めることができる。
【０００３】
なお、完全な３６０度の全方向の映像に限らず、一時に視聴できる視野（画角）を越える広視野で撮影するものであれば、同様の効果を得ることができる。特許文献１には、広視野撮影カメラについての記載がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、映像（画像）についてはリアリティーの追求が行われているが、画像がいかにリアルでも、ライブのように画像と音声とが同期するものは、音声のリアリティーも求められる。これまでは、音声はある定点の音声を採取し、それを画像（動画）と時間的に同期させて再生していただけであるため、方角という概念がなく、臨場感としては今ひとつであった。
【０００５】
なお、主に音楽のライブについて説明してきたが、スポーツやその他の各種のイベントの様子を画像と音声で伝える場面においても同様の問題がある。
【０００６】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、画像と音声の両者に対して現場に居るようなリアリティーを再現できるようにすることにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明にあっては、上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラと、前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクと、端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、前記マイクにより採取された音声から、前記指定された方向の音声を取得する音声処理手段と、前記画像処理手段により取得された画像と前記音声処理手段より取得された音声とを前記端末装置に送信する送信手段とを備え、前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得する。
【０００８】
また、上方向に視野を持ち、一時に配信する画像の画角を越える広視野の画像を撮影するカメラと、前記カメラにより撮影する視野を分割した複数の方向から音声を採取する複数のマイクと、端末装置から指定された方向に基づいて、前記カメラにより撮影された画像から、前記指定された方向の画像を取得する画像処理手段と、前記画像処理手段により取得された画像と前記マイクにより採取された音声とを前記端末装置に送信する送信手段と、前記端末装置内で、受信した音声から、前記指定された方向の音声を取得する音声処理手段とを備え、前記音声処理手段は、前記指定された方向が第１マイクの方向と第２マイクの方向との間である場合、前記指定された方向の音声として、前記第１マイクにより採取された音声に、前記第１マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記第２マイクにより採取された音声に、前記第２マイクの方向と前記指定された方向との角度差に応じて按分した係数を乗じた音声と、前記指定された方向の背後の第３マイクにより採取された音声に所定の係数を乗じた音声と、を加算した音声を取得するものとすることができる。
【発明の効果】
【０００９】
本発明にあっては、画像と音声の両者に対して現場に居るようなリアリティーを再現することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態にかかるシステムの構成例を示す図である。
【図２】システムの機能構成例を示す図である。
【図３】情報処理装置のハードウェア構成例を示す図である。
【図４】画像・音声の入力時の処理例を示すフローチャートである。
【図５】保持するデータの例を示す図である。
【図６】画像・音声の配信時の処理例を示すフローチャート（その１）である。
【図７】画像・音声の配信時の処理例を示すフローチャート（その２）である。
【図８】画像の切り出しの概念図である。
【図９】音声の合成の例を示す図である。
【図１０】配信するデータの例を示す図である。
【図１１】表示画面例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の好適な実施形態につき説明する。
【００１２】
＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。図１において、例えば、ライブ会場のステージ上等には、広視野カメラ１と複数のマイク２１〜２４が設けられ、広視野カメラ１の画像出力とマイク２１〜２４の音声出力は、サーバとして機能する情報処理装置３に入力されている。広視野カメラ１は、水平方向に視野を持つ６個のカメラ（１１〜１６）と、上方向に視野を持つ１個のカメラ（１７）を備えており、広視野カメラ１の設置位置を中心としてほぼ３６０度の画像を撮影する。
【００１３】
なお、広視野カメラ１の視野は３６０度に限らず、一時に配信する画像の画角を越える広視野であればよい。また、広視野カメラ１を構成するカメラの個数は７個に限られず、これより少なくても多くてもよい。例えば、魚眼レンズを備えたカメラを水平方向に背中合わせに配置（カメラは計２個）することによっても、３６０度の視野を確保することができる。マイク２１〜２４は、モノラル音声を採取するモノラルタイプであってもよいし、ステレオ音声を採取するステレオタイプであってもよい。
【００１４】
また、情報処理装置３は有線または無線による接続経路を介してインターネット等のネットワーク４に接続され、ネットワーク４には視聴者の所有する情報処理装置５が有線または無線による接続経路を介して接続可能となっている。
【００１５】
図２はシステムの機能構成例を示す図である。図２において、情報処理装置３は、画像入力部３１と音声入力部３２と画像・音声保持部３３と画像・音声処理部３４と通信部３５とを備えている。
【００１６】
画像入力部３１は、広視野カメラ１を構成するカメラ１１〜１７から撮影された画像を入力する機能を有している。音声入力部３２は、マイク２１〜２４から採取された音声を入力する機能を有している。画像入力部３１および音声入力部３２は、画像・音声をアナログ信号として入力する場合、デジタルデータへの変換を行う。画像・音声保持部３３は、画像入力部３１により入力された画像および音声入力部３２により入力された音声をデータとして保持（格納）する機能を有している。保持するデータの形式については後述する。
【００１７】
画像・音声処理部３４は、情報処理装置５からの画像・音声の配信要求に応じ、リアルタイムに画像入力部３１および音声入力部３２により入力される画像および音声から配信（生配信）する画像および音声を取得するか、画像・音声保持部３３に保持された画像・音声から配信（蓄積配信）する画像・音声を取得する機能を有している。画像・音声の取得の処理の詳細については後述する。通信部３５は、ネットワーク４を介して情報処理装置５との間でデータ通信を行う機能を有している。
【００１８】
また、情報処理装置５には、画像・音声再生アプリ５１が設けられ、画像・音声再生アプリ５１には方向指定部５２と映像表示部５３と音声合成部５４と音声出力部５５とが設けられている。
【００１９】
方向指定部５２は、ユーザから視聴する方向の指定を受け付ける機能を有している。映像表示部５３は、情報処理装置３から配信される画像をモニタ上に表示する機能を有している。音声合成部５４は、情報処理装置５側で音声の合成（複数のマイク音声からの合成）を行う場合に、方向を考慮して音声の合成を行う機能を有している。情報処理装置３側で音声の合成を行う場合、音声合成部５４は不要となる。音声出力部５５は、情報処理装置３から配信される音声、または、情報処理装置５側で合成した音声をスピーカ等から出力する機能を有している。
【００２０】
図３は情報処理装置３、５のハードウェア構成例を示す図である。図３において、情報処理装置３、５は、システムバス３０１に接続されたＣＰＵ（Central Processing Unit）３０２、ＲＯＭ（Read Only Memory）３０３、ＲＡＭ（Random Access Memory）３０４、ＮＶＲＡＭ（Non-Volatile Random Access Memory）３０５を備えている。また、情報処理装置３、５は、Ｉ／Ｆ（Interface）３０６と、Ｉ／Ｆ３０６に接続された、Ｉ／Ｏ（Input/Output Device）３０７、ＨＤＤ（Hard Disk Drive）３０８、ＮＩＣ（Network Interface Card）３０９と、Ｉ／Ｏ３０７に接続されたモニタ３１０、キーボード３１１、マウス３１２等を備えている。Ｉ／Ｏ３０７にはＣＤ／ＤＶＤ（Compact Disk/Digital Versatile Disk）ドライブ等を接続することもできる。
【００２１】
＜動作＞
図４は上記の実施形態における画像・音声の入力時の処理例を示すフローチャートであり、情報処理装置３の画像入力部３１および音声入力部３２の処理である。
【００２２】
図４において、実演の開始等に併せて処理を開始すると、画像入力部３１は、広視野カメラ１の個々のカメラ１１〜１７から画像を入力する（ステップＳ１１）。この際、広視野カメラ１から出力される画像がアナログ信号である場合にはデジタル化を行う。
【００２３】
次いで、画像入力部３１は、各カメラ１１〜１７の光学的特性に応じて画像の歪みや明るさ・色調等の補正を行うとともに、各カメラの画像につき、隣接するカメラの画像との重なりの除去を行い、各カメラからの画像がシームレスにつながるように加工する（ステップＳ１２）。
【００２４】
次いで、画像入力部３１は、複数のカメラ１１〜１７からの画像を１つの画像データとする場合には、加工後の画像の統合を行う（ステップＳ１３）。統合された画像データは、時間軸の他に、方向と画像とが対応付けられている。なお、各カメラ１１〜１７の画像を個別に扱う場合には画像統合（ステップＳ１３）は必要ない。
【００２５】
次いで、画像入力部３１は、加工後の画像を、コンテンツのタイトル等のメタ情報とともに、画像・音声保持部３３に格納する（ステップＳ１４）。この際、各カメラ１１〜１７の画像を個別に扱う場合には、各カメラ１１〜１７に対応する画像であることがわかるように、カメラの識別子または画像の中心方向（基準となる方向との偏差、または方位）と対応付けて格納する。
【００２６】
一方、音声入力部３２は、各マイク２１〜２４から音声を入力する（ステップＳ１５）。この際、マイク２１〜２４から出力される音声がアナログ信号である場合にはデジタル化を行う。
【００２７】
次いで、音声入力部３２は、各マイク２１〜２４の音響的特性に応じて音声の音量・音質等の加工（補正）を行う（ステップＳ１６）。
【００２８】
次いで、音声入力部３２は、画像入力部３１により画像・音声保持部３３に格納された画像と対応付けて音声を格納する（ステップＳ１７）。
【００２９】
その後、入力処理の終了か否か判断し（ステップＳ１８）、終了でない場合（ステップＳ１８のＮｏ）は同様の処理を繰り返す。
【００３０】
図５は保持するデータの例を示す図であり、図５（ａ）は各カメラ１１〜１７の画像を個別に扱う場合の例を示し、図５（ｂ）は各カメラ１１〜１７の画像を統合した場合の例を示している。図５（ａ）では、メタ情報と、各カメラ１１〜１７の画像と、各マイク２１〜２４の音声とが含まれている。図５（ｂ）では、メタ情報と、各カメラ１１〜１７の画像を統合した画像と、各マイク２１〜２４の音声とが含まれている。
【００３１】
図６は画像・音声の配信時の処理例を示すフローチャートであり、情報処理装置５から情報処理装置３に対して画像・音声の配信リクエストが行われたことにより実行される処理を示している。また、図６はサーバとしての情報処理装置３側で音声の合成を行う例である。
【００３２】
また、図７は、サーバとしての情報処理装置３側で音声の合成は行わず、クライアントとしての情報処理装置５側で音声の合成等を行う例である。
【００３３】
図６において、情報処理装置３の画像・音声処理部３４は、リクエストにおいて指定された方向（水平方向、上下方向）を中心として左右・上下の所定の視野角（画角）の画像を、リアルタイムに画像入力部３１が入力する画像（加工後の画像）または画像・音声保持部３３に格納された画像から切り出す（ステップＳ２１）。この際、各カメラ１１〜１７の画像を個別に扱う場合、複数の画像に跨る場合は画像の合成を行う。
【００３４】
図８は画像の切り出しの概念図であり、３６０度のシームレスに連続する画像の中から、矢印で示す方向（リクエストで指定された方向）を中心に画像を切り出している様子を示している。
【００３５】
図６に戻り、画像・音声処理部３４は、リクエストにおいて指定された方向（水平方向、上下方向）に応じた係数に基づいて、リアルタイムに音声入力部３２が入力する音声（加工後の音声）または画像・音声保持部３３に格納された音声から、各マイク２１〜２４の音声を合成する（ステップＳ２２）。
【００３６】
図９は音声の合成の例を示す図であり、マイク２１の音声（加工後の音声）をＳＭ１（マイク２１がステレオタイプの場合は左側音声がＳＭ１Ｌ、右側音声がＳＭ１Ｒ）、マイク２２の音声（加工後の音声）をＳＭ２（マイク２２がステレオタイプの場合は左側音声がＳＭ２Ｌ、右側音声がＳＭ２Ｒ）、マイク２３の音声（加工後の音声）をＳＭ３（マイク２３がステレオタイプの場合は左側音声がＳＭ３Ｌ、右側音声がＳＭ３Ｒ）、マイク２４の音声（加工後の音声）をＳＭ４（マイク２４がステレオタイプの場合は左側音声がＳＭ４Ｌ、右側音声がＳＭ４Ｒ）とし、矢印で示す方向がリクエストで指定された場合の例を示している。
【００３７】
この場合、マイクがモノラルタイプでモノラル出力の場合、係数をＣ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４として、音声出力Ｓは、
Ｓ＝Ｃ０×（Ｃ１・ＳＭ１＋Ｃ２・ＳＭ２＋Ｃ３・ＳＭ３＋Ｃ４・ＳＭ４）
となる。
【００３８】
係数として、最も簡単な例としては、マイクの方向と指定された方向の一致した場合は、一致した方向のマイク以外の係数をすべて０とするものである。また、指定された方向が２つのマイクの方向の間にある場合は、２つのマイクの方向との角度差で按分した係数とし、他のマイクの係数を０とするものである。実際には、マイクの音響的な特性により、背後のマイク等の音声も所定の比率で加算することで臨場感が高まる場合もあるので、実測結果等に基づいて適切な係数を決定することになる。
【００３９】
また、マイクがモノラルタイプでステレオ出力の場合、係数をＣ０Ｌ、Ｃ１Ｌ、Ｃ２Ｌ、Ｃ３Ｌ、Ｃ４Ｌ、Ｃ０Ｒ、Ｃ１Ｒ、Ｃ２Ｒ、Ｃ３Ｒ、Ｃ４Ｒ、左側音声出力をＳＬ、右側音声出力をＳＲとすると、
ＳＬ＝Ｃ０Ｌ×（Ｃ１Ｌ・ＳＭ１＋Ｃ２Ｌ・ＳＭ２＋Ｃ３Ｌ・ＳＭ３＋Ｃ４Ｌ・ＳＭ４）
ＳＲ＝Ｃ０Ｒ×（Ｃ１Ｒ・ＳＭ１＋Ｃ２Ｒ・ＳＭ２＋Ｃ３Ｒ・ＳＭ３＋Ｃ４Ｒ・ＳＭ４）
となる。
【００４０】
また、マイクがステレオタイプでステレオ出力の場合、
ＳＬ＝Ｃ０Ｌ×（Ｃ１Ｌ・ＳＭ１Ｌ＋Ｃ２Ｌ・ＳＭ１Ｒ＋Ｃ３Ｌ・ＳＭ２Ｌ＋Ｃ４Ｌ・ＳＭ２Ｒ
＋Ｃ５Ｌ・ＳＭ３Ｌ＋Ｃ６Ｌ・ＳＭ３Ｒ＋Ｃ７Ｌ・ＳＭ４Ｌ＋Ｃ８Ｌ・ＳＭ４Ｒ）
ＳＲ＝Ｃ０Ｒ×（Ｃ１Ｒ・ＳＭ１Ｌ＋Ｃ２Ｒ・ＳＭ１Ｒ＋Ｃ３Ｒ・ＳＭ２Ｌ＋Ｃ４Ｒ・ＳＭ２Ｒ
＋Ｃ５Ｒ・ＳＭ３Ｌ＋Ｃ６Ｒ・ＳＭ３Ｒ＋Ｃ７Ｒ・ＳＭ４Ｌ＋Ｃ８Ｒ・ＳＭ４Ｒ）
となる。
【００４１】
図６に戻り、画像・音声処理部３４は、取得した画像と音声を通信に用いる所定のフォーマットに変換し（ステップＳ２３）、通信部３５によりリクエスト元の情報処理装置５に送信する（ステップＳ２４）。
【００４２】
図１０（ａ）は配信するデータの例を示す図であり、メタ情報と画像と音声（合成済）とを含んでいる。
【００４３】
画像・音声の配信を受けた情報処理装置５の映像表示部５３は、例えば、図１１に示すように、タイトル「ｘｘｘｘｘ」と画像を表示するとともに、カメラの方向を示すグラフ（ＣＡＭ）、マイクの合成比率（係数に相当）を示すグラフ（ＭＩＣ）を表示する。カメラの方向を示すグラフは、初期値としては正面を向いており、扇型の部分をマウス等で移動することにより、方向の指定を行うことができる（方向指定部５２に相当）。情報処理装置５の音声出力部５５は、情報処理装置３から受信した音声をそのまま再生する。この際、全体の音量の調整を行うことができる。
【００４４】
図６に戻り、画像・音声処理部３４は、視聴が継続されるか否か判断し（ステップＳ２５）、継続される場合（ステップＳ２５のＹｅｓ）は同様の処理を繰り返す。
【００４５】
なお、情報処理装置５側で方向の指定が変更された場合は、新たなリクエストとなり、上述したのと同様の処理を繰り返す。
【００４６】
次に、図７において、情報処理装置３の画像・音声処理部３４は、リクエストにおいて指定された方向（水平方向、上下方向）を中心として左右・上下の所定の視野角（画角）の画像を、リアルタイムに画像入力部３１が入力する画像（加工後の画像）または画像・音声保持部３３に格納された画像から切り出す（ステップＳ３１）。この際、各カメラ１１〜１７の画像を個別に扱う場合、複数の画像に跨る場合は画像の合成を行う。
【００４７】
一方、画像・音声処理部３４は、リアルタイムに音声入力部３２が入力する音声（加工後の音声）または画像・音声保持部３３に格納された音声を取得する（ステップＳ３２）。
【００４８】
次いで、画像・音声処理部３４は、取得（合成）した画像と音声を通信に用いる所定のフォーマットに変換し（ステップＳ３３）、通信部３５によりリクエスト元の情報処理装置５に送信する（ステップＳ３４）。
【００４９】
図１０（ｂ）は配信するデータの例を示す図であり、メタ情報と画像と各マイクの音声とを含んでいる。
【００５０】
図７に戻り、画像・音声処理部３４は、視聴が継続されるか否か判断し（ステップＳ３５）、継続される場合（ステップＳ３５のＹｅｓ）は同様の処理を繰り返す。
【００５１】
画像・音声の配信を受けた情報処理装置５では、リクエストで指定した方向（水平方向、上下方向）に応じた係数に基づいて、情報処理装置３から受信した各マイク２１〜２４の音声を音声合成部５４により合成し、再生する。
【００５２】
＜総括＞
以上説明したように、本実施形態によれば、画像の方向と同期して音声もその方向から聞こえるものとなるため、画像と音声の両者に対して現場に居るようなリアリティーを再現することができる。
【００５３】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００５４】
１              広視野カメラ
１１〜１７      カメラ
２１〜２４      マイク
３              情報処理装置
３１            画像入力部
３２            音声入力部
３３            画像・音声保持部
３４            画像・音声処理部
３５            通信部
４              ネットワーク
５              情報処理装置
５１            画像・音声再生アプリ
５２            方向指定部
５３            映像表示部
５４            音声合成部
５５            音声出力部
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開２００４−１３５２０９号公報
【図１】
0006471418.tif 000002
【図２】
0006471418.tif 000003
【図３】
0006471418.tif 000004
【図４】
0006471418.tif 000005
【図５】
0006471418.tif 000006
【図６】
0006471418.tif 000007
【図７】
0006471418.tif 000008
【図８】
0006471418.tif 000009
【図９】
0006471418.tif 000010
【図１０】
0006471418.tif 000011
【図１１】
0006471418.tif 000012