(57)【特許請求の範囲】
【請求項１】
多視点で撮影した映像コンテンツを自由な視点から視聴するための多視点映像ストリーム視聴システムであって、
複数の視点に関して、各視点の映像ファイルを格納するサーバと、
前記サーバと通信可能な通信デバイスを備えるクライアントＰＣと、を備え、
前記サーバは、前記各視点の映像ファイルを、前記クライアントＰＣからの送信要求に応じて、視点毎に異なる帯域の映像ストリームデータとして前記クライアントＰＣに送信するように構成され、
前記クライアントＰＣは、
前記複数の視点の内の１つを可視に設定し、その他の視点を非可視に設定するように、前記複数の視点を前記可視と前記非可視との間で動的に切り替え、さらには、前記可視の視点には広帯域を、前記非可視の視点には低帯域を割り当てるように、前記複数の視点のそれぞれに対応する前記映像ストリームデータの帯域を動的に設定する制御部と、
前記制御部の帯域設定に従って、前記各視点について異なる帯域の前記映像ストリームデータの送信要求を、前記通信デバイスを介して前記サーバに送信する一方、前記通信デバイスを介して前記サーバから受信した前記送信要求に応じた前記複数の視点に関する前記映像ストリームデータの夫々を、あらかじめ決められた時間順序どおりに再生処理する映像ストリーム表示部と、
を備え、前記映像ストリーム表示部は、前記再生処理として、前記複数の視点の夫々について、同期したレンダリング処理を実行することにより、前記可視および前記非可視を含む前記複数の視点の夫々に対応する映像ストリームのディスプレイへの表示を準備し、前記複数の視点の内、前記可視に設定された視点に対応する映像ストリームを選択的に前記ディスプレイに表示させる処理をさらに実行することを特徴とする多視点映像ストリーム視聴システム。
【請求項２】
請求項１に記載の多視点映像ストリーム視聴システムにおいて、
前記サーバは、前記各視点の映像ファイルをあらかじめ多重帯域符号化して格納する、又は、前記各視点の映像ファイルをあらかじめ多重帯域符号化し帯域間差分ファイルを含む多重階層構造として格納する機能を備えることを特徴とする多視点映像ストリーム視聴システム。
【請求項３】
請求項１又は請求項２に記載の多視点映像ストリーム視聴システムにおいて、
前記制御部は、視点および時刻の組み合わせ毎にあらかじめ定められた、可視の視点が前記複数の視点の一つから別の視点に遷移する遷移確率に基づき、前記複数の視点の内、前記非可視の視点のそれぞれに対応する前記映像ストリームデータの帯域を、可視の視点に変化する確率の高い視点ほど、この視点に広い帯域を割り当てるように設定することを特徴とする多視点映像ストリーム視聴システム。
【請求項４】
請求項１〜請求項３のいずれか１項に記載の多視点映像ストリーム視聴システムにおいて、
前記映像ストリーム表示部は、
前記映像ストリームデータと併せて、映像中の対象物の識別名とフレーム毎の画像座標列を同時に前記サーバから受信し、対象物が選択されると、前記選択された対象物の画像座標に従って映像ストリームのディスプレイ上の表示位置を制御し、さらに可視の視点が変更されると、前記対象物の画像座標を用いて、視点変更後の映像ストリームにおいて前記選択された対象物が視点変更前の位置の近傍に表示されるように前記ディスプレイ上の映像ストリームの表示位置を制御することを特徴とする多視点映像ストリーム視聴システム。
【請求項５】
請求項１〜請求項３のいずれか１項に記載の多視点映像ストリーム視聴システムにおいて、
前記映像ストリーム表示部は、前記映像ストリームデータと併せて、複数の対象物の３次元世界座標系の位置座標を前記サーバから受信し、前記複数の対象物の夫々の３次元世界座標系の位置座標と３次元世界座標系におけるカメラ座標の位置座標とに基づき、前記複数の対象物の映像ストリームにおける画像座標を逐次計算して、前記複数の対象物の前記計算された前記画像座標の重心の前記ディスプレイ上の表示位置を可視の視点変更前後において保持するように、前記映像ストリームの前記ディスプレイ上の表示位置を制御することを特徴とする多視点映像ストリーム視聴システム。
【請求項６】
請求項１〜請求項５のいずれか１項に記載の多視点映像ストリーム視聴システムにおいて、
前記制御部は、同じ多視点映像ストリームコンテンツに対し１人以上の操作記録を集めて、視点と時間とに基づく視聴累積頻度をとり、あるいは、映像中の対象物の動き、動作、位置関係、映像が写している場の状況を、視点と時間とに基づく状況関数として表し、それらのいずれかを視聴者に可視化して提示し、
前記視聴累積頻度又は前記状況関数に基づき、視聴すべき視点系列を提示し、推薦し、あるいは、映像ストリームを自動再生するよう前記映像ストリーム表示部を制御することを特徴とする多視点映像ストリーム視聴システム。
【請求項７】
多視点で撮影した映像コンテンツを自由な視点から視聴するための多視点映像ストリーム視聴方法であって、
複数の視点の映像ファイルを、視点毎に異なる帯域の映像ストリームデータとして送信可能なサーバに対し、前記映像ストリームデータの送信要求を送信する送信手順と、
前記サーバから受信した前記送信要求に応じた前記複数の視点に関する前記映像ストリームデータの夫々を、あらかじめ決められた時間順序どおりに再生処理する再生処理手順と、
前記複数の視点の内の１つを可視に設定し、その他の視点を非可視に設定するように、前記複数の視点を前記可視と前記非可視との間で動的に切り替える切替手順と、
前記可視の視点には広帯域を、前記非可視の視点には低帯域を割り当てるように、前記複数の視点のそれぞれに対応する前記映像ストリームデータの帯域を動的に設定する設定手順と、
を含み、
前記送信手順は、前記設定手順による帯域設定に従って、前記複数の視点の夫々について異なる帯域の前記映像ストリームデータの送信要求を前記サーバに送信する手順であり、
前記再生処理手順は、前記再生処理として、前記複数の視点の夫々について同期したレンダリング処理を実行することにより、前記可視および前記非可視を含む前記複数の視点の夫々に対応する映像ストリームのディスプレイへの表示を準備し、前記複数の視点の内、前記可視に設定された視点に対応する映像ストリームを選択的に前記ディスプレイに表示させる処理をさらに実行する手順であることを特徴とする多視点映像ストリーム視聴方法。
【請求項８】
請求項７に記載の多視点映像ストリーム視聴方法において、
前記サーバに、前記複数の視点に関して、各視点の前記映像ファイルをあらかじめ多重帯域符号化して格納する、又は、前記各視点の映像ファイルをあらかじめ多重帯域符号化し帯域間差分ファイルを含む多重階層構造として格納する手順をさらに備えることを特徴とする多視点映像ストリーム視聴方法。
【請求項９】
請求項７又は請求項８に記載の多視点映像ストリーム視聴方法において、
前記設定手順は、視点および時刻の組み合わせ毎にあらかじめ定められた、可視の視点が前記複数の視点の一つから別の視点に遷移する遷移確率に基づき、前記複数の視点の内、前記非可視の視点のそれぞれに対応する前記映像ストリームデータの帯域を、可視の視点に変化する確率の高い視点ほど、この視点に広い帯域を割り当てるように設定する手順を含むことを特徴とする多視点映像ストリーム視聴方法。
【請求項１０】
請求項７〜請求項９のいずれか１項に記載の多視点映像ストリーム視聴方法において、
前記再生処理手順は、前記映像ストリームデータと併せて、映像中の対象物の識別名とフレーム毎の画像座標列を同時に前記サーバから受信し、対象物が選択されると、前記選択された対象物の画像座標に従って映像ストリームの前記ディスプレイ上の表示位置を制御し、さらに可視の視点が変更されると、前記対象物の画像座標を用いて、視点変更後の映像ストリームにおいて前記選択された対象物が視点変更前の位置の近傍に表示されるように前記ディスプレイ上の映像ストリームの表示位置を制御する手順を含むことを特徴とする多視点映像ストリーム視聴方法。
【請求項１１】
請求項７〜請求項９のいずれか１項に記載の多視点映像ストリーム視聴方法において、
前記再生処理手順は、前記映像ストリームデータと併せて、複数の対象物の３次元世界座標系の位置座標を前記サーバから受信し、前記複数の対象物の夫々の３次元世界座標系の位置座標と３次元世界座標系におけるカメラ座標の位置座標とに基づき、前記複数の対象物の映像ストリームにおける画像座標を逐次計算して、前記複数の対象物の前記計算された前記画像座標の重心の前記ディスプレイ上の表示位置を可視の視点変更前後において保持するように、前記映像ストリームの前記ディスプレイ上の表示位置を制御する手順を含むことを特徴とする多視点映像ストリーム視聴方法。
【請求項１２】
請求項７〜請求項１１のいずれか1項に記載の多視点映像ストリーム視聴方法において、
同じ多視点映像ストリームコンテンツに対し１人以上の操作記録を集めて、視点と時間とに基づく視聴累積頻度をとり、あるいは、映像中の対象物の動き、動作、位置関係、映像が写している場の状況を、視点と時間とに基づく状況関数として表し、それらのいずれかを視聴者に可視化して提示する手順と、
前記視聴累積頻度又は前記状況関数に基づき、視聴すべき視点系列を提示し、推薦し、あるいは、映像ストリームを自動再生する手順と、
をさらに含むことを特徴とする多視点映像ストリーム視聴方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自由視点テレビまたは多視点テレビにおける、ネットワークを用いた多視点視聴のための効率的なストリーミングデータ伝送方式およびそのような伝送方式における視聴ユーザインタフェースを備えた、多視点映像ストリーム視聴システムおよび方法に関するものである。
【背景技術】
【０００２】
従来、多視点映像のコンテンツを自由な方向から、手軽に視点を選ぶことができる視聴インタフェースとして視対象中心の釘づけ視聴インタフェースをすでに提案している（たとえば非特許文献１）。
【０００３】
図１は、非特許文献１で提案している、視対象中心視聴インタフェースの操作画面である。ここで、画面右欄には、見るべき対象物のリストが提示されており、視聴者（ユーザ）は、このリストから対象物を選ぶことができる。
【０００４】
また一方、下段には、ビデオ再生に用いられるボタンが並んでおり、再生、早送り、ポーズ、停止などができるほか、拡大、カメラ選択の機能が提供されている。このインタフェースを使って、あらかじめ、ローカルコンピュータ上に管理している多視点映像コンテンツを呼び出すと、再生しながら、任意視点方向からの映像をえらぶことができる。
【０００５】
そのため、スポーツコンテンツにおいては、ゲーム鑑賞を楽しみながら注目する選手を自由な角度から見ることができる。また、芸術・技能コンテンツにおいては、作品鑑賞を楽しみながら技を多方向から吟味することができる。しかし、このシステムはインターネットを介したサービスとして実現されていないという問題があった。
【０００６】
一方、３次元テレビのためにマルチビュー符号化（ＭＶＣ）の技術が提案されて、狭視野角画像間の相関を使った符号化をして全部の視点画像を同時に送る方法があるが、視野角が広く画像間の相関が低い場合は、符号化効率が低く、ネットワークの広い帯域を消費することになる。
【０００７】
また、複数のチャネルの映像をストリーミング配信する方法として、ＹｏｕＴｕｂｅのようなサービスが実用化されている。これは、複数のチャネルの存在を紹介するためのアイコンが提示されていて、それを選択するとストリーミングが開始されるため、ストリーミングのためのメタファイルをダウンロードするなど、映像を閲覧できるようになるまでに２秒・３秒かかってしまうという問題があった。
【０００８】
非特許文献２に示すように、マイクロソフト社はそれを解決するため、スムーズ  ストリーミング（Ｓｍｏｏｔｈ  Ｓｔｒｅａｍｉｎｇ）という技術を発表している。スムーズ  ストリーミングでは、伝送帯域幅と  ＣＰＵ  条件を動的に検出し、プレーヤが受信するメディア  ファイルの映像画質をほぼリアルタイムで透過的に切り替えることを特徴として、なめらかな再生を実現しているが、本発明が対象とする多視点が同期して撮影されているコンテンツについて、多数の視点間を切り替えたときに、遅延なく表示することは困難である。
【０００９】
マイクロソフト社のスムーズ  ストリーミングの詳しい動作は次のようである。まず、コンテンツを一定サイズ毎に分割した一連のフラグメントとして、ウェブサーバからクライアント（映像プレイヤー）に配布する。Ｓｉｌｖｅｒｌｉｇｈモジュールのコンポーネントとして提供されるプレイヤ（ＳＳＭＥ：  Ｓｍｏｏｔｈ  Ｓｔｒｅａｍｉｎｇ  Ｍｅｄｉａ  Ｅｌｅｍｅｎｔ）は、分割されたフラグメントを順番に要求し、ダウンロードしながら連続再生する。
【００１０】
あらかじめコンテンツを複数のビットレートでエンコードしておくことで、フラグメント単位でのビットレート変更が可能となる。ＳＳＭＥは、ＣＰＵの使用率やネットワーク帯域、コンテンツを表示する画面サイズなどから、最適なビットレートを選択する。
【００１１】
コンテンツが持つビットレートは、コンテンツ製作者が決定でき、ＳＳＭＥが選択するビットレートの幅（上限、下限）は、プログラムから制御できる。しかしながら、この際、供給される通信帯域を最大限利用するように、各チャネルが自律的に動作するので、適切な制御をしないと、再生時刻が同期した多視点映像を効率的に視聴することができなかった。
【００１２】
特許文献１はこのようなコンテンツにおいて、さらに中間的な視点や前後に移動した視点の映像を作る技術とその応用について説明している。たとえば、サッカーやフットボールの試合を、自分の見たい視点から見ることができれば、好きな選手のプレイを自由に鑑賞することができる。しかし、この技術は、インターネットを介したシステムを実現する方法を明示していない。
【００１３】
非特許文献３では、フットボールの試合を多くのロボットアームの先に装着したカメラで撮影し、そのロボットアームを放送番組演出者が操作して、ある選手をすべてのカメラがとらえるように遠隔制御しつつ、あるプレイを多視点から多面的にみる映像をつくり、家庭に放送する実験を行ったことを説明している。
【００１４】
このように多視点から見たいという欲求は多い。しかし、この場合、視点を操作するのは放送局側であり、ユーザが自由に視点を選べるわけではない。
また、非特許文献４および５では、そのような多視点からみるコンテンツを提供するときに、コンピュータグラフィックス技術を使って端末で合成することにより、多くのデータを伝送しなくてもよいようにしているが、臨場感が低いという課題がある。
【００１５】
そのようなスポーツや技能を習得する際に、動作やプレイをあらゆる方向から見ることができると、習得が早いと考えられるが、インターネットを使った簡便なシステムはない。
【００１６】
自由視点や多視点での自由な視聴ができるようになると、便利になる一方で、見る側の自由度が多すぎて、操作が煩雑であり、専門家でなければどこを見たらよいかも解らないことがある。そこで、発明者らは釘付け視聴方式のもとで、見る対象を絞って楽に、見たいものを追跡しながら多様な視点で視聴できるインタフェースを開発した（非特許文献６）。
【００１７】
また、特定の興味があるときに、どの視点がもっとも適切かを計算して、それに基づいて、適切な視点映像を組み合わせて編集する手法を開発している（非特許文献７）。
さらに、視聴者が多視点コンテンツの何をどのように視聴しているかの記録をとり、それを使って視聴推薦する手法も開発している（非特許文献８）。しかしながら、これらはローカルのファイルを視聴している方式であり、ネットワークと結合したシステムではなかった。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特願２００７−５３３１１８号公報
【非特許文献】
【００１９】
【非特許文献１】間瀬健二、東海彰吾、川本哲也、藤井俊彰、“多視点画像の釘付け視聴方式と操作インタフェースのデザインに関する考察”、ヒューマンインタフェース学会研究報告集、Vol.11、No.1、pp.7-12、 2009.3.10-11 .
【非特許文献２】IIS Smooth Streaming Technical Overview、 Microsoft 、 March 2009
【非特許文献３】Kanade、 T. and Narayanan、 P.: Virtualized Reality: Perspectives on 4D Digitiza-tion of Dynamic Events、 IEEE Computer Graphics and Applications、 Vol.27、 pp.32[40 (2007).
【非特許文献４】Moezzi、 S.、 Katkere、 A.、 Kuramura、 D.Y. and Jain、 R.: Immersive Video、 Virtual Reality Annual International Symposium、 Vol. 0、 Los Alamitos、 CA、 USA、 IEEE Computer Society、 p.17 (1996).
【非特許文献５】Ohta、 Y. et.al、 Live 3D Video in Soccer Stadium、 IJCV、 75(1)、 pp.173-187、 2007.
【非特許文献６】Shoichiro Sumiya、 Yu Enokibori、 Takafumi Marutani and Kenji Mase、 “Automatic Movie Generating Method from Multi-view Video using Multi Sensor Target Tracking”、 IWAIT2012、 Ho Chi Minh City、 Vietnam、 2012.1.
【非特許文献７】間瀬健二、 永井有希、 丹羽宏介、 藤井俊彰、 丸谷宜史、 川本哲也、 "視聴者の興味モデリングを用いた多視点映像視聴インタフェース"、 情報処理学会HCI研究会研究報告、名古屋大学 2011.5.
【非特許文献８】Kenji Mase、 Kosuke Niwa、 Takafumi Marutani、 "Socially-assisted Multi-view Video Viewer"、 pp.319-322 、 ICMI2011、 Alicante、 Spain、 2011.10.
【発明の概要】
【発明が解決しようとする課題】
【００２０】
以上のように、多視点映像や自由視点テレビが実現されるとユーザが好む視点からの映像を視聴し鑑賞できるようになる。しかしながら、一般に広い帯域の映像伝送が必要になる。
【００２１】
そこで、ローカルコンピュータのファイルシステムに蓄積したデータからの再生か、通信・放送を使って送信元での映像選択を行いユーザは視点選択しないか、あるいは、多数のチャンネルを使って同時に多視点映像を送り、その中からユーザが映像をえらぶか、いずれかの方法が用いられてきた。
【００２２】
すなわち、インターネットをもちいてリモートのコンテンツを視聴でき、かつユーザが自ら視点を選択して視聴でき、かつ伝送回線を効率よく使うことのできる方式が求められている。
【００２３】
また、その際に、自由視点や多視点の視聴が可能になってもユーザの操作性が悪くてはコンテンツを楽しむことができないため、手軽に興味のある対象を見続けることができるインタフェースが求められている。
【００２４】
さらに、データをローカルに置くサービスは、データの著作権侵害の心配があり、手軽なコピーや再流通ができない仕組みが求められる。さらに、ネットワークサービスであれば、大勢が視聴した履歴を集約して再利用することができるが、現在のところそのようなサービスはない。
【００２５】
本発明は、こうした問題に鑑みなされたもので、インターネットのストリーミング配信技術を用いて、必要に応じてコンテンツの著作権を保護しつつ多視点を効率よく伝送して、ユーザが自分の見たい視点を自由にかつ手軽に視聴できるインタフェースを用意し、視聴履歴を集約してユーザにフィードバックをかけるサービスを提供することを目的とする。
【課題を解決するための手段】
【００２６】
上記「発明が解決しようとする課題」において述べた問題を解決するためになされた第１の発明に係るシステムは、多視点で撮影した映像コンテンツを自由な視点から視聴するための多視点映像ストリーム視聴システムであって、複数の視点の映像ファイルを格納するサーバ部と、映像ファイルをネットワークを介して受信するクライアントＰＣを備え、クライアントＰＣは、複数の映像ファイルをストリーミングデータとしてネットワークを介して多重同期して受け取る受信部と、受信部で多重受信した各ストリーミングデータを制御して映像表示する映像ストリーム表示部と、これらを制御する制御部と、を備え、制御部は、サーバ部に格納した複数の視点映像のうち１つの視点の映像のみを可視として、その他を非可視として映像の時間的な流れを保持しつつ、動的かつ瞬時の視点の切り替えを行い、さらに、可視の視点の映像ストリームには広帯域を、非可視の視点の映像ストリームには低帯域を適応的および動的に割り当てる方法を備えることを特徴とする多視点映像ストリーム視聴システムである。
【００２７】
第２の発明に係るシステムは、第１の発明に係る多視点映像ストリーム視聴システムにおいて、サーバ部は、各視点の映像ファイルをあらかじめ多重帯域符号化して格納し、あるいは、さらに帯域間差分ファイルを含む多重階層構造として格納する機能を備え、映像ストリーム表示部は、多視点のそれぞれの視点について異なる帯域のストリーム映像の送信要求を送る一方で受信した映像ストリームデータを，あらかじめ決められた時間順序どおりに映像として復号して表示する機能を備え、制御部は、可視の視点には広帯域のストリームファイルを伝送させ、一方、不可視の視点には低帯域のストリームファイルを伝送されるようにし、さらに、可視の視点から不可視の視点に切り替える確率に基づき可視と不可視の視点の伝送すべきストリームファイルの帯域をそれぞれ定め、確率分布の変更は、可視の視点の変化に合わせて動的に行う機能を備えることを特徴とする多視点映像ストリーム視聴システムである。
【００２８】
第３の発明に係るシステムは、第１又は第２の発明に係る多視点映像ストリーム視聴システムにおいて、映像ストリーム表示部は、各ストリームファイルに合わせて、映像中の対象物の識別名とフレーム毎の画像座標列を同時に受信部からダウンロードし、対象物が選ばれると、その画像座標に従ってストリーム映像のディスプレイ上の表示位置を制御し、さらに映像中の対象物が選ばれて視点が変更されると、視点変更の前後で、対象物の画像座標を用いて、対象物が近傍に表示されるようディスプレイ上のストリーム映像の表示位置を制御し、制御部は、映像中の対象物の選択および視点の変更の記録、映像の再生、早送り、スロー再生、後退再生、停止およびズームの操作記録をクライアントＰＣで記録し、またはその一部あるいは全部をサーバに送って記録し、記録した操作を再生して同じように視聴できる機能を制御することを特徴とする多視点映像ストリーム視聴システムである。
【００２９】
第４の発明に係るシステムは、第１〜第３の発明のいずれか１つに係る多視点映像ストリーム視聴システムにおいて、制御部は、同じ多視点映像ストリームコンテンツに対し1人以上の操作記録を集めて、視点と時間にもとづく視聴累積頻度をとり、あるいは、映像中の対象物の動き、動作、位置関係、映像が写している場の状況を、視点と時間に基づく状況関数として表し、それらのいずれかを視聴者に可視化して提示し、さらにその視聴累積頻度や状況関数から、最頻値や最小値などの数量パラメータを計算し、視聴すべき視点系列を提示し、推薦し、あるいは、それに従って映像ストリームを自動再生するよう映像ストリーム表示部を制御し、さらに、映像中の対象物として複数の対象物の組を含めその位置は組の性質にしたがって決定し与え、目的の対象物が含まれる視点映像ストリームが限られるときには、対象物が含まれない視点には帯域の小さいストリームファイルを受け取るよう映像ストリーム表示部を制御し、さらに、その映像ストリームの視点には切り替えないよう視点選択を制限し、さらに、対象物の位置情報は３次元世界座標系におけるカメラ座標の位置と物体の位置を保持し、それをもとに対象物の画像座標を逐次計算してディスプレイ上の表示位置の制御をするよう映像ストリーム表示部を制御することを特徴とする多視点映像ストリーム視聴システムである。
【００３０】
第５の発明に係るシステムは、第１〜第４の発明のいずれか１つに係る多視点映像ストリーム視聴システムにおいて、制御部は、可視の映像としての注目視点の映像のほかに、不可視とした映像も別ディスプレイに表示させ、サーバ部は、実映像のみならず、コンピュータグラフィックス技術により生成された映像、あるいは、複数の実映像から自由視点テレビ技術を使って生成された別の視点の映像を格納し、映像ストリーム表示部は、別ディスプレイに表示させる映像生成を行うことを特徴とする多視点映像ストリーム視聴システムである。
【００３１】
第６の発明に係る方法は、多視点で撮影した映像コンテンツを自由な視点から視聴するための多視点映像ストリーム視聴方法であって、サーバ部に複数の視点の映像ファイルを格納する格納工程と、受信部において、複数の映像ファイルをストリーミングデータとしてネットワークを介して多重同期して受け取る受信工程と、映像ストリーム表示部に受信部で多重受信した各ストリーミングデータを制御して映像表示する表示工程と、サーバ部に格納した複数の視点映像のうち１つの視点の映像のみを可視として、その他を非可視として映像の時間的な流れを保持しつつ、動的かつ瞬時の視点の切り替えを行い、さらに、可視の視点の映像ストリームには広帯域を、非可視の視点の映像ストリームには低帯域を適応的および動的に割り当てる制御工程と、を備えることを特徴とする多視点映像ストリーム視聴方法である。
【００３２】
第７の発明に係る方法は、第６の発明に係る多視点映像ストリーム視聴方法において、格納工程は、サーバ部に、各視点の映像ファイルをあらかじめ多重帯域符号化して格納し、あるいは、さらに帯域間差分ファイルを含む多重階層構造として格納し、表示工程は、映像ストリーム表示部に、多視点のそれぞれの視点について異なる帯域のストリーム映像の送信要求を送る一方で受信した映像ストリームデータを適切に復号して表示させ、制御工程は、可視の視点には広帯域のストリームファイルを伝送させ、一方、不可視の視点には低帯域のストリームファイルを伝送されるようにし、さらに、可視の視点から不可視の視点に切り替える確率に基づき可視と不可視の視点の伝送すべきストリームファイルの帯域をそれぞれ定め、確率分布の変更は、可視の視点の変化に合わせて動的に行う機能を備えることを特徴とする多視点映像ストリーム視聴方法である。
【００３３】
第８の発明に係る方法は、第６又は第７の発明に係る多視点映像ストリーム視聴方法において、表示工程は、映像ストリーム表示部に、各ストリームファイルに合わせて、映像中の対象物の識別名とフレーム毎の画像座標列を同時に受信部からダウンロードし、対象物が選ばれると、その画像座標に従ってストリーム映像のディスプレイ上の表示位置を制御し、さらに映像中の対象物が選ばれて視点が変更されると、視点変更の前後で、対象物の画像座標を用いて、対象物が近傍に表示されるようディスプレイ上のストリーム映像の表示位置を制御し、制御工程は、映像中の対象物の選択および視点の変更の記録、映像の再生、早送り、スロー再生、後退再生、ズームなどの操作記録をクライアントＰＣで記録し、またはその一部あるいは全部をサーバに送って記録し、記録した操作を再生して同じように視聴できる機能を制御することを特徴とする多視点映像ストリーム視聴方法である。
【００３４】
第９の発明に係る方法は、第６〜第８の発明のいずれか１つに係る多視点映像ストリーム視聴方法において、制御工程は、同じ多視点映像ストリームコンテンツに対し1人以上の操作記録を集めて、視点と時間にもとづく視聴累積頻度をとり、あるいは、映像中の対象物の動き、動作、位置関係、映像が写している場の状況を、視点と時間に基づく状況関数として表し、それらのいずれかを視聴者に可視化して提示し、さらにその視聴累積頻度や状況関数から、最頻値や最小値などの数量パラメータを計算し、視聴すべき視点系列を提示し、推薦し、あるいは、それに従って映像ストリームを自動再生するよう映像ストリーム表示部を制御し、さらに、映像中の対象物として複数の対象物の組を含めその位置は組の性質にしたがって決定し与え、目的の対象物が含まれる視点映像ストリームが限られるときには、対象物が含まれない視点には帯域の小さいストリームファイルを受け取るよう映像ストリーム表示部を制御し、さらに、その映像ストリームの視点には切り替えないよう視点選択を制限し、さらに、対象物の位置情報は３次元世界座標系におけるカメラ座標の位置と物体の位置を保持し、それをもとに対象物の画像座標を逐次計算してディスプレイ上の表示位置の制御をするよう映像ストリーム表示部を制御することを特徴とする多視点映像ストリーム視聴方法である。
【００３５】
第１０の発明に係る方法は、第６〜第９の発明のいずれか１つに係る多視点映像ストリーム視聴方法において、制御工程は、可視の映像としての注目視点の映像のほかに、不可視とした映像も別ディスプレイに表示させ、格納工程は、サーバ部において、実映像のみならず、コンピュータグラフィックス技術により生成された映像、あるいは、複数の実映像から自由視点テレビ技術を使って生成された別の視点の映像を格納し、表示工程は、映像ストリーム表示部において、別ディスプレイに表示させる映像生成を行うことを特徴とする多視点映像ストリーム視聴方法である。
【００３６】
以上のような多視点映像ストリーム視聴システムおよび方法により、釘付け視聴方式をネットワーク（インターネット）経由で実現することができるようになり、データをダウンロードするのではなく、ストリーミングデータとして配信を受ける方式において、多視点のストリーミングデータを多重同期して同時に受信し、希望の視点のチャネルだけを切り替え表示することで、別の視点への瞬時の切り替え視聴を実現可能にしたことを特徴とするものである。既存技術の釘付け視聴方式と組み合わせることによって、コンテンツ内の対象を選択する機能と、ある視点の映像を視聴しているときには、その広帯域符号化データを優先的にストリーミング配信し、他の表示されていない映像には狭帯域符号化データを常時ストリーミング配信しておくように、各チャネルへの伝送帯域の割り当てを適応的に行うことが実現でき、ネットワーク効率のよい多視点映像の視聴を可能となる。また、視聴履歴をネットワーク経由で保存する機能により、大勢の視聴傾向を利用した視聴推薦も実現可能となる。
【発明の効果】
【００３７】
本発明の多視点映像ストリーム視聴システムおよび方法は、ストリーミングデータを多重同期して受信し希望の視点のチャネルを可視にし、ほかのチャネルを非可視にする機能を実現することによって、瞬時の視点移動効果をもたらす画像転換が可能になり、あたかも視聴の視点を切り替えているかのような効果を得ることができる。
【００３８】
その際に、視聴対象の映像中の座標を用いることによって、チャネルの切り替え時に視聴対象の位置が切り替え前後で大きく移動しないようにすることで、自然な多視点切り替え視聴の効果を得ることができる。
【００３９】
また、可視のチャネルでは高解像度のデータを配信し、非可視のチャネルでは低解像度のデータを配信する機能を実現することで、全体として同期再生を維持しながら、過剰なデータ伝送を必要としない効果を得ることができる。
【００４０】
さらに、非可視のチャネルにおいて、可視のチャネルからの遷移確率が高いチャネルには、確率に応じて高い解像度のデータ配信を行うことによって、視点の切り替えの際に、高画質の画像を継続して視聴できるという効果を得ることができる。
【００４１】
また、本システムおよび方法によれば、視対象を選択する機能、視聴の際の操作履歴、視聴のフレームや対象物の視聴履歴などを記録し、それをユーザに提示する機能を実現することによって、自己の視聴を振り返ったり、他者と視聴履歴を交換・共有することにより、多角的な視聴体験の効果を得ることができる。
【００４２】
さらに、視聴履歴の集約機能により、人気の視聴系列の推薦や要約が可能になるという効果を得ることができる。これは、スポーツ鑑賞や自分の技能の振り返りや習得に有効であり、インターネットのサービスとして提供されると多数の利用者がコンテンツをアップし自己のためや他者と共有してサービスを享受できる。本発明の利用には、Ｗｉｎｄｏｗｓ上の一般的に流通しているブラウザがあれば十分であり、利用における困難もほとんどない。
このような多視点での視聴は、プラントの安全監視、街の社会的安全監視などにも利用できる。
【図面の簡単な説明】
【００４３】
【図１】は、本発明のシステムの構成図である。
【図２】は、多視点視聴を効率よく行うための視対象中心視聴インタフェースの画面例である。
【図３】は、本発明の概念を示す図である。
【図４】は、本発明の映像ストリーミングによる多視点視聴方式を、３視点の場合を例に、詳しく説明する図である。
【図５】は、本発明の多視点映像ストリーム視聴システムおよび方法を実現するクライアント上のソフトウェアの動作を説明する図である。
【図６】は、本発明の、図５の４１８視点切り替え制御モジュールの動作を説明するフローチャートである。
【図７】は、本発明のユーザインタフェースとストリーミング表示制御の流れを説明するフローチャートである。
【図８】は、第４の発明に係る視聴累積頻度を説明する図である。
【図９】は、第３の発明に係る対象物の識別名とフレーム毎の画像座標列（ペグ点リスト）の表の例である。
【図１０】は、第４の発明に係る対象物の３次元位置情報リスト（ペグ点リスト）を説明する図である。
【図１１】は、第５の発明に係る非可視とした画像を表示する方法を説明する図である。
【図１２】は、第１および第３に発明に係る各視点ストリームファイルへの帯域割り当てを説明する図である。
【発明を実施するための形態】
【００４４】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。なお、本実施形態の説明において、図中に示す符号を構成要素の先頭に付して説明する。
【００４５】
図１は、本実施形態におけるシステムの構成を示す図である。
本実施形態のシステムは、５１ストリーミングサーバと５３クライアントＰＣからなり、５３クライアントＰＣ内は、５５受信部、５６映像ストリーム表示部および５７制御部からなる。本システムは５２インターネットを介して５１ストリーミングサーバと５３クライアントＰＣを結合し、ストリーミングデータの送受信を行う。５３クライアントＰＣはユーザの操作に従って、５４ディスプレイに多視点映像を表示する。５１ストリーミングサーバ内には、たとえば、５０多視点コンテンツ撮影システムで撮影した多視点映像が格納されて、その映像をユーザは視聴する。
【００４６】
５３クライアントＰＣ内の動作は以下のようである。５５受信部は、５１ストリーミングサーバに映像データの伝送を要求し、多重同期して送られた映像データを５６映像ストリーム表示部に送る。
【００４７】
５６映像ストリーム表示部は、５７制御部の制御に従って、各視点のストリームについての映像ファイルの帯域を制御して５１ストリーミングサーバからデータを受け取る一方で、５７制御部の制御に従って、５４ディスプレイに視点映像を表示する。５７制御部は、視聴者ユーザの指示を受け取り、５５受信部と５６映像ストリーム表示部を制御する。
【００４８】
図２は、本発明の、多視点映像ストリーム視聴システムおよび方法における、ユーザの視聴インタフェースの操作イメージを説明する図である。
視聴者はインターネットにつながった５３クライアントＰＣの５４ディスプレイのブラウザ上で、これに例示されるインタフェース画面を提示され、それを使って操作する。構成要素としては、１０１映像視聴ウィンドウと、１０２ビデオ操作ピクトボタン、１０３ズーム倍率調整バー、１０４カメラ視点選択リスト、１０５の対象点選択リストなどである。１０１映像視聴ウィンドウには、視聴者が１０４カメラ視点選択リストから選んだ視点の映像ストリームが常に表示されている。ボタンやリストはマウスで選択する。
【００４９】
１０４カメラ視点選択リストで別の視点を選ぶと別の視点の映像ストリームに切り替わる。映像ストリームの再生などの制御は１０２ビデオ操作ピクトボタンで行うことができる。
【００５０】
ここで、１０５対象点選択リストから一つ注目したい対象物につけられた釘付け点（ペグ点）を選ぶと、その対象物（人物）が、たとえば常に画面の中央に表示されるように、ストリーム映像のウィンドウ内で表示位置が制御される。この制御は、１０４カメラ視点選択リストで他の視点を選んでも、また１０２ビデオ操作ピクトボタンで再生、早送りなどをしても有効なため、目的の対象を多様な角度から鑑賞することができる。
【００５１】
１０２ビデオ操作ピクトボタンには、記録ボタンも含まれ、記録ボタンが押されてから、再度記録ボタンが押されるまでのインタフェース画面上のすべての操作が記録される。この記録操作は、当該のコンピュータのファイルとして記録することもできるし、インターネットを介して、指定したサーバに記録することもできる。
【００５２】
記録した操作は、１０６操作記録リストに一覧として表示され、それを選択して再生すると過去の操作と同じ再生が行われる。このとき、サーバに記録され、さらに公開された操作記録は、他者と共有でき、他者の操作記録により再生をすることもできる。
【００５３】
操作記録の形式は、記録開始時点から終了時点まで［視点番号、再生フレーム時刻、操作コマンド名、操作コマンドパラメータ］の組で表現され、操作のつど、ファイルに追記される。
【００５４】
図３は、本発明における多視点コンテンツのストリーミングデータの制御の概念を示す図である。あらかじめ２０３多視点コンテンツ撮影システムを用いて用意した多視点映像を、２０１ストリーミングサーバに格納し、２０２インターネット回線を介して２０４多視点視聴クライアントコンピュータ（ＰＣ）に接続して、当該ＰＣに多視点映像を配信する。当該の用意する多視点コンテンツは、２台以上のビデオカメラで撮影する。
【００５５】
ここで、２０５視聴者は、前述の図２のごとき１０７視聴中のウィンドウ画面に表示された多視点ストリーム映像を鑑賞できる。２０６ストリーミングデータは、ユーザからの要求により、複数の視点の映像が同時に転送される。２０６ストリーミングデータは、視点によって、広帯域を必要とする高解像度のファイルと低帯域で足りる低解像度のファイルがそれぞれ伝送される。
【００５６】
また、第５の発明に係る作用として、２０３他視点コンテンツ撮影システムの代わりにコンピュータグラフィックスにより多視点の映像を生成してもよい。Ｎ台のビデオカメラで撮影して、Ｍ視点（ＭはＮより大）となるように自由視点テレビの技術を利用して中間視点の映像を生成して用いてもよい。
【００５７】
図４は、本発明における可視視点と非可視視点のストリーミングファイルの選択および表示動作および作用を、３視点の場合を例に、詳しく説明する図である。
図３と同様に、３０１映像源で多視点の映像を取得し、前述の２０１ストリーミングサーバに格納する。２０１ストリーミングサーバは、複数の３０２多重解像度化部と複数の３０３多重解像度ストリーミングファイルを格納するファイルシステム、そして複数の３０４多重解像度選択部から構成される。
【００５８】
２０１ストリーミングサーバは、各視点の映像を３０１映像源から入手すると、３０２多重解像度化部で、映像ファイルを３０３多重解像度ストリーミングファイルに符号化する。
【００５９】
ここで、たとえば２Ｍｂｐｓのビットレートで撮影されたＹｏｕＴｕｂｅのＨＤビデオであれば、２Ｍｂｐｓ、１Ｍｂｐｓ、３８４Ｋｂｐｓ，  ５０Ｋｂｐｓのように３〜５個の異なるビットレートのストリーミング用ファイル群を符号化生成する。地上デジタル放送ハイビジョンクラスの高解像度映像であれば、１５Ｍｂｐｓ，  １．５Ｍｂｐｓ，  ３８４Ｋｂｐｓ，  ５０Ｋｂｐｓのように生成する。
【００６０】
また、第２の発明に係る帯域間差分ファイルによる多重階層符号化技術によれば、７６８Ｋｂｐｓと１．５Ｍｐｂｓのビットレートの差分ファイルを生成し、７６８Ｋｂｐｓの伝送中に１．５Ｍｂｐｓの伝送要求があった場合は、その差分ファイルを伝送し、かかる差分ファイルと７６８Ｋｂｐｓのファイルから、１．５Ｍｂｐｓ相当の映像を復号し表示することで、少量の追加ファイルの伝送で高画質の映像を速やかに表示することを可能にする。
【００６１】
３０４多重解像度選択部は、１０５視聴者ユーザからの送信要求と、１０４クライアントＰＣの表示性能に関する情報と、１０４クライアントＰＣと２０１ストリーミングサーバ間の１０２インターネット接続状況によるデータ転送能力をもとに、最適なビットレートのストリーミングファイルを選別し、クライアントに送出する。３０５選択されたストリーミングファイルは、視点映像ごとにビットレートが異なるものである。
【００６２】
３０６ユーザ視聴ウィンドウには、基本的に１つの視点の映像のみがユーザの選択によって表示される。前述のとおり、ユーザの送信要求は、上記の視点選択にもとづき、それに関連する複数の視点についての３０５ストリーミングファイルに対して行われ、２０４クライアントＰＣでは、かかる複数のストリーミングファイルから、最もユーザが必要とする３１０可視視点映像のみが３０６ユーザ視聴ウィンドウに表示される。
【００６３】
そして、それ以外の送信された３０５ストリーミングファイルは、３０８および３０９非可視視点映像として２０４クライアントＰＣ内で、レンダリング処理される。ただし最終的な画面表示は、たとえばＺバッファ法により非可視として視聴ユーザの視覚には入らないようにする。ここで、３０８および３０９非可視視点映像が、３１０可視視点映像と同期して再生を続けることを可能にした点が、本特許の重要な特徴である。
【００６４】
３０８および３０９非可視視点映像は、ユーザの眼には届かないが、３１０可視視点映像と同期して準備しているため、ユーザが急遽、たとえば、３０９非可視視点映像を視聴したいと３０７可視視点選択スイッチにより操作したとき、３０９非可視視点映像だったそれは、今度は視聴ユーザが見えるように表示され、それまで可視であった、３１０可視視点映像が非可視になる。
【００６５】
３０９非可視視点映像は、それまで３１０可視視点映像と同期して再生していたため、同じ映像時刻の画像から表示でき、かつ別の視点であるという利点がこのようにして実現できる。この３０７スイッチは、プログラム制御によるもので、マウスなどのインタフェースによる視点制御と連動している。
【００６６】
一般に、可視視点映像になったときには３０４多重解像度選択部には、より高いビットレートのストリーミングファイルの伝送を要求し、その他の非可視視点映像は、より低いビットレートのストリーミングファイルの伝送を要求するように３０７可視視点選択スイッチの指示を２０４多視点視聴クライアントＰＣ上のプログラムは計算し、２０１ストリーミングサーバに指示する。
【００６７】
言い換えると、本実施形態の多視点映像ストリーム視聴システムおよび方法は、図４のように、視聴中の視点映像のほかに他の視点の映像を低いビットレートで常時配信しておき、可視視点映像を広帯域伝送しつつ、表示ビューを高速にスイッチングして視点切り替えをスムーズに行うアーキテクチャである。
【００６８】
符号化技術としては、データの先読みを視点間で行うタイプに相当する。多重ビデオ符号化が複数視点の映像を同時に符号化して転送・復号化してから端末側で視点を選ぶため複数視点分を常に全帯域で送信する必要があるのに対し、本手法では副チャネルの通信帯域を制御することで、全体としてネットワーク帯域を有益に使える可能性がある。
【００６９】
さらに、本実施形態のシステムは、コンテンツが持つ視点数と同じ数のクライアント上のプレイヤソフトウェア（ＳＳＭＥ、後述）をクライアントＰＣ内部に起動し、すべての映像ストリームを同時にダウンロード・再生する。
【００７０】
画面に表示する可視映像は、視聴者が選択した１つとしているが、非可視映像を含む複数の映像をディスプレイに表示してもよい。バックグラウンドですべての映像を同時再生しておくことで、スムーズな視点切り替えを実現している。また、次に遷移する可能性の高い視点映像に対し、あらかじめ高い帯域を割り当てることで、スムーズな視点切り替えを実現する。
【００７１】
図５は、本発明のクライアントＰＣ内での動作モジュール構成と作用を説明するためのブロック図である。
４０１がクライアントコンピュータ内部であり、４０６ディスプレイと４０７マウスがつながり、一方、４０３ネットワーク制御部を介して４０２ネットワークをとおして、サーバと接続される。４０４ＳＳＭＥと４０５グラフィックスモジュールおよび４１７オーディオモジュールは、５６映像ストリーム表示部の詳細である。４０３ネットワーク制御部は５５受信部の内容である。
【００７２】
４０８ＧＵＩ制御モジュール、４１１ビデオ制御、４１２ペグ点制御、４１３コンテンツ選択部による、コンテンツ選択メニュー、４１４記録再生部、４１５視聴履歴制御部、４１６ユーザ操作・視聴履歴は、および４１８視点切り替え制御モジュールは、５５制御部の詳細内部である。
【００７３】
大まかなデータの流れは、４０４ＳＳＭＥがサーバから、４０９マニフェストファイルと４１０ストリームファイルの送信要求をだして、受信する。ここで、４０４ＳＳＭＥは複数が同時に立ち上がり、異なる視点のファイル群をそれぞれ管理する。
【００７４】
４０４ＳＳＭＥは受け取ったファイルから映像を生成し４０５のグラフィックスモジュールに送信し、最終的な４０６ディスプレイ画面上での表示窓の位置や可視・不可視を制御したのちに、表示する。図中の太い線は映像信号の流れ、細い線は制御信号の流れを表す。
【００７５】
ユーザは、４０６ディスプレイに４０８ＧＵＩ制御モジュールが生成したメニューやコンテンツのアイコンを４０７マウスで選択し、本発明の多視点映像ストリーム視聴システムおよび方法の操作を行い、多視点映像を視聴する。
【００７６】
４１８視点切り替え制御モジュールは、ユーザのメニュー選択により選ばれた視点について、最適なストリーミングファイル転送がなされるように４０４ＳＳＭＥと４０５グラフィックスモジュールに制御信号を送る。
【００７７】
動作の詳細は図６の説明で後述する。ＧＵＩのメニューとしては、４１１ビデオ制御による、再生、停止、早送り、巻き戻しの選択、４１２ペグ点制御による、視聴注目対象となるオブジェクトに紐付されたペグ点の制御、４１３コンテンツ選択部による、コンテンツ選択メニュー、４１４記録再生部による、視聴操作の記録と、記録した視聴操作による視聴行動の再生がある。
【００７８】
視聴操作の記録は、４１５視聴履歴制御部を通じて、ローカルの４１６ユーザ操作・視聴履歴に蓄積したり、４０３ネットワーク制御部を介して、サーバに蓄積され、ユーザの了解のもと、他者との共用に用いられる。
【００７９】
なお、映像の再生に同期して、４１７オーディオモジュールにより音声や音楽が再生される。このとき、可視の視点映像に関連付けられたオーディオファイルを、オーディオモジュールで再生することで、視点変更に同期して音声チャネルを選べる。また、オーディオのチャネル切り替え時のずれやノイズをさけるためには、視点変更に同期せずに、特定の視点映像の音声を常に再生する方法もある。
【００８０】
図６は、本発明の５６映像ストリーム表示部と５７制御部の動作を説明する図である。
５０１視点設定でどの視点を可視または非可視にするかのユーザ指示をうけると、５０２可視・非可視制御では、多数の視点のうち、１以上を可視とし、その他を非可視とする制御をグラフィックスモジュールに対して行う。
【００８１】
またその際に、５０７ペグ点情報として、ユーザが選択した対象物について、対象物の識別名と、その対象物の現フレームにおける画像座標を計算し、それを５０３ビュー位置制御におくり、対象物の表示座標が、表示ウィンドウの任意の位置になるようにビューの表示位置を平行移動させる。この位置は、たとえばウィンドウの中心とする。
【００８２】
次に、現フレームの可視視点と、各非可視視点にどれだけのストリームファイル転送帯域を割り当てるかを計算する。
ここで、５０８確率分布は、現可視視点から他の非可視視点への遷移確率分布を使って、５０４帯域分配設定を行う。また、５０４帯域分配設定では、５１０ＮＷ・ＣＰＵ等監視により、接続中のインターネット回線経由でのサーバからの実行伝送帯域と、クライアントのＣＰＵのストリーミングに費やすことができる処理能力、そして、クライアントの表示能力をあらかじめ、あるいは動的に調べ、全体として利用できるインターネット帯域と、クライアント上で表示できる最適なストリーム映像の解像度などを計算し、各視点映像ごとの帯域分配を動的に決定する。
【００８３】
このとき、５０８確率分布は、可視視点を中心とする正規分布形状、三角分布形状、一定幅の一様分布形状などをコンテンツの種類にしたがって遷移確率分布の基本を作る。または、遷移確率分布は、あらかじめ採取した視聴履歴から計算することや、視聴対象となる対象物の映像シーン内での出現確率から計算することも行うことができる。
【００８４】
５０８確率分布の実現方法としては、まず、視点間の切り替えの遷移予測確率密度分布をあらかじめ次式で与える方法がある。
ｐ（ｘt+1｜ｘt）                （式１）
ここで、ｘt  は時刻ｔ  における視点ｘ  の確率密度変数で、
Σｘt+1  ｐ（ｘt+1｜ｘt）＝  １．０  （式２）
とする。
【００８５】
ここで、ｐ（ｘt+1｜ｘt）  は、時刻ｔ  のときの視点ｘt  が、時刻ｔ  ＋  １  で視点ｘt+1 に遷移（移動）する確率を表す。視点ｘ（１  ≦  ｘ  ≦  Ｎ）  は、多視点における視点数Ｎに対応した整数値をとるとする。  具体的なｐ（ｘt+1｜ｘt）の分布の形としては、まず、ｘt+1  の位置に依存しないガウス分布、３  角分布、一様分布、またはそれらの組み合わせなどを考慮する。ｘの範囲外は便宜上ゼロとする。ガウス分布の場合は、同じ視点から見続ける確率が最大で、近傍の視点に移動する確率がそれに続き、離れた視点にジャンプする確率はごく低くなる。
【００８６】
本実施形態の方法では、この確率密度分布を用いて、視聴中のマルチビューストリーミングの各ストリーミングに割り当てる帯域幅（ビットレート）を決めて、それを各プレイヤであるＳＳＭＥに設定する。
【００８７】
具体的には、各視点ｘ  のビットレートの最小値と最大値の組（ｂmin（ｘ）；ｂmax（ｘ））  を次式で計算する。
ｂmin（ｘt）＝（ｐ（ｘt+1｜ｘt）−ｍｌ）Ｂ（ｔ）        （式３）
ｂmax（ｘt）＝（ｐ（ｘt+1｜ｘt）＋ｍｕ）Ｂ（ｔ）        （式４）
ここで、Ｂ（ｔ）  は時刻ｔ  における利用可能なリソースから割り出した、標準的なインターネット通信の最大総ビットレートであり、ｍｌ  とｍｕ  は、帯域の下限と上限を決めるマージンである。
【００８８】
また、コンテンツ内の視対象Ｏ  に関して、視聴者の過去の視聴履歴や視対象の出現確率が、次式のような視点ｘ、  時刻ｔ  に関する事前確率として与えられる場合がある。
ｈ（ｘ，ｔ，Ｏ）                        （式５）
そのときの計算方法を次に示す。帯域幅は次式で計算する。
【００８９】
ｂmin（ｘt）＝（ｐ（ｘt+1｜ｘt）−ｍｌ）ｈ（ｘt+1,ｔ，Ｏ）Ｂ（ｔ）      （式６）
ｂmax（ｘt）＝（（ｐ（ｘt+1｜ｘt）＋ｍｕ））ｈ（ｘt+1，ｔ，Ｏ）Ｂ（ｔ） （式７）
この事前確率ｈ  は、具体的には、視聴者の視聴履歴をヒストグラムとして集約して求めることができる。
【００９０】
図７は、本発明の実施形態の図１の５７制御部がシステム全体を制御する際のユーザインタフェースとデータの流れを説明する図である。  ユーザは、まず、６０１コンテンツ選択のメニューで、コンテンツ（番組）を選ぶ。すると、６０２初期データ取得の動作に入り、コンテンツのデータ送信を６０３サーバに要求し、６０４ファイル管理・送出の動作を行う。
【００９１】
初期データを受け取ると６０５の表示設定を行うとともに、視点、ペグ点、ビデオ操作などのデフォルト値を設定して、６１１ストリーミング表示を開始する。６１１ストリーミング表示は、時系列にそってブロック分割（フラグメント分割）されたファイルを順次６０３サーバに要求して、動画表示を行う。
【００９２】
コンテンツが終了すれば、６１２視聴終了になるか、繰り返し再生の設定が６０８ビデオ操作でなされていれば、繰り返し再生が行われる。６０８ビデオ操作は、再生、早送りの速度設定、一時停止、逆再生、ズームなどの操作ができ、それにそって、６１１ストリーミング表示が制御される。
【００９３】
６０９履歴記録のＯＮ／ＯＦＦで、それ以降の操作を記録したり、記録解除することができる。また、６１０の履歴再生では、６０９履歴記録で記録された操作履歴に基づいて、操作が再生される。
【００９４】
図８は、本発明の、視聴累積頻度の利用方法を説明する図である。視聴履歴は、この図の表のように、各視点および各時刻（映像のフレーム番号）の欄に１回の視聴について「１」だけ数値を加える操作を基本とする。一人の視聴者が何度も同じコンテンツを視聴し、それを記録していれば、このような表ができあがる。
【００９５】
ここで、この７０１視聴累積頻度表をインターネットを介してサーバに送り、複数の視聴者の視聴履歴を合算すると、視聴者群の視聴履歴ができあがる。表７０１にあるように、頻度の高い点を結んだ７０２最頻値経路は、視聴すべき視点系列として表示して、視聴者に推薦したり、あるいは、この視点系列を操作記録としてもちいて自動再生することができる。この推薦視点系列の計算には、  上記の最頻値を用いる例のほか、最小値を用いることも可能である。また、この視聴累積頻度表は、ペグ点を選択した視聴対象ごとに作成しておくことで、視聴対象ごとの推薦をすることも、あるいは、すべての視聴対象の視聴累積頻度を合算して、当該コンテンツに対する視聴系列推薦をすることも可能である。
【００９６】
また、ペグ点には、これまで視聴対象のみを考えており、人物やボールといった個別の物体を前提に作用を説明したが、このペグ点としては、対象物の動線、対象物の動作などの振る舞い、複数物体の相対的位置関係など、さまざまな場の状況記述を用いることが可能である。たとえば、「サッカーのゴール」の振る舞いについてペグ点を打つと、ゴールの瞬間の映像のみについて視聴頻度記録を集めることが可能となる。
【００９７】
図９は、本発明の、ペグ点のデータ形式を説明する図で、対象物の識別名とフレーム毎の画像座標列の表として例示している。８０１の視点映像１のペグ点座標表、８０２の視点映像２のペグ点座標表のように、それぞれの視点映像について、対象物の表示座標が格納されている。
【００９８】
この表示座標は、第３または第４の発明においては、対象物ではなく、対象物の振る舞いや、複数の対象物の位置関係ごとに、適宜、振る舞いや複数の対象物の位置の重心などの座標を計算し、表が用意される。
【００９９】
図１０は、本発明の、図９を補足して、対象物の位置情報を逐次計算する方法を説明する図である。
対象物の９０１位置情報（ｘ，ｙ，ｚ）は３次元世界座標系で表されており、９０５の３次元世界座標系における物体ごとの各時刻フレームに対する位置情報リストとしてコンピュータ内で保持される。それに対して各視点映像を撮影したカメラを模した計算機内部の９０２カメラモデルのカメラの外部パラメータを適用することで、９０３画像座標系上の物体位置（Ｘ，Ｙ）を逐次計算し、対象物の表示座標を計算することによって、９０４の各視点映像の対象物の「計算された」２次元位置情報リストを求めることができるので、図９で説明したのと同様の動作が実現できる。
【０１００】
一般に回転、平行移動、伸縮を考慮すると、（ｘ，ｙ，ｚ）から（Ｘ，Ｙ）を求める式は、同次座標変換の式により（Ｘ，Ｙ，１）T＝Ｍ（ｘ，ｙ，ｚ，１） Tで与えられ、大きさ４ｘ３の透視投影変換行列Ｍは、６点以上の３次元座標と２次元画像座標の対応があれば、計算できる。なお（）Tは、行列・ベクトルの転置を表す。
【０１０１】
図１１は、複数のディスプレイに表示するしくみを説明する図であり、図５の４０１クライアントＰＣを１００１クライアントＰＣとして，またその内部の４０５グラフィックスモジュールを１００２グラフィックスモジュールとしてその周りを再掲している。
【０１０２】
まず複数の１００５ディスプレイを用意し、１００２グラフィックスモジュールに接続する。１００２グラフィックスモジュールは、内部にディスプレイ信号のソフト的あるいはハード的な１００４マルチプレクサを備え、入力映像信号のどれをどの１００５ディスプレイに送るか制御できる。
【０１０３】
こうして、可視の映像を１つに限定せず、複数映像を同時に表示することが可能となる。この表示方法のときは、伝送帯域の割り当て方法もディスプレイの数だけ、広帯域のストリームの転送要求をサーバに送る。
【０１０４】
複数の１００５ディスプレイは、中心視点画像用と周辺（上下左右）画像用、に配置して、多視点の一覧性を高めるような配置を用いる。１００３ＳＳＭＥ、  １００６視点切り替え制御モジュールは図５と基本的に同じ動作をするが、１００６視点切り替えモジュールは、可視視点のみでなく、非可視視点としていたものから、あらかじめ決めた基準（隣接視点など）により、可視の処理により１００５ディスプレイに映像信号を送る。
【０１０５】
また、これまで、伝送する映像は、実画像撮影を前提に説明をしたが、コンピュータグラフィックス（ＣＧ）で生成した多視点映像でもなんら不都合なく、多視点を伝送できる。全画像をサーバでＣＧ画像を生成するか、一部をＣＧ画像で生成して、実画像にはめ込むことによって、効果的な映像提示が可能である。
【０１０６】
また、特許文献１の自由視点映像生成技術により、限定された視点映像から、無限の自由位置の映像をサーバで生成することにより、未撮影の位置からの映像も視聴可能な多視点映像ストリーム視聴システムおよび方法が実現できる。
【０１０７】
図１２は、本発明の、各視点ストリームファイルへの帯域割り当てを説明する図である。
１１０１の表は、時刻ごとの各視点ストリームファイルの１００２帯域を「最小帯域・最大帯域」の組で「１０００−２０００」のように、ｋｂｐｓの単位で記載してある。１１０３視聴経路は実際に視聴した経路の例で、１１０５の時刻Ｔ４視点２を現在、可視視点として視聴していることを示す。
【０１０８】
途中、Ｔ１からＴ４までの時刻にそって、可視視点が視点３から順次きりかわるにつれて、各視点ストリームファイルへの帯域割り当てが変化している。また、各時刻の可視視点がもっとも帯域が高く、その両隣接の視点が次に高くなっており、遠い視点には、低い帯域の割り当てがされている。
【０１０９】
このように帯域をわりあてる作用により、たとえば、時刻Ｔ２からＴ３に移るときに、視点３から視点２に視点を切り替えたときに、視点２が高い帯域のストリームファイルを伝送しているため、解像度の高い映像を瞬時に見ることが可能となる。
【０１１０】
一方、他の視点１や視点５のようにすぐに移る可能性（確率）の低い視点については、低い帯域の映像をダウンロードしているため、余分なネットワーク帯域の消費をせず、しかし、視点間の時刻同期をとることができるという特徴がある。
【０１１１】
現時刻Ｔ４からＴ５に移るときの例では、１１０４視点４かつＴ５の帯域が高く、１１０７視点３かつＴ５の帯域が狭くなっている。これは、視点３のＴ５では、現在着目している対象物（ペグ点）については、映像に映っていないか、視聴履歴によりごく低い遷移確率であることがわかっているので、１１０７の値を低くし、代わりに１１０４の値が大きくなっている。
【０１１２】
このように、現在の可視視点、対象物の選択状況、および視聴履歴を反映して帯域のわりあてを動的に行うことで、適切な視聴体験を実現できる。
１１０５可視視点に隣接する視点の帯域の設定は、本提示例のように正規分布または三角分布による場合と、一様分布による場合と、それらと、視聴履歴の積から計算する場合がある。また、遷移確率がごく低い視点に対しては、視点選択の対象から除外することも行われる。
【符号の説明】
【０１１３】
５０  多視点コンテンツ撮影システム
５１  ストリーミングサーバ
５２  インターネット
５３  クライアントＰＣ
５４  ディスプレイ
５５  受信部
５６  映像ストリーム表示部
５７  制御部
１０１  映像ストリームが表示される映像視聴ウィンドウで、この位置に、多様な視点からの映像が表示される。
【０１１４】
１０２  通常のビデオ視聴ツールと同様の、再生、早送り、巻き戻し、倍速、くりかえしなどのビデオ操作操作ピクトボタン。
１０３  １０１の画面をズームアップするズーム倍率調整バー。
【０１１５】
１０４  多視点コンテンツにおける、カメラ視点の選択リストである。図のようにカメラ配置を模す場合と文字列で表す。
１０５  対象点選択リストから一つ注目したい対象物につけられた釘付け点（ペグ点）を選ぶためのインタフェース。
【０１１６】
２０１  多視点映像をストリーミング配信するストリーミングサーバであり、映像データと視聴記録を保持している。
２０２  多視点映像を伝送するインターネット回線。
【０１１７】
２０３  多視点コンテンツ撮影システム。たとえば、複数台のカメラを同期して撮影する。
２０４  視聴者であるユーザが本発明の方式を利用して視聴するときに用いる、インターネットに接続した多視点視聴クライアントコンピュータ（ＰＣ）。
【０１１８】
２０５  本方式を享受する視聴者
２０６  本方式で、視聴するストリーミングデータが２０１サーバから２０２インターネットを介してユーザの２０４クライアントＰＣにとどく様子を模している。
【０１１９】
２０７  転送された多視点の図１０の１０６ストリーミングデータのうち可視のものだけが視聴中の画面ウィンドウに表示され、その他の非可視のデータは原則的には表示しない。
【０１２０】
３０１  多視点コンテンツを撮影するシステムの映像源を表すビデオカメラ。
３０２  各３０１映像源の動画を本方式で用いるために異なる帯域に合わせた多重解像度のビデオに変換する多重解像度化部
３０３  ３０２多重解像度化部で生成された多重解像度のストリーミングファイルで、各３０１映像源に対して生成されてストリーミングサーバ（図３の２０１）に保存される。
【０１２１】
３０４  ３０３のファイルのなかから一種類の解像度ファイルを選ぶモジュール
３０５  伝送路上を流れるストリームデータの概念図。図形の大きさがファイルの帯域の大きさを模している。
【０１２２】
３０６  ユーザが図２の２０６クライアントＰＣ上で視聴しているユーザ視聴ウィンドウ
３０７  ユーザの視点操作に伴って可視（表示）させるストリームを選ぶ可視視点選択スイッチ。実装はソフトゥエアで行われる。
【０１２３】
３０８  非可視視点映像の例、図３の２０６クライアントＰＣまでは伝送されているが、３０６ユーザ視聴ウィンドウには表示されない。
３０９  非可視視点映像の例、図３の２０６クライアントＰＣまでは伝送されているが、３０６ユーザ視聴ウィンドウには表示されない。
【０１２４】
３１０  可視視点映像の例、図３の２０６クライアントＰＣまで伝送されて、かつ３０６ユーザ視聴ウィンドウに表示される。
４０１  クライアント（端末）となるコンピュータ。
【０１２５】
４０２  インターネット
４０３  コンピュータのネットワーク制御部。４０２インターネットとのデータの送受を管理する。
【０１２６】
４０４  スムーズストリーミングメディアエレメント（ＳＳＭＥ）は映像プレイヤで、４１０ストリームファイルを、４０２インターネットを介してサーバに要求し、受信したストリームファイルを順次再生し、４０５グラフィックスライブラリを通して、４０６ディスプレイに表示する。また、４１７オーディオモジュールに音声信号を送り、音楽や音声を出力する
４０５  グラフィックスライブラリで、描画命令をうけて映像や動画をディスプレイメモリに書き込み４０６ディスプレイに表示する。
【０１２７】
４０６  ディスプレイで、映像やＧＵＩのメニューなどを表示する。
４０７  マウス
４０８  ＧＵＩ制御モジュール。マウスなどの入力デバイスからのイベントを取り込み、コンピュータの各制御を行う。４０６ディスプレイ上のメニュー表示と連動する。
【０１２８】
４０９  ４０４  ＳＳＭＥがストリームファイルを要求すると一緒に送られるマニュフェストファイル。
４１０  映像データのストリームファイル。４０４  ＳＳＭＥが要求すると送られる。
【０１２９】
４１１  ビデオ制御部。ユーザからの映像再生、停止、早送りなどの要求をうけとり、表示を制御する。
４１２  ペグ点制御部。ユーザが興味をもった対象として指定するペグ点の管理、ユーザ指示の受付を行う。
【０１３０】
４１３  コンテンツ選択部。どの番組を見るかユーザが指示するための、番組メニューの提示、ユーザからの指示の受付、番組データの送信要求などを制御する。
４１４  記録再生部。ユーザの操作を記録し、また記録された操作のメニューをユーザに提示し、指示に従って再生する。
【０１３１】
４１５  視聴履歴制御部。ユーザの操作・視聴履歴にしたがって、全体の表示を制御する。また個人の履歴をインターネットを経由して共有サーバに送信したり、共有サーバから希望の履歴を受け取る。
【０１３２】
４１６  ユーザ操作・視聴履歴。ユーザの操作・視聴履歴をローカルに蓄積したり、共有の履歴を読み込む場所。
４１７  オーディオモジュール。ＳＳＭＥが生成する音楽・音声を音波に変換し、ラウドスピーカに送って音を鳴らす。
【０１３３】
４１８  視点切り替えモジュール。ユーザの視点操作にしたがって、ＳＳＭＥからの再生信号の表示・非表示をコントロールする。また、ＳＳＭＥにどの帯域のストリームファイルを受け取るかを指示する。
【０１３４】
５０１  ユーザの指示または、推薦機構により、可視にする視点を選ぶ
５０２  可視の視点映像を表示し、そのほか（非可視）の視点映像は表示しないように制御する
５０３  可視の映像中のペグ点で指示された点の座標を表示画面のほぼ中央になるように制御する。
【０１３５】
５０４  ５０８確率分布と５１０ＮＷ・ＣＰＵ監視のデータを参照しながら、各視点ストリームに割り当てる帯域を計算する。
５０５  視点ごとのＳＳＭＥに割り当て帯域を設定する各視点帯域設定部。
【０１３６】
５０６  各視点に対応するＳＳＭＥによる視点ごとのストリーミングファイルダウンロードをする視点ｎストリーミング部。差分映像ファイルを送受する多重階層構造の場合には、差分ファイルを受け取り、低帯域映像ファイルから広帯域映像ファイルを復号する処理も含む。
【０１３７】
５０７  ペグ点の名称から、表示映像フレーム中の該当するペグ点の画像座標情報を置いておき、ストリーミン表示タイミングに合わせて呼び出す。
５０８  可視の視点映像を中心とするある視点範囲で、遷移確率を計算して非可視ごとの遷移確率の計算にもちいる確率分布。
【０１３８】
５０９  各視点に対応するＳＳＭＥの画像出力のうち、可視視点の映像のみをディスプレイに表示する。可視視点が複数あるときは、それらを別々のウィンドウに表示する。
６０１  どの番組を選ぶかのコンテンツ選択のメニュー選択部。
【０１３９】
６０２  選ばれたコンテンツの初期データ（マニュフェストと各視点の映像ストリームの最初のファイル）の送信要求をサーバに出して、受け取る。
６０３  サーバ側の処理
６０４  サーバ内での、ファイル送信要求にこたえてストリームファイルを送出し、また、全ストリームファイルを管理する
６０５  受け取ったストリームの初期値、表示するウィンドウ設定、ペグ点リストの展開とメニュー化、各種ＧＵＩの設定を行う。
【０１４０】
６０６〜６１０  ＧＵＩで示されるメニューにしたがって、ユーザが選択する、６０６視点位置、６０７ペグ点位置、６０８ビデオの再生、停止、早送り、逆戻し、ズームなどの処理、６０９（操作）履歴記録、６１０（操作）履歴再生、の各機能である。
【０１４１】
６１１  ストリーミング表示の制御
６１２  全ストリーミングファイル表示が終わったら、番組視聴は一旦終了
７０１  視聴累積頻度表
７０２  最頻値経路
８０１  視点映像１の対象物の位置情報リスト（ペグ点リスト）
８０２  視点映像２の対象物の位置情報リスト（ペグ点リスト）
９０１  １つの対象物例とその３次元位置情報
９０２  １つの視点映像を撮影しているカメラのモデル
９０３  ９０１の対象物例を９０２カメラモデルで撮影したときの、カメラ画像とその９０１対象物の画像座標
９０４  ９０１対象物例の計算された画像座標列
９０５  ９０１対象物例の３次元位置座標列
１００１  クライアントＰＣ
１００２  グラフィックスモジュール
１００３  スムーズストリーミングメディアエレメント（ＳＳＭＥ）
１００４  マルチプレクサ
１００５  複数のディスプレイ
１００６  視点切り替え制御モジュール
１１０１  帯域割り当て表
１１０２  割り当て帯域
１１０３  視聴経路の例
１１０４  視点４時刻Ｔ５の帯域値
１１０５  現在時刻Ｔ４の可視視点２の帯域値
１１０６  視点２時刻Ｔ５の帯域値
１１０７  視点３時刻Ｔ５の帯域値
【図１】
0005920708.tif 000002
【図２】
0005920708.tif 000003
【図３】
0005920708.tif 000004
【図４】
0005920708.tif 000005
【図５】
0005920708.tif 000006
【図６】
0005920708.tif 000007
【図７】
0005920708.tif 000008
【図８】
0005920708.tif 000009
【図９】
0005920708.tif 000010
【図１０】
0005920708.tif 000011
【図１１】
0005920708.tif 000012
【図１２】
0005920708.tif 000013