(57)【要約】【課題】右目用画像及び左目用画像のネットワーク伝送による品質低下を抑制することができる技術が求められていた。【解決手段】本開示によれば、右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から基準ブロックに対応する視差参照ブロックを抽出し、視差参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの一方の画像から基準ブロックに対応する動き参照ブロックを抽出し、動き参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す動き情報を生成し、視差情報と、動き情報とに基づいて、基準ブロックに付与する誤り訂正符号情報を生成する符号化部を備える、情報処理装置が提供される。【選択図】図１
2014027448.tif 000002
【特許請求の範囲】
【請求項１】
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、
前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、
前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成する符号化部を備える、情報処理装置。
【請求項２】
前記符号化部は、前記視差情報と、前記動き情報とに基づいて、前記誤り訂正符号情報の冗長度を決定し、前記基準ブロックの情報量と、前記冗長度とに基づいて、前記誤り訂正符号情報を生成する、請求項１記載の情報処理装置。
【請求項３】
前記右目用画像及び前記左目用画像は、撮像装置によって撮像された画像であり、
前記符号化部は、前記撮像装置の特性に基づいて、前記冗長度を決定する、請求項２記載の情報処理装置。
【請求項４】
前記符号化部は、前記撮像装置の設置環境に基づいて、前記冗長度を決定する、請求項３記載の情報処理装置。
【請求項５】
前記符号化部は、前記視差情報を重みづけする視差重みづけ情報と、前記動き情報を重みづけする動き重みづけ情報と、に基づいて、前記冗長度を決定する、請求項２記載の情報処理装置。
【請求項６】
前記符号化部は、前記視差情報及び前記動き情報の成分を重みづけする成分重みづけ情報に基づいて、前記冗長度を決定する、請求項２記載の情報処理装置。
【請求項７】
前記符号化部は、ネットワーク状況に基づいて、前記冗長度を決定する、請求項２記載の情報処理装置。
【請求項８】
前記符号化部は、右目用画像及び左目用画像のうち一方の画像から第１の基準ブロックを抽出し、他方の画像から前記第１の基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記第１の基準ブロックの表示位置までの距離を示す視差情報を生成し、
前フレームの前記一方の画像から前記第１の基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記第１の基準ブロックの表示位置までの距離を示す動き情報を生成し、
前記視差情報と、前記動き情報とに基づいて、前記第１の基準ブロックに付与する誤り訂正符号情報を生成し、
前記他方の画像から第２の基準ブロックを抽出し、前記第２の基準ブロックに対する視差情報及び動き情報に、前記第１の基準ブロックに対する視差情報及び動き情報を流用することで、前記第２の基準ブロックに付与する誤り訂正符号情報を生成する、請求項１記載の情報処理装置。
【請求項９】
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成する他の情報処理装置から、前記誤り訂正符号情報を受信する受信部と、
前記誤り訂正符号情報に基づく前記基準ブロックの回復が行われなかった場合に、前記視差参照ブロック及び前記動き参照ブロックに基づいて、前記基準ブロックに対するエラーコンシールメント処理を行う復号化部と、を備える、情報処理装置。
【請求項１０】
前記復号化部は、前記視差参照ブロック及び前記動き参照ブロックのうち、前記基準ブロックに対する相関性がより高いブロックに基づいて、前記基準ブロックに対するエラーコンシールメント処理を行う、請求項９記載の情報処理装置。
【請求項１１】
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、
前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、
前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成することを含む、情報処理方法。
【請求項１２】
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成する他の情報処理装置から、前記誤り訂正符号情報を受信することと、
前記誤り訂正符号情報に基づく前記基準ブロックの回復が行われなかった場合に、前記視差参照ブロック及び前記動き参照ブロックに基づいて、前記基準ブロックに対するエラーコンシールメント処理を行うことと、を含む、情報処理方法。
【請求項１３】
コンピュータに、
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、
前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、
前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成する符号化機能を実現させる、プログラム。
【請求項１４】
コンピュータに、
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成する他の情報処理装置から、前記誤り訂正符号情報を受信する受信機能と、
前記誤り訂正符号情報に基づく前記基準ブロックの回復ができなかった場合に、前記視差参照ブロック及び前記動き参照ブロックに基づいて、前記基準ブロックに対するエラーコンシールメント処理を行う復号化機能と、を実現させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１に開示された技術は、右目用画像及び左目用画像の視差情報に基づいて、右目用画像及び左目用画像に誤り訂正符号を付与する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１００６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示された技術は、誤り訂正符号を生成するに際し、右目用画像及び左目用画像の動き情報何ら考慮していなかったため、右目用画像及び左目用画像の品質がネットワーク伝送により低下する場合があった。このため、右目用画像及び左目用画像のネットワーク伝送による品質低下を抑制することができる技術が求められていた。
【課題を解決するための手段】
【０００５】
本開示によれば、右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から基準ブロックに対応する視差参照ブロックを抽出し、視差参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの一方の画像から基準ブロックに対応する動き参照ブロックを抽出し、動き参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す動き情報を生成し、視差情報と、動き情報とに基づいて、基準ブロックに付与する誤り訂正符号情報を生成する符号化部を備える、情報処理装置が提供される。
【０００６】
本開示によれば、右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から基準ブロックに対応する視差参照ブロックを抽出し、視差参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの一方の画像から基準ブロックに対応する動き参照ブロックを抽出し、動き参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す動き情報を生成し、視差情報と、動き情報とに基づいて、基準ブロックに付与する誤り訂正符号情報を生成する他の情報処理装置から、誤り訂正符号情報を受信する受信部と、誤り訂正符号情報に基づく基準ブロックの回復が行われなかった場合に、視差参照ブロック及び動き参照ブロックに基づいて、基準ブロックに対するエラーコンシールメント処理を行う復号化部と、を備える、情報処理装置が提供される。
【０００７】
本開示によれば、右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から基準ブロックに対応する視差参照ブロックを抽出し、視差参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの一方の画像から基準ブロックに対応する動き参照ブロックを抽出し、動き参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す動き情報を生成し、視差情報と、動き情報とに基づいて、基準ブロックに付与する誤り訂正符号情報を生成することを含む、情報処理方法が提供される。
【０００８】
本開示によれば、右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から基準ブロックに対応する視差参照ブロックを抽出し、視差参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの一方の画像から基準ブロックに対応する動き参照ブロックを抽出し、動き参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す動き情報を生成し、視差情報と、動き情報とに基づいて、基準ブロックに付与する誤り訂正符号情報を生成する他の情報処理装置から、誤り訂正符号情報を受信することと、誤り訂正符号情報に基づく基準ブロックの回復が行われなかった場合に、視差参照ブロック及び動き参照ブロックに基づいて、基準ブロックに対するエラーコンシールメント処理を行うことと、を含む、情報処理方法が提供される。
【０００９】
本開示によれば、コンピュータに、右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から基準ブロックに対応する視差参照ブロックを抽出し、視差参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの一方の画像から基準ブロックに対応する動き参照ブロックを抽出し、動き参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す動き情報を生成し、視差情報と、動き情報とに基づいて、基準ブロックに付与する誤り訂正符号情報を生成する符号化機能を実現させる、プログラムが提供される。
【００１０】
本開示によれば、コンピュータに、右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から基準ブロックに対応する視差参照ブロックを抽出し、視差参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの一方の画像から基準ブロックに対応する動き参照ブロックを抽出し、動き参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す動き情報を生成し、視差情報と、動き情報とに基づいて、基準ブロックに付与する誤り訂正符号情報を生成する他の情報処理装置から、誤り訂正符号情報を受信する受信機能と、誤り訂正符号情報に基づく基準ブロックの回復ができなかった場合に、視差参照ブロック及び動き参照ブロックに基づいて、基準ブロックに対するエラーコンシールメント処理を行う復号化機能と、を実現させる、プログラムが提供される。
【００１１】
本開示によれば、視差情報と、動き情報とに基づいて、基準ブロックに付与する誤り訂正符号情報を生成する。したがって、本開示に係る技術は、基準ブロックの動きに応じた誤り訂正符号情報を付与することができる。
【発明の効果】
【００１２】
以上説明したように本開示によれば、右目用画像及び左目用画像のネットワーク伝送による品質低下を抑制することができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の第１の実施形態に係る情報処理システムの構成を示すブロック図である。
【図２】同実施形態に係る冗長度決定変数テーブルの構成を示す説明図である。
【図３】視差ベクトル（視差情報）及び動きベクトル（動き情報）の一例を示す説明図である。
【図４】冗長度とパリティパケット数との相関関係を示す説明図である。
【図５】送信装置（情報処理装置）による処理の手順を示すフローチャートである。
【図６】受信装置（情報処理装置）による処理の手順を示すフローチャートである。
【図７】本開示の第２の実施形態に係る情報処理システムの構成を示すブロック図である。
【図８】第２の実施形態に係る冗長度決定変数テーブルの構成を示す説明図である。
【図９】本開示の実施例を示す説明図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（送信装置にカメラが２つ接続されている例）
１−１．情報処理システムの全体構成 
１−２．カメラ及び送信装置の構成
１−３．受信装置の構成
１−４．送信装置による処理の手順
１−５．受信装置による処理の手順
２．第２の実施の形態（送信装置にネットワークを介して複数のカメラが接続されている例）
３．実施例
【００１６】
＜１．第１の実施形態＞
（１−１．情報処理システムの全体構成）
まず、図１を参照して、本開示の第１の実施形態に係る情報処理システム１０−１の全体構成について説明する。情報処理システム１０−１は、カメラ２０Ｌ、２０Ｒと、送信装置３０と、ネットワーク４０と、受信装置５０と、表示装置６０とを備える。ネットワーク４０は、送信装置３０と受信装置５０とを接続する。
【００１７】
カメラ２０Ｌは、左目用画像（映像）を撮像し、送信装置３０に送信する。左目用画像は、ユーザの左目によって視認される画像である。カメラ２０Ｒは、右目用画像（映像）を撮像し、送信装置３０に送信する。右目用画像は、ユーザの右目によって視認される画像である。なお、図３に示すように、右目用画像及び左目用画像（以下、これらをまとめて「ステレオ画像」とも称する）には、ｘｙ平面が設定されている。水平方向がｘ軸であり、垂直方向がｙ軸となる。したがって、右目用画像及び左目用画像を構成する各画素の位置は、ｘｙ座標で示される。
【００１８】
送信装置３０は、右目用画像及び左目用画像対して以下のＦＥＣ（Ｆｏｒｗａｒｄ  Ｅｒｒｏｒ  Ｃｏｒｒｅｃｔｉｏｎ）符号化処理を行う。すなわち、送信装置３０は、右目用画像及び左目用画像のうち、一方の画像から基準ブロックを抽出し、他方の画像から基準ブロックに対応する視差参照ブロックを抽出する。そして、送信装置３０は、視差参照ブロックの表示位置から基準ブロックの表示位置までの距離（視差）を示す視差ベクトル（視差情報）を生成する。すなわち、視差ベクトルは、右目用画像と左目用画像との視差を示す情報である。
【００１９】
また、送信装置３０は、前フレーム（例えば、現フレームの１フレーム前のフレーム）の一方の画像から基準ブロックに対応する動き参照ブロックを抽出し、動き参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す動きベクトル（動き情報）を生成する。すなわち、動きベクトルは、右目用画像（または左目用画像）内の基準ブロックが単位時間当りに動く量を示す情報である。
【００２０】
そして、送信装置３０は、視差情報と、動き情報と、カメラ特性とに基づいて、パリティパケット（誤り訂正符号情報）の冗長度を決定する。ここで、カメラ特性は、カメラ２０Ｌ、２０Ｒの設置環境、用途等を示す情報である。カメラ２０Ｌ、２０Ｒは、その特性に応じて、動きの大きい画像、または視差の大きな画像を撮像する。そこで、送信装置３０は、カメラ特性に基づいて、視差情報及び動き情報への重みづけ量（優先度）を決定する。すなわち、送信装置３０は、例えばカメラ２０Ｌが動きの大きな左目用画像を撮像した場合、動き情報への重みづけを大きくする。そして、送信装置３０は、重みづけを行った視差情報及び動き情報に基づいて、冗長度を決定する。すなわち、送信装置３０は、基準ブロックの視差が大きいほど、また、動きが大きいほど、パリティパケットの冗長度を大きな値とする。そして、送信装置３０は、冗長度にもとづいて、パリティパケットを生成する。なお、送信装置３０は、右目用画像及び左目用画像の両方にパリティパケットを付与する。
【００２１】
そして、送信装置３０は、パリティパケットが付与されたステレオ画像を受信装置５０に送信する。受信装置５０は、パリティパケットに基づいて右目用画像及び左目用画像を回復し、表示装置６０に表示する。また、受信装置５０は、パリティパケットに基づく回復が行われなかった場合に、視差参照ブロック及び動き参照ブロックに基づいて、基準ブロックに対するエラーコンシールメント処理を行う。これにより、受信装置５０は、ステレオ画像を回復する。
【００２２】
このように、情報処理システム１０−１は、カメラ２０Ｌ、２０Ｒで撮像されたステレオ画像を、ネットワーク４０を介して受信装置５０に送信する。したがって、ネットワーク遅延やパケット損失が発生する場合がある。カメラ２０Ｌ、２０Ｒがいわゆるライブカメラ（撮像した画像がリアルタイムで表示装置６０に表示されるカメラ）となる場合、表示装置６０が表示するステレオ画像がネットワーク遅延やパケット損失によって特に劣化しやすくなる。
【００２３】
そこで、情報処理システム１０−１は、送信側でステレオ画像にパリティパケットを付与し、受信側でパリティパケットに基づく回復を行うこととしている。さらに、送信装置３０は、基準ブロックの視差が大きいほど、また、動きが大きいほど、パリティパケットの冗長度を大きくする。これは、以下の理由による。
【００２４】
すなわち、ステレオ画像のうち、視差が大きなブロックは、立体感（ブロックが飛び出して見える等の立体感、すなわち、立体映像効果）の大きな画像としてユーザに認識されやすい。すなわち、視差が大きなブロックは、立体映像効果への影響度が大きい。上述した特許文献１は、視差の大きなブロック（パケット）に対して、冗長度の大きなパリティパケットを付与する。
【００２５】
一方、「立体映像通信におけるＱｏＥ評価」及び「立体映像配信に関する画像品質評価法およびシステム構成技術に関する研究」の両論文に示されるように、動きが大きなブロックも、立体感の大きな画像としてユーザに認識されやすい。しかし、特許文献１は、ブロックの動きを何ら考慮していなかった。このため、特許文献１に開示された技術は、動きの大きなブロックを構成するパケットに対し、冗長度が低いパリティパケットを付与することしかできなかった。したがって、当該パケットが損失した場合、パリティパケットに基づく回復を行うことができない場合があった。この場合、映像品質が大きく劣化する。そこで、第１の実施形態では、動きの大きなブロックに対して、冗長度の大きなパリティパケットを付与する。これにより、第１の実施形態では、映像品質をより向上させることができる。
【００２６】
また、特許文献１では、カメラ特性を何ら考慮していなかった。一方、上述したように、カメラ２０Ｌ、２０Ｒは、その特性に応じて、動きの大きい画像、または視差の大きな画像を撮像する。このため、特許文献１では、パリティパケットの冗長度を適切に設定することができない場合があった。これに対し、第１の実施形態では、カメラ特性にもとづいてパリティパケットの冗長度を決定するので、映像品質をより向上させることができる。
【００２７】
また、特許文献１では、パリティパケットに基づく回復が行われなかった場合、前フレームのステレオ画像にもとづいて、エラーエラーコンシールメント処理を行なっていた。しかし、動きが大きい部分は、前フレームのステレオ画像との相関性が低い場合が多いため、前フレームのステレオ画像に基づくエラーコンシールメント処理を行うことができない場合があった。そこで、情報処理システム１０−１は、視差参照ブロック及び動き参照ブロックに基づいて、基準ブロックに対するエラーコンシールメント処理を行う。すなわち、情報処理システム１０−１は、前フレームのステレオ画像のみならず、現フレームのステレオ画像にもとづいて、エラーコンシールメント処理を行う。
【００２８】
このように、第１の実施形態に係る情報処理システム１０−１は、視差情報のみならず、動き情報及びカメラ特性にもとづいて、パリティパケットの冗長度を決定する。これにより、情報処理システム１０−１は、映像品質を向上させることができる。また、情報処理システム１０−１は、前フレームのステレオ画像のみならず、現フレームのステレオ画像にもとづいて、エラーコンシールメント処理を行う。これにより、情報処理システム１０−１は、より確実にステレオ画像を回復することができる。以下、情報処理システム１０−１の構成を詳細に説明する。
【００２９】
（１−２．カメラ及び送信装置の構成）
次に、図１を参照して、本実施形態に係るカメラ２０Ｌ、２０Ｒ及び送信装置３０の構成について説明する。カメラ２０Ｌは、左目用画像を撮像し、送信装置３０に送信する。カメラ２０Ｒは、右目用画像を撮像し、送信装置３０に送信する。
【００３０】
このように、本実施形態では、２台のカメラ２０Ｌ、２０Ｒで撮像（キャプチャ）した映像を用いて、ユーザに立体画像を視認させる。但し、カメラは１台であっても立体映像撮影に対応していれば良い。１眼カメラであっても左右映像を構成して３Ｄ効果を得るものであれば本実施形態に好適に適用される。
【００３１】
また、カメラ２０Ｌ、２０Ｒは、その特性（例えば、設置環境、用途等）に応じて、動きの大きい画像、または視差の大きな画像を撮像することができる。例えば、カメラ２０Ｌ、２０Ｒは、バスケットコートのゴール裏に設置されている場合、ボールやダンクといった奥行きのある画像、すなわち視差の大きな画像を撮像する。
【００３２】
一方、カメラ２０Ｌ、２０Ｒは、バスケットコート脇に設置されている場合、選手等があらゆる方向に激しく動く画像、すなわち動きの大きい画像を撮像する。カメラ２０Ｌ、２０Ｒは、ゴール前の様子を撮像する一方、選手等はゴール前では激しく動くからである。すなわち、画像中のオブジェクト（例えば選手）は、ｘｙ方向に激しく動く。
【００３３】
また、カメラ２０Ｌ、２０Ｒは、バスケットコートの中央（に対向する天井部分）に設置されている場合、ｘ方向への動きが激しい画像を撮像する。この場合、カメラ２０Ｌ、２０Ｒは、速攻時やゲームスタート時の様子を撮像するが、選手等はこれらの時に特定の方向（相手ゴールの方向）に動くことが多いからである。
【００３４】
送信装置３０は、３Ｄ処理部３１と、映像符号化部３２と、パケット処理部３３と、ＦＥＣ符号化部３５と、送信部３６とを備える。なお、送信装置３０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及び通信装置等のハードウェア構成を有する。ＲＯＭには、送信装置３０に、３Ｄ処理部３１と、映像符号化部３２と、パケット処理部３３と、ＦＥＣ符号化部（符号化部）３５と、送信部３６とを実現させるためのプログラムが記録されている。ＣＰＵは、ＲＯＭに記録されたプログラムを読みだして実行する。したがって、これらのハードウェア構成により、３Ｄ処理部３１と、映像符号化部３２と、パケット処理部３３と、ＦＥＣ符号化部３５と、送信部３６とが実現される。
【００３５】
３Ｄ処理部３１は、ステレオ画像を表示するために必要な各種の３Ｄ処理（例えば、キャリブレーション等）を行う。これにより、ステレオ画像をユーザに視認させた際に、立体映像効果をもたらす。３Ｄ処理部３１は、３Ｄ処理後のステレオ画像を映像符号化部３２に出力する。
【００３６】
映像符号化部３２は、ステレオ画像を複数のブロックに分割し、ブロックごとにデータを圧縮する。ここで、ブロックの形状・サイズは、許容される遅延や情報処理システム１０−１に要求される画質等に応じて任意に設定されうる。映像符号化部３２は、圧縮後の右目用画像及び左目用画像をパケット処理部３３に出力する。パケット処理部３３は、通信のためのパケット化（ＲＴＰパケット化）処理を行うことで、右目用画像及び左目用画像のブロックごとにＲＴＰパケット（オリジナルパケット）を生成する。ＲＴＰパケットは、右目用画像及び左目用画像内のどのブロックを構成しているかを示す識別子をもつ。
【００３７】
パケット処理部３３は、パケット化された右目用画像及び左目用画像をＦＥＣ符号化部３５に出力する。ＦＥＣ符号化部３５は、ＦＥＣ符号化処理を行う。概略的には、ＦＥＣ符号化部３５は、右目用画像及び左目用画像のうち、一方の画像から基準ブロックを抽出し、他方の画像から視差参照ブロック（視差参照パケット）を抽出する。そして、ＦＥＣ符号化部３５は、視差参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す視差ベクトルを生成する。さらに、ＦＥＣ符号化部３５は、前フレームの一方の画像から基準ブロックに対応する動き参照ブロック（動き参照パケット）を抽出し、動き参照ブロックの表示位置から基準ブロックの表示位置までの距離を示す動きベクトルを生成する。そして、ＦＥＣ符号化部３５は、これらのベクトルと、図２に示す冗長度決定変数テーブルとに基づいて、パリティパケットの冗長度を決定する。そして、ＦＥＣ符号化部３５は、冗長度に基づいて、基準ブロック毎にパリティパケットを生成する。パリティパケットは、パリティ、左右フレーム相関情報、前フレーム相関情報を含む。各相関情報については後述する。
【００３８】
ここで、ＦＥＣ符号化処理について詳細に説明する。ＦＥＣ符号化処理は、以下の３つのステップで行われる。
ステップ１：冗長度決定変数テーブルの作成
ステップ２：パターンマッチングによる動きベクトルおよび視差ベクトルの算出
ステップ３：付与するパリティパケット数の決定、および、パリティパケットの付与
【００３９】
（冗長度決定変数テーブルの作成）
まず、ＦＥＣ符号化部３５は、図２に示す冗長度決定変数テーブルを生成する。冗長度決定変数テーブルは、動きベクトル成分重みづけ定数ａ、視差ベクトル成分重みづけ定数ｂ、動き・視差ベクトル重みづけ定数α、及びパケット冗長度正規化定数Ｘを示す。動きベクトル成分重みづけ定数（成分重みづけ情報）ａは、動きベクトルの各成分への重みづけ量を示し、視差ベクトル成分重みづけ定数（成分重みづけ情報）ｂは、視差ベクトルの各成分への重みづけ量を示す。
【００４０】
各重みづけ定数ａ、ｂは、カメラ２０Ｌ、２０Ｒの特性、すなわちカメラ特性にもとづいて設定されている。ここで、カメラ特性は、カメラ２０Ｌ、２０Ｒの設置環境、用途等を示す情報である。上述したように、カメラ２０Ｌ、２０Ｒは、その特性に応じて、動きベクトルの大きな画像、視差ベクトルの大きな画像を撮像する。さらに、動きベクトル及び視差ベクトルの各成分も、カメラ特性に応じて異なる。
【００４１】
そこで、本実施形態では、各重みづけ定数ａ、ｂは、カメラ２０Ｌ、２０Ｒの特性、すなわちカメラ特性に基づいて設定されている。例えば、カメラ２０Ｌ、２０Ｒがバスケットコート脇に設置されている場合、重みづけ定数ａは０．５程度とされる。ステレオ画像内のオブジェクトはｘｙ方向に激しく動くからである。なお、動きベクトルのｙ成分が大きいブロックほど、立体映像効果への影響度が高い。そこで、この場合、動きベクトルのｙ成分への重みづけを大きくしてもよい。例えば、重みづけ定数ａを０．３程度としてもよい。これにより、ｙ成分の動きが大きいブロックの冗長度が大きくなるので、ステレオ画像の立体映像効果を高めることができる（後述する式（２）参照）。また、カメラ２０Ｌ、２０Ｒがバスケットコート中央に設置されている場合、重みづけ定数ａは非常に大きくなる。この場合、動きベクトルのｙ成分への重みづけが非常に小さくなる。これにより、ｘ成分の動きが大きいブロックの冗長度が大きくなる。
【００４２】
また、視差ベクトルのｙ成分は原則として０である。カメラの設置位置のずれなどによって視差ベクトルのｙ方向にずれがあると、３Ｄ酔いなどの原因になる。また、ｙ成分が抽出されるような場合は、ブロックマッチングが失敗している可能性もある。そこで、本実施形態では、ｂ＝１としてもよい。この場合、視差ベクトルのｙ成分がキャンセルされる。
【００４３】
動き・視差ベクトル重みづけ定数（動き重みづけ情報、視差重みづけ情報）αは、動きベクトル及び視差ベクトルへの重みづけ量を示す。すなわち、本実施形態では、動きベクトル及び視差ベクトルの全体に重みづけを行う。重みづけ定数αも、カメラ特性に基づいて設定されている。すなわち、上述したように、カメラ２０Ｌ、２０Ｒが、動きが大きいステレオ画像（オブジェクトが左右に大きく動くような画像）を撮像するケースや、視差が大きいステレオ画像（オブジェクトが手前ｏｒ奥に大きく動くような画像）を撮像するケースが想定される。
【００４４】
そこで、本実施形態では、カメラ２０Ｌ、２０Ｒが、動きが大きいステレオ画像を撮像する場合、重みづけ定数αは小さい値に設定される。この場合、動きベクトルに大きな重みづけがなされる。これにより、動きの大きいブロックのパケット損失が回復されやすくなる。一方、カメラ２０Ｌ、２０Ｒが、視差が大きいステレオ画像を撮像する場合、重みづけ定数αは大きな値に設定される。この場合、視差ベクトルに大きな重みづけがなされる。これにより、立体映像効果がより確実に維持されるので、画像の品質が向上する。パケット冗長度正規化定数Ｘは、冗長度を０〜１の範囲内の値に正規化するための定数である。
【００４５】
ＦＥＣ符号化部３５は、冗長度決定変数テーブルを生成することで、柔軟に冗長度を決定することができる。なお、ＦＥＣ符号化部３５は、情報処理システム１０−１の処理開始時もしくは任意の調整時に冗長度決定変数テーブルを生成することができる。ＦＥＣ符号化部３５は、ユーザによる設定操作により、各定数を決定してもよい。すなわち、各定数は、どのように決定されても良いが、カメラ特性等によって、各ベクトルの特性（他のベクトルとの大小関係、及び各成分の大きさ）が予め判明している場合には、その特性に応じて各定数が決定されてもよい。
【００４６】
（パターンマッチングによる動きベクトルおよび視差ベクトルの算出）
ＦＥＣ符号化部３５は、右目用画像及び左目用画像のうち、一方の画像から第１の基準ブロックを抽出し、第１の基準ブロックの動きベクトル及び視差ベクトルを算出する。ここで、重みづけ定数αが０となる場合、視差ベクトルの算出は省略可能である。
【００４７】
ここで、図３に基づいて、視差ベクトル及び動きベクトルの算出例について説明する。図３は、第１の基準ブロックＢ、視差参照ブロックＢｄ、動き参照ブロックＢｍ、視差ベクトルｄ、動きベクトルｍを示す。また、図３では、フレームＦｒ，ｔが現フレームの右目用画像、フレームＦｒ，ｔ−１が前フレームの右目用画像となっており、フレームＦｌ，ｔが現フレームの左目用画像、フレームＦｌ，ｔ−１が前フレームの左目用画像となっている。したがって、この例では、一方の画像は右目用画像となっている。
【００４８】
ＦＥＣ符号化部３５は、フレームＦｒ，ｔから第１の基準ブロックＢを抽出する。さらに、ＦＥＣ符号化部３５は、ブロックマッチング等により、第１の基準ブロックＢに対応する視差参照ブロックＢｄをフレームＦｌ，ｔから抽出する。さらに、ＦＥＣ符号化部３５は、基準ブロックＢに対応する動き参照ブロックＢｍをフレームＦｒ，ｔ−１から抽出する。
【００４９】
そして、ＦＥＣ符号化部３５は、以下の式（１）にもとづいて、動きベクトルｍを算出する。動きベクトルｍは、動き参照ブロックＢｍの表示位置から第１の基準ブロックＢの表示位置までの距離、すなわち、第１の基準ブロックＢがどれだけ時間的に変化したかを示す。
【００５０】
【数１】
2014027448.tif 000003
【００５１】
ここで、ｐは画素（ピクセル）とし、Ｆは、ピクセルｐが示す輝度値とする。動きベクトルｍ＝（ｍｘ，ｍｙ）は、ｆ（ｍ）（輝度値の差の和）を最小にするものとする。ＦＥＣ符号化部３５は、視差ベクトルｄ＝（ｄｘ，ｄｙ）も同様にＦｌ，ｔから算出する。視差ベクトルｄは、視差参照ブロックＢｄの表示位置から第１の基準ブロックＢの表示位置までの距離、すなわち、第１の基準ブロックＢがどれだけ視差があるかを示す。
【００５２】
ＦＥＣ符号化部３５は、一方の画像内の全てのブロックに対して視差ベクトル及び動きベクトルを算出する。そして、ＦＥＣ符号化部３５は、他方の画像から第２の基準ブロックを抽出し、上記と同様の処理を行う。これにより、ＦＥＣ符号化部３５は、右目用画像及び左目用画像のすべてのブロックに対し、視差ベクトル及び動きベクトルを算出する。なお、ＦＥＣ符号化部３５は、上述したブロックマッチングの結果に基づいて、第２の基準ブロックと第１の基準ブロックとを関連付け、第２の基準ブロックの視差ベクトル及び動きベクトルに、第１の基準ブロックの視差ベクトル及び動きベクトルを流用してもよい。なお、第２の基準ブロックの視差ベクトルは、第１の視差ベクトルの符号を反転させたものになる。これにより、ベクトル算出の手間が低減される。以下、第１の基準ブロック及び第２の基準ブロックをまとめて「基準ブロック」とも称する。
【００５３】
（付与するパリティパケット数の決定、および、パリティパケットの付与）
次に、ＦＥＣ符号化部３５は、パリティパケット数の決定及びパリティパケットの付与を行う。具体的には、まず、冗長度決定変数テーブルと、視差ベクトルと、動きベクトルと、以下の式（２）とに基づいて、各基準ブロックの冗長度を算出する。式（２）中、Ｐは冗長度を示す。
【００５４】
【数２】
2014027448.tif 000004
【００５５】
ＦＥＣ符号化部３５は、冗長度と、基準ブロックの情報量（具体的には、オリジナルパケット数）とに基づいて、パリティパケット（誤り訂正符号情報）を生成する。具体的には、ＦＥＣ符号化部３５は、冗長度をオリジナルパケット数に乗じることで、パリティパケット数を決定する。なお、小数点以下は切り捨てとされるが、四捨五入、または切り上げを行なってもよい。そして、ＦＥＣ符号化部３５は、パリティパケットをパリティパケット数だけ生成し、基準ブロックのオリジナルパケットに付与する。このように、冗長度は、基準ブロックを構成するオリジナルパケット群に対して、付与するパリティパケットの割合と定義される。また、オリジナルパケット１つ当りの情報量と、パリティパケット１つ当りの情報量は予め設定されているものとする。
【００５６】
ここで、ＦＥＣ符号化部３５は、パリティパケットに左右フレーム相関情報及び前フレーム相関情報を含める。左右フレーム相関情報は、基準ブロックに対応する視差参照ブロックの位置を示す情報と、基準ブロック及び視差参照ブロックの相関性を示す情報（例えば、視差ベクトルｄ、輝度値の差ｆ（ｄ）など）とを含む。前フレーム相関情報は、基準ブロックに対応する視差参照ブロックの位置を示す情報と、基準ブロック及び動き参照ブロックの相関性を示す情報（例えば、動きベクトルｍ、輝度値の差ｆ（ｍ）など）とを含む。
【００５７】
図４に一例を示す。図４では、フレームＦｒ，ｔから基準ブロックＡ、Ｂ、Ｃが抽出されている。この例において、基準ブロックＡを構成するオリジナルパケットが３個、冗長度Ｐが０．５だった場合、パリティパケットは１個付与される。同様に、基準ブロックＢを構成するオリジナルパケットが４個、冗長度Ｐが０．５だった場合、パリティパケットは２個付与される。一方で、ブロックＣの冗長度が高い（立体映像効果に与える影響が高い）場合、Ｐが１．０となり、パリティパケットが３個付与される。
【００５８】
ここで、ＦＥＣ符号化部３５は、ネットワークの状況を監視し、監視結果にもとづいて、冗長度を決定する（パリティパケット数を制限する）こともできる。たとえば、ＦＥＣ符号化部３５は、遅延やジッタが増大し始め、ネットワーク状況が劣悪していった場合に、最大ビットレートを設定する。そして、ＦＥＣ符号化部３５は、現在のビットレートが最大ビットレートを超える場合は、現在のビットレートが最大ビットレート以下となるように、冗長度を下げる（パリティパケット数を削減する）ことで、トラフィックの制御を行う。
【００５９】
なお、トラフィックの制御に関する他の例としては、マッチングする基準ブロックの数を減らす（すなわち、パリティパケットを付与する基準ブロックの数を減らす）方法が挙げられる。また、冗長度算出の処理量を減らす（例えば、動きベクトルまたは視差ベクトルの大きさが所定値未満であれば冗長度を定数とする等）方法、視差ベクトルまたは動きベクトルの算出を省略する方法等が挙げられる。視差ベクトルまたは動きベクトルの算出が省略された場合、例えば、省略されたベクトルの成分は０とされる。
【００６０】
ＦＥＣ符号化部３５は、パリティパケット及びオリジナルパケットをステレオ画像パケット（ＵＤＰ／ＩＰパケット）としてステレオ画像を送信部３６に出力する。送信部３６は、左目用画像のステレオ画像パケットと右目用画像のステレオ画像パケットとを受信装置５０に送信する。
【００６１】
（１−３．受信装置の構成）
次に、図１に基づいて、受信装置５０の構成について説明する。受信装置５０は、受信部５１と、ＦＥＣ復号化部（復号化部）５２と、パケット処理部５３と、映像復号化部５４とを備える。なお、受信装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及び通信装置等のハードウェア構成を有する。ＲＯＭには、受信装置５０に、受信部５１と、ＦＥＣ復号化部（復号化部）５２と、パケット処理部５３と、映像復号化部５４とを実現させるためのプログラムが記録されている。ＣＰＵは、ＲＯＭに記録されたプログラムを読みだして実行する。したがって、これらのハードウェア構成により、受信部５１と、ＦＥＣ復号化部（復号化部）５２と、パケット処理部５３と、映像復号化部５４とが実現される。
【００６２】
受信部５１は、ステレオ画像パケットを受信し、ＦＥＣ復号化部５２に出力する。なお、受信部５１は、オリジナルパケットから損失パケットを検知した場合、その旨をＦＥＣ復号化部５２に通知する。
【００６３】
ＦＥＣ復号化部５２は、損失パケットが検知された場合、まず、パリティパケットに基づいて、ステレオ画像パケットの回復を試みる。ＦＥＣ復号化部５２は、パリティパケットに基づく回復が可能な範囲を超えてパケット損失が発生した場合、すなわち、パリティパケットに基づく回復が行われない場合、エラーコンシールメント処理を行う。具体的には、ＦＥＣ復号化部５２は、前フレーム相関情報及び左右フレーム相関情報にもとづいて、視差参照ブロック及び動き参照ブロックのうち、どちらの相関性が高いかを判定する。判定基準は、例えば輝度値の差の和ｆである。例えば、ｆ（ｄ）＜ｆ（ｍ）である場合は、視差参照ブロックは、動き参照ブロックよりも基準ブロックとの相関性が高くなる。そして、ＦＥＣ復号化部５２は、より相関性の高いブロックを用いて、オリジナルパケットを回復する。例えば、ＦＥＣ復号化部５２は、相関性の高いブロックのオリジナルパケットを基準ブロックのオリジナルパケットとする。その後、ＦＥＣ復号化部５２は、ステレオ画像パケットをパケット処理部５３に出力する。
【００６４】
パケット処理部５３は、ステレオ画像パケットをストリーム情報（圧縮されたステレオ画像）に復元し、映像復号化部５４は、ストリーム情報を元のステレオ画像、すなわちカメラ２０Ｌ、２０Ｒが撮像したステレオ画像に復元する。映像復号化部５４は、ステレオ画像を表示装置６０に表示させる。表示装置６０は、ステレオ画像を立体表示させることができる。すなわち、表示装置６０は、右目用画像をユーザの右目に視認させ、左目用画像をユーザの左目に視認させることができる。
【００６５】
＜１−４．送信装置による処理の手順＞
次に、送信装置３０による処理の手順を、図５に示すフローチャートに沿って説明する。ステップＳ１０において、３Ｄ処理部３１は、カメラ２０Ｌ、２０Ｒからステレオ画像（映像データ）が入力されたか否かを判定する。３Ｄ処理部３１は、カメラ２０Ｌ、２０Ｒからステレオ画像が入力されたと判定された場合には、ステップＳ２０に進み、カメラ２０Ｌ、２０Ｒからステレオ画像が入力されないと判定した場合には、本処理を終了する。
【００６６】
ステップＳ２０において、３Ｄ処理部３１は、ステレオ画像を表示するために必要な各種の３Ｄ処理を行う。３Ｄ処理部３１は、３Ｄ処理後の右目用画像及び左目用画像を映像符号化部３２に出力する。
【００６７】
ステップＳ３０において、映像符号化部３２は、映像符号化処理を行う。具体的には、映像符号化部３２は、ステレオ画像を複数のブロックに分割し、ブロックごとにデータを圧縮する。映像符号化部３２は、圧縮後のステレオ画像をパケット処理部３３に出力する。
【００６８】
ステップＳ４０において、パケット処理部３３は、通信のためのパケット化（ＲＴＰパケット化）処理を行うことで、ステレオ画像のブロックごとにＲＴＰパケット（オリジナルパケット）を生成する。パケット処理部３３は、パケット化された右目用画像及び左目用画像をＦＥＣ符号化部３５に出力する。
【００６９】
ステップＳ５０において、ＦＥＣ符号化部３５は、ＦＥＣ符号化処理を行う。具体的には、ＦＥＣ符号化部３５は、上述した３つのステップ（冗長度決定変数テーブルの作成、パターンマッチングによる動きベクトルおよび視差ベクトルの算出、付与するパリティパケット数の決定、および、ＦＥＣ符号化処理）を行う。ＦＥＣ符号化部３５は、パリティパケット及びオリジナルパケットをステレオ画像パケット（ＵＤＰ／ＩＰパケット）としてステレオ画像を送信部３６に出力する。ステップＳ６０において、送信部３６は、ステレオ画像パケットを受信装置５０に送信する。その後、送信装置３０は、本処理を終了する。
【００７０】
＜１−５．受信装置による処理の手順＞
次に、受信装置５０による処理の手順を、図６に示すフローチャートに沿って説明する。ステップＳ１１０において、受信部５１は、ステレオ画像パケットを受信したか否かを判定する。受信部５１は、ステレオ画像パケットを受信したと判定した場合には、ステップＳ１２０に進み、ステレオ画像パケットを受信していないと判定した場合には、本処理を終了する。
【００７１】
ステップＳ１２０において、受信部５１は、オリジナルパケットから損失パケットを検知した場合、その旨をＦＥＣ復号化部５２に通知する。ＦＥＣ復号化部５２は、損失パケットが検知された場合、パリティパケットに基づいて、ステレオ画像パケットの回復を試みる。なお、ＦＥＣ復号化部５２は、損失パケットが存在しない場合、ステレオ画像パケットをパケット処理部５３に出力する。その後、パケット処理部５３は、ステップＳ１８０の処理を行う。
【００７２】
ステップＳ１３０において、ＦＥＣ復号化部５２は、パリティパケットに基づく回復が行えたか否かを判定する。ＦＥＣ復号化部５２は、パリティパケットに基づく回復が行えたと判定した場合には、回復後のステレオ画像パケットをパケット処理部５３に出力し、ステップＳ１８０に進む。一方、ＦＥＣ復号化部５２は、パリティパケットに基づく回復が行えないと判定した場合には、ステップＳ１４０に進む。
【００７３】
ステップＳ１４０において、ＦＥＣ復号化部５２は、エラーコンシールメント処理を開始する。具体的には、ステップＳ１５０において、ＦＥＣ復号化部５２は、前フレーム相関情報及び左右フレーム相関情報にもとづいて、視差参照ブロック及び動き参照ブロックのうち、どちらの相関性が高いかを判定する。ＦＥＣ復号化部５２は、視差参照ブロックの相関性が動き参照ブロックの相関性よりも大きいと判定した場合には、ステップＳ１６０に進み、動き参照ブロックの相関性が視差参照ブロックの相関性よりも大きいと判定した場合には、ステップＳ１７０に進む。なお、ＦＥＣ復号化部５２は、両方の相関性が一致する場合には、ステップＳ１６０、Ｓ１７０のどちらに進んでもよい。
【００７４】
ステップＳ１６０において、ＦＥＣ復号化部５２は、視差参照ブロックを用いて、基準ブロックのオリジナルパケットを回復する。例えば、ＦＥＣ復号化部５２は、視差参照ブロックのオリジナルパケットを基準ブロックのオリジナルパケットとする。その後、ＦＥＣ復号化部５２は、ステレオ画像パケットをパケット処理部５３に出力し、ステップＳ１８０に進む。
【００７５】
ステップＳ１７０において、ＦＥＣ復号化部５２は、動き参照ブロックを用いて、基準ブロックのオリジナルパケットを回復する。例えば、ＦＥＣ復号化部５２は、動き参照ブロックのオリジナルパケットを基準ブロックのオリジナルパケットとする。その後、ＦＥＣ復号化部５２は、ステレオ画像パケットをパケット処理部５３に出力し、ステップＳ１８０に進む。
【００７６】
ステップＳ１８０において、パケット処理部５３は、ステレオ画像パケットをストリーム情報（圧縮されたステレオ画像）に復元する。ステップＳ１７０において、映像復号化部５４は、ストリーム情報を元のステレオ画像、すなわちカメラ２０Ｌ、２０Ｒが撮像したステレオ画像に復元する。映像復号化部５４は、ステレオ画像を表示装置６０に表示させる。その後、受信装置５０は、本処理を終了する。
【００７７】
以上により、第１の実施形態によれば、情報処理システム１０−１は、パケット損失に耐性のある立体映像ライブ伝送システムを構築することができる。また、情報処理システム１０−１は、立体映像効果の強弱、および、映像品質への影響度に応じて各重みづけ定数を決定することができるので、ネットワーク伝送による立体映像効果の損失を抑制することができる。また、情報処理システム１０−１は、パケット損失をパリティパケットにもとづいて回復できない場合にも、立体映像の効果を損なわない映像を補間処理（エラーコンシールメント処理）によって提供することができる。
【００７８】
すなわち、情報処理システム１０−１は、視差情報と、動き情報とに基づいて、基準ブロックに付与するパリティパケット（誤り訂正符号情報）を生成する。ここで、基準ブロックの動きが大きい（前フレームからの移動量が大きい）場合、その基準ブロックは、立体映像効果に大きな影響を与える。これに対し、情報処理システム１０は、基準ブロックの動きに応じたパリティパケットを付与することができる。したがって、情報処理システム１０−１は、動きの大きな基準ブロックに多くのパリティパケットを付与することができるので、ステレオ画像のネットワーク伝送による品質低下を抑制することができる。
【００７９】
さらに、情報処理システム１０−１は、視差情報と、動き情報とに基づいて、パリティパケットの冗長度を決定し、オリジナルパケット数（基準ブロックの情報量）と、冗長度とに基づいて、パリティパケットを生成する。これにより、情報処理システム１０−１は、基準ブロックの動きに応じたパリティパケットをより確実に付与することができる。
【００８０】
さらに、情報処理システム１０−１は、カメラ特性に基づいて、冗長度を決定するので、冗長度をより正確に算出することができる。
【００８１】
さらに、情報処理システム１０−１は、カメラ２０Ｌ、２０Ｒの設置環境に基づいて、冗長度を決定するので、冗長度をより正確に算出することができる。
【００８２】
さらに、情報処理システム１０−１は、動き・視差ベクトル重みづけ定数α（視差重みづけ情報、動き重みづけ情報）に基づいて、冗長度を決定する。したがって、情報処理システム１０−１は、冗長度をより正確に算出することができる。
【００８３】
さらに、情報処理システム１０−１は、動きベクトル重みづけ定数ａ、視差ベクトル重みづけ定数ｂ（成分重みづけ情報）に基づいて、冗長度を決定する。したがって、情報処理システム１０−１は、冗長度をより正確に算出することができる。
【００８４】
さらに、情報処理システム１０−１は、ネットワーク状況に基づいて、冗長度を決定するので、トラフィックに過剰な負荷がかかることを抑制することができる。
【００８５】
さらに、第２の基準ブロックに対する視差情報及び動き情報に、第１の基準ブロックに対する視差情報及び動き情報を流用するので、冗長度算出の手間を低減することができる。
【００８６】
さらに、情報処理システム１０−１は、パリティパケットに基づく基準ブロックの回復ができなかった場合に、視差参照ブロック及び動き参照ブロックに基づいて、基準ブロックに対するエラーコンシールメント処理を行う。したがって、情報処理システム１０−１は、基準ブロックをより確実に回復させることができる。
【００８７】
さらに、情報処理システム１０−１は、視差参照ブロック及び動き参照ブロックのうち、基準ブロックに対する相関性がより高いブロックに基づいて、基準ブロックに対するエラーコンシールメント処理を行う。したがって、情報処理システム１０−１は、基準ブロックをより確実かつ正確に回復させることができる。
＜２．第２の実施形態＞
次に、第２の実施形態について説明する。図７は、第２の実施形態に係る情報処理システム１０−２の構成を示す。情報処理システム１０−２は、送信装置３０にスイッチャ７０及びネットワーク（ＩＰネットワーク）２５を介してｎ個（ｎは３以上の整数）のカメラ２０−１、〜２０−ｎが接続されている点で、情報処理システム１０−１と異なる。
【００８８】
カメラ２０−１〜２０−ｎは、撮像を行うことで、撮像画像を生成する。撮像画像には、撮像画像を生成したカメラを一意に特定するカメラＩＤが付与されている。カメラ２０−１〜２０−ｎは、撮像画像をスイッチャ７０に送信する。また、カメラ２０−１〜２０−ｎは、他のカメラとカメラ対を構成する。カメラ対を構成するカメラのうち、一方のカメラは右目用画像を撮像し、他方のカメラは左目用画像を撮像する。１つのカメラが複数種類のカメラ対を構成する場合もある。この場合、あるカメラは、一方のカメラ対では右目用画像を撮像し、他方のカメラ対では左目用画像を撮像する場合がある。
【００８９】
スイッチャ７０は、３Ｄ対象カメラ映像ＩＤ組（Ｒｉｄ、Ｌｉｄ）を記憶する。３Ｄ対象カメラ映像ＩＤ組は、右目用カメラＩＤ（Ｒｉｄ）と、左目用カメラＩＤ（Ｌｉｄ）とで構成される。右目用カメラＩＤは、右目用画像を撮像するカメラのカメラＩＤを示し、左目用カメラＩＤは、左目用画像を撮像するカメラのカメラＩＤを示す。
【００９０】
スイッチャ７０は、３Ｄ対象カメラ映像ＩＤ組と、各撮像画像に付与されたカメラＩＤとに基づいて、各撮像画像を右目用画像及び左目用画像に区分する。そして、スイッチャ７０は、右目用画像を示すフラグを右目用画像に付与し、左目用画像を示すフラグを左目用画像に付与する。そして、スイッチャ７０は、右目用画像及び左目用画像からなるステレオ画像を生成し、送信装置３０に出力する。
【００９１】
送信装置３０は、第１の実施形態と同様の構成を有し、かつ、第１の実施形態と同様の処理を行う。ただし、冗長度決定変数テーブル３４の構成が第１の実施形態と異なる。図８に、第２の実施形態に係る冗長度決定変数テーブル３４の例を示す。図８に示すように、第２の実施形態に係る冗長度決定変数テーブル３４は、第１の実施形態に係る冗長度決定変数テーブル３４に「３Ｄ対象カメラ映像ＩＤ組」の項を追加したものである。すなわち、情報処理システム１０−２は、３Ｄ対象カメラ映像ＩＤ組毎に冗長度決定変数テーブル３４を有する。３Ｄ対象カメラ映像ＩＤ組毎にカメラ特性が異なる場合があるからである。もちろん、複数の３Ｄ対象カメラ映像ＩＤ組でカメラ特性が共通する場合、これらの３Ｄ対象カメラ映像ＩＤ組では冗長度決定変数テーブル３４を共通化させてもよい。ＦＥＣ符号化部３５は、ステレオ画像に付与されたカメラＩＤの組に基づいて、冗長度決定変数テーブル３４を選択し、選択された冗長度決定変数テーブル３４にもとづいて、第１の実施形態と同様の処理を行う。
【００９２】
第２の実施形態においても、第１の実施形態と同様の効果が得られる。また、第２の実施形態では、情報処理システム１０−２は、カメラ対の特性毎に異なる冗長度を設定することができる。
【００９３】
なお、スイッチャ７０が送信装置３０の処理の一部、特に３Ｄ処理部３１、映像符号化部３２、及びパケット処理部３３の処理を行なってもよい。また、スイッチャ７０を送信装置３０に内蔵させてもよい。
【実施例】
【００９４】
次に、実施例を図９にもとづいて説明する。この実施例では、図９に示すように、複数カメラＡ〜Ｇを用いたバスケットのライブ３Ｄ映像配信について述べる。この例では、７台のカメラＡ〜Ｇが設置されており、それぞれＩＰネットワークによって接続されている。すなわち、この実施例では、第２の実施形態に係る情報処理システム１０−２が用いられている。
【００９５】
また、この実施例では、カメラ対Ａ、Ｂ、カメラ対Ｃ、Ｄ、カメラ対Ｅ、Ｆ、及びカメラ対Ｆ、Ｇが構成されている。カメラＦは、カメラ対Ｅ、Ｆでは右目用画像を撮像し、カメラ対Ｆ、Ｇでは左目用画像を撮像する。
【００９６】
カメラ対Ａ、Ｂは、ゴール裏に設置されており、ボールやダンクといった奥行きのある画像を撮像するというカメラ特性を持つ。このことから、ＦＥＣ符号化部３５は、重みづけ定数αを大きくすることで、視差ベクトルが大きい基準ブロックを構成するパケットに優先的にパリティパケットを付与する。
【００９７】
一方、カメラ対Ｃ、Ｄは、バスケットコート脇に設置されており、コート内の全体的な画像を撮像するというカメラ特性を持つ。カメラ対Ｃ、Ｄによって撮像される選手は、運動量がもっとも大きくなる（すなわち、撮像画像中のオブジェクト（選手）は、ｘｙ方向に激しく移動する）。このため、ＦＥＣ符号化部３５は、重みづけ定数αを小さくすることで、運動量ベクトルの大きい基準ブロックを構成するパケットに優先的にパリティパケットを付与する。また、ＦＥＣ符号化部３５は、重みづけ定数ａを小さくすることで、動きベクトルのｙ成分への重みづけを大きくしてもよい。
【００９８】
一方、カメラ対Ｅ、Ｆおよびカメラ対Ｆ、Ｇは、バスケットコートの中央（に対向する天井部分）に設置されており、ゲームのスタート時や速攻などの様子を撮像するというカメラ特性を持つ。すなわち、カメラ対Ｅ、Ｆおよびカメラ対Ｆ、Ｇは、動きの大きい画像及び奥行きのある画像を撮影する可能性がある。このため、ＦＥＣ符号化部３５は、重みづけ定数αを０とする。また、ＦＥＣ符号化部３５は、動きベクトルのｙ成分の重みづけを小さく（すなわち、重みづけ定数ａを大きく）することで、横の移動の激しい基準ブロックに対する冗長度を高める。このように、情報処理システム１０−２は、カメラ特性（すなわち、カメラの位置やシチュエーション等）が予め判明している場合は、重みづけを適正に行うことで、ネットワークでのパケット損失による画質劣化を防ぐことができる。
【００９９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１００】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、
前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、
前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成する符号化部を備える、情報処理装置。
（２）
前記符号化部は、前記視差情報と、前記動き情報とに基づいて、前記誤り訂正符号情報の冗長度を決定し、前記基準ブロックの情報量と、前記冗長度とに基づいて、前記誤り訂正符号情報を生成する、前記（１）記載の情報処理装置。
（３）
前記右目用画像及び前記左目用画像は、撮像装置によって撮像された画像であり、
前記符号化部は、前記撮像装置の特性に基づいて、前記冗長度を決定する、前記（２）記載の情報処理装置。
（４）
前記符号化部は、前記撮像装置の設置環境に基づいて、前記冗長度を決定する、前記（３）記載の情報処理装置。
（５）
前記符号化部は、前記視差情報を重みづけする視差重みづけ情報と、前記動き情報を重みづけする動き重みづけ情報と、に基づいて、前記冗長度を決定する、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記符号化部は、前記視差情報及び前記動き情報の成分を重みづけする成分重みづけ情報に基づいて、前記冗長度を決定する、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記符号化部は、ネットワーク状況に基づいて、前記冗長度を決定する、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記符号化部は、右目用画像及び左目用画像のうち一方の画像から第１の基準ブロックを抽出し、他方の画像から前記第１の基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記第１の基準ブロックの表示位置までの距離を示す視差情報を生成し、
前フレームの前記一方の画像から前記第１の基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記第１の基準ブロックの表示位置までの距離を示す動き情報を生成し、
前記視差情報と、前記動き情報とに基づいて、前記第１の基準ブロックに付与する誤り訂正符号情報を生成し、
前記他方の画像から第２の基準ブロックを抽出し、前記第２の基準ブロックに対する視差情報及び動き情報に、前記第１の基準ブロックに対する視差情報及び動き情報を流用することで、前記第２の基準ブロックに付与する誤り訂正符号情報を生成する、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成する他の情報処理装置から、前記誤り訂正符号情報を受信する受信部と、
前記誤り訂正符号情報に基づく前記基準ブロックの回復が行われなかった場合に、前記視差参照ブロック及び前記動き参照ブロックに基づいて、前記基準ブロックに対するエラーコンシールメント処理を行う復号化部と、を備える、情報処理装置。
（１０）
前記復号化部は、前記視差参照ブロック及び前記動き参照ブロックのうち、前記基準ブロックに対する相関性がより高いブロックに基づいて、前記基準ブロックに対するエラーコンシールメント処理を行う、前記（９）記載の情報処理装置。
（１１）
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、
前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、
前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成することを含む、情報処理方法。
（１２）
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成する他の情報処理装置から、前記誤り訂正符号情報を受信することと、
前記誤り訂正符号情報に基づく前記基準ブロックの回復が行われなかった場合に、前記視差参照ブロック及び前記動き参照ブロックに基づいて、前記基準ブロックに対するエラーコンシールメント処理を行うことと、を含む、情報処理方法。
（１３）
コンピュータに、
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、
前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、
前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成する符号化機能を実現させる、プログラム。
（１４）
コンピュータに、
右目用画像及び左目用画像のうち一方の画像から基準ブロックを抽出し、他方の画像から前記基準ブロックに対応する視差参照ブロックを抽出し、前記視差参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す視差情報を生成し、前フレームの前記一方の画像から前記基準ブロックに対応する動き参照ブロックを抽出し、前記動き参照ブロックの表示位置から前記基準ブロックの表示位置までの距離を示す動き情報を生成し、前記視差情報と、前記動き情報とに基づいて、前記基準ブロックに付与する誤り訂正符号情報を生成する他の情報処理装置から、前記誤り訂正符号情報を受信する受信機能と、
前記誤り訂正符号情報に基づく前記基準ブロックの回復ができなかった場合に、前記視差参照ブロック及び前記動き参照ブロックに基づいて、前記基準ブロックに対するエラーコンシールメント処理を行う復号化機能と、を実現させる、プログラム。
【符号の説明】
【０１０１】
２０Ｒ、２０Ｌ    カメラ
３０      送信装置
３１      ３Ｄ処理部
３２      映像符号化部
３３      パケット処理部
３４      冗長度決定変数テーブル
３５      ＦＥＣ符号化部
３６      送信部
４０      ネットワーク
５０      受信装置
５１      受信部
５２      ＦＥＣ復号化部
５３      パケット処理部
５４      映像復号化部
６０      表示装置
【図１】
2014027448.tif 000005
【図２】
2014027448.tif 000006
【図３】
2014027448.tif 000007
【図４】
2014027448.tif 000008
【図５】
2014027448.tif 000009
【図６】
2014027448.tif 000010
【図７】
2014027448.tif 000011
【図８】
2014027448.tif 000012
【図９】
2014027448.tif 000013