(57)【要約】【課題】  映像伝送システムにおいて、伝送映像の品質の確保と伝送帯域の圧迫を抑制する技術を提供する。【解決手段】  本発明に係る映像伝送システムは、選択装置に設定された動作モードに応じて、複数の出力装置に対応する複数の映像データのうち選択装置が受信する映像データの伝送数と、選択装置が受信する映像データのフォーマットとを設定する制御を行う制御手段を備える。【選択図】  図１
2019075724.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ映像データを出力可能な複数の出力装置から少なくとも１つの出力装置を選択する選択装置に設定された動作モードを判別する判別ステップと、
前記選択装置に設定された動作モードに応じて、前記複数の出力装置に対応する複数の映像データのうち前記選択装置が受信する映像データの伝送数と、前記選択装置が受信する映像データのフォーマットとを設定する制御を行う制御ステップと、を有する映像伝送方法。
【請求項２】
前記制御ステップは、前記複数の出力装置と前記選択装置との間の伝送路で伝送可能な最大伝送容量を超えないように、前記選択装置に設定された動作モードに応じて、前記複数の出力装置に対応する複数の映像データのうち前記選択装置が受信する映像データの伝送数と、前記選択装置が伝送を受ける映像データのフォーマットとを設定する制御を行うことを特徴とする請求項１に記載の映像伝送方法。
【請求項３】
前記フォーマットは、解像度、フレームレート、圧縮率の少なくとも１つを含むことを特徴とする請求項１または２に記載の映像伝送方法。
【請求項４】
前記選択装置に設定された動作モードは、ライブ放送の撮影に用いる放送撮影モード、撮像装置の画角・露出・輝度・コントラスト・色の少なくともいずれかを調整する第１セッティングモード、撮像装置のフォーカス調整を行う第２セッティングモードの少なくとも１つのモードを含むことを特徴とする請求項１〜３のいずれか１項に記載の映像伝送方法。
【請求項５】
前記選択装置に設定された動作モードが前記放送撮影モードである場合は、前記選択装置に設定された動作モードが前記第１セッティングモード又は前記第２セッティングモードである場合に比べて、前記選択装置が受信する映像データの伝送数が少ないことを特徴とする請求項４に記載の映像伝送方法。
【請求項６】
前記選択装置に設定された動作モードが前記放送撮影モードである場合は、前記選択装置に設定された動作モードが前記第１セッティングモードである場合に比べて、前記選択装置が受信する映像データの解像度が大きいことを特徴とする請求項４又は５に記載の映像伝送方法。
【請求項７】
前記選択装置に設定された動作モードが前記放送撮影モードである場合は、前記選択装置に設定された動作モードが前記第１セッティングモードである場合に比べて、前記選択装置が受信する映像データのフレームレートが大きいことを特徴とする請求項４〜６のいずれか１項に記載の映像伝送方法。
【請求項８】
前記選択装置に設定された動作モードが前記放送撮影モードである場合は、前記選択装置に設定された動作モードが前記第１セッティングモードである場合に比べて、前記選択装置が受信する映像データの圧縮率が小さいことを特徴とする請求項４〜６のいずれか１項に記載の映像伝送方法。
【請求項９】
前記選択装置が複数ある場合に、前記制御ステップの制御権を調停する調停ステップを有することを特徴とする請求項１〜８のいずれか１項に記載の映像伝送方法。
【請求項１０】
前記出力装置は、撮像して得られた映像データを出力する撮像装置であることを特徴とする請求項１〜９のいずれか１項に記載の映像伝送方法。
【請求項１１】
前記複数の出力装置と、前記選択装置は、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークで接続されることを特徴とする請求項１〜１０のいずれか１項に記載の映像伝送方法。
【請求項１２】
請求項１〜１１のいずれか１項に記載の映像伝送方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１３】
それぞれ映像データを出力可能な複数の出力装置と、前記複数の出力装置から少なくとも１つの出力装置を選択する選択装置とを備える映像伝送システムであって、
前記選択装置に設定された動作モードに応じて、前記複数の出力装置に対応する複数の映像データのうち前記選択装置が受信する映像データの伝送数と、前記選択装置が受信する映像データのフォーマットとを設定する制御を行う制御手段を備えることを特徴とする映像伝送システム。
【請求項１４】
それぞれ映像データを出力可能な複数の出力装置から少なくとも１つの出力装置を選択する選択装置であって、
前記選択装置に設定された動作モードに応じて、前記複数の出力装置に対応する複数の映像データのうち前記選択装置が受信する映像データの伝送数と、前記選択装置が受信する映像データのフォーマットとを設定する制御を行う制御手段を備えることを特徴とする選択装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像伝送方法、映像伝送システム及び選択装置に関する。
【背景技術】
【０００２】
従来の映像伝送システムでは、伝送性能が保証された専用伝送路として、例えばＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）等のインターフェースが使用されることが多かった。近年は、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークの高速化・大容量化が進み、ＩＰネットワークを用いて映像伝送する技術が実現されている。映像制作のワークフローにおいても、ＩＰネットワークを用いて映像伝送する技術の採用が始まっている。
【０００３】
ＩＰネットワークを用いた映像伝送システムでは、ハブ等の機器を用いることで、伝送経路を組み替える自由度が高くなるという特徴がある。ＩＰネットワークを用いて必要な数の機器を伝送経路で接続することで、撮影シーンに応じた適応的な映像伝送を自由に実現することが可能となる。例えば、多数の撮像装置を用いて、多視点映像を切り替えて表示するようなことも容易に実現できるようになる。
【０００４】
一方、ＩＰネットワークは、伝送データの到着時間を補償することが難しいという特徴もある。これは、伝送経路に他の通信データが混在したり、機器の故障により伝送経路が変更されたりすることに起因する。伝送データの到着時間を補償することができないと、伝送すべき映像データが欠落してしまう。そこで、ＩＰネットワークを用いた映像伝送システムでは、伝送すべき映像データの欠落を防止して伝送映像の品質を確保するために、伝送路を二重化して伝送データの欠落を防ぐことが提案されている。
【０００５】
下記の特許文献１には、ネットワークの負荷を軽減するとともに、認識に必要な入力映像のフレームレート及び解像度を容易に最適化できるようにする技術が提案されている。カメラにおいて生成された所定時間分の映像データから物体を認識し、その認識結果を分析して、受信したフレーム画像から認識した映像中の顔の最小サイズと、移動速度とを求める。そして、求めた顔の最小サイズと移動速度とから、フレームレート及び解像度の下限値を決定する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２６３５８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＩＰネットワークを用いた映像伝送システムにおいて、多数の撮像装置を接続する場合、全ての撮像装置の映像を二重化して伝送すると、伝送経路の最大伝送容量を超えて伝送帯域が圧迫され、映像品質を確保できなくなるケースがある。上述の特許文献１では、このようなケースについては考慮されていない。
【０００８】
そこで、本発明は、映像伝送システムにおいて、伝送映像の品質の確保と伝送帯域の圧迫を抑制する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明の一実施形態に係る映像伝送方法は、それぞれ映像データを出力可能な複数の出力装置から少なくとも１つの出力装置を選択する選択装置に設定された動作モードを判別する判別ステップと、
前記選択装置に設定された動作モードに応じて、前記複数の出力装置に対応する複数の映像データのうち前記選択装置が受信する映像データの伝送数と、前記選択装置が受信する映像データのフォーマットとを設定する制御を行う制御ステップと、を有する。
【００１０】
また、本発明の一実施形態に係る映像伝送システムは、それぞれ映像データを出力可能な複数の出力装置と、前記複数の出力装置から少なくとも１つの出力装置を選択する選択装置とを備える映像伝送システムであって、
前記選択装置に設定された動作モードに応じて、前記複数の出力装置に対応する複数の映像データのうち前記選択装置が受信する映像データの伝送数と、前記選択装置が受信する映像データのフォーマットとを設定する制御を行う制御手段を備える。
【００１１】
また、本発明の一実施形態に係る選択装置は、それぞれ映像データを出力可能な複数の出力装置から少なくとも１つの出力装置を選択する選択装置であって、
前記選択装置に設定された動作モードに応じて、前記複数の出力装置に対応する複数の映像データのうち前記選択装置が受信する映像データの伝送数と、前記選択装置が受信する映像データのフォーマットとを設定する制御を行う制御手段を備える。
【発明の効果】
【００１２】
本発明によれば、映像伝送システムにおいて、動作モードに応じて伝送映像のフォーマットを制御することにより、伝送映像の品質の確保と伝送帯域の圧迫を抑制することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１に係る映像伝送システムの構成を示すブロック図である。
【図２】図１に示したモニタによる伝送チャンネル設定処理（メイン処理）を示すフローチャートである。
【図３】動作モード毎の各種フォーマットの重要度の定義を示す図である。
【図４】図３に示した重要度の定義に基づき決定された映像フォーマットのパラメータ例を示す図である。
【図５】放送撮影モードに対応した選択チャンネルテーブルの一例を示す図である。
【図６】放送撮影モード時のフレームバッファの概念的な構成を説明するための概念図である。
【図７】セッティングＥモード／セッティングＦモード時のフレームバッファの概念的な構成を説明するための概念図である。
【図８】図２のＳ１００６のフォーマット決定処理について説明するためのフローチャートである。
【図９】図２のＳ１０１１で起動されるパケットスイッチ処理について説明するためのフローチャートである。
【図１０】図２のＳ１０１２で起動されるデコード処理について説明するためのフローチャートである。
【図１１】バッファ読み出し処理について説明するためのフローチャートである。
【図１２】実施の形態２に係る映像伝送システムの構成を示すブロック図である。
【図１３】実施の形態２におけるスイッチャ装置による伝送チャンネル設定処理（メイン処理）を示すフローチャートである。
【図１４】図１３に示したスイッチャ装置の調停処理機能について説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を用いて本発明の実施の形態について説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定され、以下に例示する実施形態によって限定されるものではない。また、実施形態の中で説明されている特徴の組み合わせすべてが本発明に必須とは限らない。本明細書および図面に記載の内容は例示であって、本発明を制限するものと見なすべきではない。本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【００１５】
（実施の形態１）
図１は、実施の形態１に係る映像伝送システムの構成を示すブロック図である。例えば、放送撮影モード時には、スポーツ等のイベントのライブ放送用の映像データが撮像装置から放送装置に伝送され、放送局から送出される。また、複数の撮像装置のそれぞれのストレージに記録された複数の映像データを組み合わせて多視点映像を生成し、適切なタイミングでライブ放送用の映像データに合成したり、ライブ放送用の映像データから切り替えたりする。また、ライブ放送前に撮像装置等の機材のセッティングを行うセッティングモード時には、各機材のセッティングが意図通りできていることを確認する。
【００１６】
ライブ放送を行う場合は、選択された１つの撮像装置から伝送された映像データを送出するとともに、次に使用する撮像装置も動作させておいて、シーンの進行に伴い選択する撮像装置を切り替える。多視点映像等の特殊映像を再生する場合は、複数の撮像装置を同時に動作させ、各撮像装置が撮像して得られた映像データをストレージに記録する。そして、複数のストレージから複数の映像データを同期して再生することで、画角の異なる複数の映像データを同時に再生し、選択する映像データを切り替えたり、複数の映像データを合成処理したりする。
【００１７】
撮像装置（カメラ）１〜８は、それぞれスポーツなどのイベントの中継や映画などの映像コンテンツの作成を目的として被写体を撮像し、撮像して得られた映像データを出力可能な出力装置である。多視点映像の生成を想定し、撮像装置が８台設置されている。撮像装置１〜８は、撮像して得られた映像データを記録するためのストレージ１１〜１８を備えている。各ストレージは、各撮像装置に内蔵されたハードディスクであってもよいし、脱着可能な記録媒体（ＳＤカード、フラッシュカード、ハードディスク等）であってもよい。
【００１８】
撮像装置（カメラ）１〜８は、それぞれＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークの伝送路を介して、モニタ（選択装置）３０及び放送装置４０に接続されている。ＩＰネットワークの伝送路は、有線伝送路であってもよいし、無線伝送路であってもよい。ネットワークハブ２０は、撮像装置１〜８とモニタ３０との間に設けられる、ＩＰネットワークの中継器である。
【００１９】
モニタ３０は、撮像装置１〜８から入力された複数の映像データから１つ以上の映像データを選択するスイッチャ機能（選択機能）を有する表示装置である。また、モニタ３０は、ＩＰネットワークを介して接続される撮像装置１〜８の動作を制御する機能を有する。放送装置４０は、ライブ放送の映像データを放送局から送出する送出装置により構成される。
【００２０】
モニタ３０は、ＬＡＮ−ＩＦ５０、メモリ５１、ＤＭＡＣ５４、映像処理部５５、表示部５６、プロセッサ６０，６１，６２、及び操作部７０を備える。
【００２１】
ＬＡＮ−ＩＦ（インターフェース）５０は、ネットワークハブ２０を介して接続された撮像装置１〜８と通信を行い、撮像装置１〜８に対する制御信号の送信や、撮像装置１〜８から伝送される映像データの受信を行う。
【００２２】
メモリ５１は、ＬＡＮ−ＩＦ５０を介して受信した映像データを一時的に記憶する。また、メモリ５１は、ＬＡＮ−ＩＦ５０を介して撮像装置１〜８に対して送信する制御データや、プロセッサ６０，６１，６２が各種処理を行うために必要なデータを記憶する。
【００２３】
プロセッサ６０は、スイッチャ動作を実行する。プロセッサ６０は、ＬＡＮ−ＩＦ５０を介して受信した複数の映像データから１つ以上の映像データを選択する。選択された映像データは、モニタ３０の表示部５６に表示される。プロセッサ６０は、スイッチャ機能を実現するために、ＬＡＮ−ＩＦ５０を介して受信したデータパケットから、所望の撮像装置が出力するデータパケットを選別する処理を行う。また、プロセッサ６０は、入力データに欠落が生じたときの補完処理（回復処理）も行う。なお、スイッチャ動作を実行する装置が、モニタ３０とは別体で構成されてもよい。
【００２４】
プロセッサ６１は、映像データのデコード処理と伸長処理を行う。伸長処理は、圧縮された映像データを伸長して、ラスタデータに変換する処理である。また、プロセッサ６１は、メモリ５１内のフレームバッファを用いて、データ転送制御を行う。プロセッサ６２は、モニタ３０が備える各機能ブロックの動作の全体制御（システム制御）を行う。プロセッサ６２は、ユーザが操作部７０を操作することにより受信した指示コマンドに従い、各種制御を行う。プロセッサ６１，６２，６３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、ＲＯＭからプログラムを読み出して実行することにより各種動作を制御する。
【００２５】
ＤＭＡＣ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ  Ｃｏｎｔｒｏｌｌｅｒ）５４は、あらかじめ指定されたアドレスとデータ転送長に基づいて、メモリ５１からデータを読み出し、後段の映像処理部５５にデータを転送する。映像処理部５５は、ＤＭＡＣ５４から出力された映像データに対して補正処理（階調変換処理）等を行う。表示部５６は、液晶ディスプレイなどの表示デバイスで構成され、入力される映像データを画面に表示する。
【００２６】
図２は、モニタ３０による伝送チャンネル設定処理（メイン処理）を示すフローチャートである。プロセッサ６２は、モニタ３０に電源が投入されたことに応じて、Ｓ１０００から伝送チャンネル設定処理を開始する。Ｓ１００１で、プロセッサ６２は、メモリ５１から初期設定値を読み出す。初期設定値には、過去シャットダウンされた時に選択されていたチャンネル番号が含まれる。表示部５６には、過去シャットダウンされた時に選択されていたチャンネルの映像データが表示される。
【００２７】
Ｓ１００２で、プロセッサ６２は、ユーザからの操作入力を待機する。プロセッサ６２は、ユーザから操作部７０を介して指示入力を受けたら、操作内容をメモリ５１に記憶する。次に、Ｓ１００３で、プロセッサ６２は、メモリ５１から操作内容を読み出して、モニタ３０に対する動作モード変更、又は選択チャンネル変更の指示が入力されたかを判断する。動作モードとしては、ライブ放送（生中継）の撮影に用いる放送撮影モード、複数の撮像装置の画角・露出・輝度・コントラスト・色等を調整するセッティングＥモード、複数の撮像装置のフォーカス調整を行うセッティングＦモード等が定義される。動作モード変更の指示入力を受けた場合、プロセッサ６２は、モニタ３０の操作モードを指示された動作モードに設定する。プロセッサ６２は、モニタ３０の動作モードの設定に応じて、映像伝送システム全体の動作モードを連携して設定する制御を行う。動作モード変更の指示入力を受けた場合はＳ１００４に進み、選択チャンネル変更の指示を受けた場合はＳ１０２０に進む。
【００２８】
Ｓ１００４で、プロセッサ６２は、プロセッサ６０に指令を発行し、プロセッサ６０が実行するパケットスイッチ処理を停止させる。パケットスイッチ処理とはネットワーク経由で各撮像装置から受信されるパケットデータのうち、後段の処理に使用するものを選別する処理であり、その動作の詳細は後で説明する。
【００２９】
Ｓ１００５で、プロセッサ６２は、プロセッサ６１に指令を発行し、プロセッサ６１が実行するデコード処理を停止させる。Ｓ１００６で、プロセッサ６２は、モニタ３０が、放送撮影モード、セッティングＥモード、セッティングＦモードのどの動作モードに設定されたかを判別する。そして、設定された動作モードに応じて選択された各撮像装置が出力する映像データのフォーマットを決定するフォーマット決定処理を実行する。ＩＰネットワークの伝送路において、単位時間当たりに伝送できる最大伝送容量は、ネットワークの伝送可能容量により制約を受ける。この実施の形態１では、モニタ３０の動作モード毎に、撮像装置に出力させる映像データフォーマットを重要度に応じて制御することで、伝送データ量を伝送制約範囲内に収めるようにする。
【００３０】
図３は、動作モード毎の各種フォーマットの重要度の定義を示す図である。放送撮影モードでは、ライブ放送の映像データを伝送するので、放送で定義されるフォーマットと同等以上の画質にする必要がある。このため、解像度とフレームレートは重要度：高、圧縮率は重要度：低、伝送ストリーム数（伝送数）は重要度：中と定義される。伝送ストリーム数（伝送数）は、撮像装置１〜８から出力される８つの映像データ（映像ストリーム）のうちモニタ３０が受信する映像データ（映像ストリーム）の数である。
【００３１】
セッティングＥモードは、複数の撮像装置の画角・露出・輝度・コントラスト・色等を調整するので、特定の撮像装置の出力を他の多数の撮像装置の出力と比較したいケースである。このため、映像伝送システムに接続されている全ての撮像装置の出力映像ストリームに対して、デコード処理および伸長処理を行う必要がある。一方、高画質である必要性は高くないので、解像度やフレームレートや圧縮率は妥協することが可能である。このため、解像度とフレームレートと圧縮率は重要度：中、伝送ストリーム数（伝送数）は重要度：高と定義される。
【００３２】
セッティングＦモードは、複数の撮像装置のフォーカス調整を確認するので、高解像度の映像でフォーカス状態を確認したいケースである。被写体のどこに焦点が合っているかを確認したいので、解像度、圧縮率の重要度が高くなる。解像度と圧縮率は重要度：中、フレームレートは重要度：低、伝送ストリーム数（伝送数）は重要度：中と定義される。
【００３３】
図４は、図３に示した重要度の定義に基づき決定された映像フォーマットのパラメータ例を示す図である。この映像伝送システムでは、ＩＰネットワークの伝送経路で伝送可能な最大伝送容量として５Ｇビット／秒が確保されているものとする。この伝送経路の最大伝送容量を超えないように、伝送ストリーム数と各映像フォーマットのパラメータが決定される。フォーマット決定処理のフローは後で説明する。
【００３４】
図２に戻って、Ｓ１００７で、プロセッサ６２は、撮影対象のチャンネルを、選択チャンネルテーブルに従って設定する。選択チャンネルテーブルは、チャンネル毎に撮影する／しないを示すフラグを有するテーブルである。撮影に使用するチャンネルは複数設定することが可能である。図５は、放送撮影モードに対応した選択チャンネルテーブルの一例を示す図であり、チャンネル１，２が撮影対象として設定される。このテーブルは、メモリ５１に記憶され、各プロセッサが読みだすことが可能である。後に説明するパケットスイッチ処理に置いて、プロセッサ６０がこれを読み出してパケットの取捨判断を行う。
【００３５】
Ｓ１００８で、プロセッサ６２は、設定された動作モードに応じて選択された撮影対象の各撮像装置に対して、出力映像フォーマットの設定コマンドを送信する。例えば、放送撮影モードの場合、設定コマンドは、水平解像度：４０９６、垂直解像度：２０４８、ビット深度：２４、フレームレート：６０ｆｐｓ（フレーム毎秒）、圧縮率：０．２、撮影対象の撮像装置１，２のＩＤ情報、メイン／サブの情報等を含む。放送撮影モードの場合、例えば、ライブ放送されるメインのチャンネルと、放送待機中のサブのチャンネルとが撮影対象として設定される。
【００３６】
Ｓ１００９で、プロセッサ６２は、プロセッサ６０に対して表示チャンネル設定を指示する。プロセッサ６０は、選択チャンネルテーブルの値を読み出し、メインとサブのフラグがセットされている２つのチャンネルに該当するパケットを選別し、他のパケットを破棄する。ただし、モニタ３０が２画面表示機能を有しない場合は、メインのフラグがセットされている１つのチャンネルに該当するパケットだけを選別して受信するようにしてもよい。つぎに、Ｓ１０１０で、プロセッサ６２は、動作モードに適したバッファ段数を判断し、プロセッサ６１にバッファ段数を指示する。ＩＰネットワークの通信に外乱が混在すると、必要なデータ取得が間に合わなくなる可能性があるため、外乱混入に対する耐性を高めるためにメモリ５１内に複数フレーム分のデータをバッファする。
【００３７】
図６は、放送撮影モード時のフレームバッファの概念的な構成を説明するための概念図であり、図７は、セッティングＥモード／セッティングＦモード時のフレームバッファの概念的な構成を示す図である。フレームバッファは、実際はメモリ５１と、メモリアクセス時のアドレスポインタ制御により実現する。概念的には、図６、図７に示すように、入力される映像データがフレーム毎にバッファに記録され、入力段から出力段に向けてシフトして行くように動作する。入力はバッファに空きがある限り書き込みを受付け、垂直同期１周期毎に１フレーム分のデータを読み出す。
【００３８】
放送撮影モード時は、撮影対象の撮像装置から映像データが安定して伝送されるようにする必要がある。このため、入力データが欠落したりしても、送出までの間にデータを取得することでデータの欠落を補償できる構成にする。そこで、図６に示すように、撮影対象の２つの撮像装置に対応する２つのチャンネルに対するバッファ（フレームメモリ）の直列段数を、入力段のデータ欠落を補償できる程度の段数（例えば４段）以上確保する。
【００３９】
一方、セッティングＥ／Ｆモード時は、切り替えのレスポンスが重要である。このため、図７に示すように、映像伝送システムに接続されている全ての撮像装置に対応する８つのチャンネルの映像データを、常時バッファ（フレームメモリ）に蓄積できるような構成にする。バッファ段数を最小限（例えば１段）とすることにより、バッファを埋めるために待機する時間が最小限となり、８チャンネル分のバッファの確保も可能となる。映像入力の欠落に対する耐性は低くなるが、セッティングＥ／Ｆモード時にはフレームの欠落は妥協ができる。
【００４０】
図２に戻って、Ｓ１０１１で、プロセッサ６２は、プロセッサ６０に指令を送り、パケットスイッチ処理を起動させる。パケットスイッチ処理の内容は後で説明する。続いて、Ｓ１０１２で、プロセッサ６２は、プロセッサ６１に指令を送り、デコード処理を起動させる。
【００４１】
次に、ユーザが表示チャンネルの変更を指示した場合の動作を説明する。表示チャンネルの変更の指示をユーザから受けた場合、Ｓ１００３からＳ１０２０に進む。Ｓ１０２０で、プロセッサ６２は、モニタ３０の動作モードが、放送撮影モード、セッティングＥモード、セッティングＦモードのいずれに設定されているかを判別する。
【００４２】
Ｓ１０２１では、プロセッサ６２は、受信チャンネルの設定の変更指示を受けたチャンネルに変更する。放送撮影モード時は、切り替え先のメインのチャンネルと、その次に切り替える待機中のサブのチャンネルの合計２チャンネルをイネーブルとし、図５の選択チャンネルテーブルを更新する。セッティングＦモード時は、切り替え先のメインのチャンネルとその左右に隣接する２つのサブチャンネルの合計３チャンネルをイネーブルとし、図５の選択チャンネルテーブルを更新する。セッティングＥモード時は、全てのチャンネルをイネーブルとし、選択チャンネルテーブルを更新する。
【００４３】
次に、Ｓ１０２２で、プロセッサ６２は、モニタ３０の表示部５６に表示するチャンネルの映像データをメモリ５１上の変数に設定する。
【００４４】
図８は、図２のＳ１００６のフォーマット決定処理について説明するためのフローチャートである。プロセッサ６２は、設定された動作モードに応じて選択された各撮像装置が出力する映像データのフォーマットを決定するフォーマット決定処理をＳ１００から開始する。Ｓ１０１で、プロセッサ６２は、伝送帯域基準値（伝送可能な最大伝送容量）をＬＡＮ―ＩＦ５０から取得する。ＬＡＮ―ＩＦ５０は事前の処理により伝送路２１の単位時間当たりのデータ伝送能力（伝送可能容量）を測定しておき、この値を保持している。
【００４５】
Ｓ１０２で、プロセッサ６２は、モード設定状態をメモリ５１から取得する。モード設定状態は、図２で説明した伝送チャンネル設定処理（メイン処理）のＳ１００２で、ユーザから指示された動作モードの設定状態である。
【００４６】
Ｓ１０３で、プロセッサ６２は、モード設定状態を判別して、モニタ３０の動作モードが、放送撮影モード、セッティングＥモード、セッティングＦモードのいずれに設定されているかを判別する。放送撮影モードに設定されている場合はＳ１１０に進み、セッティングＥモードに設定されている場合はＳ１２０に進み、セッティングＦモードに設定されている場合はＳ１３０に進む。以下、プロセッサ６２は、図３に示した重要度に応じた順番で、図４に示したパラメータを設定し、これらのパラメータをメモリ５１上の変数に記録する。
【００４７】
放送撮影モードでは、解像度とフレームレートの重要度が高いため、プロセッサ６２は、まずＳ１１０で解像度を決定し、次に、Ｓ１１１でフレームレートを決定する。具体的には、水平・垂直解像度は４０９６×２０４８とし、フレームレートは６０ｆｐｓと決定される。次に、Ｓ１１２で、プロセッサ６２は、撮像装置１〜８から出力される８つの映像データ（映像ストリーム）のうちモニタ３０が受信する伝送ストリーム数を決定する。例えば、ライブ放送の撮影時には、ライブ放送されるメインのチャンネルと、放送待機中のサブのチャンネルの２つの伝送ストリームが必要となる。このため、伝送ストリーム数：２と決定される。Ｓ１１３で、プロセッサ６２は、圧縮率を決定する。具体的には、伝送帯域基準値（４．８Ｇビット／秒）を解像度、フレームレート、伝送ストリーム数で割り、算出された値を下回るように圧縮率（例えば、０．２）を決定する。
【００４８】
セッティングＥモードでは、伝送ストリーム数の重要度が高いため、プロセッサ６２は、まずＳ１２０で伝送ストリーム数を決定する。具体的には、伝送ストリーム数は、映像伝送システムに接続されている全ての撮像装置の合計台数８に決定される。次に、Ｓ１２１で、プロセッサ６２は、解像度を決定する。セッティングＥモードでは、縦横２分の１に間引いても目的の達成ができるので、水平・垂直解像度は２０４８×１０２４に決定される。続いて、プロセッサ６２は、Ｓ１２２でフレームレートを決定し、Ｓ１２３で圧縮率を決定する。フレームレートと圧縮率は、放送撮影モード時と同じ値であっても伝送帯域基準値（４．８Ｇビット／秒）を超えないので、フレームレートは６０ｆｐｓ、圧縮率は０．２と決定される。
【００４９】
セッティングＦモードでは、解像度と圧縮率の重要度が高いため、プロセッサ６２は、まずＳ１３０で解像度を決定し、次に、Ｓ１３１で圧縮率を決定する。具体的には、水平・垂直解像度は４０９６×２０４８とし、圧縮率は０．５と決定される。次に、プロセッサ６２は、Ｓ１３２で伝送ストリーム数を決定し、Ｓ１３３でフレームレートを決定する。具体的には、セッティングＦモードでは、表示しているチャンネルから２つの隣接チャンネルに切り替えられることを想定し、伝送ストリーム数は３と決定される。また、伝送帯域基準値４．５Ｇビット／秒を解像度、圧縮率、伝送ストリーム数で割ることで、フレームレートが１５ｆｐｓと決定される。
【００５０】
以上のように、各動作モードに対応した伝送フォーマットのパラメータが設定され、これらのパラメータがメモリ５１上の変数に記録される。これにより、各種用途に最適な映像データの伝送フォーマットが決定される。
【００５１】
図９は、図２のＳ１０１１で起動されるパケットスイッチ処理について説明するためのフローチャートである。プロセッサ６０は、Ｓ２００から入力されるパケットの選別を行うパケットスイッチ処理を開始する。Ｓ２０１で、プロセッサ６０は、ＬＡＮ−ＩＦ５０からのパケット受信の通知を待機する。データパケットが受信通知を受けると、Ｓ２０１からＳ２０２に進む。Ｓ２０２で、プロセッサ６０は、パケットの付帯情報が示す送信元のチャンネル番号と選択チャンネルテーブルに含まれる撮影対象のチャンネル番号とを比較する。一致するチャンネル番号がある場合は、Ｓ２０３に進み、一致するチャンネル番号がない場合は、Ｓ２０５に進む。Ｓ２０３で、プロセッサ６０は、一致するチャンネル番号に対応する対象パケットをメモリに記録して保持する。Ｓ２０５では、プロセッサ６０は、受信したパケットを破棄する。
【００５２】
Ｓ２０４で、プロセッサ６０は、プロセッサ６２からの継続／停止フラグを監視して、パケットスイッチ処理を継続するか停止するかを判断する。プロセッサ６２が停止を指示した場合は、パケットスイッチ処理が終了する。
【００５３】
図１０は、図２のＳ１０１２で起動されるデコード処理について説明するためのフローチャートである。プロセッサ６２がプロセッサ６１に指令を送り、デコード処理を起動させると、プロセッサ６１は、Ｓ３００からデコード処理を開始する。Ｓ３０１で、プロセッサ６１は、メモリ５１内のフレームバッファ上のデータ蓄積状況を確認する。そして、データバッファに空きがある場合は、Ｓ３０２に進む。
【００５４】
Ｓ３０２で、プロセッサ６１は、選択チャンネルの映像データのパケットを取得する。続いて、Ｓ３０３で、プロセッサ６１は、取得したパケットをデコードして、圧縮映像データを得る。Ｓ３０４で、プロセッサ６１は、圧縮映像データを伸長処理する。Ｓ３０５で、プロセッサ６１は、伸張処理により得られた映像データをメモリ５１内のフレームバッファに書き込む。プロセッサ６１は、この後、Ｓ３０１に戻り、フレームバッファに空きある場合は、データ蓄積を待機する。
【００５５】
図１１は、バッファ読み出し処理について説明するためのフローチャートである。プロセッサ６１は、デコード処理後に、Ｓ４００からバッファ読み出し処理を開始する。Ｓ４０１で、プロセッサ６１は、垂直同期信号を検出し、検出できたらＳ４０２に進む。Ｓ４０２で、プロセッサ６１は、メモリ５１のバッファに蓄積されているデータ量が１フレーム分以上あるか否かを判定し、蓄積データ量が１フレーム分以上あれば、Ｓ４０３に進む。
【００５６】
Ｓ４０３で、プロセッサ６１は、ＤＭＡＣ５４を起動する。ＤＭＡＣ５４は、１回の起動で１フレーム分のデータを後段の映像処理部５５に転送する。Ｓ４０３の後、Ｓ４０１に戻るループ処理により、垂直同期毎に映像データが後段の映像処理部５５に転送され、映像データが表示部５６に表示される。
【００５７】
上述したフローによって実現される、各動作モードにおける映像伝送システムの動作を説明する。
【００５８】
放送撮影モード時では、ライブ放送の映像データを伝送するので、放送で定義されるフォーマットと同等以上の画質にする必要がある。放送撮影モード時は、ライブ放送で使用される対象の撮像装置から出力される映像データの解像度とフレームレートが、放送局から送出される映像データの解像度とフレームレートに一致するように設定される。また、外乱の影響を受けずに映像品質が確保できるバッファ段数が選択される。これにより、ライブ放送で使用される対象のメインとサブのチャンネルにおいて、所望の解像度とフレームレートを確保しながら、伝送データの欠落への耐性も確保され、映像データの安定した伝送が可能となる。
【００５９】
セッティングＥモードは、複数の撮像装置の画角・露出・輝度・コントラスト・色等を調整するので、特定の撮像装置の出力を他の多数の撮像装置の出力と比較したいケースである。セッティングＥモード時は、映像伝送システムに接続されている全ての撮像装置１〜８から映像データの出力を行い、モニタ３０は８つの全チャンネルのパケット受信とデコードを行っている。各撮像装置の画角・露出・輝度・コントラスト・色等の調整状態を確認するために、ユーザがチャンネル切り替えを行ったときに、表示映像が途切れることなく指定したチャンネルの映像を瞬時に確認することが可能となる。例えば、特殊効果の確認のために０．５秒毎にチャンネルを変更したとしても、途切れなく表示映像を切り替えるができ、画角、露出、色味の統一感等を容易に確認することが可能となる。
【００６０】
セッティングＦモードは、複数の撮像装置のフォーカス調整を確認するので、高解像度の映像でフォーカス状態を確認したいケースである。セッティングＦモード時は、選択されているチャンネルの撮像装置と、それに左右隣接するチャンネルの撮像装置から映像データの出力を行い、モニタ３０が受信した映像データをデコードしている。ユーザは、表示映像の注目領域を画素単位の精度で凝視し、鮮鋭度を評価することによりフォーカス状態の確認を行う。モニタ３０の表示部５６には、放送局から送出される映像データの解像度で、かつ圧縮率の低い映像が表示される。したがって、表示映像の注目領域に焦点が合っているかどうかを高精度に確認することができる。ユーザは、表示対象の撮像装置を順番に切り替えながら、最終的に全ての撮像装置のフォーカス状態を確認することが想定される。チャンネルと切り替えた時点で、左右に隣接するチャンネルの撮像装置の出力映像のデコードを開始するので、次の切り替えに備えて、ユーザがフォーカス確認を行っている間にバッファに映像データが蓄積される。このため、必要とされる切り替えレスポンス性能を十分に確保することが可能となる。
【００６１】
また、特殊撮影を行うモードでは、全ての撮像装置を放送撮影モード時と同じ解像度で動作させるようにしてもよい。各撮像装置のストレージに高解像度の映像データを記録しておき、後で記録映像を再生して、タイムスタンプを用いながら映像編集を行う。
【００６２】
以上のように、この実施の形態１では、ＩＰネットワークを用いた映像伝送システムにおいて、動作モードに応じて伝送映像の伝送数とフォーマットを制御することにより、伝送映像の品質の確保と伝送帯域の圧迫を抑制することが可能になる。
【００６３】
（実施の形態２）
図１２は、実施の形態２に係る映像伝送システムの構成を示すブロック図である。この実施の形態２では、スイッチャ装置（選択装置）８０とモニタ（表示装置）８１とが別体で構成され、スイッチャ装置（選択装置）８２とモニタ（表示装置）８３とが別体で構成される。また、２つのスイッチャ装置８０，８２と２つのモニタ８１，８３がシステムに存在する構成である。スイッチャ装置８０，８２は同一の内部構成を有し、モニタ８１，８３は同一の内部構成を有する。なお、システムにスイッチャと表示装置をそれぞれ３つ以上の複数台設ける構成であってもよい。以下、実施の形態１で説明した構成要素と同一の構成要素については同一の符号を付し、その詳細な説明は繰り返さない。
【００６４】
スイッチャ装置８０は、撮像装置１〜８から入力された複数の映像データから１つ以上の映像データを選択するスイッチャ機能（選択機能）を有し、選択した映像データを後段の放送装置４０およびモニタ８１に出力する。スイッチャ装置８２は、撮像装置１〜８から入力された複数の映像データから１つ以上の映像データを選択するスイッチャ機能（選択機能）を有し、選択した映像データを後段のストレージ９０およびモニタ８３に出力する。モニタ８１，８３は、それぞれ入力された映像データに対して補正処理（階調変換処理）等を行い、表示部５６の画面に表示する。
【００６５】
この実施の形態２では、スイッチャ装置８０とモニタ８１がメインの映像データの処理を担当し、サブの映像データの処理をスイッチャ装置８２とモニタ８３が担当する。例えば、スイッチャ装置８０とモニタ８１を用いて、ライブ放送の映像データの処理を行う。また、スイッチャ装置８２とモニタ８３を用いて、多視点映像等の特殊映像素材の撮影と、そのための撮像装置の調整を行う。９０はストレージで、スイッチャ装置８２が出力する映像信号の記録と再生を行う。
【００６６】
スイッチャ装置８０は、ライブ放送を行うために、撮像装置１〜８から伝送される複数の映像データから選択する映像データを切り替えるスイッチャ機能を有し、選択した映像データを後段の放送装置４０及びモニタ８１に出力する。スイッチャ装置８２は、多視点映像等の特殊映像を作製するために、撮像装置１〜８から伝送される複数の映像データから選択する映像データを切り替えるスイッチャ機能を有し、選択した映像データを後段のストレージ９０及びモニタ８３に出力する。放送時に、スイッチャ装置８０で選択した映像データに対して、適宜ストレージ９０に記録された特殊映像データを再生して挿入する。
【００６７】
スイッチャ装置８０の出力ＩＦ（インターフェース）５７は、ＤＭＡＣ５４から出力された映像データを、後段の放送装置４０及びモニタ８１に出力する。モニタ８１の入力ＩＦ（インターフェース）５８は、スイッチャ装置８０から映像データを受信し、後段の映像処理部５５に出力する。
【００６８】
スイッチャ装置８２の出力ＩＦ（インターフェース）５７は、ＤＭＡＣ５４から出力された映像データを、後段のストレージ９０及びモニタ８３に出力する。モニタ８３の入力ＩＦ（インターフェース）５８は、スイッチャ装置８２から映像データを受信し、後段の映像処理部５５に出力する。
【００６９】
スイッチャ装置８０、８２は、それぞれ選択した撮像装置に対して、出力映像データのフォーマットを指示することが可能である。１つのシステム内に指示を出すスイッチャ装置が複数存在することでシステムの制御に衝突が発生してしまうのを防ぐために、マスターとなるスイッチャ装置８０に制御権を調停する調停処理機能を設ける。スレーブとなるスイッチャ装置８２は、スイッチャ装置８０による制御権の状態を確認しながら、選択した撮像装置の制御を行う。
【００７０】
図１３は、実施の形態２におけるスイッチャ装置８０、８２による伝送チャンネル設定処理（メイン処理）を示すフローチャートである。実施の形態１の図２のフローと異なる点は、Ｓ２００４，Ｓ２００５，Ｓ２０２０のステップが追加されている点である。Ｓ２００１〜Ｓ２００３は、図２のＳ１００１〜Ｓ１００３に対応し、Ｓ２００６〜Ｓ２０１４は、図２のＳ１００４〜Ｓ１０１２に対応し、Ｓ２０３０〜Ｓ２０３２は、図２のＳ１０２０〜Ｓ１０２２に対応している。
【００７１】
動作モード変更の指示入力を受けた場合は、Ｓ２００３からＳ２００４に進み、プロセッサ６２は、システムを統括制御する制御権を有しているか否かを判断する。制御権を有していると判断した場合は、Ｓ２００６以後のステップに進んで動作モードの変更を実行する。チャンネルの切り替えの場合、ＩＰネットワークで伝送される映像データの伝送量は変わらないが、動作モード変更の場合は、ＩＰネットワークで伝送される映像データの伝送量が変わり、伝送される映像データのフォーマットも変更される。このとき、スイッチャ装置８０の操作者とスイッチャ装置８２の操作者のどちらか一方の意思に反した動作が発生するのを防ぐ。
【００７２】
スイッチャ装置８０に制御権を調停する調停処理機能を有しているが、スイッチャ装置８２は調停処理機能を有していない。このため、スイッチャ装置８０のプロセッサ６２は、Ｓ２００４からＳ２００６に進む。一方、スイッチャ装置８２のプロセッサ６２は、Ｓ２００４からＳ２００５に進み、動作モード変更が可能であるかをスイッチャ装置８０に問い合わせる。そして、動作モード変更が可能であれば、Ｓ２００６以後のステップに進んで動作モードの変更を実行する。動作モード変更が可能でなければ、Ｓ２０２０で表示部５６の画面にエラーメッセージ表示を行い、Ｓ２００２に戻る。
【００７３】
図１４は、スイッチャ装置８０のプロセッサ６２の調停処理機能について説明するためのフローチャートである。スイッチャ装置８０のプロセッサ６２は、スイッチャ装置８２のプロセッサ６２から制御権の問い合わせを受けると、調停処理を開始する。
【００７４】
Ｓ２２０１で、スイッチャ装置８０のプロセッサ６２は、マスターであるスイッチャ装置８０の動作モードの設定状態をメモリ５１から読み出し、スイッチャ装置８０に設定されている動作モードを判別する。スイッチャ装置８０に設定されている動作モードが放送撮影モードである場合、放送中の映像データを乱してはいけないので、Ｓ２２０２に進み、スイッチャ装置８０のプロセッサ６２は、制御権の移管を許可しない。スイッチャ装置８０に設定されている動作モードがセッティングＥ／Ｆモードである場合、Ｓ２２０３又はＳ２２０４に進み、スイッチャ装置８０のプロセッサ６２は、スイッチャ装置８２に制御権の移管を許可する。
【００７５】
このように制御権を調停する調停処理を行うことにより、１つのシステム内に指示を出すスイッチャ装置が複数存在することでシステムの制御に衝突が発生してしまうのを防ぐことができる。
【００７６】
以上のように、この実施の形態２では、１つのシステム内にスイッチャ装置が複数存在する場合でも、動作モードに応じて伝送映像の伝送数とフォーマットを好適に制御することができ、伝送映像の品質の確保と伝送帯域の圧迫を抑制することが可能になる。
【００７７】
（その他の実施の形態）
上述の実施の形態では、各撮像装置の映像出力のフォーマットをモニタ側やスイッチャ装置側から制御する構成について説明したが、これに限定されない。各撮像装置が、自装置が選択されているか否かを示す選択情報や動作モードを示す情報をモニタ側やスイッチャ装置側から受信し、それらの情報に基づいて映像出力のフォーマット設定を行うようにしてもよい。各撮像装置は、自身が出力する映像データがモニタにより選択された場合に、動作モードに応じた映像出力のフォーマット設定を行う。
【００７８】
本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。上記コンピュータは、例えば、ＣＰＵやＭＰＵ等のプロセッサで構成される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。上述の実施形態の１以上の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【符号の説明】
【００７９】
１〜８  撮像装置（カメラ）
１１〜１８  ストレージ
２０  ネットワークハブ
３０  モニタ（選択装置）
４０  放送装置
【図１】
2019075724.tif 000003
【図２】
2019075724.tif 000004
【図３】
2019075724.tif 000005
【図４】
2019075724.tif 000006
【図５】
2019075724.tif 000007
【図６】
2019075724.tif 000008
【図７】
2019075724.tif 000009
【図８】
2019075724.tif 000010
【図９】
2019075724.tif 000011
【図１０】
2019075724.tif 000012
【図１１】
2019075724.tif 000013
【図１２】
2019075724.tif 000014
【図１３】
2019075724.tif 000015
【図１４】
2019075724.tif 000016