(57)【要約】      （修正有）【課題】異なる伝送路を用いて伝送された二重化された映像データをその一方から他方に表示を切り替える際の伝送品質を確保できる映像送信装置、映像受信装置、映像送受信システム、制御方法、並びにプログラムを提供する。【解決手段】映像送信装置１００は、映像受信装置３００へ同一コンテンツが二重化された映像データを伝送路Ａ１０７，伝送路Ｂ１０８を介して送信する場合、二重化された映像データの伝送路Ａ１０７及び伝送路Ｂ１０８の間の受信時間差分（スキュー）を映像受信装置３００から受信し、その受信時間差分が第１の閾値に収まるように、二重化された映像データの少なくとも一方の符号化の際のエンコードレートを変更する。【選択図】図１
2019029931.tif 000002
【特許請求の範囲】
【請求項１】
第１及び第２の伝送路を介して符号化された映像データを送信する映像送信装置において、
前記第１及び第２の伝送路を介して送信される映像データが、同一の映像受信装置へ送信される同一コンテンツが二重化された映像データである場合、前記二重化された映像データの前記第１及び第２の伝送路の間の受信時間差分を前記同一の映像受信装置から受信する受信手段と、
前記受信時間差分が第１の閾値に収まるように、前記二重化された映像データの少なくとも一方の前記符号化の際のエンコードレートを変更する変更手段とを備えることを特徴とする映像送信装置。
【請求項２】
前記変更手段は、前記第１及び第２の伝送路のうちスループットが低い方の伝送路を介して送信される映像データのエンコードレートを変更することを特徴とする請求項１記載の映像送信装置。
【請求項３】
前記第１及び第２の伝送路から送信する、前記二重化された映像データの各フレームに対してタイムスタンプを付与する付与手段を更に備え、
前記受信時間差分は、前記二重化された映像データの一方に含まれるフレームと前記フレームと同一タイミングで前記同一の映像受信装置が受信した、前記二重化された映像データの他方に含まれるフレームとの夫々に付与されたタイムスタンプに基づき算出されることを特徴とする請求項１又は２記載の映像送信装置。
【請求項４】
前記第１の閾値はビットレートに応じて変更されることを特徴とする請求項１乃至３のいずれか１項に記載の映像送信装置。
【請求項５】
第１及び第２の伝送路を介して符号化された映像データを受信する映像受信装置において、
前記第１及び第２の伝送路を介して受信された映像データが、同一の映像送信装置から受信された同一コンテンツが二重化された映像データである場合、前記二重化された映像データの夫々に対するエンコードレートの情報を前記同一の映像送信装置から取得する取得手段と、
前記取得手段により取得されたエンコードレートの情報に基づき、前記第１の伝送路を介して受信された前記二重化された映像データの一方の受信データ量をデコードする第１のデコード手段と、
前記取得手段により取得されたエンコードレートの情報に基づき、前記第２の伝送路を介して受信された前記二重化された映像データの他方の受信データ量をデコードする第２のデコード手段と、
前記第１及び第２のデコード手段によりデコードされた受信データ量の差分が、第２の閾値に収まるように前記エンコードレートを変更する要求を前記同一の映像送信装置に送信する送信手段とを備えることを特徴とする映像受信装置。
【請求項６】
前記第２の閾値はビットレートに応じて変更されることを特徴とする請求項５記載の映像受信装置。
【請求項７】
前記二重化された映像データのエンコードレートを比較した結果に基づいて前記第１及び第２の伝送路の間の画質差が大きいか否かを判定する第１の判定手段とを更に備え、
前記変更手段は、前記第１の判定手段により前記画質差が大きいと判定されたとき、前記二重化された映像データの少なくとも一方のエンコードレートの変更を行うことなく、前記二重化された映像データのエンコードレート以外の符号化パラメータを変更することを特徴とする請求項１乃至４のいずれか１項記載の映像送信装置。
【請求項８】
前記第１の判定手段は、前記二重化された映像データのエンコードレートのレート比率を算出し、前記レート比率が第３の閾値より大きい場合、前記画質差が大きいと判定することを特徴とする請求項７記載の映像送信装置。
【請求項９】
前記第１の判定手段は、前記第３の閾値として、前記二重化された映像データの各フォーマットに応じた閾値を保持することを特徴とする請求項８記載の映像送信装置。
【請求項１０】
前記二重化された映像データのエンコードレート以外の符号化パラメータとして、フレームレート及びビット深度の１つを選択する選択手段を更に備えることを特徴とする請求項７乃至９のいずれか１項に記載の映像送信装置。
【請求項１１】
前記選択手段による選択は、前記二重化された映像データの動き量に基づいて行われることを特徴とする請求項１０記載の映像送信装置。
【請求項１２】
前記二重化された映像データのエンコードレートの最大値を、前記二重化された映像データのジャンルに応じて設定する設定手段を更に備えることを特徴とする請求項７乃至１１のいずれか１項に記載の映像送信装置。
【請求項１３】
夫々が２つの伝送路を介して符号化された映像データの送受信を行う映像送信装置及び映像受信装置を有する映像送受信システムにおいて、
前記映像受信装置において、
前記２つの伝送路を介して受信した映像データが、前記映像送信装置から受信された同一コンテンツが二重化された映像データである場合、前記二重化された映像データの前記２つの伝送路の間の受信時間差分を監視する監視手段と、
前記受信時間差分を前記監視手段による監視結果として前記映像送信装置に通知する通知手段とを備え、
前記映像送信装置において、
前記受信時間差分が第１の閾値に収まるように前記二重化された映像データの少なくとも一方の前記符号化の際のエンコードレートを変更する変更手段とを備えることを特徴とする映像送受信システム。
【請求項１４】
第１及び第２の伝送路を介して符号化された映像データを送信する映像送信装置の制御方法において、
前記第１及び第２の伝送路を介して送信される映像データが、同一の映像受信装置へ送信される同一コンテンツが二重化された映像データである場合、前記二重化された映像データの前記第１及び第２の伝送路の間の受信時間差分を前記同一の映像受信装置から受信する受信ステップと、
前記受信時間差分が第１の閾値に収まるように、前記二重化された映像データの少なくとも一方の前記符号化の際のエンコードレートを変更する変更ステップとを有することを特徴とする制御方法。
【請求項１５】
第１及び第２の伝送路を介して符号化された映像データを受信する映像受信装置の制御方法において、
前記第１及び第２の伝送路を介して受信された映像データが、同一の映像送信装置から受信された同一コンテンツが二重化された映像データである場合、前記二重化された映像データの夫々に対するエンコードレートの情報を前記同一の映像送信装置から取得する取得ステップと、
前記取得ステップにおいて取得されたエンコードレートの情報に基づき、前記第１の伝送路を介して受信された前記二重化された映像データの一方の受信データ量をデコードする第１のデコードステップと、
前記取得ステップにおいて取得されたエンコードレートの情報に基づき、前記第２の伝送路を介して受信された前記二重化された映像データの他方の受信データ量をデコードする第２のデコードステップと、
前記第１及び第２のデコードステップにおいてデコードされた受信データ量の差分が、第２の閾値に収まるように前記エンコードレートを変更する要求を前記同一の映像送信装置に送信する送信ステップとを有することを特徴とする制御方法。
【請求項１６】
夫々が２つの伝送路を介して符号化された映像データの送受信を行う映像送信装置及び映像受信装置を有する映像送受信システムの制御方法において、
前記映像受信装置により、前記２つの伝送路を介して受信した映像データが、前記映像送信装置から受信された同一コンテンツが二重化された映像データである場合、前記二重化された映像データの前記２つの伝送路の間の受信時間差分を監視する監視ステップと、
前記映像受信装置により、前記受信時間差分を前記監視ステップにおける監視結果として前記映像送信装置に通知する通知ステップと、
前記映像送信装置により、前記受信時間差分が第１の閾値に収まるように前記二重化された映像データの少なくとも一方の前記符号化の際のエンコードレートを変更する変更ステップとを有することを特徴とする制御方法。
【請求項１７】
請求項１４乃至１６のいずれか１項に記載の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像送信装置、映像受信装置、映像送受信システム、制御方法、並びにプログラムに関し、特に、二重化された伝送路を用いて符号化した映像信号を伝送する映像送信装置、映像受信装置、映像送受信システム、制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
現在、放送制作用機器の映像伝送にはＳＤＩ（シリアル・デジタル・インタフェース）ケーブルが用いられている。従来は、ＳＤＩケーブル１本で映像伝送が行われていたが、撮像機器で撮像される映像の高画質化に伴って複数のＳＤＩケーブルを束ねることにより伝送する方法が考案されている。例えば、４Ｋ／６０Ｐ映像を伝送するにはＳＤＩケーブルを４本束ねることで伝送が可能である。しかし、機材間を接続するのに従来の４倍のケーブルを使用するため、設置スペースの問題やＳＤＩケーブルの重量が課題となる。また、撮像機器で撮像される映像の更なる高画質化に伴って、より多くのＳＤＩケーブルを必要とするため、それら課題が大きな問題となる。
【０００３】
そこで、近年では撮影した映像信号をインターネット等のネットワークを使ってリアルタイムに伝送するＩＰネットワーク伝送を用いた映像送受信システムが開発されている。ＩＰネットワーク伝送は、ＳＤＩケーブルを用いた映像伝送より高速に行うことができ、さらに映像の分配も業務専用の放送制作用機器を用いた場合と異なり汎用設備を利用して行うことができるため、高速な映像伝送を安価に行うことが可能な環境を構築できる。このため、今後、放送制作用機器のＩＰ化が急速に普及すると考えられる。
【０００４】
映像送受信システムにおけるＩＰネットワーク伝送では、デジタル化された映像データをベースバンド（非圧縮）で伝送したり、圧縮符号化処理（エンコード）して伝送したりする手法がある。符号化方法としては、例えば、国際標準規格のＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ｐｈａｓｅ２）等がある。そして、リアルタイム性の求められる映像データや音声データを伝送するプロトコルとしてＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）が使われる。ＲＴＰでは映像送信装置側でヘッダ部にパケットの順序番号やタイムスタンプを付加することによって、映像受信装置側で適切な順序で再生することができる。また、ＲＴＣＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）プロトコルを用いることによって、ＲＴＰのフロー制御を行うための情報を映像送受信装置間で双方向通信することができる。これにより、映像受信装置側で検出したパケット損失や、伝送中の遅延情報を映像送信装置へ通知することができる。
【０００５】
一般的にＲＴＰでは、ＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）をトランスポート層のプロトコルとして使用しており、映像データの再送制御はないため、ＲＴＣＰで伝送路の輻輳状態を監視し、転送ビットレートの制御が行われる。
【０００６】
上記映像データのＩＰネットワーク伝送は、国際標準化を目指して議論されておりＳＭＰＴＥ（Ｓｏｃｉｅｔｙ  ｏｆ  Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅ  ＆  Ｔｅｌｅｖｉｓｉｏｎ  Ｅｎｇｉｎｅｅｒｓ）２０２２規格としてまとめられている。ＳＭＰＴＥ２０２２−７規格では、「Ｓｅａｍｌｅｓｓ  Ｐｒｏｔｅｃｔｉｏｎ  Ｓｗｉｔｃｈｉｎｇ」として映像データパケットを二重化して伝送し、どちらかの伝送路がダウンしても瞬時に正常な伝送路に切り替える方法が記載されている。さらに、ＳＭＰＴＥ２０２２−７規格では、映像信号を途切れなく伝送するために、二重化された伝送路間のスキューに対応する受信クラスやスキュー値としての時間を規定している。例えば、Ｈｉｇｈ  Ｂｉｔ  Ｒａｔｅの映像伝送におけるモデルスキューは、クラスＢ、５０［ｍｓ］以下と規定されている。
【０００７】
ところで、映像データパケットや音声データパケットを異なる伝送路で伝送し、映像受信装置側でシームレスに切替えるには２伝送路間で対応するパケットが上記スキューに収まるように到着する同時性が重要である。しかし、異なる伝送路ではルーターやスイッチャ等、接続されるネットワーク機器も様々である。更に、映像送信装置から送出される通信パケットの頻度も２伝送路間で異なる。そのため、映像送信装置と映像受信装置の間での映像データパケットや音声データパケットの同時性を保つことができないという課題がある。
【０００８】
かかる課題を解決する技術としては、以下のようなものが知られている。
【０００９】
一つは、まず、映像と音声を受信して表示する構成において、映像同期信号と音声同期信号に基づいて映像遅延量と音声遅延量を求める。次に、映像表示の遅延量を音声遅延量に加算して映像信号と音声信号の出力タイミングが同じになるように制御するという技術である（例えば、特許文献１参照）。
【００１０】
もう一つは、対応するアナログ映像信号とデジタル映像信号を同時に受信可能な構成において、まず、アナログ映像信号を受信して再生出力する時間とデジタル映像信号を受信して再生出力する時間差を遅延時間として検出する。次に、デジタル映像信号の再生出力タイミングを前記遅延時間分だけ遅らせるように制御するという技術である（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１３−１７１０６号公報
【特許文献２】特開２００６−２７０８２４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上記特許文献１，２に記載の技術は、対応する映像信号と音声信号又は対応する映像信号同士において、映像送信装置から映像受信装置へ送信したデータの到着が速い信号に遅延量を加算することで到着の遅い信号との同時性を維持している。すなわち、上記特許文献１，２では、映像送信装置の側で一定時間データをバッファリングして、到着タイミングの揺らぎを吸収している。
【００１３】
しかしながら、この時間を長くするほど、パケット到着タイミングのより大きな揺らぎを吸収できるが、映像受信装置で再生表示するまでの遅延時間が大きくなり、リアルタイム性を損なう問題がある。
【００１４】
また、従来のように伝送路の輻輳状態に応じて転送ビットレートをそれぞれの伝送路で独立に行うと、ＳＭＰＴＥ規格で規定されている２伝送路間のスキューを満足することができない。このため、映像受信装置の受信バッファがアンダーフローのような想定外の状態となり、スムーズな伝送切替が行えない問題がある。
【００１５】
さらに、２伝送路間のスキューを満足するために、各伝送路で独立して転送ビットレートを操作すると、ビットレートの操作方法によっては同一映像を伝送しているにも関わらず、２伝送路間で画質差が生じる。
【００１６】
図１６は、転送ビットレートをエンコードレートによって制御した場合のエンコードレートとスキューの関係を説明する図である。
【００１７】
図１６は、伝送路Ａに対して伝送路Ｂのスループットが低い状態を示しており、例えば、伝送路Ａと伝送路Ｂのエンコードレートが同じ場合（時刻０から時刻ｔ１の期間）、２伝送路間のスキューは増加する傾向を示している。２伝送路間のスキュー制御を開始する閾値ＰＤ＿ｌｉｍに到達する時刻をｔ１として、時刻ｔ１を起点に、伝送路Ｂのエンコードレートを徐々に増加させると、それに伴って２伝送路間のスキューは減少する。しかしながら、時刻ｔ２において、伝送路Ａと伝送路Ｂではエンコードレートの差分だけ伝送路間の画質差が生じている。
【００１８】
すなわち、映像受信装置が伝送路Ａから受信したデータの表示中に、伝送路Ａがダウンしたために正常である伝送路Ｂから受信したデータに表示を切り替えた際、２伝送路間の画質差によって視聴者は違和感を感じたり、視聴継続が困難になる問題がある。また、画質差の程度によっては、ユーザに正常な伝送路Ｂも壊れてしまったと誤認されてしまう可能性がある。
【００１９】
そこで本発明は、異なる伝送路を用いて伝送された二重化された映像データをその一方から他方に表示を切り替える際の伝送品質を確保できる映像送信装置、映像受信装置、映像送受信システム、制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の請求項１に係る映像送信装置は、第１及び第２の伝送路を介して符号化された映像データを送信する映像送信装置において、前記第１及び第２の伝送路を介して送信される映像データが、同一の映像受信装置へ送信される同一コンテンツが二重化された映像データである場合、前記二重化された映像データの前記第１及び第２の伝送路の間の受信時間差分を前記同一の映像受信装置から受信する受信手段と、前記受信時間差分が第１の閾値に収まるように、前記二重化された映像データの少なくとも一方の前記符号化の際のエンコードレートを変更する変更手段とを備えることを特徴とする。
【００２１】
本発明の請求項５に係る映像受信装置は、第１及び第２の伝送路を介して符号化された映像データを受信する映像受信装置において、前記第１及び第２の伝送路を介して受信された映像データが、同一の映像送信装置から受信された同一コンテンツが二重化された映像データである場合、前記二重化された映像データの夫々に対するエンコードレートの情報を前記同一の映像送信装置から取得する取得手段と、前記取得手段により取得されたエンコードレートの情報に基づき、前記第１の伝送路を介して受信された前記二重化された映像データの一方の受信データ量をデコードする第１のデコード手段と、前記取得手段により取得されたエンコードレートの情報に基づき、前記第２の伝送路を介して受信された前記二重化された映像データの他方の受信データ量をデコードする第２のデコード手段と、前記第１及び第２のデコード手段によりデコードされた受信データ量の差分が、第２の閾値に収まるように前記エンコードレートを変更する要求を前記同一の映像送信装置に送信する送信手段とを備えることを特徴とする。
【００２２】
本発明の請求項１３に係る映像送受信システムは、夫々が２つの伝送路を介して符号化された映像データの送受信を行う映像送信装置及び映像受信装置を有する映像送受信システムにおいて、前記映像受信装置において、前記２つの伝送路を介して受信した映像データが、前記映像送信装置から受信された同一コンテンツが二重化された映像データである場合、前記二重化された映像データの前記２つの伝送路の間の受信時間差分を監視する監視手段と、前記受信時間差分を前記監視手段による監視結果として前記映像送信装置に通知する通知手段とを備え、前記映像送信装置において、前記受信時間差分が第１の閾値に収まるように前記二重化された映像データの少なくとも一方の前記符号化の際のエンコードレートを変更する変更手段とを備えることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、異なる伝送路を用いて伝送された二重化された映像データをその一方から他方に表示を切り替える際の伝送品質を確保できる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施例に係る映像送受信システムの構成を示す概略図である。
【図２】第１の実施例に係る映像送信装置における送信装置の機能構成を示すブロック図である。
【図３】第１の実施例に係る映像受信装置の機能構成を示すブロック図である。
【図４】第１の実施例におけるスキューについて説明する概略図である。
【図５】第１の実施例に係る送信装置におけるスキュー管理部で保持している管理テーブルを説明する図である。
【図６】第１の実施例に係る映像送信装置で実行される映像データ出力処理の手順を示すフローチャートである。
【図７】第１の実施例に係る映像受信装置で実行される映像データ受信処理の手順を示すフローチャートである。
【図８】第１の実施例に係る図７のステップＳ７０５で実行されるスキュー監視処理の手順を示すフローチャートである。
【図９】第２の実施例に係る映像受信装置の受信時間とデコード後データ量の関係を示す図である。
【図１０】第２の実施例に係る図７のステップＳ７０５で実行されるスキュー監視処理の手順を示すフローチャートである。
【図１１】第３の実施例に係る送信装置の機能構成を示すブロック図である。
【図１２】第３の実施例に係る送信装置における符号化パラメータ管理部が保持する符号化パラメータテーブルを説明する図である。
【図１３】第３の実施例に係る送信装置における画質監視部が備える判定閾値テーブルを説明する図である。
【図１４Ａ】第３の実施例に係る送信装置により実行される符号化パラメータ設定処理の手順を示すフローチャートである。
【図１４Ｂ】図１４Ａのフローチャートの続きである。
【図１５】第３の実施例に係る符号化パラメータ制御とスキューの関係を説明する図である。
【図１６】転送ビットレートをエンコードレートによって制御した場合のエンコードレートとスキューの関係を説明する図である。
【発明を実施するための形態】
【００２５】
＜第１の実施例＞
以下、図面を参照して、本発明を実施するための形態を例示的に詳しく説明する。ただし、実施例に記載されている構成部品の機能、相対配置などは特定的な記載がない限り、本発明の範囲をそれらのみに限定する趣旨のものではない。また、以下の説明で一度説明した構成や部品についての機能、形状などは特に改めて記載しない限り初めの説明と同様のものとする。
【００２６】
図１は、本実施例に係る映像送受信システムの構成を示す概略図である。
【００２７】
図１において、撮像部１０１、送信装置１０２を含んで構成される映像送信装置１００と、映像受信装置３００とにより映像送受信システムが構成される。また、映像送信装置１００と映像受信装置３００の間にはルーターＡ１０３及びルーターＢ１０４が配置され、それぞれ独立した伝送路で接続されている。同図ではルーターＢ１０４に２台の端末Ａ１０５及び端末Ｂ１０６が接続されているが、１つのルーターに対して３台以上の端末が接続されていても良い。端末Ａ１０５または端末Ｂ１０６は、例えばデスクトップＰＣ、ノートブックＰＣ、映像送信装置１００の制御コントローラ、映像受信装置３００の制御コントローラ、等の制御装置である。
【００２８】
映像送信装置１００は、例えば撮像部１０１によって撮像した映像データを送信装置１０２で符号化処理し、伝送路を介して映像受信装置３００へ送信する。本実施例では、映像送信装置１００は、撮影した同一映像データを２つの伝送路Ａ１０７と伝送路Ｂ１０８を使用して二重化して映像受信装置３００へ送信する。
【００２９】
映像受信装置３００は、映像送信装置１００から出力された映像データを受信して表示するものである。映像受信装置３００は、同一の映像データを伝送路Ａ１０７，伝送路Ｂ１０８を介して受信している。このため、一方の伝送路がダウンして映像データの受信ができなくなっても瞬時に他の一方の伝送路から受信した映像データに表示対象の映像データを切り替えることが可能である。なお、映像受信装置３００は、表示デバイスに限定されるものではなく、映像送信装置１００から出力された映像データを受信して蓄積するような記憶装置でも構わない。
【００３０】
図２は、本実施例に係る映像送信装置１００における送信装置１０２の機能構成を示すブロック図である。
【００３１】
図２において、制御部２００には不図示のＲＯＭ、ＲＡＭが接続され、ＲＯＭに格納されたプログラムに従って送信装置１０２全体の制御を司る。ＲＡＭは揮発性メモリであり、制御部２００のワークメモリとして使用されると同時に、各種データの一時記憶エリアとしても使用される。映像入力部２０１は、カメラ等の撮像部１０１からの映像データを受信し、映像データの符号化及びその符号化されたデータのエンコード処理を行なうエンコード部Ａ２０２及びエンコードＢ２０３に分配する。
【００３２】
エンコード部Ａ２０２及びエンコードＢ２０３は、エンコードレート制御部２０４から設定されたエンコードレートに基づいてそれぞれ受信した映像データをエンコードデータに変換するエンコード（圧縮）処理を行なう。
【００３３】
タイムスタンプ処理部Ａ２０５及びタイムスタンプ処理部Ｂ２０６は、エンコード部Ａ２０２及びエンコード部Ｂ２０３から入力されたエンコードデータにタイムスタンプを付与する。タイムスタンプ処理部Ａ２０５及びタイムスタンプ処理部Ｂ２０６は、エンコード部Ａ２０２及びエンコード部Ｂ２０３から入力された同一映像データには同一のタイムスタンプが付与されるように処理する。
【００３４】
上記タイムスタンプは、例えばＩＥＴＦ（Ｉｎｔｅｒｎｅｔ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｔａｓｋ  Ｆｏｒｃｅ）ＲＦＣ７２７２で定義されるＲＴＰタイムスタンプを指す。この場合、タイムスタンプは、後述のパケット単位で付与されるとともに、フレーム単位で同一の値が付与される。すなわち、タイムスタンプ処理部は、各エンコード部から入力される同一シーンの映像データ、かつ、同一フレームに、同一のタイムスタンプを付与する。
【００３５】
以降の説明では、同一フレームに同一のタイムスタンプが付与されることを前提に説明するが、本発明はこれに限定するものではなく、例えば、ライン単位にタイムスタンプを付与する構成でも構わない。この場合、タイムスタンプ処理部は、各エンコード部から入力される同一シーンの映像データ、かつ、該映像データ中の同一ラインに、同一のタイムスタンプを付与する。
【００３６】
パケット処理部Ａ２０７及びパケット処理部Ｂ２０８は、タイムスタンプを含むエンコードデータの送信パケット化を行って、ネットワークＩ／Ｆ部Ａ２０９及びネットワークＩ／Ｆ部Ｂ２１０を介して外部装置に対してパケット送信する。
【００３７】
また、パケット処理部Ａ２０７及びパケット処理部Ｂ２０８はネットワークＩ／Ｆ部Ａ２０９及びネットワークＩ／Ｆ部Ｂ２１０から受信したパケットデータから受信データへの復号処理を行って、ネットワーク情報管理部２１１へ出力する。
【００３８】
ネットワーク情報管理部２１１はネットワークＩ／Ｆ部Ａ２０９またはネットワークＩ／Ｆ部Ｂ２１０を介して受信した受信データを解析して映像受信装置３００において検出した伝送路Ａ１０７と伝送路Ｂ１０８間のスキューを取得する。
【００３９】
スキュー管理部２１２は、映像送信装置１００の映像フォーマット等に対応した適正スキュー値をテーブル（図５において後述）として予め保持している。このテーブルを用いて、スキュー管理部２１２は、ネットワーク情報管理部２１１から取得したスキュー値に応じてエンコードレート制御部２０４に対してエンコードレートの増加または低減を要求する。
【００４０】
エンコードレート制御部２０４は、スキュー管理部２１２からのエンコードレート変更要求に応じて、エンコード部Ａ２０２及びエンコード部Ｂ２０３に対してエンコードレートを設定する。なお、エンコードレート制御部２０４は、エンコード部Ａ２０２とエンコード部Ｂ２０３にそれぞれ異なるエンコードレートを設定可能である。
【００４１】
図３は、本実施例に係る映像受信装置３００の機能構成を示すブロック図である。
【００４２】
図３において、映像受信装置３００の制御部３０１には不図示のＲＯＭ、ＲＡＭが接続され、ＲＯＭに格納されたプログラムに従って映像受信装置３００全体の制御を司る。ＲＡＭは揮発性メモリであり、制御部のワークメモリとして使用されると同時に、各種データの一時記憶エリアとしても使用される。
【００４３】
映像受信装置３００は、映像送信装置１００と伝送路Ａ１０７を介して通信を行うネットワークＩ／Ｆ部Ａ３０２と、映像送信装置１００と伝送路Ｂ１０８を介して通信を行うネットワークＩ／Ｆ部Ｂ３０３とを備える。さらに、映像受信装置３００は、受信パケットから受信データへの復号を行うパケット処理部Ａ３０４及びパケット処理部Ｂ３０５と、受信データから映像データへ復号処理を行うデコード部Ａ３０６及びデコード部Ｂ３０７を備える。
【００４４】
パケット処理部Ａ３０４及びパケット処理部Ｂ３０５はそれぞれ復号処理した受信データをネットワーク情報管理部３０８にも出力する。
【００４５】
スキュー監視部３０９は、伝送路Ａ１０７及び伝送路Ｂ１０８から受信した映像データの同一コンテンツのフレームのそれぞれに付与されたタイムスタンプ情報をネットワーク情報管理部３０８から取得する。その後、この取得したタイムスタンプ情報に基づき、伝送路Ａ１０７と伝送路Ｂ１０８のスキューとしての受信時間差分を算出する。
【００４６】
スキュー監視部３０９は、算出した差分時間をネットワーク情報管理部３０８へ出力する。
【００４７】
ネットワーク情報管理部３０８はスキュー監視部３０９から差分時間が入力されると、パケット処理部Ａ３０４及びパケット処理部Ｂ３０５でこの差分時間の情報を含む送信パケットを生成する。その後、ネットワークＩ／Ｆ部Ａ３０２またはネットワークＩ／Ｆ部Ｂ３０３を介して映像送信装置１００へこの送信パケットを送信する。
【００４８】
映像出力部３１０は、デコード部Ａ３０６またはデコード部Ｂ３０７から入力された映像データを選択、受信して表示部３１１へ出力する。
【００４９】
表示部３１１は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）やＯＬＥＤ（Ｏｒｇａｎｉｃ  ＥｌｅｃｔｒｏＬｕｍｉｎａｎｃｅ  Ｄｉｓｐｌａｙ）等を用いた表示デバイスである。
【００５０】
図４は、本実施例におけるスキューについて説明する概略図である。
【００５１】
図４のバッファＡ４０１及びバッファＢ４０２は、それぞれ映像受信装置３００のパケット処理部Ａ３０４及びパケット処理部Ｂ３０５が備えるバッファ領域である。バッファＡ４０１は、伝送路Ａ１０７及びネットワークＩ／Ｆ部Ａ３０２を介して受信した受信パケットを受信データとして蓄積する記憶領域である。一方、バッファＢ４０２は、伝送路Ｂ１０８及びネットワークＩ／Ｆ部Ｂ３０３を介して受信した受信パケットを受信データとして蓄積する記憶領域である。尚、バッファＡ４０１及びバッファＢ４０２はパケット処理部Ａ３０４及びパケット処理部Ｂ３０５ではなく、デコード後データを蓄積する構成としてデコード部Ａ３０６及びデコード部Ｂ３０７が備えても良い。
【００５２】
図４のＰＴ（図４の４０３）は、映像送信装置１００から出力された送信データが、映像受信装置３００に最も遅く到着した場合のレイテンシーを示す。ＥＡ（図４の４０４）は、映像送信装置１００から出力された送信データが、映像受信装置３００に最も速く到着した場合のレイテンシーを示す。Ｐ１（図４の４０５）及びＰ２（図４の４０６）は、映像送信装置１００から出力された送信データが、映像受信装置３００に到着したある任意の時刻におけるレイテンシーを示す。ＰＤ（図４の４０７）は、レイテンシーＰ１（図４の４０５）とレイテンシーＰ２（図４の４０６）の差分値であり、この差分値が伝送路Ａ１０７と伝送路Ｂ１０８間のスキューを示す。
【００５３】
図５は、本実施例に係る送信装置１０２におけるスキュー管理部２１２で保持している管理テーブルを説明する図である。この管理テーブルでは、映像送信装置１００から出力されている映像信号のビットレートに応じた適正スキューに関する情報が保持される。
【００５４】
具体的には、図５に示す管理テーブルにはＳＢＲ（Ｓｌｏｗｅｒ  Ｂｉｔ  Ｒａｔｅ）  Ｓｔｒｅａｍ５０１及びＨＢＲ（Ｈｉｇｈ  Ｂｉｔ  Ｒａｔｅ）  Ｓｔｒｅａｍ５０２における、スキュー規格値ＰＤ５０３とレート制御用の閾値ＰＬ５０４が定義される。
【００５５】
例えば、ビットレートが２７０Ｍｂｐｓ以下のＳＢＲ映像信号（例えばＳＤ−ＳＤＩ信号フォーマット）の場合、スキュー規格値ＰＤは４５０［ｍｓ］以下、レート制御用規格値ＰＬは３６０［ｍｓ］と定義されている。また、ビットレートが１．４８５Ｇｂｐｓや２．９７ＧｂｐｓのＨＢＲ映像信号（例えばＨＤ−ＳＤＩや３Ｇ−ＳＤＩ信号フォーマット）の場合、スキュー規格値ＰＤは１５０［ｍｓ］以下、レート制御用規格値ＰＬは１１０［ｍｓ］と定義されている。
【００５６】
映像送信装置１００は、後述する処理フローによりレート制御用閾値ＰＬ以上になると、規格値ＰＤ以下となるようにエンコードレートを制御して映像データを出力する。
【００５７】
図６は、本実施例に係る映像送信装置１００で実行される映像データ出力処理の手順を示すフローチャートである。
【００５８】
図６に示すように、まず、映像送信装置１００はネットワークを介して映像受信装置３００と接続する（ステップＳ６０１）。
【００５９】
次に、映像受信装置３００より機器情報を取得すると共に、映像受信装置３００に映像送信装置１００自身の機器情報を送信する（ステップＳ６０２）。なお、本実施例では、例えば映像データをＲＴＰプロトコルにより送信し、接続機器間の情報の送受信にはＲＴＣＰ等の通信制御プロトコルを用いる。
【００６０】
次に、ステップＳ６０３において、エンコード部Ａ２０２及びエンコード部Ｂ２０３は映像入力部２０１から入力された映像データに対して、初期値として予め定めておいた所定のエンコードレート値でエンコード処理を行う。
【００６１】
ステップＳ６０４では、パケット処理部Ａ２０７は、タイムスタンプ処理部Ａ２０５を介してエンコード部Ａ２０２から入力された映像データをパケット化した後、ネットワークＩ／Ｆ部Ａ２０９を介して映像データを送信パケットとして出力する。同様に、パケット処理部Ｂ２０８は、タイムスタンプ処理部Ｂ２０６を介してエンコード部Ｂ２０３から入力された映像データをパケット化した後、ネットワークＩ／Ｆ部Ｂ２１０を介して映像データを送信パケットとして出力する。なお、ステップＳ６０４で出力する送信パケットには、そのヘッド情報としてコンテンツＩＤが付与される。これにより、映像受信装置３００は、伝送路Ａ１０７及び伝送路Ｂ１０８を介して受信した映像データが同一コンテンツかどうかを判別できる。尚、本実施例ではコンテンツＩＤが送信パケットに付与されたが、伝送路Ａ１０７及び伝送路Ｂ１０８を介して受信した映像データが同一コンテンツかどうかを映像受信装置３００が判別できる情報であればコンテンツＩＤでなくてもよい。
【００６２】
映像データ出力状態において、ステップＳ６０５では、パケット処理部Ａ２０７またはパケット処理部Ｂ２０８は映像受信装置３００からパケットを受信すると、受信パケットから受信データへの復号処理を行って、ネットワーク情報管理部２１１へ出力する。この受信パケットには、後述するステップＳ８０４の処理により送信パケット化されたスキュー情報が含まれる。
【００６３】
ステップＳ６０６において、ネットワーク情報管理部２１１はパケット処理部Ａ２０７またはパケット処理部Ｂ２０８から入力された受信データからスキュー情報を抽出してスキュー管理部２１２に出力する。
【００６４】
次にステップＳ６０７では、スキュー管理部２１２はネットワーク情報管理部２１１から入力されたスキュー情報と図５の管理テーブルのレート制御用閾値ＰＬ５０４（第１の閾値）を比較する。そして、比較結果に基づいてエンコードレート制御部２０４に対してレート制御を要求する。具体的には、スキューがレート制御用閾値ＰＬ５０４以上の場合（ステップＳ６０７でＹＥＳ）、エンコードレートを高くするように要求する。一方、スキューがレート制御用閾値ＰＬ５０４以下の場合（ステップＳ６０７でＮＯ）、エンコードレートを低くするように要求する。
【００６５】
尚、本実施例では説明を簡単にするためにレート制御用閾値ＰＬ５０４をＳＢＲ映像信号の場合とＨＢＲ映像信号の場合とでそれぞれ一つずつ設けていたが、これに限定されない。例えば、エンコードレートを上げる場合と下げる場合の閾値をそれぞれ持ってヒステリシスに制御することで、より緩やかにエンコードレートを制御することも可能である。
【００６６】
エンコードレート制御部２０４は、スキュー管理部２１２からの要求に応じてエンコード部Ａ２０２及びエンコード部Ｂ２０３でのエンコード値を変更してエンコード処理を実施する（ステップＳ６０８，Ｓ６０９）。その後、映像送信装置１００の制御部２００による映像データの出力中であれば（ステップＳ６１０でＹＥＳ）、ステップＳ６０５へ戻り、映像データの出力中でなければ（ステップＳ６１０でＮＯ）、本処理を終了する。
【００６７】
次に映像受信装置３００の動作について説明する。
【００６８】
図７は、本実施例にかかる映像受信装置３００で実行される映像データ受信処理の手順を示すフローチャートである。
【００６９】
図７に示すように、映像受信装置３００はネットワークを介して映像送信装置１００との接続すると（ステップＳ７０１）、映像送信装置１００からの映像データを受信する（ステップＳ７０２）。具体的には、ネットワークＩ／Ｆ部Ａ３０２を介して映像送信装置１００から出力されたパケット化された映像データの受信を開始し、パケット処理部Ａ３０４において受信パケットをデコード部Ａ３０６へ出力する。同様に、及びネットワークＩ／Ｆ部Ｂ３０３を介して映像送信装置１００から出力されたパケット化された映像データの受信を開始し、パケット処理部Ｂ３０５において受信パケットをデコード部Ｂ３０７へ出力する。
【００７０】
次に、ステップＳ７０３においてパケット処理部Ａ３０４及びパケット処理部Ｂ３０５では、受信パケットから機器情報や映像情報（コンテンツＩＤ）を抽出してネットワーク情報管理部３０８へ出力する。ここで、機器情報とは、接続機器種別やベンダー情報を示す送信元の機器情報を指す。また、上述の通り、コンテンツＩＤは、伝送路Ａ１０７及び伝送路Ｂ１０８から受信した映像データが同一コンテンツかどうかを判別するために用いられる情報である。
【００７１】
ステップＳ７０４において、ネットワーク情報管理部３０８は、二重化された映像データを受信中であるか否かを判定する。具体的には、ステップＳ７０３で抽出された送信元の機器情報及びコンテンツＩＤを参照し、伝送路Ａ１０７及び伝送路Ｂ１０８から受信しているパケット化された映像データについて、その送信元が同一であり且つそのコンテンツが同一であるか否かを判定する。この判定の結果、ネットワーク情報管理部３０８は、二重化された映像データを受信中である場合（ステップＳ７０４でＹＥＳ）、スキュー監視部３０９に対してスキュー監視の開始要求を出力する。スキュー監視部３０９は、かかる要求に応じて後述する図８のスキュー監視処理を行なった後（ステップＳ７０５）、本処理を終了する。なお、スキュー監視処理はパケット化された映像データの受信中は継続して実行される。一方、パケット化された映像データの受信の中断・再開、表示部３１１で表示する映像データの切替え、またはネットワークの切断・再接続を検出した場合、スキュー監視処理を再度開始する。
【００７２】
図８は、本実施例に係る図７のステップＳ７０５で実行されるスキュー監視処理の手順を示すフローチャートである。
【００７３】
ステップＳ８０１において、スキュー監視部３０９は、バッファＡ４０１及びバッファＢ４０２に蓄積される二重化された映像データより最新のフレームのタイムスタンプＡとその受信時刻Ａを取得する。以下、説明を簡単にするため、ステップＳ８０１において取得されたタイムスタンプＡは、バッファＡ４０１に蓄積された映像データに含まれるフレームに付与されている場合について説明する。次のステップＳ８０２では、バッファＡ４０１及びバッファＢ４０２のうち、タイムスタンプＡが付与されたフレームを含む映像データを蓄積していないバッファ、すなわちバッファＢ４０２に対する処理を行なう。
【００７４】
ステップＳ８０２において、バッファＢ４０２より、タイムスタンプＡが付与されたフレームに対応するフレームを検索する。そして、この検索されたフレームの受信時刻Ｂを取得する。
【００７５】
ステップＳ８０３において、スキュー監視部３０９は、ステップＳ８０１で取得した受信時刻Ａを基準として、ステップＳ８０２で取得した受信時刻Ｂとの差分をスキューとして算出してネットワーク情報管理部３０８へ出力する。
【００７６】
続いて、ステップＳ８０４において、ネットワーク情報管理部３０８は入力されたスキューの情報を監視結果としてパケット処理部Ａ３０４及びパケット処理部Ｂ３０５で送信パケット化する。その後、このパケット化したスキューの情報をネットワークＩ／Ｆ部Ａ３０２及びネットワークＩ／Ｆ部Ｂ３０３を介して映像送信装置１００へ通知する。
【００７７】
なお、二重化された映像データの夫々には上述のＲＴＰタイムスタンプとは別にプレゼンテーションタイムスタンプを付与することも可能である。プレゼンテーションタイムスタンプは、ＲＴＰタイムスタンプと同様に異なる伝送路間の同一シーンで、同一フレームに付与されるものであるが、表示に使用する時刻相当の情報である点で異なる。
【００７８】
この場合、映像受信装置３００において最新の受信データ間のプレゼンテーションタイムスタンプの差分により伝送路間のスキューが算出できる。
【００７９】
次にステップＳ８０５で、映像送信装置１００からの映像データを受信中か否かを判定する。受信中のまま一定時間が経過した場合（ステップＳ８０５でＹＥＳ、ステップＳ８０６でＹＥＳ）、ステップＳ８０１に戻り、それ以外の場合は本処理を終了する。すなわち、映像送信装置１００からの映像データの受信中は、スキューを定期的に算出して映像送信装置１００へ通知する。但し、かかる構成に限定されるわけではなく、映像送信装置１００から映像受信装置３００にスキュー算出結果を問い合わせる構成としても良い。ネットワークのパケットロス率、ＲＴＴ等の値を含むネットワーク情報は従来技術と同様に取得可能である。よって、例えばパケットロス率が所望の値以上の場合にのみ映像送信装置１００と映像受信装置３００の間で双方向通信することでネットワークパケット量を低減し、スループット低下を回避できる。なお、映像送信装置１００からスキュー算出結果を問い合わせる構成とした場合には、映像受信装置３００において、スキュー規格値または通知制御用閾値を予め保持しておき、該閾値以上となる場合には映像受信装置３００から能動的に通知する。
【００８０】
尚、上述の通り、パケット化された映像データの受信の中断・再開、表示部３１１で表示する映像データの切替え、またはネットワークの切断・再接続を検出した場合、スキュー監視処理を再度開始する。
【００８１】
本実施例の映像受信装置３００は、伝送路Ａ１０７及び伝送路Ｂ１０８から二重化された映像データを受信した際、同じタイムスタンプが割り当てられた同一フレームのうち、映像データのレイテンシーが小さい方を表示出力に使用するものとする。例えば、バッファＢ４０２はタイムスタンプＡが付与されたフレームを、バッファＡ４０１より早く受信しているため、バッファＢ４０２の受信データの方がバッファＡ４０１の受信データよりレイテンシーが小さくなる。このように表示出力を行うと、所定のスキュー内で同一フレームがバッファＡ４０１で受信される。このため、表示出力に使用している伝送路Ｂ１０８がダウンしても、伝送路Ａから対応するフレームを受信済みなので、瞬時にダウンしていない伝送路Ａから受信したフレームを表示出力に使用すべく切り替えることが可能である。
【００８２】
また、映像受信装置３００は、ステップＳ８０４におけるスキューの情報の映像送信装置１００への送信は、映像データのレイテンシーが小さい伝送路を使用する。このように制御することで、できるだけネットワークの輻輳を回避できるとともに、レイテンシーが大きい伝送路を使用する場合に比べて、映像受信装置３００から映像送信装置１００へ速く情報通知できる。
【００８３】
以上、説明したように本実施例では映像受信装置３００は、二重化された映像データの一方に含まれるフレームに付与されるタイムスタンプを取得する。その後、このフレームと同一タイミングで受信した、二重化された映像データの他方に含まれるフレームに付与されたタイムスタンプを取得する。さらに、取得した２つのタイムスタンプに基づいてスキューを算出し、映像送信装置１００にその算出されたスキューを通知する。そして、映像送信装置１００は、通知されたスキューに基づいてエンコードレートを高く又は低くなるように制御する。その結果、リアルタイム性を損なうことなく、２伝送路間のスキューを規格内に収めることができるため、２伝送路を用いて二重化された映像データを伝送する際に、伝送された映像データの一方から他方に表示を切り替える際の伝送品質を確保できる。
【００８４】
＜第２の実施例＞
次に、本発明の第２の実施例による処理について、以下、図面を参照しながら説明する。なお、本実施例の説明において、上述した第１の実施例と共通する部分については、適宜、説明を省略する。
【００８５】
本実施例における映像受信装置３００のスキュー監視部３０９は受信データ量とエンコードレートを積算することによりデコード後のデータ量に換算する。このようにすることで、エンコードレートが異なる伝送路Ａ１０７と伝送路Ｂ１０８であっても、受信データ量の差分（スキュー）の比較が可能となる。
【００８６】
図９は、本実施例に係る映像受信装置３００の受信時間とデコード後データ量の関係を示す図である。
【００８７】
図９の直線９０１，９０２は、それぞれ映像受信装置３００において表示出力に使用している伝送路Ａ１０７及び伝送路Ｂ１０８の受信データ量を示している。
【００８８】
尚、本実施例では説明を簡単にするため、伝送路Ｂ１０８に対して伝送路Ａ１０７のスループットが高いものとして説明する。すなわち映像送信装置１００が同じエンコードレートで映像データを出力すると、映像受信装置３００で受信する映像データのレイテンシーは伝送路Ｂ１０８に比べて伝送路Ａ１０７の方が小さくなる。
【００８９】
図９の破線９０３は、伝送路Ａ１０７に対する伝送路Ｂ１０８のデータ受信が最大スキューとなった場合の時間とデータ量の関係を示している。すなわち、スキュー規格値をＴｐｄとした場合、伝送路Ｂ１０８からのデータ受信を、開始時間Ｔｐｄで、且つ直線９０１に示す伝送路Ａ１０８からのデータ受信と同じ傾きにすることができればスキュー規格値を満たしているといえる。
【００９０】
本実施例においては、例えば、ＨＢＲ映像信号のスキュー規格値ＰＤは１５０[ｍｓ]であるため、Ｔｐｄ＝１５０[ｍｓ]として導出できる。さらに、レート制御用閾値のスキュー規格値ＰＬは１１０[ｍｓ]であるため、同様にＴｐｌ＝１１０[ｍｓ]として図９の一点破線９０４が導出できる。
【００９１】
映像送信装置１００は、後述する処理フローにより、伝送路Ｂ１０８の受信データ量が当該一点破線９０４よりも下回った場合にエンコードレートを制御して映像出力する。
【００９２】
図１０は、本実施例に係る図７のステップＳ７０５で実行されるスキュー監視部３０９により実行されるスキュー監視処理の手順を示すフローチャートである。以下、図９と図１０を参照しながら本実施例に係るスキュー監視部３０９の動作について説明する。
【００９３】
ステップＳ１００１において、映像受信装置３００のスキュー監視部３０９は、バッファＡ４０１に蓄積している受信データ量を取得する。この際、バッファＡ４０１で蓄積している受信データに対するエンコードレートの情報も映像送信装置１００から取得する。その後、取得した受信データ量とエンコードレートの情報に基づき、伝送路Ａ１０７のデコード後データ量を算出する。
【００９４】
次にステップＳ１００２において、スキュー監視部３０９は、バッファＢ４０２に蓄積している受信データ量を取得する。この際、バッファＢ４０２で蓄積している受信データに対するエンコードレートの情報も映像送信装置１００から取得する。その後、取得した受信データ量をとエンコードレートの情報に基づき、伝送路Ｂ１０８のデコード後データ量を算出する。
【００９５】
尚、ステップＳ１００１，Ｓ１００２で映像受信装置３００が映像送信装置１００からエンコードレートの情報を取得する方法は特に限定されない。例えば、第１の実施例で説明したＲＴＣＰ等の通信制御プロトコルを用いたり、コンテンツＩＤのようにヘッダ情報に付加して映像送信装置１００が送信すること（第２の送信手段）により映像受信装置３００で取得できる。
【００９６】
次に、ステップＳ１００３において、スキュー監視部３０９はステップＳ１００１とステップＳ１００２で算出したデコード後データ量の差分を算出する。
【００９７】
ステップＳ１００４では、スキュー監視部３０９は上記算出結果と図９のレート制御用閾値ＰＬを示す一点破線９０４とを比較する。この比較の結果、レート制御用閾値ＰＬ（第２の閾値）よりも算出されたデコード後データ量の差分が少ない場合、ステップＳ１００５に進み、伝送路Ｂ１０８のエンコードレートを下げる要求を映像送信装置１００に対して行った後、本処理を終了する。ここで、ステップＳ１００５におけるエンコードレートを上げる要求は以下のように行われる。まず、かかる要求を含む送信パケットをパケット処理部Ａ３０４及びパケット処理部Ｂ３０５でそれぞれ生成する。その後、ネットワークＩ／Ｆ部Ａ３０２及びネットワークＩ／Ｆ部Ｂ３０３）を介して、これらの送信パケットをそれぞれ映像送信装置１００に送信することにより行われる。
【００９８】
一方、ステップＳ１００４において、算出されたデコード後データ量の差分がレート制御用閾値ＰＬ（第２の閾値）以上である場合、ステップＳ１００６に進む。ステップＳ１００６では、ステップＳ１００５と同様の方法でエンコードレートを上げる要求を映像送信装置１００に対して行った後、本処理を終了する。
【００９９】
映像送信装置１００は、映像受信装置３００からの要求に応じてエンコードレートを制御して映像出力する。例えば、ステップＳ１００５の要求を映像送信装置１００に対して行った場合、伝送路Ｂの受信データ量は、図９に示す直線９０２から破線９０５に変わる。
【０１００】
尚、本実施例ではレート制御用閾値ＰＬが伝送路Ａ１０７、伝送路Ｂ１０８のそれぞれに対して１つ設定されていたが、かかる構成に限定されない。例えば図９の破線９０６で示す上限とするレート制御用閾値を別に定めて、伝送路Ａ１０７よりも伝送路Ｂ１０８のレイテンシーを小さくしても良い。これにより、伝送路Ａ１０７に比べて伝送路Ｂ１０８の映像品質は低下するが、一時的に伝送路Ａ１０７がダウンして映像データの受信ができなくなっても、表示対象の映像データを伝送路Ａ１０７から伝送路Ｂ１０８に切り替えることができる。よって、表示する映像データにおけるフレームの損失を回避することができる。
【０１０１】
以上、説明したように本発明では、受信データ量をデコード後のデータ量に換算し、スキュー判断してエンコードレートを制御する。その結果、映像受信装置３００のバッファ量に応じたエンコードレート制御が可能となる。
【０１０２】
＜第３の実施例＞
次に、本発明の第３の実施例による処理について、以下、図面を参照しながら説明する。
【０１０３】
なお、本実施例の説明において、上述した第１の実施例または第２の実施例と共通する部分については、適宜、説明を省略する。
【０１０４】
本実施例では、映像送信装置１００から送信された、伝送路Ａ１０７を介した映像データと伝送路Ｂ１０８を介した映像データの間の画質差（以下、「伝送路間画質差」という）を監視する。そして、監視中の伝送路間画質差が大きい場合、符号化処理に用いるパラメータを変更、設定する。
【０１０５】
本実施例では伝送路間画質差が大きいか否かの判定には、伝送路Ａ１０７、伝送路Ｂ１０８のそれぞれから送出される映像データの符号化に用いられるエンコードレートの間の比率が用いられる。これにより、スキュー規格を満たすように制御しつつ、伝送路間画質差を所定の画質差に抑制した映像伝送が可能となる。
【０１０６】
図１１は、本実施例に係る送信装置１１０１の機能構成を示すブロック図である。
【０１０７】
送信装置１１０１は、第１の実施例の送信装置１０２との差分として、動き判定部１１０２、画質監視部１１０３、符号化パラメータ管理部１１０４、及び符号化パラメータ設定部１１０５を備える。
【０１０８】
動き判定部１１０２は、映像入力部２０１から入力された映像データの動き量を判定し、画質監視部１１０３は、伝送路間画質差を監視する。また、符号化パラメータ管理部１１０４は、符号化処理用のパラメータを管理し、符号化パラメータ設定部１１０５は、エンコード部Ａ１１０６及びエンコード部Ｂ１１０７に対して符号化パラメータを設定する。符号化パラメータ管理部１１０４は、さらにエンコード処理における符号化パラメータ及びパラメータ変更の設定優先度を符号化パラメータテーブルとして管理する。
【０１０９】
図１２（ａ），（ｂ）は、本実施例に係る送信装置１１０１における符号化パラメータ管理部１１０４が保持する符号化パラメータテーブルを説明する図である。
【０１１０】
図１２（ａ），（ｂ）に示すように、符号化パラメータテーブルの各項目は映像フォーマット、エンコードレート、動き量、優先度、フレームレート、ビット深度である。エンコードレートは映像送出開始直後に設定する初期値と、画質品質を確保するために予め定めた最大値を示している。
【０１１１】
なお、エンコードレートの最大値は撮影ジャンルに応じて設定されるものである。これは、撮影対象がポートレート、スポーツ、風景等によってユーザから要求される画質が異なるためである。
【０１１２】
本実施例では説明を簡単にするため、任意のジャンルにおける符号化パラメータの一例を用いて説明する。
【０１１３】
図１２（ｂ）において、動き量は、動き量が多い画像か少ない画像かを示し、フレームレート、ビット深度は符号化処理時にフォーマット変更するために使用するパラメータを優先度順に保持していることを示している。同図において、優先度は数字の小さい方が優先度高とする。また、初期値には優先度の最も高いフレームレート及びビット深度が設定される。
【０１１４】
符号化パラメータ設定部１１０５は、符号化パラメータ管理部１１０４から各種符号化パラメータとしてエンコードレート、フレームレート、ビット深度の値を読み出す。その後、送信装置１１０１の制御部２００から取得した映像フォーマットや画質監視部１１０３から指示されたレート変更要求に基づいてエンコード部Ａ１１０６，エンコード部Ｂ１１０７に対して符号化パラメータの値を適用する。
【０１１５】
例えば、映像フォーマット＝”４０９６×２１６０”、動き量＝”大”の映像データには、図１２（ａ），（ｂ）を参照し、エンコードレート、フレームレート、ビット深度にそれぞれ、”１０”、”１２０ｐ”、”１２ビット”という初期値を適用する。
【０１１６】
なお、本実施例では動き判定部１１０２の判定結果に基づいて、動きの多いものを動き量”大”、動きの少ないもの又は静止しているものを動き量”小”として分類しているが、かかる構成に限定されない。例えば、映像送信装置１００に設定可能なモードを設けて、ユーザに優先度を固定させる構成としても良い。ユーザに設定させるＩ／Ｆを備えることによって、よりユーザ嗜好を反映させることができる。
【０１１７】
また、本実施例では、映像フォーマットに基づき、フレームレート、ビット深度の値を決定して符号化しているが、かかる構成に限定されない。例えば、映像入力部２０１から入力される映像データのフレームレート、ビット深度に応じて適用する符号化パラメータの初期値を変更する構成としても良い。
【０１１８】
画質監視部１１０３は、符号化パラメータ設定部１１０５からエンコード部Ａ１１０６及びエンコード部Ｂ１１０７に設定している符号化パラメータの値を取得する。さらに画質監視部１１０３は、取得された符号化パラメータの値に含まれるエンコードレートの値をスキュー管理部２１２からのエンコードレートの変更要求に応じて変更した場合の伝送路Ａ１０７と伝送路Ｂ１０８の間のレート比率を算出する。その後、その算出されたレート比率に基づき、伝送路間画質差が大きいか否かを判定する。
【０１１９】
例えば、映像受信装置３００がレイテンシーの小さい伝送路Ａ１０７を表示に使用中に、伝送路Ａ１０７のエンコードレート値Ｒａに対して、伝送路Ｂ１０８のエンコードレート値Ｒｂを１インクリメントしたとする。この場合、レート比率ΔＲ＝（Ｒｂ＋１）／Ｒａを用いて伝送路間画質差が判定される。
【０１２０】
図１３は、本実施例に係る送信装置１１０１における画質監視部１１０３が備える判定閾値テーブルを説明する図である。この判定閾値テーブルは、同一コンテンツの映像データを二重化して伝送する場合に、伝送路間画質差が許容範囲であるかを画質監視部１１０３が判定するために用いられる。
【０１２１】
画質監視部１１０３は、エンコードレート比率ΔＲが、判定閾値テーブルにある画質閾値未満であれば、符号化パラメータ設定部１１０５に対してエンコードレート制御の変更を要求する。一方、判定閾値テーブルにある画質閾値以上になる場合にはエンコードレート以外の符号化処理に用いるパラメータの変更を要求する。
【０１２２】
なお、図１３において、判定閾値テーブルに１つの画質閾値を設定するのではなく、画質閾値の最大値と最小値を設定してもよい。この場合、エンコードレート比率ΔＲが、判定閾値テーブルにある画質閾値の最大値未満で、最小値より大きい場合はエンコードレート制御の変更を要求する。また、エンコードレート比率ΔＲが、判定閾値テーブルにある画質閾値の最大値以上、または最小値以下であればエンコードレート以外の符号化処理に用いるパラメータを変更する。
【０１２３】
図１４Ａ，１４Ｂは、本実施例に係る送信装置１１０１により実行される符号化パラメータ設定処理の手順を示すフローチャートである。本処理は、より具体的には、送信装置１１０１におけるスキュー管理部２１２、画質監視部１１０３、及び符号化パラメータ設定部１１０５により実行される。
【０１２４】
尚、本処理は図６のステップＳ６０１〜Ｓ６０６と同様の処理が行われたときに開始される処理である。
【０１２５】
図１４Ａに示すように、まずステップＳ１４０１において、スキュー管理部２１２は、スキューが図５のレート制御用閾値ＰＬ５０４以上であるかを判定する（図６のステップＳ６０７に相当）。
【０１２６】
そして、判定の結果、スキューがレート制御用閾値ＰＬ５０４以上である場合（ステップＳ１４０１でＹＥＳ）、ステップＳ１４０２に進み、スキュー管理部２１２は、画質監視部１１０３に対してエンコードレートを高くするように要求する。
【０１２７】
一方、スキューがレート制御閾値ＰＬ５０４より小さい場合（ステップＳ１４０１でＮＯ）、図１４ＢのステップＳ１４１４に進み、スキュー管理部２１２は、画質監視部１１０３に対してエンコードレートを低くするように要求する。
【０１２８】
ステップＳ１４０３において、画質監視部１１０３は、符号化パラメータ設定部１１０５から現在設定している符号化パラメータを取得する。その後、伝送路Ａ１０７、伝送路Ｂ１０８のうち、表示に使用していない伝送路側のエンコードレート値をインクリメントして、表示に使用している伝送路側のエンコードレート値とのレート比率ΔＲを算出する。
【０１２９】
そして、ステップＳ１４０４において、画質監視部１１０３は、レート比率ΔＲが図１３の判定閾値テーブルにある画質閾値（第３の閾値）未満である場合、符号化パラメータ設定部１１０５に対してエンコードレートを高くするように要求する。ステップＳ１４０５では、符号化パラメータ設定部１１０５は、伝送路Ａ１０７、伝送路Ｂ１０８のうち、表示に使用していない伝送路側のエンコード部（１１０６，１１０７）で設定されるエンコードレートのインクリメント処理をこの要求に応じて適用する。
【０１３０】
また、画質監視部１１０３は、レート比率ΔＲが図１３の判定閾値テーブルにある画質閾値以上の場合には、符号化パラメータ設定部１１０５に対してエンコードレート以外の符号化パラメータの変更を要求してステップＳ１４０６に進む。これにより、現状よりエンコードレートが高くなり、伝送路間画質差が大きくなりすぎてしまうことを防止できる。
【０１３１】
ステップＳ１４０６において、符号化パラメータ設定部１１０５は、動き判定部１１０２から動き判定結果を取得する。
【０１３２】
次に、ステップＳ１４０７において、符号化パラメータ設定部１１０５は、動き判定部１１０２から取得した判定の結果、動きが多い「動き量”大”」の映像の場合にはステップＳ１４０８へ進む。一方、動きが少ない又は静止している「動き量”小”」の場合にはステップＳ１４１０へ進む。
【０１３３】
フレームレートが上がれば、映像の動きは滑らかになり、フレームレートが下がれば映像の動きの滑らかさは鈍るものの、単位時間あたりのデータ量は多く割り当てられる。そこで、「動き量”大”」の映像の場合は滑らかさを優先したいため、ステップＳ１４０８へ進む。
【０１３４】
現在のビット深度より低い優先度の符号化パラメータへの変更が可能な場合（ステップＳ１４０８でＹＥＳ）、ステップＳ１４０９において、符号化パラメータ設定部１１０５は、動き量”大”の映像に対してビット深度を変更制御する。
【０１３５】
例えば、映像フォーマット＝”４０９６×２１６０”、動き量”大”と判定した映像データの場合、前述の通り、そのビット深度として第一優先度である”１２ビット”が初期値として設定されている。よって、ステップＳ１４０９において符号化パラメータ設定部１１０５は、フレームレートを維持しつつ、ビット深度の第二優先度であるビット深度”１０ビット”に変更制御する（図１２（ｂ）ビット深度の列参照）。
【０１３６】
なお、本実施例では変更可能なビット深度は第三優先度まである。よって、現在のビット深度が第三優先度であって、より低い優先度のビット深度への変更が可能でない場合（ステップＳ１４０８でＮＯ）、ステップＳ１４１２に進む。
【０１３７】
なお、上記では映像データのビット深度を１２ビットから１０ビットに変更制御するとしたが、人間の眼は輝度に比べて色に対する反応が鈍いという特性を利用して、輝度に比べて色情報のビット深度を優先的に変更制御する構成としても良い。輝度より色情報の伝送量を優先的に削減することで、転送する映像データのデータ量を削減しつつ、ユーザによる伝送路間画質差の認識を抑制できる。
【０１３８】
ステップＳ１４０７で動き量”小”と判定された映像データのフレームレートの変更が可能な場合（ステップＳ１４１０でＹＥＳ）、ステップＳ１４１１に進み、符号化パラメータ設定部１１０５がフレームレートを変更制御する。例えば、映像フォーマット＝”４０９６×２１６０”、動き量＝”小”と判定された映像データの場合、前述の通り、そのフレームレートとして第一優先度である”１２０ｐ”が初期値として設定されている。よって、ステップＳ１４１１において符号化パラメータ設定部１１０５はフレームレートを第二優先度であるフレームレート”６０ｐ”に変更制御する。さらに、フレームレートの変更が必要になった場合には”３０ｐ”、”２４ｐ”、”６０ｉ”の優先順位で変更制御する。
【０１３９】
なお、本実施例では変更可能なフレームレートは第５優先度まである。よって、現在のフレームレートが第５優先度であって、より低い優先度のフレームレートへの変更が可能でない場合（ステップＳ１４１０でＮＯ）、ステップＳ１４１２に進む。
【０１４０】
ステップＳ１４１２において、スキュー管理部２１２は、画質監視部１１０３に対して、伝送路Ａ１０７、伝送路Ｂ１０８のうち、表示に使用している伝送路側のエンコードレートを高くするように要求する。この要求を受けた画質監視部１１０３は、符号化パラメータ設定部１１０５に対してエンコードレート変更要求を送信する。ステップＳ１４１３では、符号化パラメータ設定部１１０５は、伝送路Ａ１０７、伝送路Ｂ１０８のうち、表示に使用している伝送路側のエンコード部（１１０６，１１０７）に設定されるエンコードレートのインクリメント処理をこの要求に応じて適用する。
【０１４１】
図１４Ｂは、図１４Ａのフローチャートの続きである。
【０１４２】
図１４Ｂにおいてまず、スキュー管理部２１２は、画質監視部１１０３に対してエンコードレートを低くするように要求する（ステップＳ１４１４）。画質監視部１１０３からこの要求を受信すると、符号化パラメータ設定部１１０５は、以下のステップに示すように各種符号化パラメータを元の値に戻す。
【０１４３】
次に、ステップＳ１４１５において、符号化パラメータ設定部１１０５は、伝送路Ａ１０７、伝送路Ｂ１０８のうち、表示に使用している伝送路側のエンコードレートが有効帯域に対する設定レートと同じか判定する。即ち、ステップＳ１４１３によるエンコードレートのインクリメント処理が継続中であるか判定する。
【０１４４】
符号化パラメータ設定部１１０５は、表示に使用している伝送路のエンコードレートのインクリメント処理が継続中である場合（ステップＳ１４１５でＹＥＳ）、ステップＳ１４１６に進む。ステップＳ１４１６では、表示に使用している伝送路側のエンコードレートのデクリメント処理を適用し、ステップＳ１４０１に戻る。
【０１４５】
一方、符号化パラメータ設定部１１０５は、表示に使用している伝送路のエンコードレートのインクリメント処理が継続中でない場合（ステップＳ１４１５でＮＯ）、ステップＳ１４１７に進む。
【０１４６】
ステップＳ１４１７では、表示に使用していない伝送路側のフレームレートが、表示に使用している伝送路のフレームレートと同じか否か、すなわち伝送路間のフレームレートが同じか否かを判定する。
【０１４７】
伝送路間のフレームレートが同じである場合（ステップＳ１４１７でＹＥＳ）、ステップＳ１４１８に進み、表示に使用していない伝送路側のフレームレートを、表示に使用している伝送路のフレームレートと同じになるようにする。具体的には、図１２の第五優先度から第一優先度の順でフレームレートを変更する。その後、ステップＳ１４０１に戻る。
【０１４８】
一方、伝送路間のフレームレートが同じでない場合（ステップＳ１４１７でＮＯ）、ステップＳ１４１９に進む。
【０１４９】
ステップＳ１４１９では、表示に使用していない伝送路側のビット深度が、表示に使用している伝送路のビット深度と同じか否か、すなわち伝送路間のビット深度が同じか否かを判定する。
【０１５０】
伝送路間のビット深度が同じである場合（ステップＳ１４１９でＹＥＳ）、ステップＳ１４２０に進み、表示に使用していない伝送路側のビット深度を、表示に使用している伝送路のビット深度と同じになるようにする。具体的には、図１２の第三優先度から第一優先度の順で変更する。その後、ステップＳ１４０１に戻る。
【０１５１】
一方、伝送路間のビット深度が同じでない場合（ステップＳ１４１９でＮＯ）、ステップＳ１４２１に進む。
【０１５２】
ステップＳ１４２１では、表示に使用していない伝送路側のエンコードレートが、有効帯域に対して設定するエンコードレートと同じか否かを判定する。即ち、ステップＳ１４０５によるエンコードレートのインクリメント処理が継続中であるか判定する。
【０１５３】
符号化パラメータ設定部１１０５は、表示に使用していない伝送路側のエンコードレートのインクリメント処理が継続中である場合（ステップＳ１４２１でＹＥＳ）、ステップＳ１４２２に進む。ステップＳ１４２２では、表示に使用していない伝送路側のエンコードレートのデクリメント処理を適用し、ステップＳ１４０１に戻る。
【０１５４】
一方、符号化パラメータ設定部１１０５は、表示に使用していない伝送路のエンコードレートのインクリメント処理が継続中でない場合（ステップＳ１４２１でＮＯ）、ステップＳ１４０１に戻る。
【０１５５】
図１５は、本実施例における符号化パラメータ制御とスキューの関係を説明する図である。
【０１５６】
図１５（ａ）は、時刻Ｔにおける伝送路Ａ１０７と伝送路Ｂ１０８のスキューを示し、図１５（ｂ）は、時刻Ｔにおける伝送路Ａ１０７と伝送路Ｂ１０８のそれぞれのエンコードレートを示している。
【０１５７】
図１５は、伝送路Ａ１０７に対して伝送路Ｂ１０８のスループットが低い状態を示す。例えば、伝送路Ａ１０７と伝送路Ｂ１０８のエンコードレートが同一の場合（時刻０から時刻ｔ１の期間）、２伝送路間のスキュー（ＰＤ）は時間の経過と共に増加する。
【０１５８】
時刻ｔ１において、スキューが図５のレート制御用閾値ＰＬ５０４（ＰＤ＿ｌｉｍ）以上となったため、伝送路Ｂのエンコードレートを徐々に増加させて２伝送路間のスキューを低減している（図１４ＡのステップＳ１４０５の処理に対応）。
【０１５９】
時刻ｔ２において、符号化パラメータ制御部は、伝送路Ａのエンコードレート値と伝送路Ｂのエンコードレート値のレート比率ΔＲが閾値Ｒ＿ｍａｘＬ以上となってしまう。このため、エンコードレートによる転送レートの変更を一旦停止し、ビット深度、フレームレートによって転送レートを制御する（図１４ＡのステップＳ１４０６〜Ｓ１４１１の処理に対応）。その結果、時刻ｔ３では伝送路Ａ１０７と伝送路Ｂ１０８の間のスキューがレート制御用閾値ＰＬ５０４（ＰＤ＿ｌｉｍ）以下に収まる。
【０１６０】
以上、説明したように本実施例では、第１の実施例と同様、２伝送路を介して送信された二重化された映像データのスキューをエンコードレートによって制御する。但し、２伝送路間のエンコードレート比率から画質差を判定し、所定の画質差が生じる場合には、エンコードレート以外の符号化パラメータを操作する。これにより、スキュー規格を満足しつつ、所定の画質差に抑制した映像伝送が可能となる効果がある。
【０１６１】
以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。
【０１６２】
＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１６３】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１６４】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１６５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１６６】
プログラムを供給するための記録媒体としては、例えば、以下のようなものがある。フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）。
【０１６７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。すなわち、ホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１６８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１６９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他にも、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１７０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後にも前述した実施形態の機能が実現される。すなわち、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現される。
【符号の説明】
【０１７１】
１００  映像送信装置
１０２  送信装置
１０３  ルーターＡ
１０４  ルーターＢ
２０４  エンコードレート制御部
２１２  スキュー管理部
３００  映像受信装置
３０９  スキュー監視部
１１０２  動き判定部
１１０３  画質監視部
１１０４  符号化パラメータ管理部
１１０５  符号化パラメータ設定部
【図１】
2019029931.tif 000003
【図２】
2019029931.tif 000004
【図３】
2019029931.tif 000005
【図４】
2019029931.tif 000006
【図５】
2019029931.tif 000007
【図６】
2019029931.tif 000008
【図７】
2019029931.tif 000009
【図８】
2019029931.tif 000010
【図９】
2019029931.tif 000011
【図１０】
2019029931.tif 000012
【図１１】
2019029931.tif 000013
【図１２】
2019029931.tif 000014
【図１３】
2019029931.tif 000015
【図１４Ａ】
2019029931.tif 000016
【図１４Ｂ】
2019029931.tif 000017
【図１５】
2019029931.tif 000018
【図１６】
2019029931.tif 000019