(57)【要約】［課題］映像フレーム単位で間欠的に伝送が行われる通信システムにおいて、映像フレームの区切りを基にスループットを精度よく推定することができる受信装置を提供する。［解決手段］受信装置２００を、受信手段２０１と、区切り位置推定手段２０２と、送信手段２０３を備える構成とする。受信手段２０１は、映像フレームを分割したパケットを受信する。区切り位置推定手段２０２は、受信手段２０１が受信したパケットのパケット情報を基に、映像フレーム間の区切りとなるパケットを推定する。送信手段２０３は、区切り位置を推定した結果を基に、映像フレームの受信時間に関する情報とデータサイズの情報とをパケットの送信装置に送信する。
2019082861.tif 000002
【特許請求の範囲】
【請求項１】
映像フレームを分割したパケットを受信する受信手段と、
前記受信手段が受信した前記パケットのパケット情報を基に、前記映像フレーム間の区切りとなるパケットを推定する区切り位置推定手段と、
区切り位置を推定した結果を基に、前記映像フレームの受信時間に関する情報とデータサイズの情報とを前記パケットの送信装置に送信する送信手段と
を備えることを特徴とする受信装置。
【請求項２】
前記区切り位置推定手段は、前記映像フレームの区切りのパケットを判断してから次の区切りのパケットを判断するまでの間において、前記受信手段が受信した前記パケットのデータサイズを積算し、区切りのパケットを判断したときの積算値を前記映像フレームのデータサイズとすることを特徴とする請求項１に記載の受信装置。
【請求項３】
前記区切り位置推定手段は、前記受信手段が受信した前記パケットが、前記パケットの受信間隔を基に設定された第１の条件または前記映像フレームのフレームレートを基に設定された第２の条件のうち、少なくとも一方を満たしたとき、前記受信手段が受信した前記パケットが、前記映像フレームの区切りのパケットであると判断することを特徴とする請求項１または２に記載の受信装置。
【請求項４】
前記フレームレートの情報を前記映像フレームの送信装置から電文として受信する電文受信手段をさらに備え、
前記区切り位置推定手段は、前記受信手段が受信した前記パケットが、前記電文受信手段が前記電文として受信する前記フレームレートに基づいて設定された前記第２の条件を満たすかを判断することを特徴とする請求項３に記載の受信装置。
【請求項５】
前記第１の条件は、複数のパケットをバースト転送することによって計測された受信間隔に基づいて設定された閾値として設定され、
前記区切り位置推定手段は、前記受信手段が受信した前記パケットの受信間隔が前記閾値を超えるときに、前記第１の条件を満たすと判断することを特徴とする請求項３または４に記載の受信装置。
【請求項６】
前記送信手段は、区切り位置を推定した前記映像フレームの先頭のパケットの受信時刻と、末尾のパケットの受信時刻を前記映像フレームの受信時間に関する情報として前記送信装置に送信することを特徴とする請求項１から５いずれかに記載の受信装置。
【請求項７】
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズの情報を前記受信装置から受信する受信手段と、
前記受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出するスループット計測手段と、
前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段が決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施す圧縮符号化手段と、
前記圧縮符号化手段が圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信する送信手段と
を備えることを特徴とする送信装置。
【請求項８】
前記パラメータ決定手段が決定した前記パラメータの情報を、前記パラメータに基づいて圧縮符号化された前記映像フレームの送信先の前記受信装置に電文として送信する電文送信手段をさらに備えることを特徴とする請求項７に記載の送信装置。
【請求項９】
前記受信装置において映像フレームの受信に要した時間は、前記受信装置が映像フレームの区切りを推定して判断した映像フレームの先頭のパケットの受信時間と、末尾のパケットの受信時間とを基に構成されていることを特徴とする請求項７または８に記載の送信装置。
【請求項１０】
請求項７から９いずれかに記載の送信装置と、
請求項１から６いずれかに記載の受信装置と
を備え、
前記受信装置は、通信ネットワークを介して、前記送信装置から映像フレームを元にしたパケットを受信し、
前記受信装置の前記区切り位置推定手段は、前記送信装置から受信した前記パケットのパケット情報を基に前記映像フレーム間の区切りとなるパケットを推定し、
前記送信装置の前記スループット計測手段は、前記受信装置から受信する映像フレームの受信に要した時間と前記映像フレームのデータサイズを基に、映像フレームの送受信のスループットを統計データとして算出することを特徴とする映像配信システム。
【請求項１１】
映像フレームを分割したパケットを受信し、
受信した前記パケットのパケット情報を基に、前記映像フレーム間の区切りとなるパケットを推定し、
区切り位置を推定した結果を基に、前記映像フレームの受信時間に関する情報とデータサイズの情報とを前記パケットの送信装置に送信することを特徴とする映像配信方法。
【請求項１２】
前記映像フレームの区切りのパケットを判断してから次の区切りのパケットを判断するまでの間において、受信した前記パケットのデータサイズを積算し、区切りのパケットを判断したときの積算値を前記映像フレームのデータサイズとすることを特徴とする請求項１１に記載の映像配信方法。
【請求項１３】
受信した前記パケットが、前記パケットの受信間隔を基に設定された第１の条件または前記映像フレームのフレームレートを基に設定された第２の条件のうち、少なくとも一方を満たしたとき、受信した前記パケットが、前記映像フレームの区切りのパケットであると判断することを特徴とする請求項１１または１２に記載の映像配信方法。
【請求項１４】
前記フレームレートの情報を前記映像フレームの送信装置から電文として受信し、
受信した前記パケットが、前記電文として受信する前記フレームレートに基づいて設定された前記第２の条件を満たすかを判断することを特徴とする請求項１３に記載の映像配信方法。
【請求項１５】
前記第１の条件は、複数のパケットをバースト転送することによって計測された受信間隔に基づいて設定された閾値として設定され、
受信した前記パケットの受信間隔が前記閾値を超えるときに、前記第１の条件を満たすと判断することを特徴とする請求項１３または１４に記載の映像配信方法。
【請求項１６】
区切り位置を推定した前記映像フレームの先頭のパケットの受信時刻と、末尾のパケットの受信時刻を前記映像フレームの受信時間に関する情報として前記送信装置に送信することを特徴とする請求項１１から１５いずれかに記載の映像配信方法。
【請求項１７】
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズの情報を前記受信装置から受信し、
前記受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出し、
前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定し、
決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施し、
圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信することを特徴とする請求項１１から１６いずれかに記載の映像配信方法。
【請求項１８】
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズの情報を前記受信装置から受信し、
前記受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出し、  前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定し、
決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施し、
圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信することを特徴とする映像配信方法。
【請求項１９】
決定した前記パラメータの情報を、前記パラメータに基づいて圧縮符号化された前記映像フレームの送信先の前記受信装置に電文として送信することを特徴とする請求項１７または１８に記載の映像配信方法。
【請求項２０】
前記受信装置において映像フレームの受信に要した時間は、前記受信装置が映像フレームの区切りを推定して判断した映像フレームの先頭のパケットの受信時間と、末尾のパケットの受信時間とを基に構成されていることを特徴とする請求項１７から１９いずれかに記載の映像配信方法。
【請求項２１】
映像フレームを分割したパケットを受信する処理と、
受信した前記パケットのパケット情報を基に、前記映像フレーム間の区切りとなるパケットを推定する処理と、
区切り位置を推定した前記映像フレームの受信時間に関する情報とデータサイズの情報とを前記パケットの送信装置に送信する処理と
をコンピュータに実行させることを特徴とする映像受信プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２２】
前記映像フレームの区切りのパケットを判断してから次の区切りのパケットを判断するまでの間において、受信した前記パケットのデータサイズを積算し、区切りのパケットを判断したときの積算値を前記映像フレームのデータサイズとすることを特徴とする映像受信プログラムを記録した請求項２１に記載のコンピュータ読み取り可能な記録媒体。
【請求項２３】
受信した前記パケットが、前記パケットの受信間隔を基に設定された第１の条件または前記映像フレームのフレームレートを基に設定された第２の条件のうち、少なくとも一方を満たしたとき、受信した前記パケットが、前記映像フレームの区切りのパケットであると判断することを特徴とする映像受信プログラムを記録した請求項２１または２２に記載のコンピュータ読み取り可能な記録媒体。
【請求項２４】
前記フレームレートの情報を前記映像フレームの送信装置から電文として受信し、
受信した前記パケットが、前記電文として受信する前記フレームレートに基づいて設定された前記第２の条件を満たすかを判断することを特徴とする映像受信プログラムを記録した請求項２３に記載のコンピュータ読み取り可能な記録媒体。
【請求項２５】
前記第１の条件は、複数のパケットをバースト転送することによって計測された受信間隔に基づいて設定された閾値として設定され、
受信した前記パケットの受信間隔が前記閾値を超えるときに、前記第１の条件を満たすと判断することを特徴とする映像受信プログラムを記録した請求項２３または２４に記載のコンピュータ読み取り可能な記録媒体。
【請求項２６】
区切り位置を推定した前記映像フレームの先頭のパケットの受信時刻と、末尾のパケットの受信時刻を前記映像フレームの受信時間に関する情報として前記送信装置に送信することを特徴とする映像受信プログラムを記録した請求項２１から２５いずれかに記載のコンピュータ読み取り可能な記録媒体。
【請求項２７】
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズの情報を前記受信装置から受信する処理と、
前記受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出する処理と、
前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定する処理と、
決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施す処理と、
圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信する処理と
をコンピュータに実行させることを特徴とする映像送信プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２８】
決定した前記パラメータの情報を、前記パラメータに基づいて圧縮符号化された前記映像フレームの送信先の前記受信装置に電文として送信する処理をさらに行うることを特徴とする映像送信プログラムを記録した請求項２７に記載のコンピュータ読み取り可能な記録媒体。
【請求項２９】
前記受信装置において映像フレームの受信に要した時間は、前記受信装置が映像フレームの区切りを推定して判断した映像フレームの先頭のパケットの受信時間と、末尾のパケットの受信時間とを基に構成されていることを特徴とする映像送信プログラムを記録した請求項２７または２８に記載のコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像配信技術に関するものであり、特に、映像配信時のスループットを推定する技術に関するものである。
【背景技術】
【０００２】
携帯電話の無線通信網や無線ＬＡＮ（Local Ares Network）のようにスループットが激しく変動するベストエフォート型の通信ネットワークを介した高精細な映像のリアルタイム伝送が広く行われている。また、映像データの受信機能として、ＶＭＳ（Video Management System）が広く用いられている。ＶＭＳは、例えば、多数の監視カメラ等から受信した映像を集約し、集約した映像の解析結果を基にした警備支援システムなどに用いられる。【０００３】
高精細な映像のリアルタイム伝送を行うためには、変動するスループットに合わせて映像の圧縮符号化パラメータを動的に変動する適応映像配信制御技術（ＱｏＳ（Quality of Service）制御技術）が必要となる。そのため、動的にスループットが変動する通信ネットワークにおいて、スループットの情報を取得し、取得したスループットに基づいて通信パラメータを決定する技術の開発が行われている。そのような、スループットに基づいて通信パラメータを決定する技術としては、特許文献１のような技術が開示されている。【０００４】
特許文献１は、中継装置や受信端末における映像データのパケットの受信レートを算出し、符号化のビットレートを決定する映像品質推定装置に関するものである。特許文献１の映像品質推定装置は、中継装置や受信端末におけるパケットの受信レートを基に、符号化のビットレートを決定し、符号化のビットレートを基に、ユーザの体感品質の推定を行っている。【０００５】
また、特許文献２には、映像データの伝送ビットレートを推定し、伝送ビットレートに対応する映像フレームレートの情報を送信装置に送る受信装置が示されている。特許文献２の受信装置は、送信装置から映像データを受信する際に伝送品質を計測し、計測結果から算出したビットレートを基に伝送時の影響を考慮した推定ビットレートを推定している。また、特許文献２の受信装置は、推定ビットレートに対応する映像フレームレートを送信装置に送信している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１３０１７６号公報
【特許文献２】特開２０１２−２４４５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の技術は次のような点で十分ではない。ＱｏＳ制御を用いた映像配信では、適切な圧縮符号化パラメータを設定するために送信側と受信側が連携して動作する必要がある。しかし、ＶＭＳは、映像フレームの区切りなどのスループットの推定に必要な情報を取得する機能を有していない。また、大規模システムであるＶＭＳにスループットの推定に必要な情報を取得する機能を追加することは、困難であることが多い。そのため、受信側の装置は、スループットの推定に必要案な情報を取得し、送信側にフィードバックする機能を別に有している必要がある。しかし、特許文献１の映像品質推定装置は、映像フレーム間の区切り位置を精度よく検出することができないため、映像フレーム単位でのスループットの推定の精度を高くすることができない。そのため、映像フレーム単位で間欠的に伝送が行われるような通信システムにおいて、特許文献１の技術は、スループットを推定する技術としては十分ではない。【０００８】
また、特許文献２の受信装置は、伝送品質を計測してビットレートを算出している。よって、特許文献２の受信装置は、特許文献１と同様に映像フレーム間の区切り位置を精度よく検出し、映像フレーム単位でのスループットの推定の精度を高くすることができない。そのため、特許文献２の技術は、映像フレーム単位で間欠的に伝送が行われるような通信システムにおいて、スループットを推定する技術としては十分ではない。【０００９】
本発明は、上記の課題を解決するため、映像フレーム単位で間欠的に伝送を行う際に、映像フレームの区切りを基にスループットを精度よく推定することができる受信装置、送信装置および映像配信方法を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明の受信装置は、受信手段と、区切り位置推定手段と、送信手段を備えている。受信手段は、映像フレームを分割したパケットを受信する。区切り位置推定手段は、受信手段が受信したパケットのパケット情報を基に、映像フレーム間の区切りとなるパケットを推定する。送信手段は、区切り位置を推定した結果を基に、映像フレームの受信時間に関する情報とデータサイズの情報とをパケットの送信装置に送信する。【００１１】
本発明の送信装置は、受信手段と、スループット計測手段と、パラメータ決定手段と、圧縮符号化手段と、送信手段を備えている。受信手段は、映像フレームの送信先の受信装置において映像フレームの受信に要した時間と映像フレームのデータサイズの情報を受信装置から受信する。スループット計測手段は、受信装置において映像フレームの受信に要した時間に関する情報と映像フレームのデータサイズを基に、映像フレームの送受信のスループットを統計データとして算出する。パラメータ決定手段は、スループットの統計データを基に、受信装置に送信する映像フレームを圧縮符号化する際のパラメータを決定する。圧縮符号化手段は、パラメータ決定手段が決定したパラメータに基づいて、映像フレームに圧縮符号化を施す。送信手段は、圧縮符号化手段が圧縮符号化を施した映像フレームのデータを元にしたパケットを受信装置に送信する。【００１２】
本発明の映像配信方法は、映像フレームを分割したパケットを受信する。本発明の映像配信方法は、受信したパケットのパケット情報を基に、映像フレーム間の区切りとなるパケットを推定する。本発明の映像配信方法は、区切り位置を推定した映像フレームの受信時間に関する情報とデータサイズの情報とをパケットの送信装置に送信する。
【発明の効果】
【００１３】
本発明によると映像フレーム単位で間欠的に伝送を行う際に、映像フレームの区切りを基にスループットを精度よく推定することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態の送信装置の構成の概要を示す図である。
【図２】本発明の第１の実施形態の受信装置の構成の概要を示す図である。
【図３】本発明の第１の実施形態の映像配信システムの構成の概要を示す図である。
【図４】本発明の第２の実施形態の構成の概要を示す図である。
【図５】本発明の第２の実施形態の送信装置の構成の概要を示す図である。
【図６】本発明の第２の実施形態の受信装置の構成の概要を示す図である。
【図７】本発明の第２の実施形態の送信装置の動作フローを示す図である。
【図８】本発明の第２の実施形態の受信装置の動作フローを示す図である。
【図９】本発明の第２の実施形態におけるスループットの時間変化の例を示した図である。
【図１０】本発明の第２の実施形態における映像フレームを元に分割されたパケットを模式的に示した図である。
【図１１】本発明の第２の実施形態におけるバースト送信時の受信間隔の計測結果の例を示す図である。
【図１２】本発明の第２の実施形態におけるパケットの受信時刻とデータサイズを記録したデータの例を示す図である。
【図１３】本発明の第２の実施形態におけるパケットの受信間隔の計測結果の例を示す図である。
【図１４】本発明の第２の実施形態の映像配信システムの具体的な構成の例を示す図ある。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
本発明の第１の実施形態について図を参照して詳細に説明する。図１は、本実施形態の送信装置１００の構成の概要を示したものである。また、図２は、本実施形態の受信装置２００の構成の概要を示したものである。
【００１６】
本実施形態の送信装置１００の構成について、図１を参照して説明する。本実施形態の送信装置１００は、受信手段１０１と、スループット計測手段１０２と、パラメータ決定手段１０３と、圧縮符号化手段１０４と、送信手段１０５を備えている。受信手段１０１は、映像フレームの送信先の受信装置において映像フレームの受信に要した時間と映像フレームのデータサイズの情報を受信装置から受信する。スループット計測手段１０２は、受信装置において映像フレームの受信に要した時間に関する情報と映像フレームのデータサイズを基に、映像フレームの送受信のスループットを統計データとして算出する。パラメータ決定手段１０３は、スループットの統計データを基に、受信装置に送信する映像フレームを圧縮符号化する際のパラメータを決定する。圧縮符号化手段１０４は、パラメータ決定手段１０３が決定したパラメータに基づいて、映像フレームに圧縮符号化を施す。送信手段１０５は、圧縮符号化手段１０４が圧縮符号化を施した映像フレームのデータを元にしたパケットを受信装置に送信する。
【００１７】
本実施形態の送信装置１００は、スループット計測手段１０２において、受信装置において映像フレームの受信に要した時間と映像フレームのデータサイズを基に、映像フレームの送受信のスループットを統計データとして算出している。また、本実施形態の送信装置１００は、パラメータ決定手段１０３においてスループットを基に、映像フレームを圧縮符号化する際のパラメータを決定し、決定したパラメータに基づいて、圧縮符号化手段１０４において映像フレームを圧縮符号化して送信している。本実施形態の送信装置１００は、映像フレーム単位のスループットを基に、圧縮符号化のパラメータを決定しているので映像フレーム単位で間欠的に伝送が行われる通信システムにおいても、スループットを精度よく推定することができる。
【００１８】
本実施形態の受信装置２００の構成について図２を参照して説明する。本実施形態の受信装置２００は、受信手段２０１と、区切り位置推定手段２０２と、送信手段２０３を備えている。受信手段２０１は、映像フレームを分割したパケットを受信する。区切り位置推定手段２０２は、受信手段２０１が受信したパケットのパケット情報を基に、映像フレーム間の区切りとなるパケットを推定する。送信手段２０３は、区切り位置を推定した結果を基に、映像フレームの受信時間に関する情報とデータサイズの情報とをパケットの送信装置に送信する。
【００１９】
本実施形態の受信装置２００は、区切り位置推定手段２０２において受信手段２０１が受信したパケットのパケット情報を基に、映像フレーム間の区切りとなるパケットを推定している。また、本実施形態の受信装置２００は、送信手段２０３は、区切り位置を推定した映像フレームの受信時間に関する情報とデータサイズの情報とをパケットの送信装置に送信している。そのため、本実施形態の受信装置２００を用いることで、映像フレームの受信時間に関する情報とデータサイズの情報を基に映像フレーム単位のスループットを算出することができる。その結果、本実施形態の受信装置２００を用いることで、映像フレーム単位で間欠的に伝送が行われる通信システムにおいても、映像フレームの区切りを基にスループットを精度よく推定することができる。
【００２０】
また、本実施形態の送信装置１００および受信装置２００を用いることで図３に示すような映像配信システムの構成することができる。図３は、送信装置１００および受信装置２００を用いた映像配信システムの構成の概要を示したものである。
【００２１】
図３のような構成とした際に、受信装置２００は、通信ネットワークを介して、送信装置１００から映像フレームを基にしたパケットを受信する。受信装置２００の区切り位置推定手段２０２は、送信装置１００から受信したパケットのパケット情報を基に映像フレーム間の区切りとなるパケットを推定する。送信装置１００のスループット計測手段１０２は、受信装置２００から受信する映像フレームの受信に要した時間と映像フレームのデータサイズを基に、映像フレームの送受信のスループットを統計データとして算出する。
このように、受信装置２００が映像フレーム間の区切りとなるパケットを推定し、映像フレームの受信に要した時間と映像フレームのデータサイズを送信装置１００に送ることで、映像フレームの送信のスループットを精度よく推定することができる。
【００２２】
（第２の実施形態）
本発明の第２の実施形態について図を参照して詳細に説明する。図４は、本実施形態の映像配信システムの構成の概要を示したものである。本実施形態の映像配信システムは、送信装置１０と、受信装置２０を備えている。送信装置１０と受信装置２０は、通信ネットワーク５０を介して接続されている。
【００２３】
本実施形態の映像配信システムは、ライブ映像配信等において、通信ネットワーク５０を介して送信装置１０から受信装置２０に映像フレームを圧縮符号化して送信するシステムである。本実施形態の映像配信システムでは、リアルタイムでキャプチャされた映像フレームに圧縮符号化が施され、圧縮符号化が完了した映像フレームが映像フレーム単位で間欠的に伝送される。
【００２４】
本実施形態の送信装置１０の構成について説明する、図５は、本実施形態の送信装置１０の構成の概要を示したものである。送信装置１０は、パラメータ決定部１１と、圧縮符号化部１２と、映像送信部１３と、フィードバック受信部１４と、スループット計測部１５と、電文送信部１６を備えている。
【００２５】
パラメータ決定部１１は、映像フレームのデータを圧縮符号化する際のパラメータを決定する機能を有する。パラメータ決定部１１は、圧縮符号化する際のパラメータとして、圧縮符号化された映像フレームのフレームレートを決定する。パラメータ決定部１１は、決定したフレームレートの情報を圧縮符号化部１２と、電文送信部１６に送る。
【００２６】
圧縮符号化部１２は、映像フレームのデータを圧縮符号化する機能を有する。圧縮符号化部１２は、パラメータ決定部１１から圧縮符号化時のパラメータとして入力されるフレームレートの情報に基づいて、映像フレームのデータを圧縮符号化する。圧縮符号化部１２は、圧縮符号化した映像フレームを映像送信部１３に送る。
【００２７】
映像送信部１３は、圧縮符号化された映像フレームのデータをパケットに分割し、通信ネットワーク５０を介して受信装置２０に送信する。映像送信部１３は、映像フレームのデータの圧縮符号化が完了するごとに映像フレームを分割したパケットを送信する。すなわち、圧縮が完了した１つの映像フレームのデータの送信が完了したときに、次の映像フレームの圧縮符号化が完了していない場合には映像フレームを元に生成したパケットの送信は行われない。
【００２８】
フィードバック受信部１４は、スループットを推定する際に必要な情報をフィードバック情報として受信する機能を有する。フィードバック受信部１４は、フィードバック情報を、通信ネットワーク５０を介して、受信装置２０から受信する。フィードバック受信部１４は、フィードバック情報として、受信装置２０における映像フレームの受信開始時刻、映像フレームの受信完了時刻および映像フレームのデータサイズの情報を受信装置２０から受信する。すなわち、フィードバック情報は、映像フレームの受信開始時刻および映像フレームの受信完了時刻によって示される映像フレームの受信に要する時間の情報と、映像フレームのデータサイズの情報を基に構成されている。フィードバック受信部１４は、受信装置２０から受信したフィードバック情報を、スループット計測部１５に送る。
【００２９】
スループット計測部１５は、フィードバック情報を基に映像フレームを送信する際のスループットを算出する機能を有する。スループット計測部１５は、フィードバック情報として受信する映像フレームごとの受信開始時刻、受信完了時刻およびデータサイズからスループットを算出する。スループット計測部１５は、スループットを統計量として算出する。
【００３０】
電文送信部１６は、フレームレートの情報を受信装置２０に送る機能を有する。電文送信部１６は、パラメータ決定部１１から受けとるフレームレートの情報を、通信ネットワーク５０を介して受信装置２０に送る。
【００３１】
本実施形態の受信装置２０の構成について説明する。図６は、本実施形態の受信装置２０の構成の概要を示したものである。受信装置２０は、ＮＩＣ（Network Interface Card）監視部２１と、フレーム区切り推定部２２と、フィードバック送信部２３と、電文受信部２４と、ＶＭＳ（Video Management System）部２５と、ＮＩＣ２６を備えている。
【００３２】
ＮＩＣ監視部２１は、ＮＩＣ２６が受信するパケットを監視する機能を有する。ＮＩＣ監視部２１は、ＮＩＣ２６が受信するパケットを監視し、映像フレームのパケットを検出する。ＮＩＣ監視部２１は、ＮＩＣ２６が受信するパケットからパケット情報を取得する。パケット情報とは、パケットの受信時刻、トランスポートプロトコルの種別、送信元ＩＰアドレス、送信元ポート番号、宛先ＩＰアドレス、宛先ポート番号およびペイロードサイズ等の情報のことをいう。ＮＩＣ監視部２１は、送信元ＩＰアドレスおよび宛先ポート番号を基にフィルタリングを行い映像フレームのパケットを判別する。
【００３３】
フレーム区切り推定部２２は、映像フレームの区切りとなるパケットを判断する機能を有する。フレーム区切り推定部２２が、映像フレームの区切りとなるパケットを判断する方法については、後で説明する。
【００３４】
フィードバック送信部２３は、映像フレームの受信開始時刻、受信時刻およびデータサイズの情報をフィードバック情報として送信装置１０に送信する。フィードバック送信部２３は、映像フレームの区切り位置のパケットのパケット情報と２つの区切り位置の間に受信したパケットのデータサイズの累積値に基づいて、映像フレームの受信開始時刻、受信時刻およびデータサイズを判断する。
【００３５】
電文受信部２４は、圧縮符号化のパラメータとして圧縮符号化された映像フレームのフレームレートの情報を受信する機能を有する。電文受信部２４は、通信ネットワーク５０を介して送信装置１０から映像フレームを圧縮符号化した際のフレームレートの情報を受信する。電文受信部２４は、受信した映像フレームを圧縮符号化した際のフレームレートの情報を、フレーム区切り推定部２２に送る。
【００３６】
ＶＭＳ部２５は、圧縮符号化された映像フレームの復号等の処理を行い、映像フレームのデータを表示装置等に出力する。
【００３７】
ＮＩＣ２６は、通信ネットワーク５０を介して送信装置１０や他の通信装置とデータの送受信を行う通信モジュールである。
【００３８】
通信ネットワーク５０は、インターネットやモバイルネットワーク等の組み合わせによるヘテロジニアスな構成の通信ネットワークである。
【００３９】
本実施形態の映像配信システムの動作について説明する。図７は、本実施形態の送信装置１０の動作フローの概要を示している。また、図８は、本実施形態の受信装置２０の動作フローの概要を示している。
【００４０】
送信装置１０に配信用の映像データとして映像フレームが入力されると、送信装置１０は、映像フレームを圧縮符号化して受信装置２０に送信する動作を開始する。
【００４１】
送信装置１０のパラメータ決定部１１は、受信装置２０に送信する映像フレームを圧縮符号化する際のパラメータとしてフレームレートの情報を、圧縮符号化部１２と、電文送信部１６に送る。動作開始直後のフレームレートには、あらかじめ設定された値または以前に同じ受信装置２０に映像データを送信した際の値が用いられる。
【００４２】
電文送信部１６は、圧縮符号化のパラメータの情報としてフレームレートの情報を受け取ると、フレームレートの情報を、通信ネットワーク５０を介して受信装置２０に送る（ステップＳ１１）。
【００４３】
受信装置２０に送信する映像フレームのデータが入力されると、圧縮符号化部１２は、パラメータ決定部１１から入力されるフレームレートに基づいて、映像フレームを圧縮符号化する。
【００４４】
映像フレームを圧縮符号化すると、圧縮符号化部１２は、圧縮符号化した映像フレームのデータを映像送信部１３に送る。映像送信部１３は、映像フレームのデータを受け取ると、映像フレームのデータを基に送信用のパケットを生成する。送信用のパケットを生成すると、映像送信部１３は、生成したパケットを、通信ネットワーク５０に送信する。送信装置１０から送信されたパケットは通信ネットワーク５０を伝送され、受信装置２０に送られる。
【００４５】
フレームレートの情報が受信装置２０まで伝送されると、受信装置２０の電文受信部２４は、フレームレートの情報を受信する（ステップＳ２１）。電文受信部２４は、フレームレートの情報を受信すると、フレームレートの情報をフレーム区切り推定部２２に送る。
【００４６】
フレームレートの情報を受け取ると、フレーム区切り推定部２２は、受け取ったフレームレートの値をフレームレートｆとし、映像フレームの区切りの上限値Ｄｍａｘを算出する（ステップＳ２２）。映像フレームの区切りの上限値Ｄｍａｘは、映像フレームの先頭パケットの受信時刻から一定時間以上経過した際に、映像フレームの区切りと判断する基準値として設定されている。フレーム区切り推定部２２は、パケットの受信時刻における先頭パケットの受信時刻からの経過時間が上限値Ｄｍａｘを超えたときに映像フレームの区切りと判断する。映像フレームの区切りの上限値Ｄｍａｘは、Ｄｍａｘ＝β／ｆとして設定されている。βは、感度係数を示し、あらかじめ設定されている。
【００４７】
受信装置２０のＮＩＣ２６は、通信ネットワーク５０を介して送られてくる自装置宛のパケットを受信し、受信したパケットをＶＭＳ部２５に送る（ステップＳ２３）。ＶＭＳ部２５は、受信したパケットのデータを元に圧縮符号化された映像フレームを復号し、映像フレームのデータを生成する。ＶＭＳ部２５は、映像フレームのデータを生成すると、表示装置等に映像フレームのデータを送る。
【００４８】
ＮＩＣ２６が受信したパケットをＶＭＳ部２５に送る際に、ＮＩＣ監視部２１は、ＮＩＣ２６が受信したパケットを監視し、パケット情報を抽出する。映像フレームのパケット情報には、パケットの受信時刻、トランスポートプロトコル、送信元ＩＰアドレス、送信元ポート番号、宛先ＩＰアドレス、宛先ポート番号およびペイロードサイズ等が含まれる。受信装置２０のＮＩＣ２６には、映像フレーム以外のパケットも流れるが、送信元ＩＰアドレスおよび宛先ポート番号を基にフィルタリングを行って映像フレームのパケットのみを抽出することができる。
【００４９】
ＮＩＣ監視部２１が映像フレームのパケットを抽出すると、フレーム区切り推定部２２は、パケットの受信間隔Ｉ（ｔ）を算出する。ＮＩＣ監視部２１が抽出したｔ番目のパケットをパケットＰ（ｔ）、パケットＰ（ｔ）の受信時刻をｐ（ｔ）、パケットＰ（ｔ）のデータサイズをｓ（ｔ）とする。このとき、フレーム区切り推定部２２は、パケットＰ（ｔ）とパケットＰ（ｔ−１）の受信間隔Ｉ（ｔ）を、Ｉ（ｔ）＝ｐ（ｔ）−ｐ（ｔ−１）として算出する（ステップＳ２４）。また、フレーム区切り推定部２２は、１つの映像フレームの先頭のパケットからパケットＰ（ｔ）までの累積データサイズをＳバイトとして保持する。初期値は、Ｓ＝０である。
【００５０】
フレーム区切り推定部２２は、パケットＰ（ｔ−１）とＰ（ｔ）のパケット情報と基に受信間隔Ｉ（ｔ）を算出すると、受信間隔Ｉ（ｔ）について検定を行い、パケットＰ（ｔ）が映像フレームの区切りのパケットであるかを推定する。フレーム区切り推定部２２は、検定条件をαパーセント、棄却閾値をＸ秒、帰無仮説を「パケットＰ（ｔ）は、映像フレームの区切り位置ではない」、対立仮説を「パケットＰ（ｔ）は、映像フレームの区切り位置である」として、受信間隔Ｉ(t)に対して検定を行う。
【００５１】
検定条件となる信頼区間αのときの受信間隔Ｘは、テストデータ等の送受信によってあらかじめ設定されている。受信間隔Ｘは、テストデータを送受信した際のパケットの受信間隔の累積分布関数（Cumulative Distribution Function：ＣＤＦ)を作成し、信頼区間αのときのパケット受信間隔Ｘを求めることで設定されている。受信間隔Ｘは、ライブ映像配信のような断続的データ送信ではなくバースト転送が行われている連続送信時の受信間隔を計測することで設定されている。ＣＤＦは、使用するネットワーク環境ごとに設定される。また、信頼区間αは、あらかじめ設定されている閾値であり、例えば、αー９５パーセントとして設定される。
【００５２】
受信間隔Ｉ（ｔ）が閾値Ｘ（ｔ）よりも大きいとき（ステップＳ２５でＹｅｓ）、フレーム区切り推定部２２は、パケットＰ（ｔ）が映像フレームの区切りのパケットであると判断する（ステップＳ２７）。
【００５３】
受信間隔Ｉ（ｔ）が閾値Ｘ（ｔ）以下であるとき（ステップＳ２５でＮｏ）、フレーム区切り推定部２２は、映像フレームの先頭パケットの受信時刻からの経過時間と上限値Ｄｍａｘを比較する。フレーム区切り推定部２２は、前回、映像フレームの区切りと判断したパケットの受信時刻をｄとした場合に、ｐ（ｔ）−ｄ≧Ｄｍａｘを満たすときもパケットＰ（ｔ）が映像フレームの区切りのパケットであると判断する（ステップＳ２７）。
【００５４】
ステップＳ２７においてフレーム区切り推定部２２は、パケットＰ（ｔ）が映像フレームの区切りであると判断すると、パケットＰ（ｔ−１）を映像フレームの末尾のパケット、パケットＰ（ｔ）が次の映像フレームの先頭パケットであるとみなす。フレーム区切り推定部２２は、Ｉ（ｔ）＞Ｘまたはｐ（ｔ）−ｄ≧Ｄｍａｘの少なくとも一方を満たすとき、パケットＰ（ｔ−１）とパケットＰ（ｔ）の間が映像フレームの区切りであると判断する。すなわち、フレーム区切り推定部２２は、Ｉ（ｔ）＞Ｘを第１の条件、ｐ（ｔ）−ｄ≧Ｄｍａｘを第２の条件としたときに、第１の条件または第２の条件の少なくとも一方を満たすときに、映像フレームの区切りであると判断する。
【００５５】
映像フレームの区切り位置を検出すると、フレーム区切り推定部２２は、時刻ｄの値をｄ＝ｐ（t）として更新し、映像フレームの累積データサイズＳをＳ＝０として初期化する。時刻ｄと累積データサイズＳを更新すると、フレーム区切り推定部２２は、パケットの受信時間に関する情報と、映像フレームのデータサイズの情報をフィードバック送信部２３に送る。
【００５６】
フレーム区切り推定部２２は、映像フレームの区切りのパケットを検出し、ｉ番目とｉ＋１番目の映像フレームの区切りを検出したとき、Ｓの値をｉ番目の映像フレームのデータサイズとする。フレーム区切り推定部２２は、ｉ番目の映像フレームの受信完了時刻、ｉ＋１番目の映像フレームの受信開始時刻およびｉ番目の映像フレームのデータサイズの情報をフィードバック情報としてフィードバック送信部２３に送る。フィードバック送信部２３は、フィードバック情報を受け取ると、受け取ったフィードバック情報を、通信ネットワーク５０を介して送信装置１０に送る（ステップＳ２９）。
【００５７】
フィードバック情報を送信した際に、映像フレームのパケットをさらに受信しているとき（ステップＳ３０でＹｅｓ）、受信装置２０のフレーム区切り推定部２２等は、ステップＳ２４からの動作を繰り返す。フィードバック情報を送信した際に、映像フレームのパケットを受信していないとき（ステップＳ３０でＮｏ）、受信装置２０は、パケットを受信するまで待機する。
【００５８】
ステップＳ２６で、ｐ（ｔ）−ｄ≧Ｄｍａｘを満たさない場合、フレーム区切り推定部２２は、パケットＰ（ｔ）は映像フレームの区切りのパケットではないと判断する（ステップＳ３１）。パケットＰ（ｔ）は映像フレームの区切りのパケットではないと判断すると、フレーム区切り推定部２２は、累積データサイズＳをＳ＝Ｓ＋ｓ（ｔ）として更新する（ステップＳ３２）。フレーム区切り推定部２２が累積データサイズＳを更新すると、ステップＳ２３からの動作が繰り返される。
【００５９】
通信ネットワーク５０を介して映像フレームの受信時刻とデータサイズを示す情報がフィードバック情報として送信装置１０に送られると、送信装置１０のフィードバック受信部１４は、フィードバック情報を受信する（ステップＳ１３）。フィードバック受信部１４は、フィードバック情報を受信すると、受信したフィードバック情報をスループット計測部１５に送る。
【００６０】
スループット計測部１５は、フィードバック情報を受け取ると、受け取ったフィードバック情報を保持し、スループットを算出する（ステップＳ１４）。スループット計測部１５は、あらかじめ設定された映像フレーム分のフィードバック情報を基に統計量としてスループットを算出する。
【００６１】
スループット計測部１５は、スループットを算出すると、算出したスループットをパラメータ決定部１１に送る。パラメータ決定部１１は、スループットを受け取ると、受け取ったスループットを基にフレームレートを決定する（ステップＳ１５）。スループット計測部１５は、スループットとフレームレートの関係を示すデータテーブルをあらかじめ保持している。スループット計測部１５は、スループットの値を基に設定された計算式に基づいてフレームレートを決定してもよい。フレームレートを決定すると、スループット計測部１５は、決定したフレームレートの情報を圧縮符号化部１２および電文送信部１６に送る。
【００６２】
電文送信部１６は、フレームレートの情報を受け取ると、受け取ったスループットの情報を圧縮符号化のパラメータとして受信装置２０に送信する（ステップＳ１６）。電文送信部１６がフレームレートを受信装置２０に送信した際に、送信する映像フレームのデータがあるとき（ステップＳ１７でＹｅｓ）、送信装置１０は、ステップＳ１２からの動作を繰り返す。送信する映像フレームのデータが無い場合には（ステップＳ１７でＮｏ）、送信装置１０は、次に映像フレームのデータが入力されるまで待機する。
【００６３】
本実施形態の映像配信システムは、カメラ等で撮影された映像等のライブ映像配信を行うシステムである。ライブ映像配信では圧縮符号化が施された映像フレーム単位で間欠的にデータの伝送が行われる。そのため、スループットの推定には、受信した映像フレームごとの受信開始時刻、受信完了時刻および受信した映像フレームのデータサイズの情報が必要となる。
【００６４】
図９に示すように、本実施形態の映像配信システムでは、映像フレームのデータは、蓄積されたデータをまとめて送信するケースと異なり、リアルタイムにキャプチャされた映像フレームの圧縮符号化が完了し、送信可能状態となったタイミングで送信される。そのため、データの送信が行われていない未送信時間が存在する。よって、ライブ映像配信を行う映像配信システムでは、スループットを推定する際に、単位時間あたりに受信したデータサイズを単位時間で割る算術平均ではなく、各映像フレーム単位のデータサイズと映像フレーム受信に要した時間を用いて算出する必要がある。そのため、ライブ映像配信を行う映像配信システムでは、受信した映像フレームごとの受信開始時刻および受信完了時刻が必要となる。
【００６５】
映像フレームのデータは、図１０に示すよう圧縮符号化後にパケットに分割されて伝送される。図１０は、映像フレームを元に分割されたパケットを模式的に示した図である。
圧縮符号化後にパケットに分割されて伝送されるため、映像フレームごとの受信開始時刻および受信完了時刻の情報を得るためには、映像フレームの末尾のパケットの受信時刻と、次の映像フレームの先頭のパケットの受信時刻の情報を得る必要がある。
【００６６】
本実施形態の映像配信システムは、受信装置２０のフレーム区切り推定部２２が映像フレームの区切りを判断し、映像フレームの末尾のパケットの受信時刻、次の映像フレームの先頭のパケットの受信時刻とデータサイズの情報を送信装置１０に送信している。そのため、送信装置１０は、受信した映像フレームごとの受信開始時刻、受信完了時刻および映像フレームのデータサイズの情報を得ることができるので、ライブ映像配信を行う映像配信システムにおけるスループットを算出することができる。また、統計量としてスループットを算出するので、映像フレームの区切り位置のパケットであると判断したパケットと実際の区切り位置のパケットがずれていた場合でも、ずれの影響を抑制して映像フレームの受信時間とデータサイズの情報を得ることができる。
【００６７】
本実施形態の映像配信システムのより具体的な例について説明する。使用するネットワーク環境でデータをあらかじめバースト転送して計測したパケットの受信間隔のＣＤＦが図１１のようであったとする。図１１は、使用するネットワーク環境でデータをあらかじめバースト転送して計測したパケットの受信間隔の計測結果を示した図である。図１１の例では、検定条件として信頼区間αをα＝９５パーセントすると、検定棄却の閾値Ｘは、Ｘ＝０．０３０４１秒となる。また、感度係数βは、β＝１．０、送信装置から受け取るフレームレートｆは、ｆ＝１０ｆｐｓ（frames per second）であるとする。このとき、映像フレームの区切りの上限値Ｄｍａｘは、Ｄｍａｘ＝β／ｆ＝０．１秒となる。
【００６８】
受信装置２０のＮＩＣ監視部２１が、図１２のような受信時刻ｐ（ｔ）にデータサイズｓ（ｔ）の映像フレームのパケットＰ（ｔ）を順次、受信したとする。図１２は、パケットＰ（ｔ）の受信時刻ｐ（ｔ）とデータサイズｓ（ｔ）を示すデータの例を示したものである。
【００６９】
フレーム区切り推定部２２は、パケットＰ（０）の情報を受け取ったとき、初期状態としてｄ＝ｐ（０）、Ｓ＝１２００の情報を保存する。次に、パケットＰ（１）の情報を受け取ると、フレーム区切り推定部２２は、受信間隔Ｉ（１）＝ｐ（１）−Ｐ（０）＝０．０００２秒を算出し、条件式と比較する。ｐ（１）−ｄ＝０．０００２であるから、Ｉ（１）＞Ｘとｐ（１）−ｄ≧Ｄｍａｘのいずれも満たさないため、フレーム区切り推定部２２は、パケットＰ（１）は、映像フレームの区切りではないと判断する。映像フレームの区切りではないと判断すると、フレーム区切り推定部２２は、累積データサイズＳをＳ＝Ｓ＋ｓ（１）＝２４００バイトとして更新する。同様に、パケットＰ（２）、Ｐ（３）、Ｐ（４）およびＰ（５）も条件式を満たさないため、フレーム区切り推定部２２は、映像フレームの区切りではないと判断する。このとき、累積データサイズＳは、Ｓ＝９３９２バイトとなる。
【００７０】
パケットＰ（７）を受け取ったとき、Ｉ（７）＝０．０５８０となり、Ｉ（７）＞Ｘの条件を満たす。そのため、フレーム区切り推定部２２は、パケットＰ（６）とパケットＰ（７）の間に映像フレームの区切りがあると判断する。パケットＰ（６）とパケットＰ（７）の間に映像フレームの区切りがあると判断すると、フレーム区切り推定部２２は、パケットＰ（６）が映像フレームの末尾のパケット、パケットＰ（７）が次の映像フレームの先頭パケットであると判断する。映像フレームの末尾のパケットと次の映像フレームの先頭のパケットを判断すると、フレーム区切り推定部２２は、フィードバック送信部２３に、フィードバック情報を送られる。このとき、フィードバック情報は、映像フレームの受信開始時刻p（０）＝０、映像フレームの受信完了時刻ｐ（６）＝０．００１５秒、映像フレームのデータサイズＳ＝９３９２バイトのデータによって構成されている。フィードバック送信部２３は、フィードバック情報を受け取ると、受け取ったフィードバック情報を送信装置１０に送る。
【００７１】
フレーム区切り推定部２２がさらにパケットＰ（８）、Ｐ（９）、Ｐ（１０）、Ｐ（１１）、Ｐ（１２）、Ｐ（１３）およびＰ（１４）の情報を順に受け取ったとき、条件式を満たさないため、Ｓ＝１０６４０バイトとなる。パケットＰ（１５）を受け取ったとき、Ｉ（１５）＝０．０２９１秒であるためＩ（１５）＞Ｘは満たさないが、ｐ（１５）−ｄ＝０．１１１７秒となり、ｐ（１５）−ｄ≧Ｄｍａｘの条件を満たす。そのため、フレーム区切り推定部２２は、パケットＰ（１５）の前に区切りがあり、パケットＰ（１４）が映像フレームの末尾のパケット、パケットＰ（１５）が次の映像フレームの先頭パケットであると判断する。映像フレームの末尾のパケットと次の映像フレームの先頭パケットを判断すると、フレーム区切り推定部２２は、フィードバック情報をフィードバック送信部２３に送る。フィードバック送信部２３は、フィードバック情報を受け取ると、受け取ったフィードバック情報を送信装置１０に送り、順次、処理が繰り返される。
【００７２】
受信装置２０は、このように計測したパケットの受信間隔Ｉ（ｔ）に対して、バースト転送時のパケット受信間隔ＣＤＦから信頼区間αパーセントで検定を行うことでＩ（ｔ）のピークを検出している。受信装置２０は、Ｉ（ｔ）のピークが発生せず長時間検出されない場合でも、フレームレートから算出されるフレーム間隔を基に、適度な間隔で映像フレーム区切りとして検出することができる。
【００７３】
図１３は、フレームレートを１０ｆｐｓとして、ライブ映像配信を実施したときの、受信装置２０のＮＩＣ２６におけるパケットの受信間隔を示したグラフである。検定棄却の閾値ＸをＸ＝０．０３０４１秒としたとき、検出される受信間隔Ｉ（ｔ)は、１秒間に９個あり、１秒間に１０枚のフレームレートに近い映像フレームが実際に検出されている。
【００７４】
本実施形態の映像配信システムは、受信装置２０のフレーム区切り推定部２２においてフレームの区切りとなるパケットを判断している。また、フレーム区切り推定部２２は、区切りと判断した位置の前の映像フレームの末尾のパケットの受信時刻と、後ろの映像フレームの先頭のパケットの受信時刻の情報と、データサイズの情報を、フィードバック送信部２３を介して送信装置１０に送信している。そのため、送信装置１０は、映像フレームのパケットの受信開始時刻、受信完了時刻およびデータサイズの情報を取得することができるので、間欠的に送信していても映像フレームを伝送する際のスループットを算出することができる。また、そのようにスループットを算出することで、ＶＭＳに機能追加を行わなくても、受信装置２０からフィードバックされた情報を基に送信装置１０が映像フレームを伝送する際のスループットを算出し、適切な圧縮符合化のパラメータの設定を行うことができる。その結果、本実施形態の映像配信システムは、映像フレーム単位で間欠的に伝送を行う際に、映像フレームの区切りを基にスループットを精度よく推定することができる。
【００７５】
また、受信装置２０において映像フレームの区切りを基にスループットを推定し、送信装置１０にフィードバックすることでスループットに合わせて動的に圧縮符号化のパラメータを設定することができる。そのため、本実施形態の映像配信システムは、スループットに合わせて、乱れのない高画質の映像配信を行うことができる。
【００７６】
第２の実施形態では、受信装置２０を１台のみ示しているが受信装置２０は、複数、備えられていてもよい。そのような構成とする場合には、受信装置２０ごとまたは通信経路が同一の受信装置２０のグループごとにスループットの算出およびフレームレートの決定が行われる。
【００７７】
第２の実施形態の映像配信システムは、図１４に示すような構成としてもよい。図１４は、第２の実施形態の映像配信システムの構成の例を示したものである。図１４の映像配信システムは、サーバ３０と、通信端末装置４０を備えている。サーバ３０と通信端末装置４０は、通信ネットワーク５１を介して接続されている。サーバ３０は、第２の実施形態の送信装置１０に相当する。また、通信端末装置４０は、第２の実施形態の受信装置２０に相当する。通信ネットワーク５１は、第２の実施形態の通信ネットワーク５０と同様の構成である。
【００７８】
図１４のサーバ３０は、ＣＰＵ（Central Processing Unit）３１と、メモリ３２と、記憶装置３３と、送受信部３４を備えている。サーバ３０は、映像配信サーバとしての機能を有する。サーバ３０は、第２の実施形態の送信装置１０の各処理をＣＰＵ３１でコンピュータプログラムを実行することで行う。ＣＰＵ３１は、コンピュータプログラムを記憶装置３３から読み出して実行する。ＣＰＵ３１は、コンピュータプログラムを実行する際にメモリ３２にデータを保持し、処理結果を記憶装置３３に保存する。サーバ３０は、通信端末装置４０へのフレームレートおよび映像フレームのパケットの送信を、送受信部３４を介して行う。また、サーバ３０は、送受信部３４を介してフィードバック情報を通信端末装置４０から受信する。
【００７９】
図１４の通信端末装置４０は、ＣＰＵ４１と、メモリ４２と、記憶装置４３と、送受信部４４を備えている。通信端末装置４０は、映像フレームを受信して映像信号として出力する機能を有する。通信端末装置４０には、スマートフォンやタブレット型コンピュータ等を用いることができる。通信端末装置４０は、第２の実施形態の受信装置２０における各処理をＣＰＵ４１でコンピュータプログラムを実行することで行う。ＣＰＵ４１は、コンピュータプログラムを記憶装置４３から読み出して実行する。ＣＰＵ４１は、コンピュータプログラムを実行する際にメモリ４２にデータを保持し、処理結果を記憶装置４３に保存する。通信端末装置４０は、サーバ３０から送られてくるフレームレートの情報および映像フレームのパケットの受信を、送受信部４４において行う。また、通信端末装置４０は、送受信部４４を介してフィードバック情報をサーバ３０に送る。
【００８０】
送信装置および受信装置で実行するプログラムは、記録媒体に格納して頒布することもできる。記録媒体としては、例えば、データ記録用磁気テープや、ハードディスクなどの磁気ディスクを用いることができる。また、記録媒体としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto Optical disk）を用いることもできる。半導体メモリを記録媒体として用いてもよい。
【００８１】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００８２】
［付記１］
映像フレームを分割したパケットを受信する受信手段と、
前記受信手段が受信した前記パケットのパケット情報を基に、前記映像フレーム間の区切りとなるパケットを推定する区切り位置推定手段と、
区切り位置を推定した結果を基に、前記映像フレームの受信時間に関する情報とデータサイズの情報とを前記パケットの送信装置に送信する送信手段と
を備えることを特徴とする受信装置。
【００８３】
［付記２］
前記区切り位置推定手段は、前記映像フレームの区切りのパケットを判断してから次の区切りのパケットを判断するまでの間において、前記受信手段が受信した前記パケットのデータサイズを積算し、区切りのパケットを判断したときの積算値を前記映像フレームのデータサイズとすることを特徴とする付記１に記載の受信装置。
【００８４】
［付記３］
前記区切り位置推定手段は、前記受信手段が受信した前記パケットが、前記パケットの受信間隔を基に設定された第１の条件または前記映像フレームのフレームレートを基に設定された第２の条件のうち、少なくとも一方を満たしたとき、前記受信手段が受信した前記パケットが、前記映像フレームの区切りのパケットであると判断することを特徴とする付記１または２に記載の受信装置。
【００８５】
［付記４］
前記フレームレートの情報を前記映像フレームの送信装置から電文として受信する電文受信手段をさらに備え、
前記区切り位置推定手段は、前記受信手段が受信した前記パケットが、前記電文受信手段が前記電文として受信する前記フレームレートに基づいて設定された前記第２の条件を満たすかを判断することを特徴とする付記３に記載の受信装置。
【００８６】
［付記５］
前記第１の条件は、複数のパケットをバースト転送することによって計測された受信間隔に基づいて設定された閾値として設定され、
前記区切り位置推定手段は、前記受信手段が受信した前記パケットの受信間隔が前記閾値を超えるときに、前記第１の条件を満たすと判断することを特徴とする付記３または４に記載の受信装置。
【００８７】
［付記６］
前記送信手段は、区切り位置を推定した前記映像フレームの先頭のパケットの受信時刻と、末尾のパケットの受信時刻を前記映像フレームの受信時間に関する情報として前記送信装置に送信することを特徴とする付記１から５いずれかに記載の受信装置。
【００８８】
［付記７］
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズの情報を前記受信装置から受信する受信手段と、
前記受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出するスループット計測手段と、
前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段が決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施す圧縮符号化手段と、
前記圧縮符号化手段が圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信する送信手段と
を備えることを特徴とする送信装置。
【００８９】
［付記８］
前記パラメータ決定手段が決定した前記パラメータの情報を、前記パラメータに基づいて圧縮符号化された前記映像フレームの送信先の前記受信装置に電文として送信する電文送信手段をさらに備えることを特徴とする付記７に記載の送信装置。
【００９０】
［付記９］
前記受信装置において映像フレームの受信に要した時間は、前記受信装置が映像フレームの区切りを推定して判断した映像フレームの先頭のパケットの受信時間と、末尾のパケットの受信時間とを基に構成されていることを特徴とする付記７または８に記載の送信装置。
【００９１】
［付記１０］
付記７から９いずれかに記載の送信装置と、
付記１から６いずれかに記載の受信装置と
を備え、
前記受信装置は、通信ネットワークを介して、前記送信装置から映像フレームを元にしたパケットを受信し、
前記受信装置の前記区切り位置推定手段は、前記送信装置から受信した前記パケットのパケット情報を基に前記映像フレーム間の区切りとなるパケットを推定し、
前記送信装置の前記スループット計測手段は、前記受信装置から受信する映像フレームの受信に要した時間と前記映像フレームのデータサイズを基に、映像フレームの送受信のスループットを統計データとして算出することを特徴とする映像配信システム。
【００９２】
［付記１１］
映像フレームを分割したパケットを受信し、
受信した前記パケットのパケット情報を基に、前記映像フレーム間の区切りとなるパケットを推定し、
区切り位置を推定した結果を基に、前記映像フレームの受信時間に関する情報とデータサイズの情報とを前記パケットの送信装置に送信することを特徴とする映像配信方法。
【００９３】
［付記１２］
前記映像フレームの区切りのパケットを判断してから次の区切りのパケットを判断するまでの間において、受信した前記パケットのデータサイズを積算し、区切りのパケットを判断したときの積算値を前記映像フレームのデータサイズとすることを特徴とする付記１１に記載の映像配信方法。
【００９４】
［付記１３］
受信した前記パケットが、前記パケットの受信間隔を基に設定された第１の条件または前記映像フレームのフレームレートを基に設定された第２の条件のうち、少なくとも一方を満たしたとき、受信した前記パケットが、前記映像フレームの区切りのパケットであると判断することを特徴とする付記１１または１２に記載の映像配信方法。
【００９５】
［付記１４］
前記フレームレートの情報を前記映像フレームの送信装置から電文として受信し、
受信した前記パケットが、前記電文として受信する前記フレームレートに基づいて設定された前記第２の条件を満たすかを判断することを特徴とする付記１３に記載の映像配信方法。
【００９６】
［付記１５］
前記第１の条件は、複数のパケットをバースト転送することによって計測された受信間隔に基づいて設定された閾値として設定され、
受信した前記パケットの受信間隔が前記閾値を超えるときに、前記第１の条件を満たすと判断することを特徴とする付記１３または１４に記載の映像配信方法。
【００９７】
［付記１６］
区切り位置を推定した前記映像フレームの先頭のパケットの受信時刻と、末尾のパケットの受信時刻を前記映像フレームの受信時間に関する情報として前記送信装置に送信することを特徴とする付記１１から１５いずれかに記載の映像配信方法。
【００９８】
［付記１７］
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズの情報を前記受信装置から受信し、
前記受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出し、
前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定し、
決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施し、
圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信することを特徴とする付記１１から１６いずれかに記載の映像配信方法。
【００９９】
［付記１８］
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズの情報を前記受信装置から受信し、
前記受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出し、  前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定し、
決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施し、
圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信することを特徴とする映像配信方法。
【０１００】
［付記１９］
決定した前記パラメータの情報を、前記パラメータに基づいて圧縮符号化された前記映像フレームの送信先の前記受信装置に電文として送信することを特徴とする付記１７または１８に記載の映像配信方法。
【０１０１】
［付記２０］
前記受信装置において映像フレームの受信に要した時間は、前記受信装置が映像フレームの区切りを推定して判断した映像フレームの先頭のパケットの受信時間と、末尾のパケットの受信時間とを基に構成されていることを特徴とする付記１７から１９いずれかに記載の映像配信方法。
【０１０２】
［付記２１］
映像フレームを分割したパケットを受信する処理と、
受信した前記パケットのパケット情報を基に、前記映像フレーム間の区切りとなるパケットを推定する処理と、
区切り位置を推定した前記映像フレームの受信時間に関する情報とデータサイズの情報とを前記パケットの送信装置に送信する処理と
をコンピュータに実行させることを特徴とする映像受信プログラム。
【０１０３】
［付記２２］
前記映像フレームの区切りのパケットを判断してから次の区切りのパケットを判断するまでの間において、受信した前記パケットのデータサイズを積算し、区切りのパケットを判断したときの積算値を前記映像フレームのデータサイズとすることを特徴とする付記２１に記載の映像受信プログラム。
【０１０４】
［付記２３］
受信した前記パケットが、前記パケットの受信間隔を基に設定された第１の条件または前記映像フレームのフレームレートを基に設定された第２の条件のうち、少なくとも一方を満たしたとき、受信した前記パケットが、前記映像フレームの区切りのパケットであると判断することを特徴とする付記２１または２２に記載の映像受信プログラム。
【０１０５】
［付記２４］
前記フレームレートの情報を前記映像フレームの送信装置から電文として受信し、
受信した前記パケットが、前記電文として受信する前記フレームレートに基づいて設定された前記第２の条件を満たすかを判断することを特徴とする付記２３に記載の映像受信プログラム。
【０１０６】
［付記２５］
前記第１の条件は、複数のパケットをバースト転送することによって計測された受信間隔に基づいて設定された閾値として設定され、
受信した前記パケットの受信間隔が前記閾値を超えるときに、前記第１の条件を満たすと判断することを特徴とする付記２３または２４に記載の映像受信プログラム。
【０１０７】
［付記２６］
区切り位置を推定した前記映像フレームの先頭のパケットの受信時刻と、末尾のパケットの受信時刻を前記映像フレームの受信時間に関する情報として前記送信装置に送信することを特徴とする付記２１から２５いずれかに記載の映像受信プログラム。
【０１０８】
［付記２７］
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズの情報を前記受信装置から受信する処理と、
前記受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出する処理と、
前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定する処理と、
決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施す処理と、
圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信する処理と
をコンピュータに実行させることを特徴とする映像送信プログラム。
【０１０９】
［付記２８］
決定した前記パラメータの情報を、前記パラメータに基づいて圧縮符号化された前記映像フレームの送信先の前記受信装置に電文として送信する処理をさらに行うることを特徴とする付記２７に記載の映像送信プログラム。
【０１１０】
［付記２９］
前記受信装置において映像フレームの受信に要した時間は、前記受信装置が映像フレームの区切りを推定して判断した映像フレームの先頭のパケットの受信時間と、末尾のパケットの受信時間とを基に構成されていることを特徴とする付記２７または２８に記載の映像送信プログラム。
【０１１１】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【０１１２】
この出願は、２０１７年１０月２５日に出願された日本出願特願２０１７−２０６２６６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１１３】
１０    送信装置
１１    パラメータ決定部
１２    圧縮符号化部
１３    映像送信部
１４    フィードバック受信部
１５    スループット計測部
１６    電文送信部
２０    受信装置
２１    ＮＩＣ監視部
２２    フレーム区切り推定部
２３    フィードバック送信部
２４    電文受信部
２５    ＶＭＳ部
２６    ＮＩＣ
３０    サーバ
３１    ＣＰＵ
３２    メモリ
３３    記憶装置
３４    送受信部
４０    通信端末装置
４１    ＣＰＵ
４２    メモリ
４３    記憶装置
４４    送受信部
５０    通信ネットワーク
１００    送信装置
１０１    受信手段
１０２    スループット計測手段
１０３    パラメータ決定手段
１０４    圧縮符号化手段
１０５    送信手段
２００    受信装置
２０１    受信手段
２０２    区切り位置推定手段
２０３    送信手段
【図１】
2019082861.tif 000003
【図２】
2019082861.tif 000004
【図３】
2019082861.tif 000005
【図４】
2019082861.tif 000006
【図５】
2019082861.tif 000007
【図６】
2019082861.tif 000008
【図７】
2019082861.tif 000009
【図８】
2019082861.tif 000010
【図９】
2019082861.tif 000011
【図１０】
2019082861.tif 000012
【図１１】
2019082861.tif 000013
【図１２】
2019082861.tif 000014
【図１３】
2019082861.tif 000015
【図１４】
2019082861.tif 000016
【手続補正書】
【提出日】令和2年3月18日(2020.3.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像フレームを分割したパケットを受信する受信手段と、
前記受信手段が受信した前記パケットのパケット情報を基に、前記映像フレーム間の区切りとなるパケットを推定する区切り位置推定手段と、
区切り位置を推定した結果を基に、前記映像フレームの受信時間に関する情報とデータサイズの情報とを前記パケットの送信装置に送信する送信手段と
を備えることを特徴とする受信装置。
【請求項２】
前記区切り位置推定手段は、前記映像フレームの区切りのパケットを判断してから次の区切りのパケットを判断するまでの間において、前記受信手段が受信した前記パケットのデータサイズを積算し、区切りのパケットを判断したときの積算値を前記映像フレームのデータサイズとすることを特徴とする請求項１に記載の受信装置。
【請求項３】
前記区切り位置推定手段は、前記受信手段が受信した前記パケットが、前記パケットの受信間隔を基に設定された第１の条件または前記映像フレームのフレームレートを基に設定された第２の条件のうち、少なくとも一方を満たしたとき、前記受信手段が受信した前記パケットが、前記映像フレームの区切りのパケットであると判断することを特徴とする請求項１または２に記載の受信装置。
【請求項４】
前記フレームレートの情報を前記映像フレームの送信装置から電文として受信する電文受信手段をさらに備え、
前記区切り位置推定手段は、前記受信手段が受信した前記パケットが、前記電文受信手段が前記電文として受信する前記フレームレートに基づいて設定された前記第２の条件を満たすかを判断することを特徴とする請求項３に記載の受信装置。
【請求項５】
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズの情報を前記受信装置から受信する受信手段と、
前記受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出するスループット計測手段と、
前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段が決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施す圧縮符号化手段と、
前記圧縮符号化手段が圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信する送信手段と
を備えることを特徴とする送信装置。
【請求項６】
請求項５に記載の送信装置と、
請求項１から４いずれかに記載の受信装置と
を備え、
前記受信装置は、通信ネットワークを介して、前記送信装置から映像フレームを元にしたパケットを受信し、
前記受信装置の前記区切り位置推定手段は、前記送信装置から受信した前記パケットのパケット情報を基に前記映像フレーム間の区切りとなるパケットを推定し、
前記送信装置の前記スループット計測手段は、前記受信装置から受信する映像フレームの受信に要した時間と前記映像フレームのデータサイズを基に、映像フレームの送受信のスループットを統計データとして算出することを特徴とする映像配信システム。
【請求項７】
映像フレームを分割したパケットを受信し、
受信した前記パケットのパケット情報を基に、前記映像フレーム間の区切りとなるパケットを推定し、
区切り位置を推定した結果を基に、前記映像フレームの受信時間に関する情報とデータサイズの情報とを前記パケットの送信装置に送信することを特徴とする映像配信方法。
【請求項８】
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズの情報を前記受信装置から受信し、
前記受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出し、
前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定し、
決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施し、
圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信することを特徴とする映像配信方法。
【請求項９】
映像フレームを分割したパケットを受信する処理と、
受信した前記パケットのパケット情報を基に、前記映像フレーム間の区切りとなるパケットを推定する処理と、
区切り位置を推定した前記映像フレームの受信時間に関する情報とデータサイズの情報とを前記パケットの送信装置に送信する処理と
をコンピュータに実行させることを特徴とする映像受信プログラム。
【請求項１０】
映像フレームの送信先の受信装置において前記映像フレームの受信に要した時間と前記映像フレームのデータサイズの情報を前記受信装置から受信する処理と、
前記受信装置において前記映像フレームの受信に要した時間に関する情報と前記映像フレームのデータサイズを基に、前記映像フレームの送受信のスループットを統計データとして算出する処理と、
前記スループットの前記統計データを基に、前記受信装置に送信する前記映像フレームを圧縮符号化する際のパラメータを決定する処理と、
決定した前記パラメータに基づいて、前記映像フレームに圧縮符号化を施す処理と、
圧縮符号化を施した前記映像フレームのデータを元にしたパケットを前記受信装置に送信する処理と
をコンピュータに実行させることを特徴とする映像送信プログラム。
【国際調査報告】
2019082861.tif 000017
2019082861.tif 000018