(57)【要約】  本発明はネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体に関する。該方法は、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させるステップと、前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件基づいて、前記所定の画質パラメータを向上させるステップとを含む。【選択図】図１
2016535545.tif 000002
【特許請求の範囲】
【請求項１】
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるステップと、
前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるステップとを含むことを特徴とするネットワーク環境に基づく映像画質の調整方法。
【請求項２】
前記調整方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含むことを特徴とする請求項１に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項３】
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号と分割フレームの分割フレーム番号と前記複数の分割フレームの総数とを含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含むことを特徴とする請求項１または２に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項４】
前記調整方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含むことを特徴とする請求項１に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項５】
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するステップと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップと、
前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信して、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するステップとを含むことを特徴とするネットワーク環境に基づく映像画質の調整方法。
【請求項６】
前記予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信した映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含むことを特徴とする請求項５に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項７】
前記調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含むことを特徴とする請求項５に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項８】
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするため第１の受信モジュールと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュールと、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値よりも小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュールとを含むことを特徴とするネットワーク環境に基づく映像画質の調整装置。
【請求項９】
前記調整装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールとを含むことを特徴とする請求項８に記載のネットワーク環境に基づく映像画質の調整装置。
【請求項１０】
前記調整装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含むことを特徴とする請求項８または９に記載のネットワーク環境に基づく映像画質の調整装置。
【請求項１１】
前記調整装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行させるための再送制御モジュールを含むことを特徴とする請求項８に記載のネットワーク環境に基づく映像画質の調整装置。
【請求項１２】
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するための受信モジュールと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するための判定モジュールと
前記予め設定された判定条件基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するための実行モジュールとを含むことを特徴とするネットワーク環境に基づく映像画質の調整装置。
【請求項１３】
前記判定モジュールは、
受信した前記映像フレームが、未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するための第１の判定サブモジュールと
前記現在受信した映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第１の実行サブモジュールとを含むことを特徴とする請求項１２に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項１４】
前記方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第２の判定サブモジュールと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第２の実行サブモジュールとを含むことを特徴とする請求項１２に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項１５】
プロセッサと、
プロセッサにより実行可能な指令を記憶するメモリとを備え、
前記プロセッサは、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとし、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、
前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるように構成されることを特徴とするネットワーク環境に基づく映像画質の調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は通信技術分野に関し、より具体的には、ネットワーク環境に基づく映像画質の調整方法及び装置に関する。
【背景技術】
【０００２】
技術の発展に伴い、スマートカメラは次第にユーザの日常生活に応用されている。一般的には、スマートカメラが家での映像画面をユーザの移動端末にリアルタイムに送信するように、ユーザはスマートカメラを家に実装することによって、財産・安全を守る。
【０００３】
現在、スマートカメラはＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ：ユーザー・データグラム・プロトコル）によって、取込まれた映像データをユーザの移動端末に送信する。ネットワーク環境の混雑が比較的ひどい場合、紛失したＵＤＰプロトコルデータ・パケットの数量が比較的多いと、移動端末がスマートカメラから送信される映像データを再生する際に画質が劣化したり、画像が不連続になったりしまう。且つ、ネットワーク環境が比較的悪い場合には、スマートカメラから移動端末へ映像データを送信する速度も遅くなり、移動端末がスマートカメラから送信される映像データを再生する際に、画像が長時間不連続となったり、正常に再生できなくなったりしまう。なお、ネットワーク環境が比較的よい場合には、時には、スマートカメラがそもそも移動端末へより高い符号化率（ｃｏｄｅ  ｒａｔｅ）の映像データを送信できる。しかしながら、スマートカメラは予め設定された符号化率を変更できないため、ネットワークの帯域リソースを浪費するだけでなく、移動端末に高解像度を有する画質を提供できなくなってしまう。
【０００４】
したがって、従来のスマートカメラは映像データの符号化率を調整できないので、現在のネットワーク環境によりよく適合することができない。
【発明の概要】
【０００５】
本発明は、関連技術においての問題を解決するために、スマートカメラが現在のネットワーク環境に基づき映像画質パラメータを調整することによって、端末において映像をスムーズに再生するように、ネットワーク環境に基づく映像画質の調整方法および装置を提供する。
【０００６】
本発明の実施例の第１の局面によれば、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるステップと、
前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件基づいて、前記所定の画質パラメータを向上させるステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
【０００７】
好ましくは、前記調整方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
【０００８】
好ましくは、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記調整方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号と前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
【０００９】
好ましくは、前記調整方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
【００１０】
本発明の実施例の第２の局面によれば、
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するステップと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップと、
前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信して、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
【００１１】
好ましくは、前記予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信した映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む
【００１２】
好ましくは、前記調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
【００１３】
本発明の実施例の第３の局面によれば、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするため受信モジュールと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュールと、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値よりも小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
【００１４】
好ましくは、前記調整装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールとを含む。
【００１５】
好ましくは、前記調整装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
【００１６】
好ましくは、前記調整装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行させるための再送制御モジュールを含む。
【００１７】
本発明の実施例の第４の局面によれば、
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するための受信モジュールと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するための判定モジュールと
前記予め設定された判定条件基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するための実行モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
【００１８】
好ましくは、前記判定モジュールは、
受信した前記映像フレームが、未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するための第１の判定サブモジュールと
前記現在受信した映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第１の実行サブモジュールとを含む。
【００１９】
好ましくは、前記調整装置はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第２の判定サブモジュールと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第２の実行サブモジュールとを含む。
【００２０】
本発明の実施例の第５の局面によれば、
プロセッサと、
プロセッサにより実行可能な指令を記憶するメモリとを備え、
前記プロセッサは、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとし、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、
前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるように構成されるネットワーク環境に基づく映像画質の調整装置を提供する。
【００２１】
本発明の実施例に提示される技術案は以下の有益な効果を含み得る。
単位時間内に端末が紛失した映像フレームの数を特定することによって、現在のネットワーク環境の良否を判定することができる。ターゲットフレーム番号の数が第１の閾値より大きいと特定された場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味するので、所定の画質パラメータを低下させて、送信速度を低減させる。こうすることによって、ユーザが端末によってスムーズな映像画面を閲覧できることを保証することができる。一方、ターゲットフレーム番号の数が第２の閾値より小さいと特定された場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味するので、所定の画質パラメータを向上させて、送信速度を向上させる。こうすることによって、ユーザが端末によって解像度が良い映像画面を閲覧できることを保証することができる。したがって、本発明は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低下させることによって、端末において解像度が比較的低い映像画面をスムーズに再生させ、ネットワーク環境が比較的良い場合、画像取込装置が映像画面の解像度を向上させることによって、端末において解像度が比較的高い映像画面をスムーズに再生させるように保証することができる。
【００２２】
以上の一般的な記述及び以下の詳細な記述は、例示のものに過ぎず、本開示を限定するものではないと理解すべきである。
【図面の簡単な説明】
【００２３】
ここで、図面は明細書に取り込まれて明細書の一部を構成し、本発明に合致する実施例を示し、また、明細書と共に本発明の原理の解釈に用いられる。
【図１】例示的な実施例におけるネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。
【図２】例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。
【図３】例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。
【図４】例示的な実施例における分割フレームの構造を示すブロック図である。
【図５】例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。
【図６】例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置の模式図である。
【図７】例示的な実施例における他のネットワーク環境に基づく映像画質の調整装置の模式図である。
【図８】例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置を示すブロック図である。
【発明を実施するための形態】
【００２４】
ここで例示的な実施例について詳細に説明を行うが、その例示は図面において示されている。以下の説明が図面に関する場合、特に示さない限り、異なる図面の中の同一の数字は同一又は類似の要素を表す。また、以下の例示的な実施例で説明する実施形態は、本発明と一致する全ての実施形態を代表するものではなく、これらは特許請求の範囲において詳述した、本発明の一部の態様と一致する装置及び方法の例に過ぎない。
【００２５】
図１は例示的な実施例におけるネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。図１に示すように、ネットワーク環境に基づく映像画質の調整方法は画像取込装置に用いられる。本発明が提供するネットワーク環境に基づく映像画質の調整方法は、ネットワーク環境が良くない場合、端末において解像度が比較的低い映像画面をスムーズに再生するように、画像取込装置が映像画面の解像度を低減させることと、ネットワーク環境が比較的よい場合、端末において解像度が比較的高い映像画面を再生するように、画像取込装置が映像画面の解像度を向上させることを保証することができる。該方法は以下のステップを含む。
【００２６】
ステップＳ１１において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
ステップＳ１２において、予め設定された時間帯におけるタイムスタンプの対応するターゲットフレーム番号の数を特定する。
ステップＳ１３において、ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、ターゲットフレーム番号の数が第１の閾値より小さい値である第２の閾値より小さい場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させる。
【００２７】
他の開示された実施例において、前記方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
他の開示された実施例において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
【００２８】
他の開示実施例において、前記方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
【００２９】
図２に示すように、ネットワーク環境に基づく映像画質の調整方法は端末装置に用いられる。
【００３０】
ステップＳ２１において、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信する。
ステップＳ２２において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定する。
ステップＳ２３において、前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整する。
【００３１】
他の開示実施例において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信する映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信する映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
他の開示された実施例において、調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
【００３２】
以下、他の開示実施例によって、ネットワーク環境に基づく映像画質の調整方法を説明する。図３に示すように、以下のステップを含む。
ステップＳ３１において、取込まれた映像データを取得する。
ここで、本発明に係わる方法は画像取込装置に用いられ、該画像取込装置はカメラやビデオレコーダ等の装置であってもよい。画像取込装置は、映像データを取込まれた後、後続ステップでの使用のためにそれを取得しなければならない。
【００３３】
ステップＳ３２において、予め設定された映像符号化方法を利用して、所定の画質パラメータに基づいて、映像データをフレーム番号付き映像フレームに圧縮する。
ここで、映像データが取得された後、予め設定された映像符号化方法を利用して、所定の画質パラメータに基づいて、映像データを圧縮することによって、フレーム番号付き映像フレームを生成する必要がある。予め設定された映像符号化方法は、Ｈ．２６２、Ｈ．２６３又はＨ２６４等の符号化方法であってもよいが、既に提供された符号化方法に限らない。所定の画質パラメータは予め設定された映像符号化方法の１項の符号化パラメータであり、所定の画質パラメータが高いほど、符号化されてなる映像フレームの画像品質が高く、映像フレームの解像度も高い。一方、所定の画質パラメータが低いほど、符号化されてなる映像フレームの画像品質が低く、映像フレームの解像度も低い。所定の画質パラメータは映像符号化率や解像度などのパラメータであってもよい。それぞれの映像フレームはいずれも唯一のフレーム番号を有し、このフレーム番号に基づいて映像フレームを区別することができる。
【００３４】
ステップＳ３３において、端末にフレーム番号付き映像フレームを送信する。
ここで、画像取込装置は、フレーム番号付き映像フレームを生成してから端末に送信する。
【００３５】
ステップＳ３４において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを順次に送信する際、端末は一定の時間内に、ある映像フレームを受信しなかった場合、該映像フレームを紛失したと認める。端末は、紛失した映像フレームのターゲットフレーム番号を特定してから、画像取込装置に紛失した映像フレームのターゲットフレーム番号を送信することによって、画像取込装置に紛失した映像フレームのターゲットフレーム番号を通知する。画像取込装置は紛失した映像フレームのターゲットフレーム番号を受信してから、該ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
【００３６】
例えば、端末から送信される紛失した映像フレームのターゲットフレーム番号が１００１であり、画像取込装置が該ターゲットフレーム番号１００１を受信した時の時間が９時２５分３９秒である場合、時間の９時２５分３９秒をターゲットフレーム番号１００１のタイムスタンプとする。後続ステップの特定をもっと精確にするために、タイムスタンプとしてより小さいミリセカンド（ｍｓ）又はマイクロ秒（μｓ）とすることができることは自明なことである。
【００３７】
ステップＳ３５において、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定する。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを送信する過程において、端末は紛失したターゲットフレーム番号を画像取込装置に送信することもでき、且つ、画像取込装置はそれぞれのターゲットフレーム番号のためにタイムスタンプを別々に配備したので、画像取込装置はある時間帯におけるタイムスタンプのターゲットフレーム番号の数を特定することができる。
【００３８】
例えば、画像取込装置の受信した、端末から送信される紛失した映像フレームのターゲットフレーム番号がそれぞれ１００１、１００３、１００７、１０２５及び１０５６であり、ターゲットフレーム番号１００１のタイムスタンプが１０時１０分２５秒であり、ターゲットフレーム番号１００３のタイムスタンプが１０時１０分２６秒であり、ターゲットフレーム番号１００７のタイムスタンプが１０時１０分２８秒であり、ターゲットフレーム番号１０２５のタイムスタンプが１０時１０分３０秒であり、ターゲットフレーム番号１０５６のタイムスタンプが１０時１０分３１秒であると仮定する場合、画像取込装置は１０時１０分２６秒から１０時１０分３０秒までのターゲットフレーム番号の数を特定することを要求する。特定することによって分かるように、３つのターゲットフレーム番号がこの時間帯にあり、この３つのターゲットフレーム番号はそれぞれ１００３、１００７及び１０２５である。
【００３９】
ステップＳ３６において、ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させる。
ここで、画像取込装置はそれぞれ第１の閾値と第２の閾値との２つの閾値を予め設定する。ターゲットフレーム番号の数が第１の閾値より大きい場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味する。このため、所定の画質パラメータを低下させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的低い映像フレームを生成し、画像取込装置の送信速度を低下させる。これによって、比較的悪いネットワーク環境においても、端末において映像画面をスムーズに再生し、ネットワーク環境が良くないときも、映像画面の不連続現象が生じないことを保証することができる。
【００４０】
ステップＳ３７において、ターゲットフレーム番号の数が第１の閾値より小さい値である第２の閾値よりも小さい場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させる。
ここで、ターゲットフレーム番号の数が第２の閾値より小さい場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味する。このため、画質パラメータを向上させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的高い映像フレームを生成し、画像取込装置の送信速度を向上させる。これによって、ネットワーク環境が比較的良い場合、端末が解像度が比較的高い映像画面を再生し、ネットワーク環境が比較的良いときに、画像取込装置が端末に予め設定された画質の比較的悪い映像リソースを送信して、ネットワーク帯域リソースの浪費を回避することを保証することができる。
【００４１】
図３に示す実施例において、単位時間内に端末が紛失した映像フレームの数を特定することによって、現在のネットワーク環境の良否を判定することができる。ターゲットフレーム番号の数が第１の閾値より大きいと特定された場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味するので、所定の画質パラメータを低下させて、送信速度を低減させる。こうすることによって、ユーザが端末によってスムーズな映像画面を閲覧できることを保証することができる。一方、ターゲットフレーム番号の数が第２の閾値より小さいと特定された場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味するので、所定の画質パラメータを向上させて、送信速度を向上させることによって、ユーザが端末によって解像度が良い映像画面を閲覧できることを保証することができる。したがって、本発明は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低下させることによって、端末において解像度が比較的低い映像画面をスムーズに再生させ、ネットワーク環境が比較的良い場合、画像取込装置が映像画面の解像度を向上させることによって、端末において解像度が比較的高い映像画面を再生させるように保証することができる。
【００４２】
本発明の好ましい実施例において、本発明に係わる方法は,ステップＳ３２の後、且つ、ステップＳ３３の前に、さらに、映像フレームがキーフレームであるか否かを判定するステップと、映像フレームがキーフレームである場合、予め設定された分割条件に基づいてキーフレームを、キーフレームのフレーム番号、分割フレームの分割フレーム番号及び複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に複数のヘッダ付き分割フレームを順次に送信するとともに、ステップＳ３４を実行するステップと、映像フレームがキーフレームではない場合、ステップＳ３３を実行するステップとを含む。
【００４３】
このようにする目的は以下のとおりである。予め設定された映像符号化方法を利用して映像データを圧縮した後、Ｉフレームと称するキーフレームと、Ｐフレームと称する予測フレームを生成する。Ｉフレームは、データサイズが比較的大きく、前後のデータフレームと関係なく、独立なフレームである。それで、その前のフレームの紛失または誤りはＩフレームの表示に影響しなく、復号化する際にＩフレームだけで完成できる。したがって、Ｉフレームは非常に重要なフレームである。これに対して、Ｐフレームはこのフレームと１つ前のＩフレームまたはＰフレームとの差別を表す予測フレームであり、復号化する際にこの前にキャッシングされた画面にこのフレームにより定義された差別を重畳する必要があり、その前のフレームと緊密に関わり、データサイズが少ない。それで、その前のフレームの紛失または誤りは他のフレームの表示に影響しないがＰフレームの表示に影響する恐れがある。したがって、Ｐフレームはあまり重要なものではない。映像フレームがキーフレームであると判定された場合、伝送過程において該キーフレームが完全に紛失されることを回避するために、該キーフレームを予め設定された分割条件に基づいて、複数のヘッダ付き分割フレームに分割する。このように、１つのキーフレームは複数の分割フレームに分割され、且つ、それぞれの分割フレームに、キーフレームのフレーム番号、分割フレームの分割フレーム番号、及び複数の分割フレームの総数を含むヘッダが付いている。
【００４４】
これによって、端末は、ヘッダにおけるデータによってこのキーフレームのうちのいずれの分割フレームが既に紛失したかを判定して、紛失した分割フレームの分割フレーム番号とキーフレームのフレーム番号とを画像取込装置に送信する。こうすることによって、画像取込装置は、端末から送信される分割フレーム番号とフレーム番号に基づき対応する分割フレームを検索するとともに、端末に該紛失された分割フレームを再度送信することができるようにする。このため、本発明に係る方法を用いて紛失されたキーフレームを探し出すことができる。
【００４５】
図４に示すように、図４は分割フレームの構造を示すブロック図である。分割フレームはキーフレームのフレーム番号、分割フレームの総数、分割フレームの分割フレーム番号とデータ本体を含む。ここで、フレーム番号、総数と分割フレーム番号はヘッダを表す。
【００４６】
なお、予め設定された分割条件は、キーフレームの分割後のそれぞれの分割フレームの大きさのいずれも現在ネットワーク環境における最大伝送ユニットより小さいということであってもよい。例えば、現在のネットワーク環境の最大伝送ユニットが１５００バイトである場合、それぞれの分割フレームの大きさのいずれも１０２４バイトに設定することもでき、１０４０バイトに設定することもでき、９００バイトに設定することもできる。要するに、それぞれの分割フレームの大きさのいずれも最大伝送ユニット１５００のバイトより小さくなければならない。
【００４７】
例えば、画像取込装置が現在送信しようとする映像フレームがキーフレームであると判定し、且つ、該キーフレームのフレーム番号が１０１であり、該キーフレームの大きさが５０００バイトであり、現在のネットワーク環境の最大伝送ユニットが１５００バイトであり、ユーザが予めそれぞれの分割フレームの大きさのいずれも１０００バイトに設定したとすれば、画像取込装置はフレーム番号が１０１であるキーフレームをいずれの大きさも１０００バイトである５つの分割フレームに分割する。さらに、この５つの分割フレームのいずれもヘッダ付き分割フレームであり、１番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００１と、分割フレームの総数である５つとを含む。２番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００２と、分割フレームの総数である５つとを含む。３番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００３と、分割フレームの総数である５つとを含む。４番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００４と、分割フレームの総数である５つとを含む。５番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００５と、分割フレームの総数である５つとを含む。分割が終了した後、この５つのヘッダ付き分割フレームは端末に順次に送信される。
【００４８】
本発明の他の好ましい実施例において、上記の実施例を基にして、ステップＳ３４の後、本発明に係わる方法はさらに、ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、ターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに、現在再送回数に１を加え、ステップＳ３５を実行するステップと、ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値以上である場合、ステップＳ３５を実行するステップとを含む。
【００４９】
このようにする目的は以下のとおりである。即ち、上記の実施例では既に紹介したように、画像取込装置はデータフレームがキーフレームであると判定した場合、該キーフレームを分割するとともに複数のヘッダ付き分割フレームを生成する。画像取込装置の受信した、端末から送信されたターゲットフレーム番号にフレーム番号と分割フレーム番号が含まれ、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、端末が分割フレームを紛失し、画像取込装置の再度送信が必要になることを意味する。
【００５０】
この場合、画像取込装置は端末から送信されるターゲットフレーム番号にフレーム番号と分割フレーム番号が含まれているか否かを判定する必要があり、含まれている場合、該ターゲットフレーム番号の対応するのが分割フレームであることを意味し、且つ、画像取込装置はフレーム番号と分割フレーム番号の対応する現在再送回数を特定する必要があり、現在再送回数が再送閾値より小さい場合、画像取込装置はターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに現在再送回数に１を加えることによって、端末の紛失した分割フレームを補償する。現在再送回数が再送閾値以上である場合、画像取込装置が既に該分割フレームを端末に数回送信し、上限に達したことを意味し、端末が該分割フレームを紛失したとしても、画像取込装置は該分割フレームを端末に絶えず送信することもできず、このような場合、画像取込装置は該紛失した分割フレームを端末に送信しない。
【００５１】
例えば、画像取込装置が現在送信しようとする映像フレームがキーフレームであると判定し、且つ、該キーフレームのフレーム番号が１０１であり、該キーフレームの大きさが５０００バイトであり、現在のネットワーク環境の最大伝送ユニットが１５００バイトであり、ユーザが予めそれぞれの分割フレームの大きさのいずれも１０００バイトに設定したとすれば、画像取込装置はフレーム番号が１０１であるキーフレームをいずれの大きさも１０００バイトである５つの分割フレームに分割する。この５つの分割フレームのいずれもヘッダ付き分割フレームであり、１番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００１と、分割フレームの総数である５つとを含む。２番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００２と、分割フレームの総数である５つとを含む。３番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００３と、分割フレームの総数である５つとを含む。４番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００４と、分割フレームの総数である５つとを含む。５番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００５と、分割フレームの総数である５つとを含む。分割が終了した後、この５つのヘッダ付き分割フレームを端末に順次に送信する。この場合、画像取込装置は、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信して該ターゲットフレーム番号にフレーム番号である１０１と分割フレーム番号である１００３が含まれていることが判定され、且つ、画像取込装置はフレーム番号である１０１と分割フレーム番号である１００３の対応する現在再送回数が１回であり、再送閾値である３回より少ないということを特定したので、画像取込装置はフレーム番号である１０１及び分割フレーム番号である１００３が付いた映像フレームを特定するとともに、フレーム番号である１０１及び分割フレーム番号である１００３が付いた映像フレームを端末に送信し、且つ、現在再送回数に１を加え、フレーム番号である１０１と分割フレーム番号である１００３の対応する現在再送回数が２回になる。
【００５２】
本発明の他の好ましい実施例において、上記の実施例を基にして、ステップＳ３４の後、本発明に係わる方法はさらに、ターゲットフレーム番号がフレーム番号であり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、ターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに、現在再送回数に１を加え、ステップＳ３５を実行するステップと、ターゲットフレーム番号がフレーム番号であり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値以上である場合、ステップＳ３５を実行するステップとを含む。
【００５３】
このようにする目的は以下のとおりである。ターゲットフレーム番号がフレーム番号のみである場合、該フレーム番号が未分割のキーフレームまたは未分割の予測フレームに対応する可能性があり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、端末が未分割のキーフレームまたは未分割の予測フレームを紛失し、画像取込装置が再度送信する必要があることを意味する。この場合、画像取込装置は端末から送信されるターゲットフレーム番号がフレーム番号のみであるか否かを判定する必要があり、そうである場合、該ターゲットフレーム番号が未分割のキーフレームまたは未分割の予測フレームに対応することを意味し、且つ、画像取込装置はフレーム番号の対応する現在再送回数を特定する必要があり、現在再送回数が再送閾値より小さい場合、画像取込装置はフレーム番号付き映像フレームを特定して端末に送信するとともに、現在再送回数に１を加えることによって、端末の紛失した未分割のキーフレームまたは未分割の予測フレームを補償する。現在再送回数が再送閾値以上である場合、画像取込装置が既に該未分割のキーフレームまたは未分割の予測フレームを端末に数回送信し、上限に達したことを意味する。よって、端末が該未分割のキーフレームまたは未分割の予測フレームを紛失したとしても、画像取込装置は該未分割のキーフレームまたは未分割の予測フレームを端末に絶えず送信することもできず、このような場合、画像取込装置は該紛失した未分割のキーフレームまたは未分割の予測フレームを端末に送信しない。
【００５４】
図５は例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法のフローチャートである。図５に示すように、図５に示すネットワーク環境に基づく映像画質の調整方法は端末に用いられる。本発明が提供するネットワーク環境に基づく映像画質の調整方法は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。該方法は以下ステップを含む。
【００５５】
ステップＳ５１において、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信する。
【００５６】
ここで、図５に示す方法は端末に適用することができ、端末はスマートフォン、タブレットＰＣまたはデスクトップ・コンピューター等のスマート装置であってもよい。実施例１において紹介したように、画像取込装置は取込まれた映像データを予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、フレーム番号付き映像フレームに圧縮するとともに、該フレーム番号付き映像フレームを端末に送信し、ネットワークによる伝送によって、端末は画像取込装置から送信されるフレーム番号付き映像フレームを受信する。
【００５７】
ステップＳ５２において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定する。
【００５８】
ここで、予め設定された判定条件は様々であり、異なる状況に適用される。端末の受信した映像フレームが未分割のキーフレームまたは予測フレームである場合、端末は現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定することができる。フレーム番号が連続である場合、現在受信する映像フレームと受信した１つ前の映像フレームとの間に映像フレームを紛失する状況がないことを意味する。一方、フレーム番号が不連続である場合、現在受信する映像フレームのフレーム番号と受信した１つ前の映像フレームのフレーム番号とに基づいて、紛失したフレーム番号を特定するとともに、紛失したフレーム番号をターゲットフレーム番号と称する。例えば、端末の受信した映像フレームが未分割のキーフレームまたは予測フレームであり、且つ、現在受信する映像フレームのフレーム番号が１０６であり、受信した１つ前の映像フレームのフレーム番号が１０５である場合、端末は受信した映像フレームのフレーム番号の順序が連続であると判定することができるので、映像フレームを紛失しなかったことを意味する。また、例えば、端末の受信した映像フレームが未分割のキーフレームまたは予測フレームであり、且つ、現在受信する映像フレームのフレーム番号が１０６であり、受信した１つ前の映像フレームのフレーム番号が１０４である場合、端末は受信した映像フレームのフレーム番号の順序が不連続であると判定することができる。この場合、端末は現在受信する映像フレームのフレーム番号１０６と受信した１つ前の映像フレームのフレーム番号１０４とに基づいて、紛失したフレーム番号が１０５であることを特定するとともに、紛失したフレーム番号１０５をターゲットフレーム番号１０５と称し、ターゲットフレーム番号１０５を画像取込装置に送信することができる。
【００５９】
端末の受信した映像フレームがキーフレームを分割してなる分割フレームである場合、端末は一連の分割フレームを受信した後、予め設定された時間内に新たな分割フレームを受信しないか否かを判定することができる。受信しなかった場合、端末はこの一連の分割フレームのヘッダを検索し、受信した分割フレームの数とヘッダにおける分割フレームの総数とが一致しているか否かを判定する。一致している場合、端末はこの一連の分割フレームが紛失してないいと認める。一致してない場合、端末はこの一連の分割フレームに紛失した分割フレームがあると認め、それぞれの分割フレームのヘッダにおける分割フレーム番号に基づいて、いずれの分割フレームが紛失したかを判定する。紛失した分割フレームの分割フレーム番号が特定されたら、端末はヘッダにおけるフレーム番号を紛失した分割フレーム番号とともにターゲットフレーム番号とし、さらに、ターゲットフレーム番号を画像取込装置に送信することができる。
【００６０】
ステップＳ５３において、予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、紛失した映像フレームのターゲットフレーム番号を画像取込装置に送信することによって、画像取込装置はターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとするとともに、予め設定された時間帯におけるタイムスタンプのターゲットフレーム番号の数を特定する。さらに、画像取込装置がターゲットフレーム番号の数が第１の閾値より大きいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるように、画像取込装置がターゲットフレーム番号の数が第１の閾値より小さい第２の閾値よりも小さいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させるようにする。
【００６１】
図２に示す実施例において、図５に示す方法と図３に示す方法とが相互に協同して使用することができるため、図２に示す方法と図１に示す方法との関連部分に関しては、相互に参照することができ、ここに、詳しく説明しない。
【００６２】
図６は例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置を模式的に示す図である。本発明が提供するネットワーク環境に基づく映像画質の調整装置は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。
【００６３】
図６を参照して、該装置は、
端末から送信される紛失された映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするための第１の受信モジュール６１と、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュール６２と、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が前記第１の閾値よりより小さい値である第２の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュール６３とを含む。
【００６４】
他の実施例において、前記装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールと、を含む。
【００６５】
他の実施例において、前記装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
【００６６】
他の実施例において、前記装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行するための再送制御モジュールを含む。
【００６７】
上記の実施例に係わる装置に関しては、それぞれのモジュールが操作を実行する具体的な方式は該方法に係わる実施例において詳細に説明されているので、ここに、詳しく説明しない。
【００６８】
図７は例示的な実施例における他のネットワーク環境に基づく映像画質の調整装置を模式的に示す図である。本発明が提供するネットワーク環境に基づく映像画質の調整装置は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。図７を参照して、該装置は受信モジュール７１、判定モジュール７２及び実行モジュール７３を含む。
【００６９】
ここで、
受信モジュール７１は、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するために用いられる。
判定モジュール７２は、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するために用いられる。
実行モジュール７３は、予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像採取装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、さらに、画像取込装置がターゲットフレーム番号の数が第１の閾値より大きいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、画像取込装置がターゲットフレーム番号の数が第１の閾値より小さい値である第２の閾値より小さいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させるために用いられる。
【００７０】
本発明の好ましい実施例において、判定モジュール７２は、受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するための第１の判定サブモジュールと、前記現在受信した映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第１の実行サブモジュールとを含む。
【００７１】
本発明の好ましい実施例において、判定モジュール７２は、受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第２の判定サブモジュールと、予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第２の実行サブモジュールと、を含む。
【００７２】
上記の実施例に係わる装置に関しては、それぞれのモジュールが操作を実行する具体的な方式は既に該方法に係わる実施例において詳細に説明されたので、ここに、詳しく説明しない。
【００７３】
図８は例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置８００を示すブロック図である。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ受発信手段、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタント等であってもよい。
図８を参照して、装置８００は、プロセス部材８０２、メモリ８０４、電源部材８０６、マルチメディア部材８０８、オーディオ部材８１０、入出力（Ｉ／Ｏ）インターフェイス８１２、センサ部材８１４、及び通信部材８１６のような一つ以上の部材を含んでよい。
【００７４】
プロセス部材８０２は、一般的には装置８００の全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセス部材８０２は、一つ以上のプロセッサ８２０を含み、これらによって命令を実行することにより、上記の方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセス部材８０２は、一つ以上のモジュールを含み、これらによってプロセス部材８０２と他の部材の間のインタラクションを容易にするようにしてもよい。例えば、プロセス部材８０２は、マルチメディアモジュールを含み、これらによってマルチメディア部材８０８とプロセス部材８０２の間のインタラクションを容易にするようにしてもよい。
【００７５】
メモリ８０４は、各種類のデータを記憶することにより装置８００の操作を支援するように構成される。これらのデータの例は、装置８００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、映像等を含む。メモリ８０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
【００７６】
電源部材８０６は、装置８００の多様な部材に電力を供給する。電源部材８０６は、電源管理システム、一つ以上の電源、及び装置８００のための電力の生成、管理及び割り当てに関連する他の部材を含んでもよい。
【００７７】
マルチメディア部材８０８は、前記装置８００とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記の実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンを実現することができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記のタッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記の実施例において、マルチメディア部材８０８は、一つのフロントカメラ、及び／又はリアーカメラを含む。装置８００が、例えば撮影モード、或は映像モード等の操作モードにある場合、フロントカメラ、及び／又はリアーカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアーカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。
【００７８】
オーディオ部材８１０は、オーディオ信号をインターフェースするように構成されてもよい。例えば、オーディオ部材８１０は、一つのマイク（ＭＩＣ）を含み、装置８００、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信したオーディオ信号は、さらにメモリ８０４に記憶されたり、通信部材８１６を介して送信されたりされる。上記の実施例において、オーディオ部材８１０は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
【００７９】
Ｉ／Ｏインターフェイス８１２は、プロセス部材８０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。
【００８０】
センサ部材８１４は、装置８００に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサ部材８１４は、装置８００のＯＮ／ＯＦＦ状態、装置８００のディスプレイとキーパッドのような部材の相対的な位置決めを検出できる。また、例えば、センサ部材８１４は、装置８００、或は装置８００の一つの部材の位置変更、ユーザと装置８００とが接触しているか否か、装置８００の方位、又は加速／減速、装置８００の温度の変化を検出できる。センサ部材８１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサ部材８１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ画像センサのような光センサを含んでもよい。上記の実施例において、当該センサ部材８１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
【００８１】
通信部材８１６は、装置８００と他の機器の間に有線、又は無線形態の通信を提供する。装置８００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信部材８１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信部材８１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ（登録商標））技術、他の技術に基づいて実現できる。
例示的な実施例において、装置８００は、一つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
【００８２】
例示的な実施例において、さらに、命令を含む非一時的なコンピュータで読み取り可能な記憶媒体、例えば命令を含むメモリ８０４を提供しており、装置８００のプロセッサ８２０により上記命令を実行して上記方法を実現する。例えば、前記非一時的なコンピュータで読み取り可能な記憶媒体は、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  ＲＯＭ）、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶デバイス等である。
【００８３】
非一時的なコンピュータで読み取り可能な記憶媒体は、当該記録媒体の指令が移動端末のプロセッサによって実行される際に、移動端末にネットワーク環境に基づく映像画質の調整方法を実行させることができる。前記方法は、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させるステップと、前記ターゲットフレーム番号の数が前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるステップとを含む。
【００８４】
当業者は明細書を検討し、ここで開示した発明を実践した後、本発明のその他の実施方案を容易に思いつくことができる。本願は本発明の全ての変更、用途又は適応性の変化を含む。これらの変更、用途又は適応性の変化は本発明の一般的な原理に従っており、本発明に未開示の本技術分野における周知技術又は慣用技術手段を含む。明細書及び実施例は例示的なものに過ぎず、本発明の真の範囲及び主旨は以下の特許請求の範囲によって示される。
【００８５】
本発明は、上記で説明した、また図面において示した寸分違わぬ構成に限定されず、その範囲を逸脱しない前提のもとで種々の変更及び修正を行うことができることを理解すべきである。本発明の範囲は付された特許請求の範囲によってのみ限定される。
【００８６】
本願は、出願番号がＣＮ２０１４１０４０４５３３．６であって、出願日が２０１４年８月１５日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
【図１】
2016535545.tif 000003
【図２】
2016535545.tif 000004
【図３】
2016535545.tif 000005
【図４】
2016535545.tif 000006
【図５】
2016535545.tif 000007
【図６】
2016535545.tif 000008
【図７】
2016535545.tif 000009
【図８】
2016535545.tif 000010
【手続補正書】
【提出日】平成27年5月18日(2015.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるステップと、
前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるステップとを含むことを特徴とするネットワーク環境に基づく映像画質の調整方法。
【請求項２】
前記調整方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含むことを特徴とする請求項１に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項３】
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号と分割フレームの分割フレーム番号と前記複数の分割フレームの総数とを含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含むことを特徴とする請求項１または２に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項４】
前記調整方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含むことを特徴とする請求項１に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項５】
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するステップと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップと、
前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信して、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するステップとを含むことを特徴とするネットワーク環境に基づく映像画質の調整方法。
【請求項６】
前記予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信した映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含むことを特徴とする請求項５に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項７】
前記調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含むことを特徴とする請求項５に記載のネットワーク環境に基づく映像画質の調整方法。
【請求項８】
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするため第１の受信モジュールと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュールと、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値よりも小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュールとを含むことを特徴とするネットワーク環境に基づく映像画質の調整装置。
【請求項９】
前記調整装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールとを含むことを特徴とする請求項８に記載のネットワーク環境に基づく映像画質の調整装置。
【請求項１０】
前記調整装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含むことを特徴とする請求項８または９に記載のネットワーク環境に基づく映像画質の調整装置。
【請求項１１】
前記調整装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行させるための再送制御モジュールを含むことを特徴とする請求項８に記載のネットワーク環境に基づく映像画質の調整装置。
【請求項１２】
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するための受信モジュールと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するための判定モジュールと
前記予め設定された判定条件基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するための実行モジュールとを含むことを特徴とするネットワーク環境に基づく映像画質の調整装置。
【請求項１３】
前記判定モジュールは、
受信した前記映像フレームが、未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するための第１の判定サブモジュールと
前記現在受信した映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第１の実行サブモジュールとを含むことを特徴とする請求項１２に記載のネットワーク環境に基づく映像画質の調整装置。
【請求項１４】
前記調整装置はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第２の判定サブモジュールと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第２の実行サブモジュールとを含むことを特徴とする請求項１２に記載のネットワーク環境に基づく映像画質の調整装置。
【請求項１５】
プロセッサと、
プロセッサにより実行可能な指令を記憶するメモリとを備え、
前記プロセッサは、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとし、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、
前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるように構成されることを特徴とするネットワーク環境に基づく映像画質の調整装置。
【請求項１６】
プロセッサに実行されることにより、請求項１から請求項７のいずれかに記載のネットワーク環境に基づく映像画質の調整方法を実現する記録媒体に記録されたプログラム。
【請求項１７】
請求項１６に記載のプログラムが記録された記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は通信技術分野に関し、より具体的には、ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
技術の発展に伴い、スマートカメラは次第にユーザの日常生活に応用されている。一般的には、スマートカメラが家での映像画面をユーザの移動端末にリアルタイムに送信するように、ユーザはスマートカメラを家に実装することによって、財産・安全を守る。
【０００３】
現在、スマートカメラはＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ：ユーザー・データグラム・プロトコル）によって、取込まれた映像データをユーザの移動端末に送信する。ネットワーク環境の混雑が比較的ひどい場合、紛失したＵＤＰプロトコルデータ・パケットの数量が比較的多いと、移動端末がスマートカメラから送信される映像データを再生する際に画質が劣化したり、画像が不連続になったりしまう。且つ、ネットワーク環境が比較的悪い場合には、スマートカメラから移動端末へ映像データを送信する速度も遅くなり、移動端末がスマートカメラから送信される映像データを再生する際に、画像が長時間不連続となったり、正常に再生できなくなったりしまう。なお、ネットワーク環境が比較的よい場合には、時には、スマートカメラがそもそも移動端末へより高い符号化率（ｃｏｄｅ  ｒａｔｅ）の映像データを送信できる。しかしながら、スマートカメラは予め設定された符号化率を変更できないため、ネットワークの帯域リソースを浪費するだけでなく、移動端末に高解像度を有する画質を提供できなくなってしまう。
【０００４】
したがって、従来のスマートカメラは映像データの符号化率を調整できないので、現在のネットワーク環境によりよく適合することができない。
【発明の概要】
【０００５】
本発明は、関連技術においての問題を解決するために、スマートカメラが現在のネットワーク環境に基づき映像画質パラメータを調整することによって、端末において映像をスムーズに再生するように、ネットワーク環境に基づく映像画質の調整方法、装置、プログラム、及び記録媒体を提供する。
【０００６】
本発明の実施例の第１の局面によれば、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるステップと、
前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件基づいて、前記所定の画質パラメータを向上させるステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
【０００７】
好ましくは、前記調整方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
【０００８】
好ましくは、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記調整方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号と前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
【０００９】
好ましくは、前記調整方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
【００１０】
本発明の実施例の第２の局面によれば、
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するステップと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップと、
前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信して、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するステップとを含むネットワーク環境に基づく映像画質の調整方法を提供する。
【００１１】
好ましくは、前記予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信した映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む
【００１２】
好ましくは、前記調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
【００１３】
本発明の実施例の第３の局面によれば、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするため第１の受信モジュールと、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュールと、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値よりも小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
【００１４】
好ましくは、前記調整装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールとを含む。
【００１５】
好ましくは、前記調整装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づいて、前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
【００１６】
好ましくは、前記調整装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行させるための再送制御モジュールを含む。
【００１７】
本発明の実施例の第４の局面によれば、
画像取込装置から送信される、前記画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するための受信モジュールと、
予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するための判定モジュールと
前記予め設定された判定条件基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整するための実行モジュールとを含むネットワーク環境に基づく映像画質の調整装置を提供する。
【００１８】
好ましくは、前記判定モジュールは、
受信した前記映像フレームが、未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するための第１の判定サブモジュールと
前記現在受信した映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第１の実行サブモジュールとを含む。
【００１９】
好ましくは、前記調整装置はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第２の判定サブモジュールと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第２の実行サブモジュールとを含む。
【００２０】
本発明の実施例の第５の局面によれば、
プロセッサと、
プロセッサにより実行可能な指令を記憶するメモリとを備え、
前記プロセッサは、
端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとし、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、
前記ターゲットフレーム番号の数が、前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるように構成されるネットワーク環境に基づく映像画質の調整装置を提供する。
本発明の実施例の第６の局面によれば、プロセッサに実行されることにより、前記ネットワーク環境に基づく映像画質の調整方法を実現する記録媒体に記録されたプログラムを提供する。
本発明の実施例の第７の局面によれば、前記プログラムが記録された記録媒体を提供する。
【００２１】
本発明の実施例に提示される技術案は以下の有益な効果を含み得る。
単位時間内に端末が紛失した映像フレームの数を特定することによって、現在のネットワーク環境の良否を判定することができる。ターゲットフレーム番号の数が第１の閾値より大きいと特定された場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味するので、所定の画質パラメータを低下させて、送信速度を低減させる。こうすることによって、ユーザが端末によってスムーズな映像画面を閲覧できることを保証することができる。一方、ターゲットフレーム番号の数が第２の閾値より小さいと特定された場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味するので、所定の画質パラメータを向上させて、送信速度を向上させる。こうすることによって、ユーザが端末によって解像度が良い映像画面を閲覧できることを保証することができる。したがって、本発明は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低下させることによって、端末において解像度が比較的低い映像画面をスムーズに再生させ、ネットワーク環境が比較的良い場合、画像取込装置が映像画面の解像度を向上させることによって、端末において解像度が比較的高い映像画面をスムーズに再生させるように保証することができる。
【００２２】
以上の一般的な記述及び以下の詳細な記述は、例示のものに過ぎず、本開示を限定するものではないと理解すべきである。
【図面の簡単な説明】
【００２３】
ここで、図面は明細書に取り込まれて明細書の一部を構成し、本発明に合致する実施例を示し、また、明細書と共に本発明の原理の解釈に用いられる。
【図１】例示的な実施例におけるネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。
【図２】例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。
【図３】例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。
【図４】例示的な実施例における分割フレームの構造を示すブロック図である。
【図５】例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。
【図６】例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置の模式図である。
【図７】例示的な実施例における他のネットワーク環境に基づく映像画質の調整装置の模式図である。
【図８】例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置を示すブロック図である。
【発明を実施するための形態】
【００２４】
ここで例示的な実施例について詳細に説明を行うが、その例示は図面において示されている。以下の説明が図面に関する場合、特に示さない限り、異なる図面の中の同一の数字は同一又は類似の要素を表す。また、以下の例示的な実施例で説明する実施形態は、本発明と一致する全ての実施形態を代表するものではなく、これらは特許請求の範囲において詳述した、本発明の一部の態様と一致する装置及び方法の例に過ぎない。
【００２５】
図１は例示的な実施例におけるネットワーク環境に基づく映像画質の調整方法を示すフローチャートである。図１に示すように、ネットワーク環境に基づく映像画質の調整方法は画像取込装置に用いられる。本発明が提供するネットワーク環境に基づく映像画質の調整方法は、ネットワーク環境が良くない場合、端末において解像度が比較的低い映像画面をスムーズに再生するように、画像取込装置が映像画面の解像度を低減させることと、ネットワーク環境が比較的よい場合、端末において解像度が比較的高い映像画面を再生するように、画像取込装置が映像画面の解像度を向上させることを保証することができる。該方法は以下のステップを含む。
【００２６】
ステップＳ１１において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
ステップＳ１２において、予め設定された時間帯におけるタイムスタンプの対応するターゲットフレーム番号の数を特定する。
ステップＳ１３において、ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、ターゲットフレーム番号の数が第１の閾値より小さい値である第２の閾値より小さい場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させる。
【００２７】
他の開示された実施例において、前記方法はさらに、
取込まれた映像データを取得するステップと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するステップと、
端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
他の開示された実施例において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信する前に、前記方法はさらに、
前記映像フレームがキーフレームであるか否かを判定するステップと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信するステップと、
前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するステップとを含む。
【００２８】
他の開示実施例において、前記方法はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定するステップと、
前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加えるステップと、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップを実行するステップとを含む。
【００２９】
図２に示すように、ネットワーク環境に基づく映像画質の調整方法は端末装置に用いられる。
【００３０】
ステップＳ２１において、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信する。
ステップＳ２２において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定する。
ステップＳ２３において、前記予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像取込装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定することで、所定の画質パラメータを調整する。
【００３１】
他の開示実施例において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するステップは、
受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するステップと、
前記現在受信する映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信する映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
他の開示された実施例において、調整方法はさらに、
受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するステップと、
予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するステップとを含む。
【００３２】
以下、他の開示実施例によって、ネットワーク環境に基づく映像画質の調整方法を説明する。図３に示すように、以下のステップを含む。
ステップＳ３１において、取込まれた映像データを取得する。
ここで、本発明に係わる方法は画像取込装置に用いられ、該画像取込装置はカメラやビデオレコーダ等の装置であってもよい。画像取込装置は、映像データを取込まれた後、後続ステップでの使用のためにそれを取得しなければならない。
【００３３】
ステップＳ３２において、予め設定された映像符号化方法を利用して、所定の画質パラメータに基づいて、映像データをフレーム番号付き映像フレームに圧縮する。
ここで、映像データが取得された後、予め設定された映像符号化方法を利用して、所定の画質パラメータに基づいて、映像データを圧縮することによって、フレーム番号付き映像フレームを生成する必要がある。予め設定された映像符号化方法は、Ｈ．２６２、Ｈ．２６３又はＨ２６４等の符号化方法であってもよいが、既に提供された符号化方法に限らない。所定の画質パラメータは予め設定された映像符号化方法の１項の符号化パラメータであり、所定の画質パラメータが高いほど、符号化されてなる映像フレームの画像品質が高く、映像フレームの解像度も高い。一方、所定の画質パラメータが低いほど、符号化されてなる映像フレームの画像品質が低く、映像フレームの解像度も低い。所定の画質パラメータは映像符号化率や解像度などのパラメータであってもよい。それぞれの映像フレームはいずれも唯一のフレーム番号を有し、このフレーム番号に基づいて映像フレームを区別することができる。
【００３４】
ステップＳ３３において、端末にフレーム番号付き映像フレームを送信する。
ここで、画像取込装置は、フレーム番号付き映像フレームを生成してから端末に送信する。
【００３５】
ステップＳ３４において、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを順次に送信する際、端末は一定の時間内に、ある映像フレームを受信しなかった場合、該映像フレームを紛失したと認める。端末は、紛失した映像フレームのターゲットフレーム番号を特定してから、画像取込装置に紛失した映像フレームのターゲットフレーム番号を送信することによって、画像取込装置に紛失した映像フレームのターゲットフレーム番号を通知する。画像取込装置は紛失した映像フレームのターゲットフレーム番号を受信してから、該ターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとする。
【００３６】
例えば、端末から送信される紛失した映像フレームのターゲットフレーム番号が１００１であり、画像取込装置が該ターゲットフレーム番号１００１を受信した時の時間が９時２５分３９秒である場合、時間の９時２５分３９秒をターゲットフレーム番号１００１のタイムスタンプとする。後続ステップの特定をもっと精確にするために、タイムスタンプとしてより小さいミリセカンド（ｍｓ）又はマイクロ秒（μｓ）とすることができることは自明なことである。
【００３７】
ステップＳ３５において、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定する。
ここで、画像取込装置が端末にフレーム番号付き映像フレームを送信する過程において、端末は紛失したターゲットフレーム番号を画像取込装置に送信することもでき、且つ、画像取込装置はそれぞれのターゲットフレーム番号のためにタイムスタンプを別々に配備したので、画像取込装置はある時間帯におけるタイムスタンプのターゲットフレーム番号の数を特定することができる。
【００３８】
例えば、画像取込装置の受信した、端末から送信される紛失した映像フレームのターゲットフレーム番号がそれぞれ１００１、１００３、１００７、１０２５及び１０５６であり、ターゲットフレーム番号１００１のタイムスタンプが１０時１０分２５秒であり、ターゲットフレーム番号１００３のタイムスタンプが１０時１０分２６秒であり、ターゲットフレーム番号１００７のタイムスタンプが１０時１０分２８秒であり、ターゲットフレーム番号１０２５のタイムスタンプが１０時１０分３０秒であり、ターゲットフレーム番号１０５６のタイムスタンプが１０時１０分３１秒であると仮定する場合、画像取込装置は１０時１０分２６秒から１０時１０分３０秒までのターゲットフレーム番号の数を特定することを要求する。特定することによって分かるように、３つのターゲットフレーム番号がこの時間帯にあり、この３つのターゲットフレーム番号はそれぞれ１００３、１００７及び１０２５である。
【００３９】
ステップＳ３６において、ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させる。
ここで、画像取込装置はそれぞれ第１の閾値と第２の閾値との２つの閾値を予め設定する。ターゲットフレーム番号の数が第１の閾値より大きい場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味する。このため、所定の画質パラメータを低下させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的低い映像フレームを生成し、画像取込装置の送信速度を低下させる。これによって、比較的悪いネットワーク環境においても、端末において映像画面をスムーズに再生し、ネットワーク環境が良くないときも、映像画面の不連続現象が生じないことを保証することができる。
【００４０】
ステップＳ３７において、ターゲットフレーム番号の数が第１の閾値より小さい値である第２の閾値よりも小さい場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させる。
ここで、ターゲットフレーム番号の数が第２の閾値より小さい場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味する。このため、画質パラメータを向上させることによって、次回に予め設定された映像符号化方法を利用して取込まれた映像データに対し圧縮符号化処理を行う際に、画質が比較的高い映像フレームを生成し、画像取込装置の送信速度を向上させる。これによって、ネットワーク環境が比較的良い場合、端末が解像度が比較的高い映像画面を再生し、ネットワーク環境が比較的良いときに、画像取込装置が端末に予め設定された画質の比較的悪い映像リソースを送信して、ネットワーク帯域リソースの浪費を回避することを保証することができる。
【００４１】
図３に示す実施例において、単位時間内に端末が紛失した映像フレームの数を特定することによって、現在のネットワーク環境の良否を判定することができる。ターゲットフレーム番号の数が第１の閾値より大きいと特定された場合、単位時間内に紛失した映像フレームの数が比較的多く、現在のネットワーク環境が比較的悪いことを意味するので、所定の画質パラメータを低下させて、送信速度を低減させる。こうすることによって、ユーザが端末によってスムーズな映像画面を閲覧できることを保証することができる。一方、ターゲットフレーム番号の数が第２の閾値より小さいと特定された場合、単位時間内に紛失した映像フレームの数が比較的少なく、現在のネットワーク環境が比較的良いことを意味するので、所定の画質パラメータを向上させて、送信速度を向上させることによって、ユーザが端末によって解像度が良い映像画面を閲覧できることを保証することができる。したがって、本発明は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低下させることによって、端末において解像度が比較的低い映像画面をスムーズに再生させ、ネットワーク環境が比較的良い場合、画像取込装置が映像画面の解像度を向上させることによって、端末において解像度が比較的高い映像画面を再生させるように保証することができる。
【００４２】
本発明の好ましい実施例において、本発明に係わる方法は,ステップＳ３２の後、且つ、ステップＳ３３の前に、さらに、映像フレームがキーフレームであるか否かを判定するステップと、映像フレームがキーフレームである場合、予め設定された分割条件に基づいてキーフレームを、キーフレームのフレーム番号、分割フレームの分割フレーム番号及び複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に複数のヘッダ付き分割フレームを順次に送信するとともに、ステップＳ３４を実行するステップと、映像フレームがキーフレームではない場合、ステップＳ３３を実行するステップとを含む。
【００４３】
このようにする目的は以下のとおりである。予め設定された映像符号化方法を利用して映像データを圧縮した後、Ｉフレームと称するキーフレームと、Ｐフレームと称する予測フレームを生成する。Ｉフレームは、データサイズが比較的大きく、前後のデータフレームと関係なく、独立なフレームである。それで、その前のフレームの紛失または誤りはＩフレームの表示に影響しなく、復号化する際にＩフレームだけで完成できる。したがって、Ｉフレームは非常に重要なフレームである。これに対して、Ｐフレームはこのフレームと１つ前のＩフレームまたはＰフレームとの差別を表す予測フレームであり、復号化する際にこの前にキャッシングされた画面にこのフレームにより定義された差別を重畳する必要があり、その前のフレームと緊密に関わり、データサイズが少ない。それで、その前のフレームの紛失または誤りは他のフレームの表示に影響しないがＰフレームの表示に影響する恐れがある。したがって、Ｐフレームはあまり重要なものではない。映像フレームがキーフレームであると判定された場合、伝送過程において該キーフレームが完全に紛失されることを回避するために、該キーフレームを予め設定された分割条件に基づいて、複数のヘッダ付き分割フレームに分割する。このように、１つのキーフレームは複数の分割フレームに分割され、且つ、それぞれの分割フレームに、キーフレームのフレーム番号、分割フレームの分割フレーム番号、及び複数の分割フレームの総数を含むヘッダが付いている。
【００４４】
これによって、端末は、ヘッダにおけるデータによってこのキーフレームのうちのいずれの分割フレームが既に紛失したかを判定して、紛失した分割フレームの分割フレーム番号とキーフレームのフレーム番号とを画像取込装置に送信する。こうすることによって、画像取込装置は、端末から送信される分割フレーム番号とフレーム番号に基づき対応する分割フレームを検索するとともに、端末に該紛失された分割フレームを再度送信することができるようにする。このため、本発明に係る方法を用いて紛失されたキーフレームを探し出すことができる。
【００４５】
図４に示すように、図４は分割フレームの構造を示すブロック図である。分割フレームはキーフレームのフレーム番号、分割フレームの総数、分割フレームの分割フレーム番号とデータ本体を含む。ここで、フレーム番号、総数と分割フレーム番号はヘッダを表す。
【００４６】
なお、予め設定された分割条件は、キーフレームの分割後のそれぞれの分割フレームの大きさのいずれも現在ネットワーク環境における最大伝送ユニットより小さいということであってもよい。例えば、現在のネットワーク環境の最大伝送ユニットが１５００バイトである場合、それぞれの分割フレームの大きさのいずれも１０２４バイトに設定することもでき、１０４０バイトに設定することもでき、９００バイトに設定することもできる。要するに、それぞれの分割フレームの大きさのいずれも最大伝送ユニット１５００のバイトより小さくなければならない。
【００４７】
例えば、画像取込装置が現在送信しようとする映像フレームがキーフレームであると判定し、且つ、該キーフレームのフレーム番号が１０１であり、該キーフレームの大きさが５０００バイトであり、現在のネットワーク環境の最大伝送ユニットが１５００バイトであり、ユーザが予めそれぞれの分割フレームの大きさのいずれも１０００バイトに設定したとすれば、画像取込装置はフレーム番号が１０１であるキーフレームをいずれの大きさも１０００バイトである５つの分割フレームに分割する。さらに、この５つの分割フレームのいずれもヘッダ付き分割フレームであり、１番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００１と、分割フレームの総数である５つとを含む。２番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００２と、分割フレームの総数である５つとを含む。３番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００３と、分割フレームの総数である５つとを含む。４番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００４と、分割フレームの総数である５つとを含む。５番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００５と、分割フレームの総数である５つとを含む。分割が終了した後、この５つのヘッダ付き分割フレームは端末に順次に送信される。
【００４８】
本発明の他の好ましい実施例において、上記の実施例を基にして、ステップＳ３４の後、本発明に係わる方法はさらに、ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、ターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに、現在再送回数に１を加え、ステップＳ３５を実行するステップと、ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値以上である場合、ステップＳ３５を実行するステップとを含む。
【００４９】
このようにする目的は以下のとおりである。即ち、上記の実施例では既に紹介したように、画像取込装置はデータフレームがキーフレームであると判定した場合、該キーフレームを分割するとともに複数のヘッダ付き分割フレームを生成する。画像取込装置の受信した、端末から送信されたターゲットフレーム番号にフレーム番号と分割フレーム番号が含まれ、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、端末が分割フレームを紛失し、画像取込装置の再度送信が必要になることを意味する。
【００５０】
この場合、画像取込装置は端末から送信されるターゲットフレーム番号にフレーム番号と分割フレーム番号が含まれているか否かを判定する必要があり、含まれている場合、該ターゲットフレーム番号の対応するのが分割フレームであることを意味し、且つ、画像取込装置はフレーム番号と分割フレーム番号の対応する現在再送回数を特定する必要があり、現在再送回数が再送閾値より小さい場合、画像取込装置はターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに現在再送回数に１を加えることによって、端末の紛失した分割フレームを補償する。現在再送回数が再送閾値以上である場合、画像取込装置が既に該分割フレームを端末に数回送信し、上限に達したことを意味し、端末が該分割フレームを紛失したとしても、画像取込装置は該分割フレームを端末に絶えず送信することもできず、このような場合、画像取込装置は該紛失した分割フレームを端末に送信しない。
【００５１】
例えば、画像取込装置が現在送信しようとする映像フレームがキーフレームであると判定し、且つ、該キーフレームのフレーム番号が１０１であり、該キーフレームの大きさが５０００バイトであり、現在のネットワーク環境の最大伝送ユニットが１５００バイトであり、ユーザが予めそれぞれの分割フレームの大きさのいずれも１０００バイトに設定したとすれば、画像取込装置はフレーム番号が１０１であるキーフレームをいずれの大きさも１０００バイトである５つの分割フレームに分割する。この５つの分割フレームのいずれもヘッダ付き分割フレームであり、１番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００１と、分割フレームの総数である５つとを含む。２番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００２と、分割フレームの総数である５つとを含む。３番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００３と、分割フレームの総数である５つとを含む。４番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００４と、分割フレームの総数である５つとを含む。５番目の分割フレームのヘッダはフレーム番号である１０１と、分割フレームの分割フレーム番号である１００５と、分割フレームの総数である５つとを含む。分割が終了した後、この５つのヘッダ付き分割フレームを端末に順次に送信する。この場合、画像取込装置は、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信して該ターゲットフレーム番号にフレーム番号である１０１と分割フレーム番号である１００３が含まれていることが判定され、且つ、画像取込装置はフレーム番号である１０１と分割フレーム番号である１００３の対応する現在再送回数が１回であり、再送閾値である３回より少ないということを特定したので、画像取込装置はフレーム番号である１０１及び分割フレーム番号である１００３が付いた映像フレームを特定するとともに、フレーム番号である１０１及び分割フレーム番号である１００３が付いた映像フレームを端末に送信し、且つ、現在再送回数に１を加え、フレーム番号である１０１と分割フレーム番号である１００３の対応する現在再送回数が２回になる。
【００５２】
本発明の他の好ましい実施例において、上記の実施例を基にして、ステップＳ３４の後、本発明に係わる方法はさらに、ターゲットフレーム番号がフレーム番号であり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、ターゲットフレーム番号付き映像フレームを特定し、ターゲットフレーム番号付き映像フレームを端末に送信するとともに、現在再送回数に１を加え、ステップＳ３５を実行するステップと、ターゲットフレーム番号がフレーム番号であり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値以上である場合、ステップＳ３５を実行するステップとを含む。
【００５３】
このようにする目的は以下のとおりである。ターゲットフレーム番号がフレーム番号のみである場合、該フレーム番号が未分割のキーフレームまたは未分割の予測フレームに対応する可能性があり、且つ、ターゲットフレーム番号の対応する現在再送回数が再送閾値より小さい場合、端末が未分割のキーフレームまたは未分割の予測フレームを紛失し、画像取込装置が再度送信する必要があることを意味する。この場合、画像取込装置は端末から送信されるターゲットフレーム番号がフレーム番号のみであるか否かを判定する必要があり、そうである場合、該ターゲットフレーム番号が未分割のキーフレームまたは未分割の予測フレームに対応することを意味し、且つ、画像取込装置はフレーム番号の対応する現在再送回数を特定する必要があり、現在再送回数が再送閾値より小さい場合、画像取込装置はフレーム番号付き映像フレームを特定して端末に送信するとともに、現在再送回数に１を加えることによって、端末の紛失した未分割のキーフレームまたは未分割の予測フレームを補償する。現在再送回数が再送閾値以上である場合、画像取込装置が既に該未分割のキーフレームまたは未分割の予測フレームを端末に数回送信し、上限に達したことを意味する。よって、端末が該未分割のキーフレームまたは未分割の予測フレームを紛失したとしても、画像取込装置は該未分割のキーフレームまたは未分割の予測フレームを端末に絶えず送信することもできず、このような場合、画像取込装置は該紛失した未分割のキーフレームまたは未分割の予測フレームを端末に送信しない。
【００５４】
図５は例示的な実施例における他のネットワーク環境に基づく映像画質の調整方法のフローチャートである。図５に示すように、図５に示すネットワーク環境に基づく映像画質の調整方法は端末に用いられる。本発明が提供するネットワーク環境に基づく映像画質の調整方法は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。該方法は以下ステップを含む。
【００５５】
ステップＳ５１において、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信する。
【００５６】
ここで、図５に示す方法は端末に適用することができ、端末はスマートフォン、タブレットＰＣまたはデスクトップ・コンピューター等のスマート装置であってもよい。実施例１において紹介したように、画像取込装置は取込まれた映像データを予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、フレーム番号付き映像フレームに圧縮するとともに、該フレーム番号付き映像フレームを端末に送信し、ネットワークによる伝送によって、端末は画像取込装置から送信されるフレーム番号付き映像フレームを受信する。
【００５７】
ステップＳ５２において、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定する。
【００５８】
ここで、予め設定された判定条件は様々であり、異なる状況に適用される。端末の受信した映像フレームが未分割のキーフレームまたは予測フレームである場合、端末は現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定することができる。フレーム番号が連続である場合、現在受信する映像フレームと受信した１つ前の映像フレームとの間に映像フレームを紛失する状況がないことを意味する。一方、フレーム番号が不連続である場合、現在受信する映像フレームのフレーム番号と受信した１つ前の映像フレームのフレーム番号とに基づいて、紛失したフレーム番号を特定するとともに、紛失したフレーム番号をターゲットフレーム番号と称する。例えば、端末の受信した映像フレームが未分割のキーフレームまたは予測フレームであり、且つ、現在受信する映像フレームのフレーム番号が１０６であり、受信した１つ前の映像フレームのフレーム番号が１０５である場合、端末は受信した映像フレームのフレーム番号の順序が連続であると判定することができるので、映像フレームを紛失しなかったことを意味する。また、例えば、端末の受信した映像フレームが未分割のキーフレームまたは予測フレームであり、且つ、現在受信する映像フレームのフレーム番号が１０６であり、受信した１つ前の映像フレームのフレーム番号が１０４である場合、端末は受信した映像フレームのフレーム番号の順序が不連続であると判定することができる。この場合、端末は現在受信する映像フレームのフレーム番号１０６と受信した１つ前の映像フレームのフレーム番号１０４とに基づいて、紛失したフレーム番号が１０５であることを特定するとともに、紛失したフレーム番号１０５をターゲットフレーム番号１０５と称し、ターゲットフレーム番号１０５を画像取込装置に送信することができる。
【００５９】
端末の受信した映像フレームがキーフレームを分割してなる分割フレームである場合、端末は一連の分割フレームを受信した後、予め設定された時間内に新たな分割フレームを受信しないか否かを判定することができる。受信しなかった場合、端末はこの一連の分割フレームのヘッダを検索し、受信した分割フレームの数とヘッダにおける分割フレームの総数とが一致しているか否かを判定する。一致している場合、端末はこの一連の分割フレームが紛失してないいと認める。一致してない場合、端末はこの一連の分割フレームに紛失した分割フレームがあると認め、それぞれの分割フレームのヘッダにおける分割フレーム番号に基づいて、いずれの分割フレームが紛失したかを判定する。紛失した分割フレームの分割フレーム番号が特定されたら、端末はヘッダにおけるフレーム番号を紛失した分割フレーム番号とともにターゲットフレーム番号とし、さらに、ターゲットフレーム番号を画像取込装置に送信することができる。
【００６０】
ステップＳ５３において、予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、紛失した映像フレームのターゲットフレーム番号を画像取込装置に送信することによって、画像取込装置はターゲットフレーム番号を受信した時の時間をターゲットフレーム番号のタイムスタンプとするとともに、予め設定された時間帯におけるタイムスタンプのターゲットフレーム番号の数を特定する。さらに、画像取込装置がターゲットフレーム番号の数が第１の閾値より大きいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させるように、画像取込装置がターゲットフレーム番号の数が第１の閾値より小さい第２の閾値よりも小さいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させるようにする。
【００６１】
図２に示す実施例において、図５に示す方法と図３に示す方法とが相互に協同して使用することができるため、図２に示す方法と図１に示す方法との関連部分に関しては、相互に参照することができ、ここに、詳しく説明しない。
【００６２】
図６は例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置を模式的に示す図である。本発明が提供するネットワーク環境に基づく映像画質の調整装置は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。
【００６３】
図６を参照して、該装置は、
端末から送信される紛失された映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするための第１の受信モジュール６１と、
予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するための特定モジュール６２と、
前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させ、前記ターゲットフレーム番号の数が前記第１の閾値よりより小さい値である第２の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるための画質調整モジュール６３とを含む。
【００６４】
他の実施例において、前記装置はさらに、
取込まれた映像データを取得するための取得モジュールと、
予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、前記映像データをフレーム番号付き映像フレームに圧縮するための圧縮モジュールと、
端末に前記フレーム番号付き映像フレームを送信するための送信モジュールと、を含む。
【００６５】
他の実施例において、前記装置はさらに、
前記映像フレームがキーフレームであるか否かを判定するための判定モジュールと、
前記映像フレームが前記キーフレームである場合、予め設定された分割条件に基づき前記キーフレームを、前記キーフレームのフレーム番号、分割フレームの分割フレーム番号及び前記複数の分割フレームの総数を含む複数のヘッダ付き分割フレームに分割し、端末に前記複数のヘッダ付き分割フレームを順次に送信する一方、前記映像フレームが前記キーフレームではない場合、端末に前記フレーム番号付き映像フレームを送信するための実行モジュールとを含む。
【００６６】
他の実施例において、前記装置はさらに、
前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、かつ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値より小さい場合、前記ターゲットフレーム番号付き映像フレームを特定し、前記ターゲットフレーム番号付き映像フレームを前記端末に送信し、前記現在再送回数に１を加える一方、前記ターゲットフレーム番号がフレーム番号と分割フレーム番号を含み、且つ、前記ターゲットフレーム番号の対応する現在再送回数が前記再送閾値以上である場合、前記特定モジュールを実行するための再送制御モジュールを含む。
【００６７】
上記の実施例に係わる装置に関しては、それぞれのモジュールが操作を実行する具体的な方式は該方法に係わる実施例において詳細に説明されているので、ここに、詳しく説明しない。
【００６８】
図７は例示的な実施例における他のネットワーク環境に基づく映像画質の調整装置を模式的に示す図である。本発明が提供するネットワーク環境に基づく映像画質の調整装置は、ネットワーク環境が良くない場合、画像取込装置が映像画面の解像度を低減することによって、端末において解像度が比較的低い映像画面をスムーズに再生するように、ネットワーク環境が比較的よい場合、画像取込装置が映像画面の解像度を向上させることによって端末に解像度が比較的高い映像画面を再生するように保証することができる。図７を参照して、該装置は受信モジュール７１、判定モジュール７２及び実行モジュール７３を含む。
【００６９】
ここで、
受信モジュール７１は、画像取込装置から送信される、画像取込装置が予め設定された映像符号化方法を利用して所定の画質パラメータに基づいて、映像データを圧縮してなるフレーム番号付き映像フレームを受信するために用いられる。
判定モジュール７２は、予め設定された判定条件に基づいて、紛失した映像フレームのターゲットフレーム番号があるか否かを判定するために用いられる。
実行モジュール７３は、予め設定された判定条件に基づいて、現在、紛失した映像フレームのターゲットフレーム番号があると判定される場合、前記画像取込装置が前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするように、前記紛失した映像フレームのターゲットフレーム番号を前記画像採取装置に送信し、且つ、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定し、さらに、画像取込装置がターゲットフレーム番号の数が第１の閾値より大きいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを低下させ、画像取込装置がターゲットフレーム番号の数が第１の閾値より小さい値である第２の閾値より小さいと判定する場合、予め設定された設定条件に基づいて、所定の画質パラメータを向上させるために用いられる。
【００７０】
本発明の好ましい実施例において、判定モジュール７２は、受信した前記映像フレームが未分割のキーフレーム又は予測フレームである場合、現在受信する映像フレームのフレーム番号が受信した１つ前の映像フレームのフレーム番号と連続するか否かを判定するための第１の判定サブモジュールと、前記現在受信した映像フレームのフレーム番号が前記受信した１つ前の映像フレームのフレーム番号と不連続である場合、前記現在受信した映像フレームのフレーム番号と前記受信した１つ前の映像フレームのフレーム番号に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第１の実行サブモジュールとを含む。
【００７１】
本発明の好ましい実施例において、判定モジュール７２は、受信した前記映像フレームが、キーフレームに基づいて分割されてなるヘッダ付き分割フレームである場合、予め設定された時間内に新たな前記分割フレームを受信しないか否かを判定するための第２の判定サブモジュールと、予め設定された時間内に新たな前記分割フレームを受信しなかった場合、前記分割フレームのヘッダにおけるフレーム番号、分割フレーム番号と前記分割フレームの総数に基づいて、紛失したフレーム番号をターゲットフレーム番号として特定するための第２の実行サブモジュールと、を含む。
【００７２】
上記の実施例に係わる装置に関しては、それぞれのモジュールが操作を実行する具体的な方式は既に該方法に係わる実施例において詳細に説明されたので、ここに、詳しく説明しない。
【００７３】
図８は例示的な実施例におけるネットワーク環境に基づく映像画質の調整装置８００を示すブロック図である。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ受発信手段、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタント等であってもよい。
図８を参照して、装置８００は、プロセス部材８０２、メモリ８０４、電源部材８０６、マルチメディア部材８０８、オーディオ部材８１０、入出力（Ｉ／Ｏ）インターフェイス８１２、センサ部材８１４、及び通信部材８１６のような一つ以上の部材を含んでよい。
【００７４】
プロセス部材８０２は、一般的には装置８００の全体の操作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ操作、及び記録操作と関連する操作を制御する。プロセス部材８０２は、一つ以上のプロセッサ８２０を含み、これらによって命令を実行することにより、上記の方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセス部材８０２は、一つ以上のモジュールを含み、これらによってプロセス部材８０２と他の部材の間のインタラクションを容易にするようにしてもよい。例えば、プロセス部材８０２は、マルチメディアモジュールを含み、これらによってマルチメディア部材８０８とプロセス部材８０２の間のインタラクションを容易にするようにしてもよい。
【００７５】
メモリ８０４は、各種類のデータを記憶することにより装置８００の操作を支援するように構成される。これらのデータの例は、装置８００において操作されるいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、映像等を含む。メモリ８０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
【００７６】
電源部材８０６は、装置８００の多様な部材に電力を供給する。電源部材８０６は、電源管理システム、一つ以上の電源、及び装置８００のための電力の生成、管理及び割り当てに関連する他の部材を含んでもよい。
【００７７】
マルチメディア部材８０８は、前記装置８００とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記の実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンを実現することができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記のタッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記の実施例において、マルチメディア部材８０８は、一つのフロントカメラ、及び／又はリアーカメラを含む。装置８００が、例えば撮影モード、或は映像モード等の操作モードにある場合、フロントカメラ、及び／又はリアーカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアーカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。
【００７８】
オーディオ部材８１０は、オーディオ信号をインターフェースするように構成されてもよい。例えば、オーディオ部材８１０は、一つのマイク（ＭＩＣ）を含み、装置８００、例えば呼出しモード、記録モード、及び音声認識モード等の操作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信したオーディオ信号は、さらにメモリ８０４に記憶されたり、通信部材８１６を介して送信されたりされる。上記の実施例において、オーディオ部材８１０は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
【００７９】
Ｉ／Ｏインターフェイス８１２は、プロセス部材８０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。
【００８０】
センサ部材８１４は、装置８００に各方面の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサ部材８１４は、装置８００のＯＮ／ＯＦＦ状態、装置８００のディスプレイとキーパッドのような部材の相対的な位置決めを検出できる。また、例えば、センサ部材８１４は、装置８００、或は装置８００の一つの部材の位置変更、ユーザと装置８００とが接触しているか否か、装置８００の方位、又は加速／減速、装置８００の温度の変化を検出できる。センサ部材８１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサ部材８１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ画像センサのような光センサを含んでもよい。上記の実施例において、当該センサ部材８１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
【００８１】
通信部材８１６は、装置８００と他の機器の間に有線、又は無線形態の通信を提供する。装置８００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信部材８１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信部材８１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を推進するようにする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅ  Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ（登録商標））技術、他の技術に基づいて実現できる。
例示的な実施例において、装置８００は、一つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
【００８２】
例示的な実施例において、さらに、命令を含む非一時的なコンピュータで読み取り可能な記憶媒体、例えば命令を含むメモリ８０４を提供しており、装置８００のプロセッサ８２０により上記命令を実行して上記方法を実現する。例えば、前記非一時的なコンピュータで読み取り可能な記憶媒体は、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  ＲＯＭ）、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶デバイス等である。
【００８３】
非一時的なコンピュータで読み取り可能な記憶媒体は、当該記録媒体の指令が移動端末のプロセッサによって実行される際に、移動端末にネットワーク環境に基づく映像画質の調整方法を実行させることができる。前記方法は、端末から送信される紛失した映像フレームのターゲットフレーム番号を受信するとともに、前記ターゲットフレーム番号を受信した時の時間を前記ターゲットフレーム番号のタイムスタンプとするステップと、予め設定された時間帯における前記タイムスタンプの対応する前記ターゲットフレーム番号の数を特定するステップと、前記ターゲットフレーム番号の数が第１の閾値より大きい場合、予め設定された設定条件に基づいて、前記所定の画質パラメータを低下させるステップと、前記ターゲットフレーム番号の数が前記第１の閾値より小さい値である第２の閾値より小さい場合、前記予め設定された設定条件に基づいて、前記所定の画質パラメータを向上させるステップとを含む。
【００８４】
当業者は明細書を検討し、ここで開示した発明を実践した後、本発明のその他の実施方案を容易に思いつくことができる。本願は本発明の全ての変更、用途又は適応性の変化を含む。これらの変更、用途又は適応性の変化は本発明の一般的な原理に従っており、本発明に未開示の本技術分野における周知技術又は慣用技術手段を含む。明細書及び実施例は例示的なものに過ぎず、本発明の真の範囲及び主旨は以下の特許請求の範囲によって示される。
【００８５】
本発明は、上記で説明した、また図面において示した寸分違わぬ構成に限定されず、その範囲を逸脱しない前提のもとで種々の変更及び修正を行うことができることを理解すべきである。本発明の範囲は付された特許請求の範囲によってのみ限定される。
【００８６】
本願は、出願番号がＣＮ２０１４１０４０４５３３．６であって、出願日が２０１４年８月１５日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。
【国際調査報告】
2016535545.tif 000011
2016535545.tif 000012
2016535545.tif 000013
2016535545.tif 000014