(57)【要約】【課題】本発明の技術方案を実行した後、ビデオ処理の遅延を有効的に低減し、ユーザーの体験を向上させる。【解決手段】本発明は、ビデオデータ処理方法及びビデオデータ処理装置を公開し、前記ビデオデータ処理方法は、以下のステップを含む。送信端は、第一フレーム率によりビデオデータを少なくとも一つのビデオデータフレームに変える。送信端は、第一フレーム率に対応する各フレーム時間に受信端へ先のフレーム時間に形成したビデオデータフレームを一回送信し、その中に、各ビデオデータフレームの伝送周期内のデータ伝送時間と伝送周期の比率が半分に等しく或は小さくなる。受信端は、第一フレーム率に対応する隣り合う二つのフレーム時間内に一つのビデオデータフレームをそれぞれ受信する。上記のステップにおいて受信した二つのビデオデータフレームに対して補間フレームの運算を行い、少なくとも一つのビデオデータ補間フレームを取得する。ビデオデータ補間フレームを前記二つのビデオデータフレームの間に入れ、再生待ちの一連のビデオデータフレームを形成する。【選択図】：図１
2021500786.tif 000002
【特許請求の範囲】
【請求項１】
第一フレーム率において稼働する送信端から第二フレーム率において稼働する受信端に向けて送信するビデオデータの処理を用いるビデオデータ処理方法であって、
S101：前記送信端は、前記第一フレーム率により前記ビデオデータを少なくとも一つのビデオデータフレームに変えること；
S102：前記送信端は、前記第一フレーム率に対応する各フレーム時間に前記受信端へ先のフレーム時間に形成したビデオデータフレームを一回送信し、そこにおいて、各ビデオデータフレームの伝送周期内のデータ伝送時間と前記伝送周期との比が半分に等しく或はより小さくなること；
S103：前記受信端は、前記第一フレーム率に対応する隣り合う二つのフレーム時間内に一つのビデオデータフレームをそれぞれ受信すること；
S104：ステップS103に受信した二つのビデオデータフレームに対して補間フレームの運算を行い、少なくとも一つのビデオデータ補間フレームを取得すること；
S105：前記ビデオデータ補間フレームを前記二つのビデオデータフレームの間に入れ、再生待ちの一連のビデオデータフレームを形成することを含むビデオデータ処理方法。
【請求項２】
ステップS102を実行する時に、前記送信端は物理インターフェースを介して前記受信端へビデオデータフレームを送信する、請求項１に記載のビデオデータ処理方法。
【請求項３】
前記ステップS102は、前記第一フレーム率に対応する各フレーム時間内に、
S102-1：前記送信端内のキャッシュユニットへ一つのビデオデータフレームを書き込むこと；
S102-2：物理インターフェースへ制御信号及び補助信号を伝送すること；
S102-3：事前設定時間閾値内に前記物理インターフェースへ前記ビデオデータフレームを伝送すること；
S102-4：現在の伝送周期が完了するに至るのを待つこと、
を含む、請求項２に記載のビデオデータ処理方法。
【請求項４】
S102-3を実行する時に、ライン同期信号の周波数と基準周波数の比率を少なくとも２に調整し、S103を実行する時に、受信したライン同期信号に対して前記比率で分周を行う、請求項３に記載のビデオデータ処理方法。
【請求項５】
ステップS105の後に、前記ビデオデータ処理方法は、更に前記受信端は前記第二フレーム率により前記再生待ちのビデオデータフレームを表示するステップS106を含む、請求項１〜４の何れか一項に記載のビデオデータ処理方法。
【請求項６】
第一フレーム率において稼働する送信端及び第二フレーム率において稼働する受信端を含むビデオデータ処理装置であって、
前記送信端に配置されし、前記第一フレーム率により前記ビデオデータを少なくとも一つのビデオデータフレームに変える変換モジュール；
前記送信端に配置し、前記転換モジュールと接続し、前記第一フレーム率に対応する各フレーム時間に前記受信端へ先のフレーム時間に形成したビデオデータフレームを一回送信し、その中に、各ビデオデータフレームの伝送周期内のデータ伝送時間と前記伝送周期の比率が半分に等しく或は小さくなる送信モジュール；
受信端に配置し、前記第一フレーム率に対応する隣り合う二つのフレーム時間内に一つのビデオデータフレームをそれぞれ受信する受信モジュール；
受信端に配置し、前記受信モジュールと接続し、受信モジュールの受信した二つのビデオデータフレームに対して補間フレームの運算を行い、少なくとも一つのビデオデータ補間フレームを取得する補間フレーム計算モジュール；
受信端に配置し、前記補間フレーム計算モジュールと接続し、前記ビデオデータ補間フレームを前記二つのビデオデータフレームの間に入り、再生待ちの一連のビデオデータフレームを形成するフレーム構造モジュール、を含むビデオデータ処理装置。
【請求項７】
前記送信モジュールが、物理インターフェースを介して前記受信端へビデオデータフレームを送信する、請求項６に記載のビデオデータ処理装置。
【請求項８】
前記送信モジュールが、
前記送信端に配置され、前記第一フレーム率に対応する各フレーム時間内に一つのビデオデータフレームを書き込むキャッシュユニット；
前記送信端に配置し、前記物理インターフェースへ制御信号及び補助信号を伝送する信号転送ユニット；
前記送信端に配置し、キャッシュユニットと接続し、事前設定時間閾値内に前記物理インターフェースへ前記ビデオデータフレームを伝送するデータ転送ユニット；
現在の伝送周期が完了するに至るのを待つ周期補償ユニット、を含む、請求項７に記載のビデオデータ処理装置。
【請求項９】
前記データ転送ユニットが、前記ビデオデータフレームを転送する時、ライン同期信号の周波数と基準周波数の比率を少なくとも２に調整し、前記受信モジュールは、受信したライン同期信号に対して前記比率で分周を行う、請求項８に記載のビデオデータ処理装置。
【請求項１０】
前記ビデオデータ処理装置は、
前記第二フレーム率により前記再生待ちのビデオデータフレームを表示する再生モジュールを更に含む、請求項６〜９の何れか一項に記載のビデオデータ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ処理に関し、特にビデオデータ処理方法及びビデオデータ処理装置に関する。
【背景技術】
【０００２】
人々は、ビデオプレーヤーを使って動画を再生する時、ビデオデータをデコードした後プレーヤーに伝送していくことを必要とする。例えば、ビデオカードは、メモリーのビデオデータをデコードした後、一定のフレーム率で表示画面に伝送し、デコーダーは、MIPI、HDMI（登録商標）、DisplayPort等のビデオ転送インターフェースを用いて表示画面と接続する。現在、既存のフレーム率は、15fps，24fpsと30fpsであり、人間の目ですっかり見るほどの効果を達成する場合、フレーム率を60fps以上に維持する必要がある。これも、表示画面のリフレッシュレートが60hzを超える理由である。ビデオデータのフレーム率と表示画面のリフレッシュレートは異なるので、ビデオデータを表示画面に表示する時にジャムとシェイクの現象の出現をもたらす。
【０００３】
ジャムの問題を解決するために、既存の技術中に、MEMC（動き補間フレームと動き補正）というビデオ強化アルゴリズムがある。これは、物体運動のベクトルに基づいてビデオデータに対して補間フレームを行って、ビデオデータのフレーム数を表示画面のリフレッシュに必要となるフレーム数と等しくさせる。補間フレームをした後、ビデオデータのフレーム数と表示画面のフレーム数は同等であるので、表示画面はフレームの一枚ずつを処理するだけでもよく、表示画面にジャムとシェイクの問題を引き起こさない。
【０００４】
ただし、MEMCというビデオ強化アルゴリズムを採用してビデオのジャムとシェイクの問題を解決する時、運動ベクトルの計算は少なくとも二つのフレームを必要として補間フレームの内容を計算し出すので、ビデオデータの表示には遅延がある。つまり、補間フレームは、補間フレームの運算に参与する第二ビデオデータの受信が完了するに至ると計算を開始する。表示画面に表示するビデオデータの遅延は、第一ビデオデータと第二ビデオデータを受信するのを待つ時間及び補間フレームの運算の時間を含む。そのうち、補間フレームの運算の時間は第一ビデオデータの伝送時間よりはるかに少ない。例えば、ビデオデータのフレーム率は、1秒あたり30 fpsであり、二つのフレームを待つ時間が66.6msであり、つまり、遅延が少なくとも66.6msである。ビデオデータとユーザーの間にインタラクティブがある場合、例えば、ゲーム操作インターフェース、表示の遅延はインタラクティブの非同時性の問題を引き起こし、ユーザーのインタラクティブな操作の体感を低減させる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、従来技術の欠点を克服し、ビデオデータ処理方法及びビデオデータ処理装置を提供し、ビデオデータの伝送速度を向上することにより、補間フレームの運算の時機を早くし、ビデオ処理の遅延を低減する技術効果を達成する。
【課題を解決するための手段】
【０００６】
本発明は、ビデオデータ処理方法を公開し、第一フレーム率に稼働する送信端から第二フレーム率に稼働する受信端に至って送信するビデオデータを処理するのを用い、以下のステップを含む。
S101：前記送信端は、前記第一フレーム率により前記ビデオデータを少なくとも一つのビデオデータフレームに変える。
S102：前記送信端は、前記第一フレーム率に対応する各フレーム時間に前記受信端へ先のフレーム時間に形成したビデオデータフレームを一回送信し、その中で、各ビデオデータフレームの伝送周期内のデータ伝送時間と前記伝送周期の比率が半分に等しくなるように、される。
S103：前記受信端は、前記第一フレーム率に対応する隣り合う二つのフレーム時間内に一つのビデオデータフレームをそれぞれ受信する。
S104：ステップS103に受信した二つのビデオデータフレームに対して補間フレームの運算を行い、少なくとも一つのビデオデータ補間フレームを取得する。
【０００７】
S105：前記ビデオデータ補間フレームを前記二つのビデオデータフレームの間に入れ、再生待ちの一連のビデオデータフレームを形成する。
好ましくは、ステップS102を実行する時に、前記送信端は物理インターフェースを介して前記受信端へビデオデータフレームを送信する。
好ましくは、前記ステップS102は、前記第一フレーム率に対応する各フレーム時間内に以下のステップを実行する。
S102-1：前記送信端内のキャッシュユニットへ一つのビデオデータフレームを書き込む。
S102-2：物理インターフェースへ制御信号及び補助信号を伝送する。
S102-3：事前設定時間閾値内に前記物理インターフェースへ前記ビデオデータフレームを伝送する。
S102-4：現在の伝送周期が完了するに至るのを待つ。
【０００８】
好ましくは、S102-3を実行する時に、ライン同期信号の周波数と基準周波数の比率を少なくとも２に調整し、S103を実行する時に、受信したライン同期信号に対して前記比率で分周を行う。
好ましくは、ステップS105の後に、前記ビデオデータ処理方法は、更に以下のステップを含む。
S106：前記受信端は前記第二フレーム率により前記再生待ちのビデオデータフレームを表示する。
【０００９】
本発明は、ビデオデータ処理装置も公開し、第一フレーム率において稼働する送信端及び第二フレーム率において稼働する受信端を含み、前記ビデオデータ処理装置は、
前記送信端に配置され、前記第一フレーム率により前記ビデオデータを少なくとも一つのビデオデータフレームに変える転換モジュール；
前記送信端に配置され、前記転換モジュールと接続し、前記第一フレーム率に対応する各フレーム時間に前記受信端へ先のフレーム時間に形成したビデオデータフレームを一回送信し、ここにおいて、各ビデオデータフレームの伝送周期内におけるデータ伝送時間と前記伝送周期との比率は半分に等しくまたは小さいものである送信モジュール；
【００１０】
受信端に配置され、前記第一フレーム率に対応する相隣の二つのフレーム時間内に一つのビデオデータフレームをそれぞれ受信する受信モジュール；
受信端に配置され、前記受信モジュールと接続し、受信モジュールの受信した二つのビデオデータフレームに対して補間フレームの運算を行い、少なくとも一つのビデオデータ補間フレームを取得する補間フレーム計算モジュール；
受信端に配置され、前記補間フレーム計算モジュールと接続し、前記ビデオデータ補間フレームを前記二つのビデオデータフレームの間に入れ、再生待ちの一連のビデオデータフレームを形成するフレーム構造モジュールを含む。
【００１１】
好ましくは、前記送信モジュールは物理インターフェースを介して前記受信端へビデオデータフレームを送信する。
好ましくは、前記送信モジュールは
前記送信端に配置され、前記第一フレーム率に対応する各フレーム時間内に一つのビデオデータフレームを書き込むキャッシュユニット；
前記送信端に配置され、前記物理インターフェースへ制御信号及び補助信号を伝送する信号転送ユニット；
前記送信端に配置され、キャッシュユニットと接続し、事前設定時間閾値内に前記物理インターフェースへ前記ビデオデータフレームを伝送するデータ転送ユニット；
現在伝送周期が完了するに至るまで待つ周期補償ユニットを含む。
【００１２】
好ましくは、前記データ転送ユニットは前記ビデオデータフレームを転送する時、ライン同期信号の周波数と基準周波数の比率を少なくとも２に調整し、前記受信モジュールは、受信したライン同期信号に対して前記比率で分周を行う。
好ましくは、前記ビデオデータ処理装置は、
前記第二フレーム率により前記再生待ちのビデオデータフレームを表示する再生モジュールを更に含む。
以上の技術的な手段を採用した後、既存の技術と比べて、以下の有益な効果が具わる。
１． 処理中のビデオデータの遅延を低減し、インタラクティブの同時性を向上させ、ユーザーの体得を増強する。
２． ハードウェア機器の変更を必要としなく、低コストにする。
【図面の簡単な説明】
【００１３】
【図１】は、本発明の好適な実施例中の前記ビデオデータ処理方法に従うフローチャートである。
【図２】は、本発明の好適な実施例中の前記ステップS102に従うフロー図である。
【図３】は、本発明の好適な実施例中の前記ビデオデータ処理装置の構造図である。
【図４】は、本発明の好適な実施例中の前記送信モジュール112の構造図である。
【符号の説明】
【００１４】
10-ビデオデータ処理装置、11-送信端、111-転換モジュール、112-送信モジュール、1121-キャッシュユニット、1122-信号転送ユニット、1123-データ転送ユニット、1124-周期補償ユニット、12-受信端、121-受信モジュール、122-補間フレーム計算モジュール、123-構成ファイルモジュール、124-再生モジュール
【発明を実施するための形態】
【００１５】
添付の図面を参照して以下でさらに本発明の利点を詳細に説明する。
此処には、実施例を詳細に説明し、その実施例を図面に示す。以下の説明においては図面に関し、他の説明をしていない場合は、異なる図面中の同じ数字は同じ或は相似の部分を示す。以下の実施例中に説明される実施状態は、本発明の全ての実施状態を意味するものではない。これとは逆に、それらは、添付された請求の範囲の請求項に係るものであり、本発明の特定の態様と一致する装置と方法を例示するだけである。
【００１６】
本発明に使用する専門用語は、特定実施例を説明する目的のためのものであり、本発明を限定することを意図しない。本発明の添付請求項に使用される単数形の「一種」や「前記」や「その」は、文脈がそうでないことを明確に示さない限り、複数形をも含むことを意図している。更に、本発明に使用される「及び/又は」は、関連する列挙された一つあるいは複数の項目の任意の或は全ての可能な組合を含むものでると理解されるべきである。
【００１７】
本発明において、第一、第二または第三等の用語を用いて様々な情報を説明するが、これ等の情報は、それらの用語に限定されるものではないと理解されるべきである。これ等の用語は同じ類型の情報を互いに区別するために使われる。例えば、本発明の範囲を逸脱することなしに、第一情報が第二情報とも呼ばれ、同様に、第二情報が第一情報とも呼ばれ得る。これは、文脈により決まり、例えば、ここに使用される言葉「例えば」は、「…した時」や「…した際」や「に応じて」と解釈される。
【００１８】
本発明の説明においては、用語「縦」、「横」、「上」、「下」、「前」、「後」、「左」、「右」、「垂直」、「水平」、「上部」、「下部」、「内側」、「外側」等の指示方位または位置関係は図面に基づく方位或は位置関係であり、本発明を説明し簡略化する利便のためのものであるが、言及された装置または要素を必ず特定の方位にし、特定の方位で構成し、操作することを示し或は暗示するものではないと理解されるべきであり、本発明を限定するものであると理解されてはならない。
【００１９】
本発明の説明においては、特に指定または限定されない限り、専門用語「インストール」、「連接」、「接続」は広義に解釈されるべきである。例えば、それらは、機械的の接続或は電気的の接続であり、又は二つの構成要素の内部の接続である。それらは直接接続であっても、又は仲介者を介する間接接続であってもよい。当業者にとって、上記の用語の特定の意味は、特定の状況に従って理解することができる。
【００２０】
以下の説明においては、構成要素を示すのを用いる「モジュール」、「部品」または「ユニット」の様な接尾辞を使って本発明を説明するのが有利であるために用いており、それらの用語自身に特定の意味があるとは限らない。そのため、「モジュール」と「部品」とは混合して使用することができる。
【００２１】
図１に示すように、本発明の好適な実施例中の前記ビデオデータ処理方法に適うフローチャートであり、前記ビデオデータ処理方法は、以下のステップを含む。
S101：前記送信端11は、前記第一フレーム率により前記ビデオデータを少なくとも一つのビデオデータフレームに変える。
前記送信端11は、プレーヤー、グラフィックカード等のデコード機能を備えるデバイスであり、デジタル形式のビデオファイルを再生可能なビデオ信号にデコードし、前記ビデオ信号は複数のフレームのビデオデータで構成される。前記送信端11は第一フレーム率により各フレームのビデオデータを生成する。前記第一フレーム率は、15fps，24fps或は30fpsとなり、その中に、fpsは1秒あたりの転送したフレームの数であり、1秒あたりの転送したフレームの数は多くなるほど、表示された動作がますます滑らかになる。通常に、動作が滑らかでなくなることを回避すしようとする最低値は30fpsであり、幾つかの計算機のビデオ形式は、秒ごとに15枚のフレームのみを提供する。前記ビデオデータはwmv、rmvb、3gp、mp4等のデータ形式となり、常にビデオフイルムの形式で記憶装置に保存する。このステップには、前記ビデオデータを少なくとも一つのビデオデータフレームに変える。前記ビデオデータフレームは、即ちフレームごとに再生したビデオデータの内容は、常に画素の表現となり、一枚の写真と見なすことができる。第一フレーム率が15fpsとなる時、１秒間に15枚のビデオデータフレームがある。ビデオデータの再生するフレーム時間及び第一フレーム率が異なることにより、変換し出したビデオデータフレームの数量も異なる。前記ビデオデータフレームは後続の再生操作の基礎であり、再生デバイスは、フレームの一枚ずつの方式により前記ビデオデータフレームを再生し、動的なビデオ効果を達成する。
【００２２】
S102：前記送信端11は、前記第一フレーム率に対応する各フレーム時間に前記受信端12へ先のフレーム時間に形成したビデオデータフレームを一回送信し、その際に、各ビデオデータフレームの伝送周期内のにおけるデータ伝送時間と前記伝送周期との比率は、半分に等しく、或は小さくなる。
前記受信端12は、即ちビデオを再生するデバイス、表示画面やテレビ等のデバイスとなり、第二フレーム率で稼働し、60fps以上にすることができる。第二フレーム率は第一フレーム率の2倍以上にすることができ、滑らかな再生効果を達成する。同様に、ユーザーは早送りを選定する時、前記ビデオを再生するデバイスは、前記第二フレーム率を向上させ、早送りの効果を達成し、早送りをする時前記第一フレーム率も同時に向上させる。
【００２３】
従来技術では、前記送信端11が前記ビデオデータフレームを送信するフレーム時間は、ビデオデータフレームを再生し表示するフレーム時間と大体等しく、つまり、一枚のフレームを転送して一枚のフレームを再生する。且つ現在転送するビデオデータフレームは、先のフレーム時間に前記ビデオファイルを変換して出力したビデオデータフレームである。例えば、第一フレーム率は30fpsである時、対応のフレームごとのフレーム時間は33.3ミリ秒であり、ステップS101はフレーム時間ごとに一枚のビデオデータフレームを変換し出力する。前記送信端11は0-33.3ミリ秒間で第一のビデオデータフレームを変換し出力すると、33.3-66.6ミリ秒間の第二フレーム時間に前記第一のビデオデータフレームを前記受信端12に向けて転送し、一回だけ転送して、前記送信端11は第二のビデオデータフレームを変換し出力する。66.6-99.9ミリ秒間で、前記送信端11は前記第二のビデオデータフレームを前記受信端12に向けて転送する。その他もろもろ、枚挙にいとまがない。前記ビデオデータフレームを一つずつ連続的に送信し、前記ビデオファイルの転送が完了するに至る。ビデオデータフレームごとの転送周期は、フレーム時間と大体等しく、データ転送時間と補助転送時間を含み、そのうち、前記データ転送時間は、実際に前記ビデオデータフレームを転送する時間であり、前記補助転送時間は、制御信号を転送し、オーディオ信号を転送し或は他の補助情報を転送する時間であり、前記補助転送時間はブランキング時間と呼ばれ、ソフトウェアの開発にはblankingで標識する。その中における、前記データ転送時間が前記転送周期において占める比例は80％以上であり、つまり、データ転送の占める時間が前記転送周期の半分以上である。
【００２４】
本発明におけるこのステップは上記の従来技術に対して改善を提出し、前記ビデオデータフレームの転送速度を向上させることにより前記転送時間を縮め、従って前記データ転送時間と前記転送周期の比率を低減するものであり、前記比率は半分に等しいか或はさらに小さい。前記転送周期中の補助転送時間は相応に伸ばすことができ、前記転送周期を不変に維持させたままで、依然として一つのフレーム時間にほぼ相当するものである。このステップの要点は、前記ビデオデータフレームの生成速度と転送速度を分離し、従来技術における両方を同期化する技術路線とは異なり、前記ビデオデータフレームの転送速度を向上させることによって前記転送時間を縮めるものである。前記ビデオデータフレームの転送速度を向上させることは転送インターフェースの利用率を向上させることにより実現し、例えば、HDMIインターフェースの最高データ転送速度は48Gbpsであり、1080pビデオと8チャンネルのオーディオ信号には0.5GB/s未満であることを必要とする。そのため、転送インターフェースには依然として大幅な改善余地があり、前記ビデオデータフレームの転送速度を数倍或は数十倍向上させる可能性がある。
【００２５】
例えば、前記データ転送時間と前記転送周期の比率が三分の一である時、第一フレーム率は30fpsであり、対応のフレーム時間が33.3ミリ秒であり、ステップS101はフレーム時間において一つのビデオデータフレームの変換を開始する。前記送信端11は0-33.3ミリ秒間で第一のビデオデータフレームを変換すると、33.3−44.4ミリ秒間の第二フレーム時間に第一のビデオデータを前記受信端１２にむけて転送する。前記送信端11は33.3-66.6ミリ秒の間に第二のビデオデータフレームの変換を開始する。前記送信端11は、66.6−77.7ミリ秒の間に第二のビデオデータを前記受信端12に向けて転送する。従来技術においては第二のビデオデータフレームを送信し終える時間は99.9秒であり、本願発明におけるこのステップは77.7秒間であり、22.2秒の時間が早められる。上記の時間の計算においては前記転送周期内の補助信号の転送時間を考えない。実際には第二のビデオデータフレームの補助信号の転送は先のフレーム時間において完了することができ、このフレーム時間を占める必要がない。これは、一つのフレーム時間においてビデオデータフレームの転送を早く行うことができるということである。注意事項は、このステップのフレーム時間は、第一フレーム率で計算されるということであり、つまり第一フレーム率でフレームごとの再生フレーム時間が決められることである。
【００２６】
S103：前記受信端12は、前記第一フレーム率に対応する隣り合う二つのフレーム時間内にそれぞれ一つのビデオデータフレームを受信する。
このステップは前記受信端12の受信方式を説明する。ステップS102は第一フレーム率に対応するフレーム時間内に、ビデオデータフレームの内容を一転送するので、前記受信端12は同じ時間内にビデオデータフレームを最少でも一回は受信することを意味する。ステップS102は転送周期ごとにビデオデータフレームの転送時間を圧縮するので、前記受信端12は現在のフレーム時間の完結を待たなくても前記ビデオデータフレームの受信を完了することができ、そして後続の補間フレームの運算を早めることもできる。このステップにおいて、前記受信端12は、前記第一フレーム率に対応する隣り合う二つのフレーム時間において、それぞれ一つのビデオデータフレームをそれぞれ受信し、後続のステップにおいて補間フレームの運算を行うための基礎とする。
【００２７】
例えば、前記データ転送時間の、前記転送周期に対する比率が三分の一である時、第一フレーム率が30fpsであると、対応のフレーム時間は33.3ミリ秒となり、33.3-66.6ミリ秒間の第二フレーム時間に前記受信端12が第一のビデオデータフレームを一回受信し、受信し終える時点は44.4ミリ秒である。66.6-99.9ミリ秒間の第三フレーム時間に前記受信端12が第二のビデオデータフレームを一回受信し、受信し終える時点は77.7ミリ秒である。同様に一つのフレーム時間が経つ毎に、前記受信端12は一つのビデオデータフレームを受信し、その他もろもろ、枚挙にいとまがなく、前記ビデオデータ全部を受信し終えるに至るのであり、二つの隣り合うフレーム時間のそれぞれにおいてビデオデータフレームを一回受信する。注意すべき事は、このステップのフレーム時間は、第一フレーム率で計算されることである。
【００２８】
従来技術においては、前記補間フレームの運算は、二つのビデオデータフレームに依存して行い、そのため、前記受信端12は第一フレーム時間で時前記第一のビデオデータフレームと前記第二のビデオデータフレームを受信し終えると、後続の補間フレームの運算を行うことができる。すなわち、実際の補間フレームの再生時間は少なくとも第三フレーム時間を終えた後でないと始まらず、つまり、99.9秒後に再生が行われる。
【００２９】
本発明においては、このステップは前記受信端12の受信時間を圧縮するので、上記の実例中の前記受信端12は77.7秒で第二のビデオデータフレームの受信が終了して、直ぐに補間フレームの運算が行われる。補間フレームの運算の時間は一つのフレーム時間と比べて非常に短く、例えば3ミリ秒の間に行うとすると、80ミリ秒の時点ですぐに補間フレームを再生し始める。従来技術と比べて補間フレームの遅延を低減し、全体的にビデオを再生する遅延を縮めることになる。ステップS102において、前記送信端11が同じフレーム時間の間に同じビデオデータフレームを送信する速度がより早くなると、前記受信端12は一つのフレーム時間内に一つのビデオデータフレームを受信する時間がより短くなる。補間フレームの運算の時間を更に早めると、ビデオ処理の遅延はより短くなる。
【００３０】
S104：ステップS103において受信した二つのビデオデータフレームに対して補間フレームの運算を行い、少なくとも一つのビデオデータ補間フレームを取得する。
このステップは補間フレームの運算を実行する。運算に関与する対象は上記のステップS103において受信した隣り合う二つのビデオデータフレームである。よく知られた補間フレームの運算のアルゴリズムはMEMC、即ちMotion Estimate and Motion Compensation、動き推定と動き補正の略称、であり、LCD TVでよく使用される動画品質補正技術である。その原理は、動的画像システムを採用して従来の二つのフレームの画像の間に一つの動き補正フレームを内挿して、通常の薄型テレビのリフレッシュ速度を50/60Hzから100/120Hzに上げるものである。これにより、動的画像はより鮮明で滑らかになり、通常の反応効果よりも優れたものとなり、先のフレーム画像の残留イメージを消去して動的鮮明度を向上させる効果を達成し、人間の目で知覚し難いほどに残像イメージを低減する。例えば、元の一連の動画のフレームの順番が、1、2、3、4、5、6であるとする。MEMC技術は、パーティションで水平と垂直の両方向に画像の運動傾向を分析した後、元の各フレームの間に一つの中間フレームを挿入、即ち、ビデオデータ補間フレームを挿入した後では、フレームの順番は、1、1C、2、2C、3、3C、4、4C、5、5C、6と変わる。そうすると、元のフィールド周波数では、現在の全てのフレームを表示し得ないので、フィールド周波数を倍に増強、つまり、50/60Hzから100/120Hzまで増加させる。MEMC技術と周波数倍増技術とは見かけ上区別できないことになる。
【００３１】
補間フレームの運算を経た後、前記受信端12は前記第二フレーム率で最終的なビデオデータフレームを再生する。前記第一フレーム率と第二フレーム率の倍数関係を考えると、二つの前記ビデオデータフレームの間に挿入したフレームの数は異なる、すなわち例えば、前記第一フレーム率は30fpsであり、前記第二フレーム率は60fpsである場合、二つのビデオデータフレームごとの間に一つのビデオデータフレームを挿入することができる。前記第二フレーム率を120 fpsとすると、二つのビデオデータフレームの間毎に三つのビデオデータフレームを挿入することができる。
【００３２】
S105：前記ビデオデータ補間フレームを前記二つのビデオデータフレームの間に入れ、再生待ちの一連のビデオデータフレームを形成する。
このステップはフレーム構成の操作を実行する。ステップS104において取得したビデオデータ補間フレームを受信したビデオデータフレームに挿入し、一組の再生待ちのビデオデータフレームを形成する。そして、再生デバイスにはハードウェアの動作周波数を対応させる。つまり、第二フレーム率において前記ビデオデータフレームを一つずつ再生して、且つジャムは生じないようにする。
【００３３】
前記ビデオデータ処理方法の更なる改善として、ステップS102 を実行する時、前記送信端11は物理インターフェースを介して前記受信端12へビデオデータを送信する。この改善した実施例は前記送信端11と受信端12の接続方式を限定するものであり、つまり、物理インターフェースで接続するものである。前記物理インターフェースはMIPI、HDMI（登録商標）、DisplayPort等のビデオ転送インターフェースである。前記転送周期の補助転送時間に、制御信号やオーディオ信号或は他の補助信号を送信し終えた後は、前記物理インターフェースが高抵抗状態或は他の状態にあることが可能であり、低消費電力の態様になる。
【００３４】
前記ビデオデータ処理方法の更なる改善として、前記ビデオデータ処理方法は、ステップS105 の後に更に以下のステップを含む。
S106：前記受信端12は前記第二フレーム率により前記再生待ちのビデオデータフレームを表示する。
このステップは再生操作を実行する。フレームを構成し終えてビデオデータ補助フレームに含む一組のビデオデータフレームを表示デバイスに表示する。ビデオデータフレームが再生画面毎に必要とする画素情報を記録し、ハードウェアデバイスで前記画素情報を表示することが可能であり、ビデオデータの再生を実現する。ステップS103、S104、S105 を連続的に実行するので、再生待ちのビデオデータフレームを次々に形成する。そのため、このステップは多数のビデオデータフレームを受信するのを待ってから再生する必要はない。代わりに、ステップS105でフレームを構成し終えたら、前記第二フレーム率により、再生操作を行う。
【００３５】
図2に、本発明の好適な実施例中の前記ステップS102 におけるフロー図を示し、前記ステップS102 は前記第一フレーム率に対応するフレーム時間ごとに以下のステップを実行する。
S102-1：前記送信端11内のキャッシュユニット1121へ一つのビデオデータフレームを書き込む。
前記送信端11は、前記ビデオデータフレームを生成した後、前記ビデオデータフレームを前記送信端11内のキャッシュユニット1121に保存するが、ある応用環境では前記キャッシュユニットはFrame Bufferとも称される。このステップでコード層を完成し、つまり、一つのフレーム時間において前記キャッシュユニット1121への書き込み命令を一回実行する。
【００３６】
S102-2：物理インターフェースへ制御信号及び補助信号を伝送する。
このステップは、制御信号と補助信号の転送操作を実行し、更にオーディオ信号の転送操作も実行する。前記信号の転送とビデオデータフレームの転送については転送時間の圧縮はなされない。異なる物理インターフェースにおいては、その制御信号の類型とインターフェースプロトコルが全く異なるものであって、様々な制御信号時間系列があるので、一部の制御信号は、前記ビデオデータフレームの転送過程中において相乗的に作用し、分離したステップによって単独で実行するというわけにはいかない。
【００３７】
S102-3：事前設定時間閾値内に前記物理インターフェースへ前記ビデオデータフレームを伝送する。
本発明は、前記キャッシュユニット1121内のビデオデータフレームを前記物理インターフェースに送信し、ドライバー層を介してソフトウェアデータを電信信号に転換して前記物理インターフェースを通して発出することを実現する。このステップは、前記物理インターフェースのプロトコルを満足しなければならない。このステップにおいて前記ビデオデータフレームを転送する時間は事前設定時間閾値内にあるべきであり、前記時間閾値は前記転送周期の半分より小さくなり、実際に前記ビデオデータフレームの転送時間については、ビデオ処理の遅延を縮める技術効果を実現する。
【００３８】
S102-4：現在の伝送周期が完了するに至るまで待つ。
このステップの目的は、現在の転送周期の時間を補足し、前記ビデオデータフレームの転送の同期を確保する。前記送信端11が前記ビデオデータフレームを形成する速度は、前記第一フレーム率により行われるので、前記ビデオデータフレームの転送速度が早くになるにもかかわらず、前記送信端11が次のビデオデータフレームを形成するのを待つのを必要とする転送を行うだけで、このステップを実施して前記転送周期の安定を保持する。
【００３９】
前記ビデオデータ処理方法の更なる改善として、ステップS102-3を実行する時、ライン同期信号の周波数と基準周波数の比率が少なくとも２になるように調整する。ステップS103を実行する時、受信したライン同期信号に対して前記比率で分周を行う。この改善した実施例は、更に前記ビデオデータフレームの転送時間を縮める技術的な手段を最適化すること、つまり、ビデオデータフレームを転送する時のライン同期信号の周波数を調整することにより改善を実現する。前記基準周波数は、従来技術中の前記データ転送時間の占める前記転送周期の比例が80%以上になる時のライン同期信号の周波数である。ライン同期は、水平同期とも称され、表示画面に電子ビームが右側から出発点（画面の左側）に戻るように制御する過程であり、水平帰線とも呼ぶ。デジタルディスプレイテクノロジーの開発においては、デジタルビデオデータが送信される際の水平同期信号はHSYNCとも呼ばれる。HSYNCが有効な場合、受信した信号は同じラインに属する。同様に、フィールド同期信号はまたVSYNCとも称され、VSYNCが有効な場合、受信した信号は同じラインに属する。
【００４０】
例えば、ピクセルA x Bで画像を表示しようとすると、
2021500786.tif 000003
と
2021500786.tif 000004
があり、そこにおいて、PCLKは画像素子同期クロック信号であり、PCLKが一つの画像素子ごとに対応する。前記基準周波数は従来技術中のHSYNCの周波数である。上記の計算関係により、HSYNCの周波数は基準周波数の3倍に増加するが、VSYNCの作業周期は変えらない場合、前記ビデオデータフレームは、即ち画像素子データは、前記転送周期の三分の一の時間で完成され、前記転送周期の三分の二の長さの補助転送時間を挿入する必要があり、それはBlinking時間である。この改善した実施例においては、前記ライン同期信号の周波数と前記基準周波数との比は少なくとも２になり、それは、前記ビデオデータフレームの転送時間を少なくとも半分に縮める。水平同期信号の周波数を倍に増加すると、受信端12は受信したライン同期信号に対して分周を行う必要があり、実際の水平同期の時間系列に戻るように、前記受信端12に分周器を増設することによって、これを実現する。前記分周器の分周倍数は前記ライン同期信号の周波数と前記基準周波数の比率である。前記受信端12は前記ビデオデータフレームに対して事前にバッファーし、次に分周をしたライン同期信号を配して処理を行い、従って表示の同期を実現する。
【００４１】
図3に、本発明の好適な実施例中の前記ビデオデータ処理装置10の構造図を示し、前記ビデオデータ処理装置10は、第一フレーム率に稼働する送信端11及び第二フレーム率に稼働する受信端12を含み、前記ビデオデータ処理装置10は、更に以下のモジュール含む。
-転換モジュール111
転換モジュール111は、前記送信端12に配置し、前記第一フレーム率により前記ビデオデータを少なくとも一つのビデオデータフレームに変える。転換モジュール111は、プレーヤー、グラフィックカード等のデコード機能を備えるデバイスであり、様々なデータ形式の前記ビデオデータを複数のビデオデータフレームに変え、ビデオデータフレームが転換する時前記第一フレーム率に満足する。
【００４２】
-送信モジュール112
前記送信モジュール112は、前記送信端11に配置され、前記転換モジュール112と接続し、前記送信端11は前記第一フレーム率に対応する各フレーム時間に前記受信端12２へ先のフレーム時間に形成したビデオデータフレームを一回送信し、その際に、各ビデオデータフレームの伝送周期内のデータ伝送時間と前記伝送周期との比率は半分に等しく或は小さくなるようにする送信モジュールである。前記送信モジュール112は、前記転換モジュール111から転換し終えたビデオデータフレームを受信して前記受信端12に送信する。前記送信モジュール112はビデオデータ転送チャンネルの容量を存分に利用し、転送速度を向上させて一つビデオデータフレームを送信する時間を縮める。
【００４３】
-受信モジュール121
前記受信モジュール121は、前記受信端12に配置され、前記第一フレーム率に対応する隣り合う二つのフレーム時間内にそれぞれ一つのビデオデータフレームを受信する。前記受信モジュール121は送信モジュール112から送信したビデオデータフレームを受信するが、前記送信モジュール112が前記ビデオデータフレームの転送時間を縮めているため、前記受信モジュール121は前記転送周期の間に前記ビデオデータフレームの受信を終了することができる。前記受信モジュール121は隣り合う二つのフレーム時間の間に二つのビデオデータフレームをそれぞれ受信し、後続の補間フレームの運算のための基礎を提供する。前記受信モジュール121は、前記ビデオデータフレームを受信するのに一つのフレーム時間の半分の時間しかかからないので、補間フレームの運算に前記フレーム時間の剰余時間を充てることができ、従来技術と比べて、補間フレームの運算の開始時点を早める。前記受信モジュール121の動作において参照したフレーム時間は第一フレーム率で計算され、即ち第一フレーム率においては一つのフレームごとの再生時間である。
【００４４】
-補間フレーム計算モジュール122
前記補間フレーム計算モジュール122は、前記受信端12に配置され、前記受信モジュール121と接続し、前記受信モジュールが受信した二つのビデオデータフレームに対して補間フレームの運算を行い、少なくとも一つのビデオデータ補間フレームを得る。前記補間フレーム計算モジュール122は、前記受信モジュール121から隣り合う二つのビデオデータフレームを取得し、前記二つのビデオデータフレームに基づいて補間フレームの運算を行う。前記補間フレーム計算モジュール122には補間フレームの運算のアルゴリズム、例えば、MEMC、即ち、動き推定と動き補正のアルゴリズムが組み込まれている。
【００４５】
-フレーム構造モジュール123
前記フレーム構造モジュール123は、受信端12に配置され、前記補間フレーム計算モジュール122と接続し、前記ビデオデータ補間フレームを前記二つのビデオデータフレームの間に入れ、再生待ちの一連のビデオデータフレームを形成する。前記フレーム構造モジュール123は、補間フレーム計算モジュール122からビデオデータフレームを取得し、そして更に前記受信モジュール121から受信したビデオデータフレームを取得し、これら運算基礎とする二つのビデオデータフレームの間に、前記ビデオデータフレームを挿入して一組の再生待ちのビデオデータフレームを共同で組み立てる。
【００４６】
前記ビデオデータフレームの処理装置の更なる改善として、前記送信モジュール112は物理インターフェースを介して前記受信端12へビデオデータフレームを送信する。この改善した実施例は前記送信端11と受信端12の接続方式を限定するものであり、つまり、物理インターフェースで接続する。前記物理インターフェースはMIPI、HDMI（登録商標）、DisplayPort等のビデオ転送インターフェースである。前記送信モジュール112は前記物理インターフェースを介して前記受信モジュール121と接続し、ビデオデータフレームの転送を実現する。
【００４７】
前記ビデオデータ処理装置10の更なる改善として、更に前記ビデオデータ処理装置10は以下のステップを含む。
-再生モジュール124
前記再生モジュール124は前記受信端12に設置され、前記フレーム構造モジュール123と接続し、前記第二フレーム率により前記再生待ちのビデオデータフレームを表示する。前記再生モジュール124は前記フレーム構造モジュール123から前記再生待ちのビデオデータフレームを取得して、前記第二フレーム率により再生する。前記再生モジュール124は、表示画面及び表示回路であってよく、表示回路は、前記ビデオデータフレームを物理的な画素の電気信号に変換するのに利用する。前記表示画面は前記物理的な画素を表示する。
【００４８】
図4は、本発明の好適な実施例における前記送信モジュール112の構造図を示すものであり、前記送信モジュール112は、以下のステップを含む。
-キャッシュユニット1121
前記キャッシュユニット1121は、前記送信端11に配置し、前記第一フレーム率に対応する各フレーム時間内に一つのビデオデータフレームを書き込む。前記キャッシュユニット1121は、メモリ、ハードディスク等の様な物理記憶媒体であてよく、データを記憶することができる。
【００４９】
-信号転送ユニット1122
前記信号転送ユニット1122は、前記送信端11に配置され、前記物理インターフェースへ制御信号及び補助信号を伝送する。前記信号転送ユニット1122は、制御信号及び補助信号の転送操作を実行し、更にオーディオ信号の転送操作も実行する。異なる物理インターフェースであれば、その制御信号の類型とインターフェースプロトコルは全く異なり、様々な制御信号時間系列があり、一部の制御信号は、前記ビデオデータフレームの転送過程中に相乗的に作用しようとする。
【００５０】
-データ転送ユニット1123
前記データ転送ユニット1123は、前記送信端11に配置され、キャッシュユニット1121と接続し、事前設定時間閾値内に前記物理インターフェースへ前記ビデオデータフレームを伝送する。前記データ転送ユニット1123は、ドライバー層を介してソフトウェアデータを電信信号に転換して前記物理インターフェースを通して発出することを実現する。前記データ転送ユニット1123が前記ビデオデータフレームを転送する時に、前記物理インターフェースのプロトコルを満足しなければならない。前記ビデオデータフレームを転送する時間は事前設定時間閾値内にあるべきであり、前記時間閾値は前記転送周期の半分より小さくなり、実際に前記ビデオデータフレームの転送時間についてはビデオ処理の遅延を縮める技術効果を実現する。いくつかの物理インターフェースのインターフェースプロトコルにおいては、前記データ転送ユニット1123が前記ビデオデータフレームを転送する時、前記信号転送ユニット1122が同期に調和して信号状態を制御する、例えば、HDMIインターフェースに、VSYNCとHSYNCの高低電気的レベルを制御する、必要があり、データ転送の補助確認を行う。
【００５１】
-周期補償ユニット1124
前記周期補償ユニット1124は、現在の伝送周期が完了するに至るまで待つ。前記周期補償ユニット1124の作用は、現在の転送周期の時間を補填し、前記ビデオデータフレームの転送周期を確保することである。前記転換モジュール111が前記ビデオデータフレームを形成する速度は、前記第一フレーム率により行ので、前記ビデオデータフレームの転送速度が早くなるにもかかわらず、前記転換モジュール111は次のビデオデータフレームを形成するのを待つ必要とする状態で転送を行う。そのため、前記データ転送ユニット1123が前記ビデオデータフレームを転送し終えた後、前記周期補償ユニット1124が前記転送周期の安定を保持する。
【００５２】
前記ビデオデータ処理装置10の更なる改善として、前記データ転送ユニット1123は前記ビデオデータフレームを転送する時、ライン同期信号の周波数と基準周波数との比を、少なくとも２に調整する。前記受信モジュール121は、受信したライン同期信号に対して前記の比で分周を行う。この改善した実施例は、更に前記ビデオデータフレームの転送時間を縮める技術的な手段を最適化し、つまり、ビデオデータフレームを転送する時のライン同期信号の周波数を調整することにより最適化を実現する。前記データ転送ユニット1123はライン同期信号の周波数を少なくとも倍に向上させ、前記ビデオデータフレームの転送時間を少なくとも半分に縮めさせる。前記受信モジュール121にも分周器を増設し、受信したライン同期信号に対して分周を行い、実際のライン同期の時間系列を取り戻す。前記分周器の分周倍数は、前記水平同期信号の周波数と前記基準周波数の比である。前記受信モジュール121は前記ビデオデータフレームに対して事前にバッファーし、次に分周をしたライン同期信号を利用して処理を行い、従って表示の同期を実現する。
【００５３】
本発明の実施例としてより良い実施状態もあり得るのであり、上記各実施例は本発明を特定の形式で限定する意図ではなく、本技術の分野において技術を熟知する任意の当業者は、上記の開示された技術内容を利用して有効な他の実施例に変更し或は修飾することができ、本発明の趣旨及び範囲から逸脱しない内容であるならば、本発明の技術本質により上記の実施例に対する任意の修正或は同様の変更及び修飾は、本発明の請求項の範囲内のものであることに注意を払うべきである。
【図１】
2021500786.tif 000005
【図２】
2021500786.tif 000006
【図３】
2021500786.tif 000007
【図４】
2021500786.tif 000008
【国際調査報告】
2021500786.tif 000009
2021500786.tif 000010
2021500786.tif 000011
2021500786.tif 000012
2021500786.tif 000013
2021500786.tif 000014