(57)【特許請求の範囲】
【請求項１】
ビデオデータをエンコードするための方法であって、
１つまたは複数のプロセッサが、カメラから少なくとも１つのビデオフレームを取得することと、
前記１つまたは複数のプロセッサが、少なくとも１つのカメラパラメータを取得することと、ここで、前記少なくとも１つのカメラパラメータは、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、およびフレームのぼやけ情報のうちの１つまたは複数を含む、
前記１つまたは複数のプロセッサが、エンコードされたフレームを形成するために前記少なくとも１つのビデオフレームをエンコードすることと、
前記１つまたは複数のプロセッサが、デコーダが埋め込まれたパラメータを読み取って前記ビデオデータをフレームレート・アップコンバートすることができるように、前記エンコードされたフレーム中に前記カメラパラメータを埋め込むことと、
を備える方法。
【請求項２】
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータをパケット化することと、
前記パケット化された少なくとも１つのカメラパラメータを、前記対応するキャプチャされたビデオフレームにメタデータとして添付することと、
をさらに備える、請求項１に記載の方法。
【請求項３】
前記少なくとも１つのカメラパラメータに少なくとも部分的に基づいて、ビデオフレームについてエンコーディング・プロセスを決定することと、
前記決定されたエンコーディング・プロセスに基づいて、前記ビデオフレームをエンコードすることと、
をさらに備える、請求項１に記載の方法。
【請求項４】
前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、請求項１に記載の方法。
【請求項５】
前記カメラは、無線電話である、請求項１に記載の方法。
【請求項６】
カメラから少なくとも１つのビデオフレームを取得するための手段と、
少なくとも１つのカメラパラメータを取得するための手段と、ここで、前記少なくとも１つのカメラパラメータは、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、およびフレームのぼやけ情報のうちの１つまたは複数を含む、
エンコードされたフレームを形成するために前記少なくとも１つのビデオフレームをエンコードするための手段と、
デコーダが埋め込まれたパラメータを読み取って前記ビデオデータをフレームレート・アップコンバートすることができるように、前記エンコードされたフレーム中に前記少なくとも１つのカメラパラメータを埋め込むための手段と、
を備える電子デバイス。
【請求項７】
カメラから少なくとも１つのビデオフレームを取得するための前記手段は、ビデオカメラを備える、請求項６に記載のデバイス。
【請求項８】
少なくとも１つのカメラパラメータを取得するための前記手段は、プロセッサを備える、請求項６に記載のデバイス。
【請求項９】
前記少なくとも１つのビデオフレームをエンコードするための前記手段は、前記カメラ内のビデオエンコーダを備える、請求項６に記載のデバイス。
【請求項１０】
前記少なくとも１つのカメラパラメータを埋め込むための前記手段は、
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータをパケット化するための手段と、
前記パケット化された少なくとも１つのカメラパラメータを、前記対応するキャプチャされたビデオフレームにメタデータとして添付するための手段と、
を備える、請求項６に記載のデバイス。
【請求項１１】
前記少なくとも１つのカメラパラメータに少なくとも部分的に基づいて、ビデオフレームについてエンコーディング・プロセスを決定するための手段と、
前記決定されたエンコーディング・プロセスに基づいて、前記ビデオフレームをエンコードするための手段と、
をさらに備える、請求項６に記載のデバイス。
【請求項１２】
前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、請求項６に記載のデバイス。
【請求項１３】
前記デバイスは、無線電話である、請求項６に記載のデバイス。
【請求項１４】
カメラから少なくとも１つのビデオフレームを取得するように構成されたビデオ・キャプチャ・デバイスと、
少なくとも１つのカメラパラメータを取得するように構成されたプロセッサと、ここで、前記少なくとも１つのカメラパラメータは、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、およびフレームのぼやけ情報のうちの１つまたは複数を含む、
エンコードされたフレームを形成するために前記少なくとも１つのビデオフレームをエンコードし、デコーダが埋め込まれたパラメータを読み取って前記ビデオデータをフレームレート・アップコンバートすることができるように、前記エンコードされたフレーム中に前記カメラパラメータを埋め込むように構成されたエンコーダと、
を備える、電子デバイス。
【請求項１５】
前記プロセッサは、
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータをパケット化し、
前記パケット化された少なくとも１つのカメラパラメータを、前記対応するキャプチャされたビデオフレームにメタデータとして添付する、
ようにさらに構成される、請求項１４に記載のデバイス。
【請求項１６】
前記エンコーダは、
前記少なくとも１つのカメラパラメータに少なくとも部分的に基づいて、ビデオフレームについてエンコーディング・プロセスを決定し、
前記決定されたエンコーディング・プロセスに基づいて、前記ビデオフレームをエンコードする、
ようにさらに構成される、請求項１４に記載のデバイス。
【請求項１７】
前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、請求項１４に記載のデバイス。
【請求項１８】
前記電子デバイスは、無線電話である、請求項１４に記載のデバイス。
【請求項１９】
コードを記憶されたコンピュータ読取可能な記憶媒体であって、前記コードは、１つまたは複数のプロセッサによって実行されたときに、
カメラから少なくとも１つのビデオフレームを取得することと、
少なくとも１つのカメラパラメータを取得することと、ここで、前記少なくとも１つのカメラパラメータは、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、およびフレームのぼやけ情報のうちの１つまたは複数を含む、
エンコードされたフレームを形成するために前記少なくとも１つのビデオフレームをエンコードすることと、
デコーダが埋め込まれたパラメータを読み取って前記ビデオデータをフレームレート・アップコンバートすることができるように、前記エンコードされたフレーム中に前記カメラパラメータを埋め込むことと、
を備える方法を行う、コンピュータ読取可能な記憶媒体。
【請求項２０】
実行されたときに、
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータをパケット化し、
前記パケット化された少なくとも１つのカメラパラメータを、前記対応するキャプチャされたビデオフレームにメタデータとして添付する、
コードをさらに備える、請求項１９に記載のコンピュータ読取可能な記憶媒体。
【請求項２１】
実行されたときに、
前記少なくとも１つのカメラパラメータに少なくとも部分的に基づいて、ビデオフレームについてエンコーディング・プロセスを決定し、
前記決定されたエンコーディング・プロセスに基づいて、前記ビデオフレームをエンコードする、
コードをさらに備える、請求項１９に記載のコンピュータ読取可能な記憶媒体。
【請求項２２】
前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、請求項１９に記載のコンピュータ読取可能な記憶媒体。
【請求項２３】
前記カメラは、無線電話である、請求項１９に記載のコンピュータ読取可能な記憶媒体。
【請求項２４】
ビデオデータをデコードするための方法であって、
１つまたは複数のプロセッサが、ビデオデータと埋め込まれたデータとを含むビットストリームを受信することと、
前記１つまたは複数のプロセッサが、前記埋め込まれたデータから少なくとも１つのカメラパラメータを取得することと、ここで、前記少なくとも１つのカメラパラメータは、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、およびフレームのぼやけ情報のうちの１つまたは複数を含む、
前記１つまたは複数のプロセッサが、前記少なくとも１つのカメラパラメータに基づいてビデオフレームレートをアップコンバートすることと、
を備える方法。
【請求項２５】
前記埋め込まれたデータは、メタデータを備える、請求項２４に記載の方法。
【請求項２６】
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータを逆パケット化することと、
前記ビデオフレームレートをアップコンバートするために、前記逆パケット化された少なくとも１つのカメラパラメータを読み取ることと、
をさらに備える、請求項２４に記載の方法。
【請求項２７】
前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、請求項２４に記載の方法。
【請求項２８】
前記カメラは、無線電話である、請求項２７に記載の方法。
【請求項２９】
前記少なくとも１つのカメラパラメータは、ズームイン情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードすることと、
前記ズームイン情報のファクターに基づいて、前記デコードされたフレームをスケーリングすることと、
前記スケーリングされたフレームに基づいて、動きベクトルを予測することと、
前記予測された動きベクトルに基づいて、フレームを補間することと、
を備える、請求項２４に記載の方法。
【請求項３０】
前記少なくとも１つのカメラパラメータは、ぼやけ情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードすることと、
前記デコードされたフレームから前記ぼやけ情報を取得することと、
前記ぼやけ情報に基づいて、動きベクトル・サーチ範囲を選択的に決定することと、
前記決定されたサーチ範囲から、動きベクトルを予測することと、
前記予測された動きベクトルに基づいて、フレームを補間することと、
を備える、請求項２４に記載の方法。
【請求項３１】
前記少なくとも１つのカメラパラメータは、オートフォーカス情報を備え、前記方法は、前記オートフォーカス情報に基づいて、前記デコードされたフレームがリフォーカシング動作の間にキャプチャされたかどうかを決定することをさらに備え、前記ぼやけ情報に基づいて前記動きベクトル・サーチ範囲を選択的に決定することは、前記デコードされたフレームがリフォーカシング動作の間にキャプチャされるときに行われる、請求項３０に記載の方法。
【請求項３２】
隣接するデコードされたフレームがリフォーカシング動作の間にキャプチャされないときに、隣接するデコードされたフレームのピクセルを平均することによって、フレームを補間することをさらに備える、請求項３１に記載の方法。
【請求項３３】
前記少なくとも１つのカメラパラメータは、明度情報を備え、前記ビデオフレームレートをアップコンバートすることは、
第１のデコードされたフレームおよび第２のデコードされたフレームを生成するために、前記ビットストリームをデコードすることと、
前記第１のデコードされたフレームおよび前記第２のデコードされたフレームから、前記明度情報を取得することと、
第１および第２のリファレンスフレームを生成するために、前記明度情報に基づいて、前記第２のデコードされたフレームの明度レベルを、前記第１のデコードされたフレームの明度レベルに等しく設定することと、
前記第１および第２のリファレンスフレームに基づいて、被補間フレームの動きベクトルを予測することと、
前記予測された動きベクトルに基づいて、フレームを補間することと、
前記明度情報に基づいて、被補間フレームの明度を調整することと、
を備える、請求項２４に記載の方法。
【請求項３４】
前記少なくとも１つのカメラパラメータは、オートホワイトバランス（ＡＷＢ）情報および色利得情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードすることと、
前記デコードされたフレームに基づいて、フレームを補間することと、
前記ＡＷＢおよび色利得の情報に基づいて、被補間フレームのＡＷＢおよび色利得を調整することと、
を備える、請求項２４に記載の方法。
【請求項３５】
前記少なくとも１つのカメラパラメータは、グローバル動き情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードすることと、
前記デコードされたフレームから前記グローバル動き情報を取得することと、
前記グローバル動き情報に基づいて、動きベクトル・サーチ範囲を決定することと、
前記動きベクトル・サーチ範囲に基づいて、動きベクトルを予測することと、
前記予測された動きベクトルに基づいて、フレームを補間することと、
を備える、請求項２４に記載の方法。
【請求項３６】
ビデオデータと埋め込まれたデータとを含むビットストリームを受信するための手段と、
前記埋め込まれたデータから少なくとも１つのカメラパラメータを取得するための手段と、ここで、前記少なくとも１つのカメラパラメータは、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、およびフレームのぼやけ情報のうちの１つまたは複数を含む、
前記少なくとも１つのカメラパラメータに基づいて、ビデオフレームレートをアップコンバートするための手段と、
を備えるデバイス。
【請求項３７】
ビットストリームストリームを受信するための前記手段および少なくとも１つのカメラパラメータを取得するための前記手段は、デコーダを備え、ビデオフレームをアップコンバートするための前記手段は、プロセッサを備える、請求項３６に記載のデバイス。
【請求項３８】
前記埋め込まれたデータは、メタデータを備える、請求項３６に記載のデバイス。
【請求項３９】
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータを逆パケット化するための手段と、
前記ビデオフレームレートをアップコンバートするために、前記逆パケット化された少なくとも１つのカメラパラメータを読み取るための手段と、
をさらに備える、請求項３６に記載のデバイス。
【請求項４０】
前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、請求項３６に記載のデバイス。
【請求項４１】
前記カメラは、無線電話である、請求項４０に記載のデバイス。
【請求項４２】
前記少なくとも１つのカメラパラメータは、ズームイン情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードするための手段と、
前記ズームイン情報のファクターに基づいて、前記デコードされたフレームをスケーリングするための手段と、
前記スケーリングされたフレームに基づいて、動きベクトルを予測するための手段と、
前記予測された動きベクトルに基づいて、フレームを補間するための手段と、
を備える、請求項３６に記載のデバイス。
【請求項４３】
前記少なくとも１つのカメラパラメータは、ぼやけ情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードするための手段と、
前記デコードされたフレームから前記ぼやけ情報を取得するための手段と、
前記ぼやけ情報に基づいて、動きベクトル・サーチ範囲を選択的に決定するための手段と、
前記決定されたサーチ範囲から、動きベクトルを予測するための手段と、
前記予測された動きベクトルに基づいて、フレームを補間するための手段と、
を備える、請求項３６に記載のデバイス。
【請求項４４】
前記少なくとも１つのカメラパラメータは、オートフォーカス情報を備え、前記方法は、前記オートフォーカス情報に基づいて、前記デコードされたフレームがリフォーカシング動作の間にキャプチャされたかどうかを決定することをさらに備え、前記ぼやけ情報に基づいて前記動きベクトル・サーチ範囲を選択的に決定することは、前記デコードされたフレームがリフォーカシング動作の間にキャプチャされるときに行われる、請求項４３に記載のデバイス。
【請求項４５】
隣接するデコードされたフレームがリフォーカシング動作の間にキャプチャされないときに、前記隣接するデコードされたフレームのピクセルを平均することによって、フレームを補間することをさらに備える、請求項４４に記載のデバイス。
【請求項４６】
前記少なくとも１つのカメラパラメータは、明度情報を備え、前記ビデオフレームレートをアップコンバートすることは、
第１のデコードされたフレームおよび第２のデコードされたフレームを生成するために、前記ビットストリームをデコードするための手段と、
前記第１のデコードされたフレームおよび前記第２のデコードされたフレームから、前記明度情報を取得するための手段と、
第１および第２のリファレンスフレームを生成するために、前記明度情報に基づいて、前記第２のデコードされたフレームの明度レベルを、前記第１のデコードされたフレームの明度レベルに等しく設定するための手段と、
前記第１および第２のリファレンスフレームに基づいて、被補間フレームの動きベクトルを予測するための手段と、
前記予測された動きベクトルに基づいて、フレームを補間するための手段と、
前記明度情報に基づいて、被補間フレームの明度を調整するための手段と、
を備える、請求項３６に記載のデバイス。
【請求項４７】
前記少なくとも１つのカメラパラメータは、オートホワイトバランス（ＡＷＢ）情報および色利得情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードするための手段と、
前記デコードされたフレームに基づいて、フレームを補間するための手段と、
前記ＡＷＢおよび色利得の情報に基づいて、被補間フレームのＡＷＢおよび色利得を調整するための手段と、
を備える、請求項３６に記載のデバイス。
【請求項４８】
前記少なくとも１つのカメラパラメータは、グローバル動き情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードするための手段と、
前記デコードされたフレームから前記グローバル動き情報を取得するための手段と、
前記グローバル動き情報に基づいて、動きベクトル・サーチ範囲を決定するための手段と、
前記動きベクトル・サーチ範囲に基づいて、動きベクトルを予測するための手段と、
前記予測された動きベクトルに基づいて、フレームを補間するための手段と、
を備える、請求項３６に記載のデバイス。
【請求項４９】
ビデオデータと埋め込まれたデータとを含むビットストリームを受信して、前記埋め込まれたデータから少なくとも１つのカメラパラメータを取得するように構成されたデコーダと、ここで、前記少なくとも１つのカメラパラメータは、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、およびフレームのぼやけ情報のうちの１つまたは複数を含む、
前記少なくとも１つのカメラパラメータに基づいて、ビデオフレームレートをアップコンバートするように構成されたプロセッサと、
を備えるデバイス。
【請求項５０】
前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、請求項４９に記載のデバイス。
【請求項５１】
前記カメラは、無線電話である、請求項５０に記載のデバイス。
【請求項５２】
コードを記憶されたコンピュータ読取可能な記憶媒体であって、前記コードは、１つまたは複数のプロセッサによって実行されたときに、
ビデオデータと埋め込まれたデータとを含むビットストリームを受信することと、
前記埋め込まれたデータから少なくとも１つのカメラパラメータを取得することと、ここで、前記少なくとも１つのカメラパラメータは、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、およびフレームのぼやけ情報のうちの１つまたは複数を含む、
前記少なくとも１つのカメラパラメータに基づいて、ビデオフレームレートをアップコンバートすることと、
を備える方法を行う、コンピュータ読取可能な記憶媒体。
【請求項５３】
実行されたときに、
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータを逆パケット化し、
前記ビデオフレームレートをアップコンバートするために、前記逆パケット化された少なくとも１つのカメラパラメータを読み取る、
コードをさらに備える、請求項５２に記載のコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本願は、２０１０年５月２６日に出願された、「カメラパラメータ支援型のビデオフレームレート・アップコンバージョン（Camera Parameter-Assisted Video Frame Rate Up Conversion）」と題された、米国仮特許出願第６１／３４８，４００号の優先権を主張し、その開示は、本願明細書にその全体を参考として組み込まれる。
【技術分野】
【０００２】
本開示は、ビデオのエンコーディングおよびデコーディングに関する。より具体的には、この開示は、１つまたは複数のビデオ・キャプチャ・パラメータ（video capture parameters）を取得すること、およびビデオ・デコーディング・プロセスを制御するために、それらのパラメータを使用することに関する。
【背景技術】
【０００３】
デコーダ側のフレームレート・アップコンバージョン（up-conversion）が研究され、多くのアルゴリズムが提案されてきた。いくつかの先行技術のフレームレート・アップコンバージョン・アルゴリズムでは、被補間フレーム（interpolated frames）の動きベクトルは、ビデオ・エンコーディング・デバイスによって送信されたビデオデータを使用してデコードされる隣接するフレームから（例えば、動きベクトル処理を使用して、あるいは新しい動き推定を使用して）予測される。一般に用いられる戦略は、滑らかなビデオコンテンツ遷移を達成するために、隣接するフレームからの動きベクトル情報に基づいて、欠けているまたは補間されるべきフレームについて新しい補間された動きベクトル（interpolated motion vectors）を計算することである。別の方法は、より正確な動きベクトルを提供することを目的とする新しい動き推定アルゴリズムを実行することである。被補間フレームの予測された動きベクトルが不正確な結果をもたらす場合には、隣接するデコードされたフレーム間の平均ピクセル値が、挿入されたフレームのために使用されうる。
【０００４】
図１は、従来の先行技術のフレームレート・アップコンバージョン技術を例示する。この例では、ビデオ・デコーディング・デバイスは、エンコードされたビデオフレームのビデオストリームを受信することができる。ビデオ・デコーディング・デバイスは、エンコードされたビデオストリームをデコードし、図１に示されるシーケンスを含むデコードされたビデオフレームを出力することができる。該シーケンスは、被補間フレーム１００のためのリファレンスフレームとして、デコードされたフレーム１０２および１０４を含むことができる。フレームレート・アップコンバージョンに関する従来技術を使用すると、図１に例示されるように、被補間フレーム１００は、被補間フレーム１００の直前および直後の、すぐ隣のフレーム１０２からの、またはより遠く離れたフレーム１０４からの動きベクトルを使用して予測されることができる。被補間フレーム１００を予測するために利用されるフレームは、被補間フレームの動きベクトル予測のために利用されることができる。例えば、リファレンスフレームは、Ｎ個の隣接するデコードされたフレームでありうる（Ｎ＝１、２、...）。しかしながら、従来技術にしたがって被補間フレーム１００の予測のために動きベクトルを決定することは、計算処理上複雑で不正確になりうる。
【発明の概要】
【０００５】
１つの態様によると、ビデオデータをエンコードするための方法が開示される。該方法は、カメラから少なくとも１つのビデオフレームを取得することと、少なくとも１つのカメラパラメータを取得することと、エンコードされたフレームを形成するために少なくとも１つのビデオフレームをエンコードすることと、デコーダが埋め込まれたパラメータを読み取ってビデオデータをフレームレート・アップコンバートすることができるように、エンコードされたフレーム中にカメラパラメータを埋め込むこととを含む。
【０００６】
別の態様によると、電子デバイスが開示される。該デバイスは、カメラから少なくとも１つのビデオフレームを取得するための手段と、少なくとも１つのカメラパラメータを取得するための手段と、エンコードされたフレームを形成するために少なくとも１つのビデオフレームをエンコードするための手段と、デコーダが埋め込まれたパラメータを読み取ってビデオデータをフレームレート・アップコンバートすることができるように、エンコードされたフレーム中に少なくとも１つのカメラパラメータを埋め込むための手段とを含む。
【０００７】
別の態様によると、電子デバイスが開示される。該デバイスは、カメラから少なくとも１つのビデオフレームを取得するように構成されたビデオ・キャプチャ・デバイスと、少なくとも１つのカメラパラメータを取得するように構成されたプロセッサと、エンコードされたフレームを形成するために少なくとも１つのビデオフレームをエンコードし、デコーダが埋め込まれたパラメータを読み取ってビデオデータをフレームレート・アップコンバートすることができるように、エンコードされたフレーム中にカメラパラメータを埋め込むように構成されたエンコーダとを含む。
【０００８】
別の態様によると、実行されたときに方法を行うコードを記憶された非一時的コンピュータ読取可能媒体が開示される。該方法は、カメラから少なくとも１つのビデオフレームを取得することと、少なくとも１つのカメラパラメータを取得することと、エンコードされたフレームを形成するために少なくとも１つのビデオフレームをエンコードすることと、デコーダが埋め込まれたパラメータを読み取ってビデオデータをフレームレート・アップコンバートすることができるように、エンコードされたフレーム中にカメラパラメータを埋め込むこととを含む。
【０００９】
別の態様によると、ビデオデータをデコードするための方法が開示される。該方法は、ビデオデータと埋め込まれたデータとを含むビットストリームを受信することと、埋め込まれたデータから少なくとも１つのカメラパラメータを取得することと、少なくとも１つのカメラパラメータに基づいてビデオフレームレートをアップコンバートすることとを含む。
【００１０】
別の態様によると、デバイスが開示される。該デバイスは、ビデオデータと埋め込まれたデータとを含むビットストリームを受信するための手段と、埋め込まれたデータから少なくとも１つのカメラパラメータを取得するための手段と、少なくとも１つのカメラパラメータに基づいてビデオフレームレートをアップコンバートするための手段とを含む。
【００１１】
別の態様によると、デバイスが開示される。該デバイスは、ビデオデータと埋め込まれたデータとを含むビットストリームを受信して、埋め込まれたデータから少なくとも１つのカメラパラメータを取得するように構成されたデコーダと、少なくとも１つのカメラパラメータに基づいてビデオフレームレートをアップコンバートするように構成されたプロセッサとを含む。
【００１２】
別の態様によると、実行されたときに方法を行うコードを記憶された非一時的コンピュータ読取可能媒体が開示される。該方法は、ビデオデータと埋め込まれたデータとを含むビットストリームを受信することと、埋め込まれたデータから少なくとも１つのカメラパラメータを取得することと、少なくとも１つのカメラパラメータに基づいてビデオフレームレートをアップコンバートすることとを含む。
【００１３】
本開示の１つまたは複数の態様の詳細は、添付図面および以下の説明において記述される。この開示の中で説明される技術の他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１４】
【図１】図１は、従来のフレームレート・アップコンバージョン技術を例示する図である。
【図２】図２は、ビデオ・キャプチャ・デバイスを例示するブロック図である。
【図３Ａ】図３Ａは、この開示の態様による、全体的なシステム構造を例示する図である。
【図３Ｂ】図３Ｂは、この開示の態様による、全体的なシステム構造を例示する図である。
【図３Ｃ】図３Ｃは、この開示の態様による、全体的なシステム構造を例示する図である。
【図４】図４は、この開示の態様による、ビデオデータをエンコードする方法のフローチャートを例示する図である。
【図５】図５は、この開示の態様による、フレームレート・アップコンバージョン方法のフローチャートを例示する図である。
【図６Ａ】図６Ａは、この開示の態様による、ズーム（zoom）情報に基づくフレームレート・アップコンバージョン方法のフローチャートを例示する図である。
【図６Ｂ】図６Ｂは、この開示の態様による、フレームレート・アップコンバージョンのためのズーム情報の例示的な使用を示す図である。
【図７】図７は、この開示の態様による、オートフォーカスおよびぼやけ（blurriness）の情報に基づくフレームレート・アップコンバージョン方法のフローチャートを例示する図である。
【図８Ａ】図８Ａは、この開示の態様による、明度（brightness）情報に基づく例示的なフレームレート・アップコンバージョン方法のフローチャートを示す図である。
【図８Ｂ】図８Ｂは、この開示の態様による、フレームレート・アップコンバージョンのための明度情報の例示的な使用を示す図である。
【図９Ａ】図９Ａは、この開示の態様による、オートホワイトバランスに基づく例示的なフレームレート・アップコンバージョン方法のフローチャートを示す図である。
【図９Ｂ】図９Ｂは、この開示の態様による、フレームレート・アップコンバージョンのためのホワイトバランス情報の例示的な使用を示す図である。
【図１０Ａ】図１０Ａは、この開示の態様による、動き情報に基づく例示的なフレームレート・アップコンバージョン方法のフローチャートを示す図である。
【図１０Ｂ】図１０Ｂは、この開示の態様による、フレームレート・アップコンバージョンのための動き情報の例示的な使用を示す図である。
【詳細な説明】
【００１５】
この開示は、例えば、フレームレート・アップコンバージョンのような、ビデオ・デコーディング機能を制御するために、ビデオ・キャプチャ・デバイスに関連した１つまたは複数のパラメータを利用するための技術を説明する。ビデオ・キャプチャ・デバイスに関連したパラメータを使用すると、ビデオ・デコーディング・デバイスは、ビデオ・デコーディング・デバイスにおける計算処理上の複雑さを低減させながら、ビデオ品質を向上させることができる。
【００１６】
ビデオ・キャプチャ・デバイスに関連したパラメータは、ビデオフレームをキャプチャする間に、ビデオカメラなどのビデオ・キャプチャ・デバイスによって取得されることができる。ビデオ・キャプチャ・デバイスは、ビデオフレームをエンコードする間にパラメータを埋め込むように構成されたビデオ・エンコーディング・デバイスを含みうる。ビデオ・デコーディング・デバイスは、ビデオフレームをデコードするために、それらパラメータのうちの１つまたは複数を利用することができる。このように、ビデオデコーダは、フレームをデコードするために、キャプチャ時にカメラに関係した情報を利用することができ、それによって、デコーディング機能に関連した計算処理上の複雑さを低減させうる。例えば、デコーダは、フレームレート・アップコンバージョン・プロセスの間の計算処理上の複雑さを低減させるために、該情報を利用することができる。
【００１７】
１つの実施形態は、ビデオ・キャプチャ・デバイスに関連した１つまたは複数のビデオ・キャプチャ・パラメータを取得し、ビデオ・デコーディング・プロセスを制御するために、取得されたビデオ・キャプチャ・パラメータを使用するための技術に関する。取得されたビデオ・キャプチャ・パラメータは、例えば、自動露出制御（ＡＥ）、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、ズーミング（zooming）、キャプチャされたフレームにおける動き、およびそれに類するものに関連したパラメータでありうる。ビデオ・エンコーディング・デバイスは、ビデオ・キャプチャ・パラメータに基づいてなされる決定に関する情報もまた含むメタデータとしてビデオ・キャプチャ・パラメータをエンコード、例えば、パケット化、することができる。ソース、すなわちエンコーダ側において取得されたこのビデオ・キャプチャ・パラメータ・メタデータは、次いで、宛先、すなわちデコーダ側に送信されることができる。該宛先は、ビデオデータを表示するように構成されたデバイスを含みうる。
【００１８】
いくつかのビデオシステムでは、フレームレート・アップコンバージョンは、ビデオ・キャプチャ・レートとは異なる表示レートに適応するために利用されることができる。フレームレート・アップコンバージョンは、エンコーダ側またはデコーダ側で実施されることができる。エンコードされたビデオは、異なるフレームレートを必要とする、したがって異なる量のアップコンバージョンを必要とするシステムへと送信されうるので、デコーダ側でフレームレート・アップコンバージョンを行うことが、より有効でありうる。フレームレート・アップコンバージョンのための技術は、単にフレームを繰り返す結果生じうるアーチファクトを増大させることなく、ビデオストリームへとフレームを追加することを目的とする。したがって、フレームレート・アップコンバージョン技術は、作成されたフレームの前および後に続く２つのオリジナルフレームの間に滑らかな遷移を提供するフレームを作成する。
【００１９】
補間された動きベクトルの計算は、複雑であり、ビデオストリームが、デジタルズームおよび／または光学ズーム、オートフォーカス・リフォーカシング（refocusing）、シーン変化、急激な明度（brightness）変化、ホワイトバランスの変化、およびそれに類することを含むときには、特に困難で不正確になる。したがって、挿入されるフレームを良好な時空間品質で補間することは、ビデオデータをキャプチャする間のパラメータの変化を伴うビデオストリームにおける、計算処理上の高い複雑さとともに、より低い正確度を伴いうる。これらの変化は、例えば、ズーム、明度、フォーカス、およびそれに類するものを含みうる。このフロントエンド・ビデオ情報の事前知識なしでは、挿入されるフレームの計算は、ビデオデータのキャプチャの間の変化を補償することに関連した計算処理上の複雑さが原因で、時間のかかる、非効率的なものになりうる。加えて、従来のアプローチは、システムによって異なるものでありうるビデオ・フロントエンド情報を考慮することなく動きベクトルまたはモード情報を利用してフレームレート・アップコンバージョンを実施する。
【００２０】
ここに説明される実施形態は、ビデオ・キャプチャ・デバイスによって取得されたパラメータを利用して、ビデオ・デコーディング・デバイスがより効率的なフレームレート・アップコンバージョンおよびビデオの再生（video playback）を行うことを支援するシステムおよびプロセスを含む。このようなシステムを使用することにより、ビデオ・デコーディング・デバイスは、挿入されたフレームのより効率的で正確な動きベクトル予測を達成しうる。ビデオ・キャプチャ・デバイスは、ビデオフレームをキャプチャする間にパラメータを取得することができる。キャプチャ後、ビデオ処理デバイスは、取得されたパラメータおよびパラメータに関する情報をメタデータとしてパケット化することができる。パケット化されたパラメータは、フレームレート・アップコンバージョン・プロセスを支援するために、ビデオ・デコーディング・デバイスに送信するための対応するフレームに添付されることができる。メタデータに含まれるビデオ・キャプチャ・パラメータを読み取ることにより、ビデオ・デコーディング・デバイスは、そのデータを使用して、挿入された被補間フレームの動きベクトルをどのように予測するかについての早期決定を行うことができる。以下により詳細に説明されるように、メタデータはカメラ固有の情報から構成されるので、メタデータは、また、補間された動きベクトルをより正確に計算するためにも有用でありうる。この開示の技術を使用すると、フレームレート・アップコンバージョンに関する計算の複雑さが大きく低減され、被補間フレームの正確度および品質が向上されうる。メタデータに含めることができるビデオ・キャプチャ・デバイス情報の例は、ズームの量、オートフォーカスおよびリフォーカスの設定、明度の変化、自動露出制御、ホワイトバランスの変化、シーン変化検出、および動きセンサーによって検出されるフレームにおける動き、ならびにそれに類することを含みうる。
【００２１】
図２は、例示的な画像キャプチャ・デバイス６０を示すブロック図である。画像キャプチャ・デバイス６０は、レンズアセンブリ６２、画像センサー６４、画像プロセッサ６６、画像ストレージ６８、エンコーダ６７、およびネットワークインタフェース６９を備えることができる。加えて、画像キャプチャ・デバイス６０は、パラメータを調整するためのモジュールと、例えば、オートフォーカス（ＡＦ）モジュール７２、オートホワイトバランス（ＡＷＢ）モジュール７４、および自動露出（ＡＥ）モジュール７６などのいくつかのモジュールとを含みうる。いくつかの態様によれば、画像プロセッサ６６は、ビデオ・フロントエンド（ＶＦＥ）画像プロセッサ、あるいはそれに類するものでありうる。
【００２２】
この開示の態様は、さまざまな、記録、エンコーディング、デコーディング、および再生のデバイスのいずれにおいても利用されうる。この論議の目的では、ビデオカメラが、例示的な画像キャプチャ・デバイス６０として使用される。しかしながら、この開示の態様は、数あるコンポーネントの中でも特に、画像またはビデオキャプチャ・コンポーネントと、画像またはビデオエンコーディング・コンポーネントとを有する、さまざまなデバイスおよびシステムによって実現されうることが理解されるべきである。例えば、ここに説明されるような、ビデオデータをキャプチャするためおよびビデオデータを表示するためのデバイスは、電子カメラ、ビデオレコーダ、ウェブカメラ、ポータブルもしくはモバイルコンピュータに組み込まれたカメラを含むことができ、ポータブルもしくはモバイルコンピュータには、これだけに限定するものではないが、セルラ電話、スマートフォン、携帯用メディアプレーヤ、携帯用情報端末、ラップトップ、またはタブレットコンピュータが含まれる。画像キャプチャ・デバイス６０は、デジタルビデオカメラ、デジタルスチル画像カメラ、または両方の組み合せなどのデジタルカメラでありうる。画像キャプチャ・デバイス６０は、独立型（stand-alone）カメラのような独立型のデバイスであることができ、あるいは、無線通信デバイスのような別の多目的デバイスに一体化されることができる。画像キャプチャ・デバイス６０は、カラー画像、白黒画像、またはその両方をキャプチャするように装備されうる。いくつかの態様では、画像キャプチャ・デバイス６０は、また、音声をキャプチャするためのマイクロホンを含みうる。この開示では、「画像（image）」という用語、あるいは同様の用語は、ビデオまたは静止画のいずれかを交換可能に称する。
【００２３】
レンズアセンブリ６２は、１つまたは複数のレンズを含むことができ、シーンをキャプチャするためにレンズをフォーカスするために、複数の異なるレンズ位置の中で、レンズアセンブリ６２のハウシング内のレンズを動かす、レンズアクチュエータによって制御されることができる。画像センサー６４は、例えば、レンズを通じて光を受け取り、受け取った画像に応答して画像データを生成する、電荷結合デバイス（ＣＣＤ）アレイまたは他の画像センシングデバイスなどの、画像センサー素子を含みうる。画像センサー６４は、画像キャプチャ・デバイス６０がキャプチャしているシーンに関する画像情報を取得する。１つの例では、画像センサー６４は、キャプチャされたビデオストリームにおける動きに関する情報を提供することができる。画像プロセッサ６６は、画像情報を処理し、画像ストレージ６８に画像情報を記憶する。画像センサー６４はまた、ＡＦ、ＡＷＢ、およびＡＥの機能（functions）などの機能で使用するためにキャプチャされているシーンに関する画像情報を取得することができる。画像プロセッサ６６は、ＡＦ、ＡＷＢ、およびＡＥの機能についての予備的な処理（preliminary processing）のために、画像情報を利用する。
【００２４】
１つの例では、画像プロセッサ６６は、画像センサー６４からの画像情報に基づいてオートフォーカス・プロセスを開始するためにＡＦモジュール７２を制御することができる。ビデオを記録する間、ビデオ・キャプチャ・デバイスがキャプチャしているシーン内の変化は、リフォーカスするようにＡＦ機能をトリガーしうる。ＡＦ機能は、いくつかのレンズ位置におけるフォーカス値を計算すること、および現在のシーンについて最大のフォーカス値を有するレンズ位置を選択することを伴うことができ、それは、最大の画像鮮鋭度（image sharpness）の値に対応しうる。ＡＦモジュール７２は、画像センサー６４によって取得された画像情報内のピクセルコントラスト値の分析に基づいて、画像鮮鋭度を決定することができる。ＡＦモジュール７２は、フレームがリフォーカス・プロセスの間にキャプチャされているとき、インジケーションを提供することができる。リフォーカス・プロセスの間、ＡＦモジュール７２は、例えば、フォーカス値およびレンズ位置など、キャプチャされたフレームに関連した情報を提供することができる。１つの例では、リフォーカス・プロセスがトリガーされるときには、ＡＦモジュール７２は、リフォーカス・プロセスの開始時におけるレンズ位置と、リフォーカスが達成されたときのレンズ位置とを追跡することができる。
【００２５】
１つの例では、画像センサー６４を較正する（calibrating）ための画像情報が、画像プロセッサ６６によって取得されることができる。その情報は、ＡＷＢおよびＡＥのデータを含むことができ、それは、環境色彩（environmental color）、照度（illumination）、および輝度（luminance）の特性に関する情報を示しうる。ＡＷＢモジュール７４は、画像センサー６４によって取得された生の（raw）画像情報を取得して分析することができる。ＡＷＢモジュール７４は、分析された画像情報に基づいて、シーンの環境のインジケーションを出力することができる。例えば、画像情報が、屋内環境と一致する光源色（illuminant color）の特性および／または強度（intensities）を示す場合、ＡＷＢモジュール７４は、屋内環境のインジケーションを出力することができる。１つの例では、ＡＷＢモジュール７４は、キャプチャされた各フレームについてグレー・ワールド決定（grey world decision）を出力することができる。ＡＷＢグレー・ワールド決定は、所与の画像において画像のＲＧＢ成分の平均値が共通のグレー値になると述べる、グレー・ワールド仮説に基づくことができる。決定されたグレー値に基づいて、ＡＷＢモジュール７４は、画像をカテゴリまたはクラスタ（cluster）へと分類することができる。例えば、所与のシステムにおいては、３つのグレー・ワールドのカテゴリまたはクラスタ、すなわち：屋外クラスタ、屋内クラスタ、およびホライズンクラスタ（horizon cluster）、が存在しうる。それらクラスタは、フレーム内の色温度に基づいて編成されうる。ＡＷＢモジュール７４は、キャプチャされた各フレームに関連したカテゴリまたはクラスタを示すことができる。
【００２６】
ＡＥモジュール７６は、画像センサー６４によって取得された生の画像情報を取得して分析することができる。ＡＥモジュール７６は、キャプチャされたフレームの輝度値を使用して、キャプチャされたフレームの明度レベルを評価し、分析された画像情報に基づいてシーンの明度レベルのインジケーションを出力することができる。いくつかの例では、ＡＥモジュール７６は、明度レベルをＬｕｘで表すことができ、それについては以下でより詳細に説明する。生の画像情報は、例えば、キャプチャされたフレームにおけるピクセルに関する生のルーマ値（luma values）を含みうる。ＡＥモジュール７６は、以下でより詳細に説明されるように、ルーマ値を利用して、フレーム内のルーマ値の統計（statistics）を提供することができる。ＡＥモジュール７６はまた、以下でより詳細に説明されるように、フレームに関連した露光指数および平均フレーム・ルーマ（average frame luma）など、フレームにおける明度に関するキャプチャされたフレーム情報を提供することができる。
【００２７】
画像キャプチャ・デバイス６０によってキャプチャされたビデオストリームは、生のビデオデータおよびカメラパラメータを含むことができ、それらは、ビデオ処理デバイス（例えば、ビデオ・エンコーディング・デバイス）によって解釈されるときに、キャプチャされたビデオフレームの特性（例えば、ズーミング、明度レベル、オートフォーカス・リフォーカス、動き、ホワイトバランス、およびそれに類すること）を決定するために使用されることができる。
【００２８】
図３Ａ〜図３Ｂを参照してより詳しく説明されるように、キャプチャされたビデオストリームは、カメラパラメータと共に、ビデオストリームをエンコードするように構成されたエンコーダ６７に送られることができる。その後、エンコードされたビデオデータは、エンコードされたビデオデータを通信ネットワークにおける別のデバイスに送信するように構成されたネットワークインタフェース６９へ送られることができる。
【００２９】
ネットワークインタフェース６９は、画像キャプチャ・デバイス６０が通信ネットワーク上で１つまたは複数のデバイスと通信できるように、アンテナおよびトランシーバ（図示せず）を含むことができる。また、ネットワークインタフェース６９は、エンコードされたビデオデータの追加処理を行うためのいくつかの処理能力を有することができる。ネットワークインタフェース６９に接続されたアンテナ（図示せず）は、信号を送受信することができる。いくつかのインプリメンテーションでは、アンテナは、ＩＥＥＥ １６．１１（ａ）、（ｂ）、または（ｇ）を含むＩＥＥＥ １６．１１基準、またはＩＥＥＥ ８０２．１１ａ、ｂ、ｇまたはｎを含むＩＥＥＥ ８０２．１１基準にしたがって、ＲＦ信号を送受信する。いくつかの他のインプリメンテーションでは、アンテナは、ＢＬＵＥＴＯＯＴＨ（登録商標）基準にしたがってＲＦ信号を送受信する。セルラ電話の場合、アンテナは、符号分割多元接続（ＣＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル移動体通信システム（ＧＳＭ（登録商標））、ＧＳＭ／ジェネラル・パケット・ラジオ・サービス（ＧＰＲＳ：General Packet Radio Service）、エンハンストデータＧＳＭ環境（ＥＤＧＥ：Enhanced Data GSM Environment）、地上基盤無線（ＴＥＴＲＡ：Terrestrial Trunked Radio）、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、進化データ最適型（ＥＶ−ＤＯ：Evolution Data Optimized）、１ｘＥＶ−ＤＯ、ＥＶ−ＤＯ Ｒｅｖ Ａ、ＥＶ−ＤＯ Ｒｅｖ Ｂ、高速パケットアクセス（ＨＳＰＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ）、発展型高速パケットアクセス（ＨＳＰＡ＋）、ロングタームエボリューション（ＬＴＥ）、ＡＭＰＳ、あるいは、３Ｇまたは４Ｇ技術を利用するシステムなど、無線ネットワーク内で通信するために使用されるその他の既知信号を受信するように設計されることができる。ネットワークインタフェース６９のトランシーバ（図示せず）は、アンテナから受信される信号を、それらが、ビデオ・キャプチャ・デバイスによって受信され、ビデオ・キャプチャ・デバイスによってさらに操作されることができるように、前処理することができる。例えば、トランシーバは、ビデオディスプレイデバイス８０から受信されるフィードバック信号を処理することができる。
【００３０】
ビデオディスプレイデバイス８０は、画像キャプチャ・デバイス６０と通信するように構成されることができる。例えば、ビデオディスプレイデバイス８０は、画像キャプチャ・デバイス６０からのエンコードされたビットストリームを受信することができる。エンコードされたビットストリームは、ビデオディスプレイデバイス８０のデコーダ８２によってデコードされることができる。デコーダ８２は、デコードされたビデオフレームを生成し、受信されたビットストリームから埋め込まれたカメラパラメータを抽出する。その後、それらデコードされたビデオフレームは、ポストプロセッサ（post-processor）８４によって処理されることができる。ポストプロセッサ８４は、デコードされたビデオフレームを処理し、ビデオデータのビデオフレームレートをアップコンバートするなどの動作を行うように構成されることができる。加えて、ポストプロセッサ８４は、取得されたカメラパラメータに基づいて、デコードされたビデオフレームのさまざまなパラメータを調整しうる。その後、処理されたビデオデータは、ビデオディスプレイデバイス８０のディスプレイ８６によって表示される。
【００３１】
図３Ａ〜図３Ｃは、この開示の態様による、例示的な、全体的なシステム構造を示す。画像プロセッサ６６（例えば、ＶＦＥ）は、ビデオ・キャプチャ・デバイスによってキャプチャされたフレームを処理し、ＡＦ、ＡＷＢ、ＡＥ、ズーミング、および動きに関する情報をメタデータへとパケット化し、メタデータ２１０、２１２、２１４、および２１６を、対応するビデオフレーム２００、２０２、２０４、および２０６にそれぞれ添付して、エンコーディングのためにエンコーダ６７に送ることができる。上述したように、メタデータ２１０、２１２、２１４、および２１６は、画像キャプチャ・デバイス６０によって取得された生のデータおよびカメラパラメータおよび／または統計に関する情報を含みうる。エンコーダ６７は、フレーム２００、２０２、２０４、および２０６を対応するメタデータ２１０、２１２、２１４、および２１６と共にエンコードして、図３Ｂに例示されるようなエンコードされたビットストリームを生成する。エンコードされたビットストリームは、対応するエンコードされたビデオフレームの終端に埋め込まれた、エンコードされたメタデータ３１０、３１２、３１４、および３１６と共に、エンコードされたビデオフレーム情報３００、３０２、３０４、および３０６を含みうる。当業者であれば、埋め込まれたメタデータ３１０、３１２、３１４、および３１６は、対応するエンコードされたビデオフレームの先頭に埋め込まれうることを認識するであろう。それに加えて、あるいはその代わりに、メタデータは、各対応するエンコードされたビデオフレームの先頭で、またはエンコードされたビデオフレーム情報内に埋め込まれることもできる。エンコードされたビデオストリームは、デコーディング、記憶および／または表示のために他のデバイスへと送信されることができる。
【００３２】
図３Ｃを参照すると、デコーダ８２が、デコーダ側のフレームレート・アップコンバージョンのためにメタデータ２１０、２１２、２１４、および２１６を利用することができ、これは、従来のシステムに比べて、被補間フレームについてのより複雑でない計算およびより正確な結果をもたらしうる。
【００３３】
図３Ｃに例示されるように、ビデオ・デコーディング・デバイスは、それが受信するエンコードされたビデオストリームをデコードし、これは、デコードされたビデオフレーム３５０、３５２、および３５４と、それらの対応する添付されたメタデータ３６０、３６２、および３６４とを生じさせる。ビデオディスプレイデバイスは、被補間フレーム３７０および３７２を生成するために、フレームレート・アップコンバージョン・プロセスの間、メタデータ３６０、３６２、および３６４と、デコードされたビデオフレーム３５０、３５２、および３５４とを利用することができる。アップコンバートされたビデオストリームは、次いで、ディスプレイ８６に送られる。
【００３４】
１つの例では、対応するフレームに添付されたメタデータは、例えば、ズーミング、オートフォーカス・ステータス、レンズ位置、ＡＥ収束（convergence）ステータス、フレーム・ルーマ（frame luma）、ＡＷＢ収束ステータス、グローバル動き情報（global motion information）、フレームのぼやけ情報、およびそれに類することなどのＶＦＥ情報を含みうる。メタデータは、計算処理上の複雑さを低減するために、デコーダ側のフレームレート・アップコンバージョンを支援するために利用されることができる。加えて、メタデータはまた、エンコーディングの決定を行うために、エンコーディング・プロセスにおいて利用されることができ、これは、データレートと計算処理上の複雑さをさらに低減させることができる。下記の表は、対応するフレームに添付されるメタデータの例示的なコンテンツを示す：
【表１】
0005551308.tif 000002
【００３５】
図４は、この開示の態様による、ビデオデータをエンコードする例示的な方法のフローチャートを示す。図４に示されるように、方法４００は、ブロック４０２において、カメラからビデオフレームを取得することから開始することができる。該方法は、ブロック４０４においてカメラパラメータを取得することへと進む。カメラパラメータは、対応するビデオフレームのキャプチャ時におけるカメラの設定に対応しうる。ブロック４０６において、ビデオフレームがエンコードされ、ブロック４０８において、カメラパラメータが、エンコードされたビデオフレーム中に埋め込まれる。例えば、図３に関して前述したように、カメラパラメータは、パケット化されて、ビデオフレームにメタデータとして添付されることができ、ビデオフレームおよび添付されたメタデータは、エンコードされたビットストリームを生成するためにエンコードされることができる。
【００３６】
図５は、この開示の態様による、例示的なフレームレート・アップコンバージョン方法のフローチャートを示す。図５に示されるように、方法５００は、ブロック５０２において、ビットストリームを受信することから開始することができる。例えば、ビットストリームは、埋め込まれたカメラパラメータを含むエンコードされたビデオデータに対応しうる。ブロック５０４において、方法５００は、埋め込まれたデータからカメラパラメータを取得することができる。該方法は、ビデオフレームと共にエンコードされているメタデータを抽出し、メタデータをデコードすることによってカメラパラメータを取得することができる。例えば、該方法は、エンコードされたフレームをデコードし、埋め込まれたメタデータを逆パケット化（depacketize）することができる。ブロック５０６において、該方法は、取得されたカメラパラメータに基づいてフレームレートをアップコンバートすることができる。
【００３７】
特定のカメラパラメータに基づいてビデオフレームレートをアップコンバートする方法が、以下で、図６〜図１０を参照して説明される。上述されたように、エンコードされたビットストリームに含まれうるカメラパラメータは、カメラのズーム情報を含みうる。
【００３８】
デジタルズームイン／アウトは、視野の変更により画像コンテンツをアップスケールする（up-scaling）／ダウンスケールする（down-scaling）プロセスである。光学ズームイン／アウトは、センサーによって実際の情報を受信するものであり、実際の光学的解像度は、フォーカスのオブジェクトにズームイン／アウトすることができる。デジタルズーミングおよび光学ズーミングの両方において、ズームイン／アウトは、フレームにおける視野を変更する。ズーミングが起こる時、ズーミング・ファクター（zooming factor）が利用可能で、画像プロセッサ６６によって対応するフレームへと添付され得る。例えば、ファクターＫによってフレーム３５０においてズームインが起こる場合、フレーム３５０に添付されるズーミング情報は、ズームイン・ファクターを示しうる。ビデオ・デコーディング・デバイスは、ビデオストリームによりズーミング情報を受信することができ、図６Ａ〜図６Ｂに例示されるように、ズーミング情報を、対応するフレームに関するフレームレート・アップコンバージョン・プロセスおよび挿入されたフレームの補間を簡単化するために使用することができる。
【００３９】
ビデオ・デコーディング・デバイスは、ズーミング・ファクターおよびその他のズーミング情報を利用して、被補間フレームに関する動きベクトルを導出することができる。１つの例では、ビデオ・エンコーディング・デバイスは、フレームレート・アップコンバージョン・プロセスのための動き補償予測（motion-compensated prediction）を行うことができる。別の例では、デコーディング・デバイスは、動きベクトルベースの予測を使用することなく、ズームインが生じたかまたはズームアウトが生じたかに基づいて、アップスケーリングまたはダウンスケーリングを使用して被補間フレームを補間することができる。
【００４０】
図６Ａは、この開示の態様による、ズーム情報に基づく例示的なフレームレート・アップコンバージョン方法のフローチャートを示す。図６Ｂは、この開示の態様による、フレームレート・アップコンバージョンのためのズーム情報の例示的な使用を示す。図６Ａに示されるように、方法６００は、ブロック６０２において、デコードされたフレームのズームイン・ファクターＫを取得することから開始することができる。図６Ｂを参照すると、この開示の１つの例では、ズームインは、ビデオ・キャプチャの間に生じた可能性があり、その場合、フレーム３５０をキャプチャした画像キャプチャ・デバイス６０は、その後、ファクターＫによってズームインし、フレーム３５２をキャプチャする。ズームインに関連したファクターＫは、フレーム３５０および／またはフレーム３５２に添付されうる。フレーム３５０および３５２は、補間方法に基づいて、デコードされたビデオストリームにおけるすぐ隣り合ったフレームまたは離れたフレームでありうる。
【００４１】
該方法は、続いて、ブロック６０４において、ＳＱＲＴ（Ｋ）のファクターによって、デコードされたフレームをスケーリングする（scaling）ことができる。例えば、ビデオ・デコーディング・デバイス側では、ズームイン・ファクターＫは、デコードされたフレーム３５０および３５２に関連したメタデータにおいて利用可能でありうる。図６Ｂに示されるように、フレームレート・アップコンバージョンの間、ビデオ・デコーディング・デバイスは、ＳＱＲＴ（Ｋ）のファクターによってフレーム３５０をアップスケール（up-scale）することができ、ＳＱＲＴ（Ｋ）のファクターによってフレーム３５２をダウンスケール（down-scale）することができる。結果として生じるアップスケールされたフレーム３８０およびダウンスケールされたフレーム３８２は、この場合、互いに同じズーム量を有しうる。フレーム３８０および３８２のズームは、フレーム３５０およびフレーム３５２のズームの間のレベルにおける調整されたズームに対応しうる。調整されたズームは、挿入された被補間フレーム３７０が有するべきズーム量に対応する。
【００４２】
滑らかな画像を表示するために、被補間フレーム３７０は、フレーム３５０のズームインされたバージョン、およびフレーム３５２のズームアウトされたバージョンとして生成されることができ、ここで、ズームイン・ファクターおよびズームアウト・ファクターは、同じ値を有しており、それは、ＳＱＲＴ（Ｋ）である。その結果、２つのフレーム３５０と３５２の間で滑らかな視覚的遷移が達成されることができる。
【００４３】
その後、該方法は、ブロック６０６においてスケーリングされたフレームから動きベクトルを予測することへと進むことができる。フレーム３５０および３５２のアップスケールされたバージョンおよびダウンスケールされたバージョンを使用することは、それぞれ、動きベクトル予測を簡単化する。１つの例では、フレーム３５０からフレーム３５２までに生じる動きが存在しないことがあり、アップスケールされたフレーム３５０またはダウンスケールされたフレーム３５２は、挿入されたフレーム３７０として直接的に使用されることができる。別の例では、フレーム３５０からフレーム３５２までに生じる動きが存在することがあり、被補間フレーム３７０に対応する動きベクトル３９０についての動きベクトル予測は、アップスケールされたフレーム３５０およびダウンスケールされたフレーム３５２の両方からの動きベクトル予測を使用して行われることができる。フレーム３５０をアップスケールし、フレーム３５２をダウンスケールすることによって、異なる２つのズーム・ファクターをもつフレームの代わりに、同じズーム量をもつ２つのフレームが比較されるので、動きベクトル予測は、簡単化されうる。予測された動きベクトルに基づいて、その後、フレームは、ブロック６０８によって示されるように、ビデオフレームレートをアップコンバートするために補間されることができる。
【００４４】
いくつかの実施形態によれば、エンコードされたビデオフレームに埋め込まれたカメラパラメータは、オートフォーカスおよびぼやけレベルを含むことができる。ビデオ・キャプチャの間に、画像キャプチャ・デバイス６０の視野内のオブジェクトが変化および移動するとき、キャプチャされたフレームにおけるフォーカスは変化し、連続オートフォーカス機能は、最良のフォーカス量を達成するためにレンズ位置を調整することによってリフォーカスする。リフォーカシング・プロセスの間、最良のフォーカスを提供する最良のレンズ位置を探してレンズ位置が変化するとき、キャプチャされた画像コンテンツはぼやけうる。リフォーカス・プロセスの間にキャプチャされたフレームにおけるぼやけレベルは、レンズ位置の変化量に応じて異なりうる。いくつかの場合では、キャプチャされたフレームのコンテンツにおけるぼやけの量に応じて、ビデオ・デコーディング・デバイスは、フレームに対応するメタデータに含まれるオートフォーカスおよびレンズ位置の情報を使用して、フレームレート・アップコンバージョンの間の補間を簡単化することができる。対応するフレームのオートフォーカス・リフォーカシング・ステータスおよびぼやけレベルは、対応するフレームに添付されたメタデータを介して、画像プロセッサによって取得および決定され、ビデオ・デコーディング・デバイスに送信されることができる。
【００４５】
図７は、この開示の態様による、オートフォーカスおよびぼやけの情報に基づく例示的なフレームレート・アップコンバージョン方法のフローチャートを示す。方法７００は、ブロック７０２において、デコードされたフレームのオートフォーカス・ステータス信号およびぼやけレベルを取得することを含むことができる。デコードされたフレームの受信されたオートフォーカス信号およびぼやけレベルに基づいて、ビデオ・デコーディング・デバイスは、決定ブロック７０４によって示されるように、受信されたオートフォーカス・ステータスが、現在のデコードされたフレームがリフォーカシング・プロセスの間にキャプチャされたことを伝えるか否かを決定することによって、被補間フレームを予測することができる。フレームがリフォーカシング操作の間にキャプチャされなかった場合、ぼやけ情報に基づいてビデオフレームレートをアップコンバートする方法は、ブロック７０６において終了する。オートフォーカス信号が、フレームがリフォーカシングの間にキャプチャされたことを示す場合、方法は、決定ブロック７０８に進む。決定ブロック７０８において、方法は、ぼやけレベル（blurriness level）が予め定義された閾値よりも高いか否かを決定する。例えば、方法は、下記の式１の結果を決定することができる。
【数１】
0005551308.tif 000003
【００４６】
ここで、ＴｈＡＦは、ユーザによって定義されるか、システムによって予め定義されるか、あるいはシステムによって自動的に調整されることができる。式１に示されるように、被補間フレームのぼやけレベルは、隣接する２つのデコードされたフレームの同じ場所に位置する（co-located）ピクセル値を平均することによって生成される。ぼやけレベルが所定の閾値ＴｈＡＦよりも高い場合、方法は、ブロック７１０に示されるように、隣接するデコードされたフレームのピクセルを平均することによって、フレームを補間することができる。
【００４７】
ぼやけレベルが、予め定義された閾値ＴｈＡＦよりも低い場合、ブロック７１２において、被補間フレームの動きベクトルは、異なる動きベクトル・サーチ範囲
【数２】
0005551308.tif 000004
【００４８】
で予測されることができる。動きベクトル・サーチ範囲
【数３】
0005551308.tif 000005
【００４９】
は、通常の動きベクトル推定／予測モードで使用される動きベクトル・サーチ範囲
【数４】
0005551308.tif 000006
【００５０】
と比較して、低減されたサーチ範囲である。低減された動きベクトル・サーチ範囲
【数５】
0005551308.tif 000007
【００５１】
は、下記の式２にしたがって決定されることができる。
【数６】
0005551308.tif 000008
【００５２】
ここで、ｑは、被補間フレームの前および後に続くフレームにおけるぼやけの量に比例し、ｐは、ｑの関数（function）であって、ユーザ定義されうる。したがって、ぼやけが増大するにつれて、ｑは増大する。予測された動きベクトルに基づいて、ブロック７１４に示されるように、被補間フレームが、次いで、フレームレートをアップコンバートするために生成される ことができる 。
【００５３】
１つの例では、画像プロセッサ６６は、連続オートフォーカス・リフォーカシング・プロセスの間のぼやけを評価することができる。初期のぼやけレベル（Ｂ０）は、リフォーカシングが開始される前のフォーカス値を表す当初ＦＶ値（ＦＶ０）と比較してＦＶが下がった後の、フォーカス値（ＦＶ）変化のパーセンテージに基づいて推定されることができる。例えば、初期のぼやけレベル（Ｂ０）は、下記の式３にしたがって決定されることができる：
【数７】
0005551308.tif 000009
【００５４】
ここにおいて、ＦＶ１ は、時間Ｔ＝１におけるフォーカス値に対応する。
【００５５】
リフォーカスがトリガーされると、サーチ方向は、ＦＶを増大させるレンズ位置変化の方向を見つけることによって決定される。サーチ方向が決定されると、レンズは、最良のフォーカス位置を達成するために段階的に調整される。このプロセスの間のぼやけは、下記の式４にしたがって評価される：
【数８】
0005551308.tif 000010
【００５６】
ここで、Ｋは、調整可能な定数であり、デフォルト値は：Ｋ＝ＦＶ１ であり、Ｇｉは、勾配（gradience）の絶対値であり、下記の式５に基づいて計算される：
【数９】
0005551308.tif 000011
【００５７】
ここで、ＬｅｎｓＰｉは、ＦＶｉ に対応するレンズ位置である。
【００５８】
ピーク値（ＦＶＮ ）が見つかったら、リフォーカス・プロセスは終了し、ぼやけはゼロにリセットされる。
【００５９】
いくつかの実施形態によれば、カメラパラメータはまた、明度情報を含むことができる。画像プロセッサ６６の自動露出制御（ＡＥＣ）機能は、所望の範囲内の所望の明度レベルを達成するために、自動露出モジュール７６の動作を通じて画像センサー６４を調整することができる。画像キャプチャ・デバイス６０が記録しているシーンにおける明度が変化すると、自動露出（ＡＥ）収束機能は、明度レベルを再調整して、所望の明度レベル範囲に対応する目標ルーマの許容範囲に戻すことができる。いくつかの画像キャプチャ・デバイスでは、ＡＥＣ低速収束技術（AEC slow convergence technique）が、キャプチャされたフレームにおける明度レベルを再調整するために使用されることができる。明度再調整プロセスは、例えば最大で２〜３秒かかる、低速のものでありうるが、それは、明度変化における滑らかな遷移を提供する。低速収束技術は、２つのステージ、すなわち：保持時間（holding time）制御および収束プロセスを含むことができる。保持時間制御の間、明度レベルは、急激に変化しうるが、センサーにより駆動される（sensor-driven）明度再調整プロセスは、開始されていない。収束プロセスの間、フレーム・ルーマ値は、対応する明度レベルの変化に基づいて決定される露出ステップサイズに基づいて徐々に再調整される。明度レベルの変化は、（変化のレベルに応じて）シーン変化とみなされうる。ビデオ・デコーディング・デバイスは、それが受信する明度に関連した情報を利用して、フレームレート・アップコンバージョン・プロセスを調整することができる。
【００６０】
例えば、明度変化がある特定の量を上回り、したがって、シーン変化が生じえた場合、ビデオ・デコーディング・デバイスは、挿入されたフレームに隣接する２つのフレームが２つの異なるシーンからのものであるので、補間をスキップすることができる。別の例では、ビデオ・デコーディング・デバイスは、動き推定方法を、ピクセルベースのサーチから、明度変化に対してより耐性がある周波数ドメイン方法へと変更することができる。
【００６１】
１つの例では、ＡＥＣ収束ステータス、収束ステージフラグ（保持時間制御および収束プロセスについてのフラグ）、ならびにフレーム・ルーマ値は、対応するフレームに添付されたメタデータにおいて、ビデオ・デコーディング・デバイス側に送信されることができる。保持時間制御の例では、明度レベルの再調整はないが、その代わりに、フレーム・ルーマにおける急激な変化がある。この例では、挿入されたフレームの補間は、同じ明度レベルを有する、中間リファレンスフレームを使用して簡単化されることができる。収束プロセスの例では、フレームからフレームへの明度変化は滑らかであるが、挿入されたフレームの動きベクトル補間のために、中間リファレンスフレームがやはり必要とされる。いずれの例においても、中間フレームは、明度ファクターを取り除く、より正確な予測を得るために、同じ明度レベルを有しうる。
【００６２】
図８Ａは、この開示の態様による、明度情報に基づく例示的なフレームレート・アップコンバージョン方法のフローチャートを示す。図８Ｂは、この開示の態様による、フレームレート・アップコンバージョンのための明度情報の例示的な使用を示す。図８Ａに示されるように、方法８００は、ブロック８０２において、ビデオフレーム・シーケンスにおけるデコードされたフレームｎおよびｎ＋１の明度情報を取得することを含む。
【００６３】
ブロック８０４において、フレームｎ＋１の明度レベルは、フレームｎの明度レベルに等しく設定される。この操作は、図８Ｂにさらに例示されている。収束プロセスの間、デコードされたフレームのフレーム・ルーマ値を知っていることによって、被補間フレーム３７０の隣接するフレーム３８０および３８２のうちの１つが、デコードされたビデオストリームの前のフレーム３５０または次のフレーム３５２と同じ明度レベルになるように回復される。例えば、図８Ｂに示されるように、次のフレーム３５２の明度レベルは、フレーム３８２の明度がフレーム３８０の明度に一致するように隣接フレーム３８２を生成するために増大される。
【００６４】
図８Ａに戻って参照すると、ブロック８０６において、被補間フレームについて動きベクトルの予測が計算され、ブロック８０８において、予測された動きベクトルに基づいてフレームを補間することによって、ビデオフレームレートがアップコンバートされる。同じ明度レベルのリファレンスフレームにより、被補間フレームの動きベクトル予測が行われることができ、ＡＥＣ収束情報に関する知識がない場合と比較して、より正確な結果を達成することができる。
【００６５】
例えば、図８Ｂを参照すると、隣接するフレーム３８０および３８２に基づいて、中間フレーム３８０のピクセル値が決定されることができる。いくつかの実施形態によれば、この中間フレーム３９０のピクセル値は、下記の式６を使用して取得されることができる；
【数１０】
0005551308.tif 000012
【００６６】
最終的な被補間フレーム３７０の平均フレーム・ルーマ値は、下記の式７にしたがって記載されうる：
【数１１】
0005551308.tif 000013
【００６７】
ブロック８１０において、被補間フレームの 明度 が調整される。例えば、最終的な被補間フレーム３７０は、下記の式８にしたがって各ピクセル値を再調整することにより取得され、ここで、ＰｉｘｅｌＶａｌｕｅＩｎｔｅｒｐＦｒａｍｅ’ は、同じ 明度 レベルのリファレンスフレームから取得された、被補間フレームにおけるピクセル値である。
【数１２】
0005551308.tif 000014
【００６８】
エンコードされたビットストリームに含まれうる別のカメラパラメータは、ｏ オートホワイトバランス（ＡＷＢ）および色利得の情報に対応する。キャプチャされたシーンに光温度（light temperature）変化があるときには、画像キャプチャ・デバイス６０のＡＷＢ低速収束は、Ｒ／ＧおよびＢ／Ｇの利得を再調整することによって、新しい光温度に収束しようとする。ＡＷＢモードは、安定性および遷移の滑らかさを強調する。色ジッタ（color jitter）は、可能な限り抑制されるべきである。同じ原理が、フレームレート・アップコンバージョン・プロセスにも適用される。挿入されたフレームの前および後に続く２つのデコードされたフレームの間の滑らかな色遷移を与えるためには、色ジッタは可能な限り抑制されるべきである。ＡＷＢ収束プロセスは、下記の式にしたがって、各フレームについてＲ／ＧおよびＢ／Ｇの利得を調整する：
【数１３】
0005551308.tif 000015
【００６９】
ここで、Ｗは、予め定義された収束利得値に対応する。例えば、Ｗは、Ｑカムコーダ（QCamcorder）ＡＷＢ収束の設定について０．０２５に等しくなるように設定される ことができる 。Ｗは、ユーザの選択（user preference）に基づいて再調整される ことができる 。「新しい利得」は、画像プロセッサ６６に適用されるホワイトバランス利得に対応しうる。「古い利得」は、前のフレームのホワイトバランス利得に対応しうるものであり、「現在の利得」は、現在のフレームについてのホワイトバランス利得に対応しうる。
【００７０】
この開示の１つの態様では、ビデオ・デコーディング・デバイスは、フレームレート・アップコンバージョンにおいて被補間フレームの色利得を調整し、滑らかな色遷移を保つことができる。ＡＷＢ収束ステータスおよびデコードされた前のフレームと現在のフレームとの間のＲ／ＧおよびＢ／Ｇの利得の差は、メタデータを介してビデオ・デコーディング・デバイス側に送信される。色利得における差は、下記の式１０にしたがって記載されることができる：
【数１４】
0005551308.tif 000016
【００７１】
この開示の１つの態様では、挿入されたフレームの動きベクトル補間は、主に、輝度ドメイン補間に依存する。しかしながら、ルーマ・ドメイン動きベクトル予測が行われた後、Ｒ／ＧおよびＢ／Ｇの利得は、滑らかな視覚的な色遷移を達成するために、被補間フレームについて再調整されることができる。挿入されたフレームのＲ／ＧおよびＢ／Ｇの利得は、下記の式１１にしたがって調整されることができる：
【数１５】
0005551308.tif 000017
【００７２】
図９Ａは、この開示の態様による、オートホワイトバランスに基づく例示的なフレームレート・アップコンバージョン方法のフローチャートを示す。図９Ｂは、この開示の態様による、フレームレート・アップコンバージョンのためのホワイトバランス情報の例示的な使用を示す。図９Ａに例示されるように、方法９００は、ブロック９０２において、デコードされたフレームからオートホワイトバランス（ＡＷＢ）およびＲ／Ｇ、Ｂ／Ｇの利得を取得することを含むことができる。ビデオストリームのフレームレートは、ブロック９０４において、フレームを補間することによりアップコンバートされることができる。フレームの補間に続き、ブロック９０６に例示されるように、被補間フレームのＡＷＢ、Ｒ／Ｇ、およびＢ／Ｇが調整されることができる。
【００７３】
図９Ｂを参照すると、被補間フレーム３７０は、デコードされたフレーム３５０および３５２に基づいて補間される。隣接するフレーム３８０および３８２は、デコードされたフレームを、隣接するルーマ・ドメイン・フレーム３８０および３８２に変換することによって生成される。被補間フレーム３７０を生成するために使用される中間フレーム３９０に関する動きベクトルは、ルーマ・ドメインで予測される。被補間フレーム３７０の補間に続き、被補間フレーム３７０のＡＷＢ、Ｒ／Ｇ、およびＢ／Ｇが調整される。
【００７４】
いくつかの実施形態によると、カメラパラメータはまた、グローバル動き情報を含むことができる。画像プロセッサ６６において、グローバル動き情報は、動きセンサー（例えば、加速度計）によって検出されることができる。動きセンサーを持たないことのあるビデオ・キャプチャ・デバイスについては、グローバル動き情報はまた、例えば、行合計（row sum）および列合計（column sum）を分析すること、あるいはカメラパラメータ決定ステージにおけるその他のプロセスなど、いくつかの処理によって取得されることができる。
【００７５】
ビデオ・キャプチャ・デバイスが動きセンサーを有する例では、動きセンサーは、下記のグローバル動き情報のうちのいくつかを提供することができる：  
・３次元での運動加速度情報（ａｘ ，ａｙ ，ａｚ ）
・３次元での運動速度情報（Ｖｘ ，Ｖｙ ，Ｖｚ ）
・３次元での移動距離情報（Ｄｘ ，Ｄｙ ，Ｄｚ ）
・運動回転角度情報（α，β，γ）
フレームレート・アップコンバージョンのためにグローバル動き情報を利用する方法が、図１０Ａおよび図１０Ｂを参照して説明される。図１０Ａは、この開示の態様による、動き情報に基づく例示的なフレームレート・アップコンバージョン方法のフローチャートを示す。図１０Ｂは、この開示の態様による、フレームレート・アップコンバージョンのための動き情報の例示的な使用を示す。
【００７６】
図１０Ａに例示されるように、方法１０００は、ブロック１００２において、デコードされたフレームのグローバル動き情報を取得することを含む。ブロック１００４において、動きベクトル・サーチ範囲が、グローバル動き情報に基づいて決定される。ブロック１００６において、動きベクトル・サーチ範囲内で動きベクトルが予測される。フレームレート・アップコンバージョンのための被補間フレームが、予測された動きベクトルに基づいて、ブロック１００８において生成される。
【００７７】
ビデオディスプレイデバイス８０へ送信される、画像キャプチャ・デバイス６０のグローバル動き情報の知識により、ビデオ・デコーディング・デバイスは、図１０Ｂに例示されるように、フレーム３５０からフレーム３５２へのグローバル動きの方向を、挿入されたフレーム３７０の動きベクトル予測において利用することができる。
【００７８】
例えば、（ａｘ ，ａｙ ，ａｚ）、（Ｖｘ ，Ｖｙ ，Ｖｚ）、（Ｄｘ ，Ｄｙ ，Ｄｚ）、または（α ，β ，γ）などのグローバル動き情報は、フレームレート・アップコンバージョンを支援するために、ビデオディスプレイデバイス８０へメタデータを通じて送られる。本開示の１つの態様によると、グローバル動き情報を知ることによって、リファレンスフレームについての動きベクトル予測範囲は、指定されることができる。グローバル動き情報に関する事前知識により、それは、既知の場所に対するフレーム内のピクセルについてのマッチングブロックのサーチを低減させるので、動きベクトルのサーチは、より効率的でより正確になりうる。事前のグローバル動き情報を有することは、動きベクトルを決定するためにフレーム内のマッチングブロックを見つけ出すためにアルゴリズムが行う必要があるサーチの量を低減させることにより、フレームレート・アップコンバージョン・アルゴリズムの複雑さを低減させることができる。
【００７９】
図１０Ｂの例では、水平（horizontal）のグローバル動き情報（Ｄｘ，Ｄｙ，Ｄｚ）を知っていることにより、動きベクトル予測範囲は、グローバル動き情報に対応する領域に指定されることができる。その結果、動きサーチの計算は簡単化され、補間の正確度は改善される。
【００８０】
いくつかの実施形態によると、ビデオディスプレイデバイス８０に送られるカメラパラメータはまた、上述されたカメラパラメータの任意の組み合わせを含むことができる。加えて、受信されたカメラパラメータを使用した他のパラメータの計算結果（computations）は、ビデオフレームレート・アップコンバージョンを支援するために、ビデオディスプレイデバイス８０に送られることができ、あるいは受信されたカメラパラメータに基づいてビデオディスプレイデバイス８０によって計算されることができる。
【００８１】
例えば、ぼやけたフレーム（blurry frame）のぼやけ値（ＢＶ：blur value）の計算が、カメラパラメータに基づいて決定されることができる。いくつかの実施形態によると、ｉ番目のフレームのぼやけ値（ＢＶｉ）が、推定された合計動き値（ＭＶ）、露出時間（Ｔｅｘｐ）およびフレーム期間Ｔｆｒａｍｅに基づいて計算されることができる。フレーム期間Ｔｆｒａｍｅは、ビデオストリームの１／フレームレートとして定義されることができる。いくつかの例によると、Ｔｆｒａｍｅは、およそ０．３３ｍｓに等しく設定されることができる。
【００８２】
合計動き値ＭＶは、下記の式１２にしたがって計算されることができる：
【数１６】
0005551308.tif 000018
【００８３】
ここにおいて、ＭＶｄｅｖｉｃｅは、例えば、パニング（panning）および手ジッタの結果としてのカメラの動きに対応し、ＭＶｏｂｊｅｃｔは、キャプチャされたシーンにおけるオブジェクトの動きに対応する。
【００８４】
次いで、ぼやけ値（ＢＶｉ）は、下記の式１３に基づいて計算される ことができる ：
【数１７】
0005551308.tif 000019
【００８５】
ここにおいて、Ｋは、ぼやけ値がゼロから１までの範囲内に収まるような、ぼやけ値に関する正規化パラメータであり、ＭＴ０ は、それより低いと、ぼやけのアー チ ファクトが無視されうる、選択された低い方の閾値に対応し、ＭＴ１ は、それより高いと、ぼやけのアー チ ファクトが十分に高く、ぼやけ値がＢＶ＝１のように近似されうるケースとして該ぼやけのアー チ ファクトが分類されうる、選択された高い方の閾値に対応する。異なる動き推定の技術に基づいて、閾値の値は、可変的に選択されることができ、画像キャプチャ・デバイス６０によって調節可能であることができる。
【００８６】
いくつかの実施形態によると、カメラパラメータの異なる組み合わせが、フレームレート・アップコンバージョンを支援するために使用されることができる。例えば、多くの場合、ビデオデータのキャプチャの間のいくつかのカメラ調整は、同時に起こることができる。例えば、パニングの間に、オートフォーカス・リフォーカシングもまたトリガーされることができる。この状況では、ＡＥＣは、環境明度が初期のパニング位置から他の位置へと変化する場合、収束を開始することができる。これらの組み合わされた状況では、提案された個別の戦略もまた、フレームレート・アップコンバージョン・プロセスを支援するために組み合されることができる。
【００８７】
この開示の態様は、画像キャプチャ・デバイスからメタデータを送ることによって、ビデオ・デコーディング・デバイス側のフレームレート・アップコンバージョンを支援するための技術を提供しうる。メタデータは、フレームレート・アップコンバージョンを行うためにデバイス・デコーディング・デバイスよって使用されることのできる情報を含みうる。該情報は、デジタル／光学ズームイン／ズームアウト情報、オートフォーカス・リフォーカシング情報、フレームのぼやけ情報、ＡＥＣ収束情報、ＡＷＢ収束情報、グローバル動き情報、およびそれに類するものを含むことができる。フレームレート・アップコンバージョンのためのメタデータを使用することによって、動きベクトル補間についての計算は、大幅に低減されることができ、また、予測結果の正確度も、大きく改善されることができる。
【００８８】
いずれの開示されたプロセスにおけるステップのいずれの具体的な順序または階層も、サンプル・アプローチの一例であることが理解される。設計の選好に基づいて、これらプロセスにおけるステップの具体的な順序または階層は、本開示の範囲内にとどまりながら再構成されうることが理解される。添付の、方法の請求項は、サンプルの順序においてさまざまなステップの要素を提示するが、提示された具体的な順序または階層に限定されることを意図したものではない。
【００８９】
１つの例では、システムが、この開示の技術を行うことができる手段を備えうる。このシステムは、独立型のビデオシステムであるか、あるいは別のシステムの一部であることができ、それは、数ある機能の中でも特に、ビデオ処理システムを備える。いくつかの例では、ビデオ・キャプチャ・デバイス、ビデオ・エンコーディング・デバイス、およびビデオ・デコーディング・デバイスは、１つまたは複数のデバイスにおいてインプリメントされうる。
【００９０】
この開示において説明された技術は、ハードウェア、ソフトウェア、ファームウェア、あるいはそれらの任意の組み合わせにおいて、少なくとも部分的にインプリメントされうる。例えば、説明された技術のさまざまな態様は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰｓ）、特定用途向け集積回路（ＡＳＩＣｓ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡｓ）、あるいはその他任意の等価の集積型またはディスクリート論理回路、ならびにそのようなコンポーネントの任意の組み合わせを含む、１つまたは複数のプロセッサ内でインプリメントされうる。「プロセッサ」または「処理回路」という用語は、一般に、単独で、あるいは他の論理回路との組み合わせでの、前述した論理回路のいずれか、あるいはその他任意の等価の回路を指すことができる。また、ハードウェアを備えた制御ユニットが、この開示の１つまたは複数の技術を行うことができる。
【００９１】
このようなハードウェア、ソフトウェア、およびファームウェアは、この開示に説明されたさまざまな操作および機能をサポートするために、同じデバイス内で、あるいは別個のデバイス内でインプリメントされることができる。加えて、任意の説明されたユニット、モジュール、またはコンポーネントは、一緒にインプリメントされることができ、あるいは、ディスクリートであるが相互動作可能な論理デバイスとして、別々にインプリメントされることができる。モジュールまたはユニットとしての異なるフィーチャの描写は、異なる機能面を強調することを意図したものであり、必ずしもこのようなモジュールまたはユニットが、個別のハードウェアまたはソフトウェアのコンポーネントによって実現されなければならないことを意味しているのではない。むしろ、１つまたは複数のモジュールまたはユニットに関連した機能は、個別のハードウェア、ファームウェア、および／またはソフトウェアのコンポーネントによって行われることができ、あるいは共通のまたは個別のハードウェアまたはソフトウェアのコンポーネント内に統合されることができる。
【００９２】
また、この開示に説明された技術は、命令を含む、非一時的コンピュータ読取可能記憶媒体などのコンピュータ読取可能媒体において、組み込まれる、またはエンコードされることができる。非一時的コンピュータ読取可能媒体において組み込まれたまたはエンコードされた命令は、１つまたは複数のプログラマブル・プロセッサに、あるいはその他のプロセッサに、例えば命令が実行されたときに、方法を行わせることができる。コンピュータ読取可能記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能なプログラマブルＲＯＭ（ＥＰＲＯＭ）、電子的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、カセット、磁気媒体、光学媒体、あるいはその他のコンピュータ読取可能媒体を含みうる。
【００９３】
当業者であれば、情報および信号が、さまざまな異なる技術および技法のうちのいずれを用いて表されることもできることを理解するであろう。例えば、上記説明の全体を通じて言及されうるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光粒子、あるいはこれらの任意の組み合わせによって表されうる。
【００９４】
例示的な実装形態では、この開示に説明された技術は、部分的にハードウェアによって実装されるか、ファームウェアによって実装されるか、および／またはソフトウェアによって実装されるかにかかわらず、デジタル・ビデオ・コーディング・ハードウェア装置によって実施されることができる。
【００９５】
さまざまな態様および例が説明された。しかしながら、特許請求の範囲から逸脱することなく、この開示の構造または技術に対して修正が加えられることができる。
【００９６】
前述の説明および特許請求の範囲は、要素または特徴を、互いに「結合された（coupled）」または「接続された（connected）」ものとして言及することがある。ここで使用される場合、特に明記されていない限り、「接続された」は、１つの要素／特徴が、直接的にあるいは間接的に、別の要素／特徴に接続されていることを意味しており、必ずしも機械的にではない。同様に、特に明記されていない限り、「結合された」は、１つの要素／特徴が、直接的にあるいは間接的に、別の要素／特徴に結合されていることを意味しており、必ずしも機械的にではない。したがって、図面に示されるさまざまな概略図は、要素およびコンポーネントの例示的な配置を図示しているが、（図示される回路の機能に悪影響をおよぼさないものとして）さらなる介在する要素、デバイス、特徴、またはコンポーネントが、実際の実施形態では存在しうる。
【００９７】
したがって、当業者は、例示的なインプリメンテーションの構成および原理が、その他任意の電子システムに適合されうることを理解するであろう。以上に説明された構成を用いる回路は、さまざまな電子デバイスまたは集積回路へと実装されることができる。電子デバイスの例は、これらに限定されるものではないが、消費者家電製品、消費家電製品の一部分、電子試験機器、ヘルスケア・モニター等を含みうる。さらに、電子デバイスは、未製品を含みうる。
なお、以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］ビデオデータをエンコードするための方法であって、
カメラから少なくとも１つのビデオフレームを取得することと、
少なくとも１つのカメラパラメータを取得することと、
エンコードされたフレームを形成するために前記少なくとも１つのビデオフレームをエンコードすることと、
デコーダが埋め込まれたパラメータを読み取って前記ビデオデータをフレームレート・アップコンバートすることができるように、前記エンコードされたフレーム中に前記カメラパラメータを埋め込むことと、
を備える方法。
［Ｃ２］前記少なくとも１つのカメラパラメータは、ズーム・ファクター、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、グローバル動き情報、およびフレームのぼやけ情報のうちの１つまたは複数を含む、Ｃ１に記載の方法。
［Ｃ３］対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータをパケット化することと、
前記パケット化された少なくとも１つのカメラパラメータを、前記対応するキャプチャされたビデオフレームにメタデータとして添付することと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ４］前記少なくとも１つのカメラパラメータに少なくとも部分的に基づいて、ビデオフレームについてエンコーディング・プロセスを決定することと、
前記決定されたエンコーディング・プロセスに基づいて、前記ビデオフレームをエンコードすることと、
をさらに備える、Ｃ１に記載の方法。
［Ｃ５］前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、Ｃ１に記載の方法。
［Ｃ６］前記カメラは、無線電話である、Ｃ１に記載の方法。
［Ｃ７］カメラから少なくとも１つのビデオフレームを取得するための手段と、
少なくとも１つのカメラパラメータを取得するための手段と、 
エンコードされたフレームを形成するために前記少なくとも１つのビデオフレームをエンコードするための手段と、
デコーダが埋め込まれたパラメータを読み取って前記ビデオデータをフレームレート・アップコンバートすることができるように、前記エンコードされたフレーム中に前記少なくとも１つのカメラパラメータを埋め込むための手段と、
を備える電子デバイス。
［Ｃ８］カメラから少なくとも１つのビデオフレームを取得するための前記手段は、ビデオカメラを備える、Ｃ７に記載のデバイス。
［Ｃ９］少なくとも１つのカメラパラメータを取得するための前記手段は、プロセッサを備える、Ｃ７に記載のデバイス。
［Ｃ１０］前記少なくとも１つのビデオフレームをエンコードするための前記手段は、前記カメラ内のビデオエンコーダを備える、Ｃ７に記載のデバイス。
［Ｃ１１］前記少なくとも１つのカメラパラメータは、ズーム・ファクター、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、グローバル動き情報、およびフレームのぼやけ情報のうちの１つまたは複数を含む、Ｃ７に記載のデバイス。
［Ｃ１２］前記少なくとも１つのカメラパラメータを埋め込むための前記手段は、
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータをパケット化するための手段と、
前記パケット化された少なくとも１つのカメラパラメータを、前記対応するキャプチャされたビデオフレームにメタデータとして添付するための手段と、
を備える、Ｃ７に記載のデバイス。
［Ｃ１３］前記少なくとも１つのカメラパラメータに少なくとも部分的に基づいて、ビデオフレームについてエンコーディング・プロセスを決定するための手段と、
前記決定されたエンコーディング・プロセスに基づいて、前記ビデオフレームをエンコードするための手段と、
をさらに備える、Ｃ７に記載のデバイス。
［Ｃ１４］前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、Ｃ７に記載のデバイス。
［Ｃ１５］前記デバイスは、無線電話である、Ｃ７に記載のデバイス。
［Ｃ１６］カメラから少なくとも１つのビデオフレームを取得するように構成されたビデオ・キャプチャ・デバイスと、
少なくとも１つのカメラパラメータを取得するように構成されたプロセッサと、
エンコードされたフレームを形成するために前記少なくとも１つのビデオフレームをエンコードし、デコーダが埋め込まれたパラメータを読み取って前記ビデオデータをフレームレート・アップコンバートすることができるように、前記エンコードされたフレーム中に前記カメラパラメータを埋め込むように構成されたエンコーダと、
を備える、電子デバイス。
［Ｃ１７］前記少なくとも１つのカメラパラメータは、ズーム・ファクター、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、グローバル動き情報、およびフレームのぼやけ情報のうちの１つまたは複数を含む、Ｃ１６に記載のデバイス。
［Ｃ１８］前記プロセッサは、
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータをパケット化し、
前記パケット化された少なくとも１つのカメラパラメータを、前記対応するキャプチャされたビデオフレームにメタデータとして添付する、
ようにさらに構成される、Ｃ１６に記載のデバイス。
［Ｃ１９］前記エンコーダは、
前記少なくとも１つのカメラパラメータに少なくとも部分的に基づいて、ビデオフレームについてエンコーディング・プロセスを決定し、
前記決定されたエンコーディング・プロセスに基づいて、前記ビデオフレームをエンコードする、
ようにさらに構成される、Ｃ１６に記載のデバイス。
［Ｃ２０］前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、Ｃ１６に記載のデバイス。
［Ｃ２１］前記電子デバイスは、無線電話である、Ｃ１６に記載のデバイス。
［Ｃ２２］コードを記憶された非一時的コンピュータ読取可能媒体であって、前記コードは、実行されたときに、
カメラから少なくとも１つのビデオフレームを取得することと、
少なくとも１つのカメラパラメータを取得することと、
エンコードされたフレームを形成するために前記少なくとも１つのビデオフレームをエンコードすることと、
デコーダが埋め込まれたパラメータを読み取って前記ビデオデータをフレームレート・アップコンバートすることができるように、前記エンコードされたフレーム中に前記カメラパラメータを埋め込むことと、
を備える方法を行う、非一時的コンピュータ読取可能媒体。
［Ｃ２３］前記少なくとも１つのカメラパラメータは、ズーム・ファクター、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、グローバル動き情報、およびフレームのぼやけ情報のうちの１つまたは複数を含む、Ｃ２２に記載の非一時的コンピュータ読取可能媒体。
［Ｃ２４］実行されたときに、
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータをパケット化し、
前記パケット化された少なくとも１つのカメラパラメータを、前記対応するキャプチャされたビデオフレームにメタデータとして添付する、
コードをさらに備える、Ｃ２２に記載の非一時的コンピュータ読取可能媒体。
［Ｃ２５］実行されたときに、
前記少なくとも１つのカメラパラメータに少なくとも部分的に基づいて、ビデオフレームについてエンコーディング・プロセスを決定し、
前記決定されたエンコーディング・プロセスに基づいて、前記ビデオフレームをエンコードする、
コードをさらに備える、Ｃ２２に記載の非一時的コンピュータ読取可能媒体。
［Ｃ２６］前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、Ｃ２２に記載の非一時的コンピュータ読取可能媒体。
［Ｃ２７］前記カメラは、無線電話である、Ｃ２２に記載の非一時的コンピュータ読取可能媒体。
［Ｃ２８］ビデオデータをデコードするための方法であって、
ビデオデータと埋め込まれたデータとを含むビットストリームを受信することと、
前記埋め込まれたデータから少なくとも１つのカメラパラメータを取得することと、
前記少なくとも１つのカメラパラメータに基づいてビデオフレームレートをアップコンバートすることと、
を備える方法。
［Ｃ２９］前記少なくとも１つのカメラパラメータは、ズーム・ファクター、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、グローバル動き情報、およびフレームのぼやけ情報のうちの１つまたは複数を含む、Ｃ２８に記載の方法。
［Ｃ３０］前記埋め込まれたデータは、メタデータを備える、Ｃ２８に記載の方法。
［Ｃ３１］対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータを逆パケット化することと、
前記ビデオフレームレートをアップコンバートするために、前記逆パケット化された少なくとも１つのカメラパラメータを読み取ることと、
をさらに備える、Ｃ２８に記載の方法。
［Ｃ３２］前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、Ｃ２８に記載の方法。
［Ｃ３３］前記カメラは、無線電話である、Ｃ３２に記載の方法。
［Ｃ３４］前記少なくとも１つのカメラパラメータは、ズームイン情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードすることと、
前記ズームイン情報のファクターに基づいて、前記デコードされたフレームをスケーリングすることと、
前記スケーリングされたフレームに基づいて、動きベクトルを予測することと、
前記予測された動きベクトルに基づいて、フレームを補間することと、
を備える、Ｃ２８に記載の方法。
［Ｃ３５］前記少なくとも１つのカメラパラメータは、ぼやけ情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードすることと、
前記デコードされたフレームから前記ぼやけ情報を取得することと、
前記ぼやけ情報に基づいて、動きベクトル・サーチ範囲を選択的に決定することと、
前記決定されたサーチ範囲から、動きベクトルを予測することと、
前記予測された動きベクトルに基づいて、フレームを補間することと、
を備える、Ｃ２８に記載の方法。
［Ｃ３６］前記少なくとも１つのカメラパラメータは、オートフォーカス情報を備え、前記方法は、前記オートフォーカス情報に基づいて、前記デコードされたフレームがリフォーカシング動作の間にキャプチャされたかどうかを決定することをさらに備え、前記ぼやけ情報に基づいて前記動きベクトル・サーチ範囲を選択的に決定することは、前記デコードされたフレームがリフォーカシング動作の間にキャプチャされるときに行われる、Ｃ３５に記載の方法。
［Ｃ３７］隣接するデコードされたフレームがリフォーカシング動作の間にキャプチャされないときに、隣接するデコードされたフレームのピクセルを平均することによって、フレームを補間することをさらに備える、Ｃ３６に記載の方法。
［Ｃ３８］前記少なくとも１つのカメラパラメータは、明度情報を備え、前記ビデオフレームレートをアップコンバートすることは、
第１のデコードされたフレームおよび第２のデコードされたフレームを生成するために、前記ビットストリームをデコードすることと、
前記第１のデコードされたフレームおよび前記第２のデコードされたフレームから、前記明度情報を取得することと、
第１および第２のリファレンスフレームを生成するために、前記明度情報に基づいて、前記第２のデコードされたフレームの明度レベルを、前記第１のデコードされたフレームの明度レベルに等しく設定することと、
前記第１および第２のリファレンスフレームに基づいて、被補間フレームの動きベクトルを予測することと、
前記予測された動きベクトルに基づいて、フレームを補間することと、
前記明度情報に基づいて、被補間フレームの明度を調整することと、
を備える、Ｃ２８に記載の方法。
［Ｃ３９］前記少なくとも１つのカメラパラメータは、オートホワイトバランス（ＡＷＢ）情報および色利得情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードすることと、
前記デコードされたフレームに基づいて、フレームを補間することと、
前記ＡＷＢおよび色利得の情報に基づいて、被補間フレームのＡＷＢおよび色利得を調整することと、
を備える、Ｃ２８に記載の方法。
［Ｃ４０］前記少なくとも１つのカメラパラメータは、グローバル動き情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードすることと、
前記デコードされたフレームから前記グローバル動き情報を取得することと、
前記グローバル動き情報に基づいて、動きベクトル・サーチ範囲を決定することと、
前記動きベクトル・サーチ範囲に基づいて、動きベクトルを予測することと、
前記予測された動きベクトルに基づいて、フレームを補間することと、
を備える、Ｃ２８に記載の方法。
［Ｃ４１］ビデオデータと埋め込まれたデータとを含むビットストリームを受信するための手段と、
前記埋め込まれたデータから少なくとも１つのカメラパラメータを取得するための手段と、
前記少なくとも１つのカメラパラメータに基づいて、ビデオフレームレートをアップコンバートするための手段と、
を備えるデバイス。
［Ｃ４２］ビットストリームストリームを受信するための前記手段および少なくとも１つのカメラパラメータを取得するための前記手段は、デコーダを備え、ビデオフレームをアップコンバートするための前記手段は、プロセッサを備える、Ｃ４１に記載のデバイス。
［Ｃ４３］前記少なくとも１つのカメラパラメータは、ズーム・ファクター、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、グローバル動き情報、およびフレームのぼやけ情報のうちの１つまたは複数を含む、Ｃ４１に記載のデバイス。
［Ｃ４４］前記埋め込まれたデータは、メタデータを備える、Ｃ４１に記載のデバイス。
［Ｃ４５］対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータを逆パケット化するための手段と、
前記ビデオフレームレートをアップコンバートするために、前記逆パケット化された少なくとも１つのカメラパラメータを読み取るための手段と、
をさらに備える、Ｃ４１に記載のデバイス。
［Ｃ４６］前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、Ｃ４１に記載のデバイス。
［Ｃ４７］前記カメラは、無線電話である、Ｃ４６に記載のデバイス。
［Ｃ４８］前記少なくとも１つのカメラパラメータは、ズームイン情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードするための手段と、
前記ズームイン情報のファクターに基づいて、前記デコードされたフレームをスケーリングするための手段と、
前記スケーリングされたフレームに基づいて、動きベクトルを予測するための手段と、
前記予測された動きベクトルに基づいて、フレームを補間するための手段と、
を備える、Ｃ４１に記載のデバイス。
［Ｃ４９］前記少なくとも１つのカメラパラメータは、ぼやけ情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードするための手段と、
前記デコードされたフレームから前記ぼやけ情報を取得するための手段と、
前記ぼやけ情報に基づいて、動きベクトル・サーチ範囲を選択的に決定するための手段と、
前記決定されたサーチ範囲から、動きベクトルを予測するための手段と、
前記予測された動きベクトルに基づいて、フレームを補間するための手段と、
を備える、Ｃ４１に記載のデバイス。
［Ｃ５０］前記少なくとも１つのカメラパラメータは、オートフォーカス情報を備え、前記方法は、前記オートフォーカス情報に基づいて、前記デコードされたフレームがリフォーカシング動作の間にキャプチャされたかどうかを決定することをさらに備え、前記ぼやけ情報に基づいて前記動きベクトル・サーチ範囲を選択的に決定することは、前記デコードされたフレームがリフォーカシング動作の間にキャプチャされるときに行われる、Ｃ４９に記載のデバイス。
［Ｃ５１］隣接するデコードされたフレームがリフォーカシング動作の間にキャプチャされないときに、前記隣接するデコードされたフレームのピクセルを平均することによって、フレームを補間することをさらに備える、Ｃ５０に記載のデバイス。
［Ｃ５２］前記少なくとも１つのカメラパラメータは、明度情報を備え、前記ビデオフレームレートをアップコンバートすることは、
第１のデコードされたフレームおよび第２のデコードされたフレームを生成するために、前記ビットストリームをデコードするための手段と、
前記第１のデコードされたフレームおよび前記第２のデコードされたフレームから、前記明度情報を取得するための手段と、
第１および第２のリファレンスフレームを生成するために、前記明度情報に基づいて、前記第２のデコードされたフレームの明度レベルを、前記第１のデコードされたフレームの明度レベルに等しく設定するための手段と、
前記第１および第２のリファレンスフレームに基づいて、被補間フレームの動きベクトルを予測するための手段と、
前記予測された動きベクトルに基づいて、フレームを補間するための手段と、
前記明度情報に基づいて、被補間フレームの明度を調整するための手段と、
を備える、Ｃ４１に記載のデバイス。
［Ｃ５３］前記少なくとも１つのカメラパラメータは、オートホワイトバランス（ＡＷＢ）情報および色利得情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードするための手段と、
前記デコードされたフレームに基づいて、フレームを補間するための手段と、
前記ＡＷＢおよび色利得の情報に基づいて、被補間フレームのＡＷＢおよび色利得を調整するための手段と、
を備える、Ｃ４１に記載のデバイス。
［Ｃ５４］前記少なくとも１つのカメラパラメータは、グローバル動き情報を備え、前記ビデオフレームレートをアップコンバートすることは、
デコードされたフレームを生成するために、前記ビットストリームをデコードするための手段と、
前記デコードされたフレームから前記グローバル動き情報を取得するための手段と、
前記グローバル動き情報に基づいて、動きベクトル・サーチ範囲を決定するための手段と、
前記動きベクトル・サーチ範囲に基づいて、動きベクトルを予測するための手段と、
前記予測された動きベクトルに基づいて、フレームを補間するための手段と、
を備える、Ｃ４１に記載のデバイス。
［Ｃ５５］ビデオデータと埋め込まれたデータとを含むビットストリームを受信して、前記埋め込まれたデータから少なくとも１つのカメラパラメータを取得するように構成されたデコーダと、
前記少なくとも１つのカメラパラメータに基づいて、ビデオフレームレートをアップコンバートするように構成されたプロセッサと、
を備えるデバイス。
［Ｃ５６］前記少なくとも１つのカメラパラメータは、ズーム・ファクター、オートフォーカス・ステータス、レンズ位置、フレーム・ルーマ、自動露出（ＡＥ）収束ステータス、オートマチックホワイトバランス（ＡＷＢ）収束ステータス、グローバル動き情報、およびフレームのぼやけ情報のうちの１つまたは複数を含む、Ｃ５５に記載のデバイス。
［Ｃ５７］前記少なくとも１つのカメラパラメータは、前記少なくとも１つのビデオフレームのキャプチャの間の前記カメラのカメラパラメータに対応する、Ｃ５５に記載のデバイス。
［Ｃ５８］前記カメラは、無線電話である、Ｃ５７に記載のデバイス。
［Ｃ５９］コードを記憶された非一時的コンピュータ読取可能媒体であって、前記コードは、実行されたときに、
ビデオデータと埋め込まれたデータとを含むビットストリームを受信することと、
前記埋め込まれたデータから少なくとも１つのカメラパラメータを取得することと、
前記少なくとも１つのカメラパラメータに基づいて、ビデオフレームレートをアップコンバートすることと、
を備える方法を行う、非一時的コンピュータ読取可能媒体。
［Ｃ６０］実行されたときに、
対応するキャプチャされた各ビデオフレームについて前記少なくとも１つのカメラパラメータを逆パケット化し、
前記ビデオフレームレートをアップコンバートするために、前記逆パケット化された少なくとも１つのカメラパラメータを読み取る、
コードをさらに備える、Ｃ５９に記載の非一時的コンピュータ読取可能媒体。
【図１】
0005551308.tif 000020
【図２】
0005551308.tif 000021
【図３Ａ】
0005551308.tif 000022
【図３Ｂ】
0005551308.tif 000023
【図３Ｃ】
0005551308.tif 000024
【図４】
0005551308.tif 000025
【図５】
0005551308.tif 000026
【図６Ａ】
0005551308.tif 000027
【図６Ｂ】
0005551308.tif 000028
【図７】
0005551308.tif 000029
【図８Ａ】
0005551308.tif 000030
【図８Ｂ】
0005551308.tif 000031
【図９Ａ】
0005551308.tif 000032
【図９Ｂ】
0005551308.tif 000033
【図１０Ａ】
0005551308.tif 000034
【図１０Ｂ】
0005551308.tif 000035