(57)【特許請求の範囲】
【請求項１】
実時間ビデオエンハンスメント方法であって、
画像の現在のフレームの平均輝度を取得するステップと、
前記平均輝度が輝度閾値未満か否かを決定し、前記輝度閾値未満である場合、前記現在のフレームの関心領域の画素範囲を取得し、前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得し、前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに従って、前記現在のフレームの第２のエンハンスメント曲線を取得し、前記第２のエンハンスメント曲線に従って前記現在のフレームを調整するステップと、
を含み、
前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得する前記ステップは、
前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得するステップと、
対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
を含む、方法。
【請求項２】
前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得する前記ステップの前に、
前記現在のフレームに前のフレームからのシーン変化がないか否かと、前記前のフレームのエンハンスメント曲線が存在するか否かとを決定するステップと、
そうである場合、前記前のフレームの第２のエンハンスメント曲線を取得し、前記前のフレームの前記第２のエンハンスメント曲線を、前記現在のフレームの前記第２のエンハンスメント曲線として用いるステップ、又は、
そうでない場合、前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する前記第１のエンハンスメント曲線を取得するステップ、
を含む、請求項１に記載の方法。
【請求項３】
前記現在のフレームに前のフレームからのシーン変化がないか否かを決定する前記ステップは、
前記現在のフレームの前記平均輝度を取得するステップと、
前記現在のフレームの前記平均輝度を隣接する前の１つのフレーム又は前の複数フレームの平均輝度と比較するステップと、
前記現在のフレームの前記平均輝度と前記隣接する前の１つのフレーム又は前記前の複数フレームの前記平均輝度との差がエラー閾値未満である場合、前記シーンが変化していないとみなし、前記エラー閾値以上である場合、前記現在のフレームにシーン変化があると決定するステップと、
を含む、請求項２に記載の方法。
【請求項４】
輝度範囲と前記第１のエンハンスメント曲線とのマッピング関係を確立するステップ、
を更に含み、
前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得する前記ステップは、
前記現在のフレームの前記平均輝度に従って、前記輝度範囲と前記第１のエンハンスメント曲線との前記マッピング関係から、前記現在のフレームに対応する前記第１のエンハンスメント曲線を取得するステップ、
を含む、請求項１に記載の方法。
【請求項５】
前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得する前記ステップは、
前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差が所定値未満であるとき、前記画素マッピング範囲の上限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記上限値の所定のパーセンテージに設定し、前記画素マッピング範囲の下限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値の所定のパーセンテージに設定するステップ、又は、
前記現在のフレームの前記関心領域の前記画素範囲の前記上限値と前記下限値との前記差が前記所定値以上であるとき、前記画素マッピング範囲の前記上限値を２５５に設定し、前記画素マッピング範囲の前記下限値を０に設定するステップ、
を含む、請求項１に記載の方法。
【請求項６】
対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得する前記ステップは、
前記画素マッピング範囲の上限値と下限値との差の、前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差に対する比率を取得するステップと、
前記現在のフレームの前記関心領域の前記画素範囲における各値と前記現在のフレームの前記関心領域の前記画素範囲の前記下限値との差に、前記比率を掛け、乗算された前記差に、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値を加えて、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
を含む、請求項１に記載の方法。
【請求項７】
前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに従って、前記現在のフレームの第２のエンハンスメント曲線を取得する前記ステップは、
前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに対して算術平均又は加重平均を実行して、前記現在のフレームの前記第２のエンハンスメント曲線を取得するステップ、
を含む、請求項１に記載の方法。
【請求項８】
端末であって、メモリ及びプロセッサを備え、前記メモリはコンピュータ可読命令を記憶し、前記コンピュータ可読命令は、前記プロセッサによる実行時に、
画像の現在のフレームの平均輝度を取得するステップと、
前記平均輝度が輝度閾値未満か否かを決定し、輝度閾値未満である場合、前記現在のフレームの関心領域の画素範囲を取得し、前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得し、前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに従って、前記現在のフレームの第２のエンハンスメント曲線を取得し、前記第２のエンハンスメント曲線に従って前記現在のフレームを調整するステップと、
を前記プロセッサに実行させ、
前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得する前記ステップは、
前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得するステップと、
対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
を含む、端末。
【請求項９】
前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得する前記ステップの前に、前記プロセッサは更に、
前記現在のフレームに前のフレームからのシーン変化がないか否かと、前のフレームのエンハンスメント曲線が存在するか否かとを決定するステップと、
そうであれば、前記前のフレームの第２のエンハンスメント曲線を取得し、前記前のフレームの前記第２のエンハンスメント曲線を、前記現在のフレームの前記第２のエンハンスメント曲線として用いるステップ、又は、
そうでなければ、前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する前記第１のエンハンスメント曲線を取得するステップ、
を実行する、請求項８に記載の端末。
【請求項１０】
前記プロセッサは更に、
前記現在のフレームの前記平均輝度を取得するステップと、
前記現在のフレームの前記平均輝度を、隣接する前の１つのフレーム又は前の複数フレームの平均輝度と比較するステップと、
前記現在のフレームの前記平均輝度と前記隣接する前の１つのフレーム又は前記前の複数フレームの前記平均輝度との差がエラー閾値未満である場合、前記現在のフレームにおいて前記前の複数フレームからシーン変化がないと決定し、又は、前記エラー閾値以上である場合、前記現在のフレームに前記前の複数フレームからシーン変化があると決定するステップと、
を実行する、請求項９に記載の端末。
【請求項１１】
前記プロセッサは更に、
輝度範囲と前記第１のエンハンスメント曲線とのマッピング関係を確立するステップ、
を実行し、
前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得する前記ステップは、
前記現在のフレームの前記平均輝度に従って、前記輝度範囲と前記第１のエンハンスメント曲線との前記マッピング関係から、前記現在のフレームに対応する前記第１のエンハンスメント曲線を取得するステップ、
を含む、請求項８に記載の端末。
【請求項１２】
前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得する前記ステップは、
前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差が所定値未満であるとき、前記画素マッピング範囲の上限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記上限値の所定のパーセンテージに設定し、前記画素マッピング範囲の下限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値の所定のパーセンテージに設定するステップ、又は、
前記現在のフレームの前記関心領域の前記画素範囲の前記上限値と前記下限値との前記差が前記所定値以上であるとき、前記画素マッピング範囲の前記上限値を２５５に設定し、前記画素マッピング範囲の前記下限値を０に設定するステップ、
を含む、請求項８に記載の端末。
【請求項１３】
対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得する前記ステップは、
前記画素マッピング範囲の上限値と下限値との差の、前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差に対する比率を取得するステップと、
前記現在のフレームの前記関心領域の前記画素範囲における各値と前記現在のフレームの前記関心領域の前記画素範囲の前記下限値との差に、前記比率を掛け、乗算された前記差に、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値を加えて、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
を含む、請求項８に記載の端末。
【請求項１４】
前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに従って、前記現在のフレームの第２のエンハンスメント曲線を取得する前記ステップは、
前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに対して算術平均又は加重平均を実行して、前記現在のフレームの前記第２のエンハンスメント曲線を取得するステップ、
を含む、請求項８に記載の端末。
【請求項１５】
コンピュータ実行可能命令を備える１つ以上の非一時的コンピュータ可読記憶媒体であって、
前記コンピュータ実行可能命令は、１以上のプロセッサによって実行されると、
画像の現在のフレームの平均輝度を取得するステップと、
前記平均輝度が輝度閾値未満か否かを決定し、輝度閾値未満である場合、前記現在のフレームの関心領域の画素範囲を取得し、前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得し、前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに従って、前記現在のフレームの第２のエンハンスメント曲線を取得し、前記第２のエンハンスメント曲線に従って前記現在のフレームを調整するステップと、
を前記１以上のプロセッサに実行させ、
前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得する前記ステップは、
前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得するステップと、
対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
を含む、非一時的コンピュータ可読記憶媒体。
【請求項１６】
前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得する前記ステップは、
前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差が所定値未満であるとき、前記画素マッピング範囲の上限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記上限値の所定のパーセンテージに設定し、前記画素マッピング範囲の下限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値の所定のパーセンテージに設定するステップ、又は、
前記現在のフレームの前記関心領域の前記画素範囲の前記上限値と前記下限値との前記差が前記所定値以上であるとき、前記画素マッピング範囲の前記上限値を２５５に設定し、前記画素マッピング範囲の前記下限値を０に設定するステップ、
を含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
【請求項１７】
対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得する前記ステップは、
前記画素マッピング範囲の上限値と下限値との差の、前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差に対する比率を取得するステップと、
前記現在のフレームの前記関心領域の前記画素範囲における各値と前記現在のフレームの前記関心領域の前記画素範囲の前記下限値との差に、前記比率を掛け、乗算された前記差に、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値を加えて、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
を含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本願は、２０１５年１１月１８日に出願された「実時間ビデオエンハンスメント及び装置」という名称の中国特許出願第２０１５１０７９８９８２．８号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。
【０００２】
本開示は、信号処理の分野に関し、特に、実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体に関する。
【背景技術】
【０００３】
現在、圧倒的多数のスマートフォンは既にビデオ撮影機能を有している。レンズとコストには制限が課されるので、単一画素上の光束は比較的小さい。特に、照明が不十分であるか照度が低い屋内シーンでは、一部の携帯電話の露出は不十分であり、明らかに暗い映像になってしまい、ビデオ通話の使用が限られてしまう。ビデオエンハンスメント処理により、このタイプのシーンにおけるビデオエフェクトは、カスタマーの主観的感情を改善し、それによりビデオ通話アプリケーションのシーンを拡大するように、効果的に改善することができる。
【０００４】
従来のビデオエンハンスメント技術は、主に画像エンハンスメントを参考にする。例えば、ヒストグラム平坦化法では、エンハンスメント曲線は画像の累積確率分布関数であり、画像全体のコントラストを最大限に伸ばすことができる。暗いシーンにおける画像のヒストグラムはピークを有するので、ヒストグラム平坦化処理後に画像が過度に強調され、結果として画像が歪んでしまう。
【発明の概要】
【０００５】
このため、画像が過度に強調されることを防止し、画像の歪みを防止するために、実時間ビデオエンハンスメント方法を提供する必要がある。
【０００６】
また、画像が過度に強調されることを防止し、画像の歪みを防止するために、端末及び非一時的コンピュータ可読記憶媒体を提供することが更に必要である。
【０００７】
実時間ビデオエンハンスメント方法は、
画像の現在のフレームの平均輝度を取得するステップと、
平均輝度が輝度閾値未満か否かを決定し、輝度閾値未満である場合、現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得し、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得し、第２のエンハンスメント曲線に従って現在のフレームを調整するステップと、
を含む。
【０００８】
端末は、メモリ及びプロセッサを備える。メモリはコンピュータ可読命令を記憶する。コンピュータ可読命令は、プロセッサによる実行時に、
画像の現在のフレームの平均輝度を取得するステップと、
平均輝度が輝度閾値未満か否かを決定し、輝度閾値未満である場合、現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得し、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得し、第２のエンハンスメント曲線に従って現在のフレームを調整するステップと、
をプロセッサに実行させる。
【０００９】
１つ以上の非一時的コンピュータ可読記憶媒体は、コンピュータ実行可能命令を有する。コンピュータ実行可能命令は、１つ以上のプロセッサによって実行されると、
画像の現在のフレームの平均輝度を取得するステップと、
平均輝度が輝度閾値未満か否かを決定し、輝度閾値未満である場合、現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得し、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得し、第２のエンハンスメント曲線に従って現在のフレームを調整するステップと、
１つ以上のプロセッサに実行させる。
【００１０】
本発明の1つ以上の実施形態の詳細は、以下の添付図面及び説明に記載されている。本開示の他の特徴、目的及び利点は、明細書、添付図面及び特許請求の範囲によって明らかになる。
【図面の簡単な説明】
【００１１】
以下、本発明の実施形態又は既存技術の技術的解決策をより明確に説明するために、実施形態又は既存技術を説明するための添付図面を簡単に説明する。明らかに、以下の説明における添付図面は、本発明の一部の実施形態に過ぎず、当業者であれば、これらの添付図面に基づいて創意工夫なしに他の添付図面を得ることができる。
【図１】実施形態に係る実時間ビデオエンハンスメント方法の応用環境の概略図である。
【図２】実施形態に係る、図１の端末の内部構造の概略図である。
【図３】実施形態に係る実時間ビデオエンハンスメント方法のフローチャートである。
【図４】実施形態に係る、現在のフレームの関心領域の画素範囲に従って現在のフレームの局所エンハンスメント曲線を取得するステップの具体的なフローチャートである。
【図５】シーンに応じて暗から明に設計された複数グループの第１のエンハンスメント曲線の概略図である。
【図６】別の実施形態に係る実時間ビデオエンハンスメント方法のフローチャートである。
【図７】実施形態に係る実時間ビデオエンハンスメント装置の構造ブロック図である。
【図８】別の実施形態に係る実時間ビデオエンハンスメント装置の構造ブロック図である。
【発明を実施するための形態】
【００１２】
本開示の目的、技術的解決策及び利点をより理解しやすくするために、以下、本開示は更に、添付図面及び実施形態を参照して詳細に説明される。本明細書に記載される特定の実施形態は、本開示を説明するために使用されるものに過ぎず、本開示を限定するために使用されるものではないことを理解されたい。
【００１３】
図１は、実施形態に係る実時間ビデオエンハンスメント方法の応用環境の概略図である。応用環境は、１以上の端末を含んでよい。実時間ビデオエンハンスメント方法は、端末のビデオ撮影機能におけるビデオエンハンスメント処理や、実時間ストリーミングメディアサービスにおけるビデオエンハンスメント処理に適用されてよく、或いは、複数の端末間で実行される実時間ビデオコールのビデオエンハンスメント処理に適用されてよい。図１は、２つの端末が実時間ビデオ通話を行う応用環境である。これは一例に過ぎず、本開示はこれに限定されない。他の実施形態では、サーバを使用することにより、複数の端末間でデータを送信することができる。
【００１４】
図２は、実施形態に係る、図１の端末の内部構造の概略図である。図２に示されるように、端末は、システムバスを用いて接続されたプロセッサ、記憶媒体、メモリ、ネットワークインタフェース、音声収集装置、表示画面、スピーカ及び入力装置を備える。端末の記憶媒体は、オペレーティングシステムを格納し、更に、実時間ビデオエンハンスメント装置を含む。実時間ビデオエンハンスメント装置は、実時間ビデオエンハンスメント方法を実現するために用いられる。プロセッサは、計算及び制御機能を提供するために用いられ、端末全体の実行をサポートする。端末内のメモリは、実時間ビデオエンハンスメント装置を記憶媒体内で実行するための環境を提供する。ネットワークインタフェースは、サーバ又は別の端末とのネットワーク通信を実行するために用いられ、例えば、サーバ又は端末にデータを送信したり、サーバ又は端末によって返されたデータを受信するために用いられる。端末の表示画面は、液晶表示画面又は電子インク表示画面であってよい。入力装置は、表示画面を覆うタッチ層であってよく、或いは端末筐体に設けられたキー、トラックボール又はタッチパッドであってよく、或いは外部キーボード、タッチパッド、マウスなどであってよい。端末は、携帯電話、タブレットコンピュータ又はパーソナルデジタルアシスタントであってよい。当業者であれば、図２に示される構造は、本願解決策に関する部分構造のブロック図に過ぎず、本願解決策が適用される端末に対して何らかの限定を構成するものではないことを理解できよう。具体的には、端末に含まれる部分は、図に示されているものより多くても少なくてもよく、或いは一部の部分が組み合わされてもよいし、異なる部分配置が行われてもよい。
【００１５】
図３は、実施形態に係る実時間ビデオエンハンスメント方法のフローチャートである。図３に示されるように、実時間ビデオエンハンスメント方法は以下のステップを含む。
【００１６】
ステップ３０２：画像の現在のフレームの平均輝度を取得する。
【００１７】
具体的には、実時間ビデオの画像が取得される。その後、画像の現在のフレームの画素点の輝度値が求められ、画素点の輝度値の平均値が計算されて、画像の現在のフレームの平均輝度が得られる。
【００１８】
ステップ３０４：平均輝度が輝度閾値未満か否かを決定する。輝度閾値未満である場合、ステップ３０６を実行する。輝度閾値未満でない場合、プロセスは終了する。
【００１９】
具体的には、シーンが暗い場合、画像全体の平均画素値は比較的低い。一般に、最も明るい値の１／３が輝度閾値として用いられる。平均輝度が輝度閾値未満である場合、画像が暗いとみなされ、画像に対してエンハンスメント処理を実行する必要がある。平均輝度が輝度閾値以上であるとき、エンハンスメント処理は不要である。
【００２０】
ステップ３０６：現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得する。
【００２１】
具体的には、現在のフレームの関心領域の画素範囲の上限は、画素上限の総画素数よりも大きく総画素数以下である第１の所定のパーセンテージである。画素範囲の下限は、画素下限の総画素数よりも小さく総画素数以下である第２の所定のパーセンテージである。第１の所定のパーセンテージと第２の所定のパーセンテージは、必要に応じて調整することができる。本実施形態では、第１の所定のパーセンテージと第２の所定のパーセンテージはいずれも１パーセントである。
【００２２】
例えば、ＹＵＶ空間では、輝度成分Ｙとクロミナンス成分ＵＶとが分離され、Ｙ成分のみが処理されて、ＵＶカラー情報を維持する。画像グレースケールの値範囲は［０，２５５］である。現在のフレームの関心領域の画素範囲は、［Tlow，Thigh］である。現在のフレームの画素数をpixNumと仮定して、現在のフレームのグレースケールヒストグラムHistが算出され、画素範囲の下限Tlowと上限Thighは以下を満たす。
【００２３】
【数１】
0006615917.tif 000002
実施形態では、図４に示されるように、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得するステップは、以下を含む。
【００２４】
ステップ４０２：現在のフレームの関心領域の画素範囲を調整して、画素マッピング範囲を取得する。
【００２５】
具体的には、関心領域は、具体的な適用シナリオに従って設定される。例えば、ビデオ通話シナリオでは、関心領域は人間の顔である。
【００２６】
現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値未満であるとき、画素マッピング範囲の上限値は、現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージであり、画素マッピング範囲の下限値は、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージである。
【００２７】
現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値以上であるとき、画素マッピング範囲の上限値は２５５であり、画素マッピング範囲の下限値は０である。
【００２８】
具体的には、画素マッピング範囲［T'low，T'high］が決定される。動的な画素範囲が小さすぎる場合、［０，２５５］への直接マッピングが実行されるときにオーバーエンハンスメントが発生し、したがって画素マッピング範囲を調整する必要がある。
【００２９】
【数２】
0006615917.tif 000003
現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージと、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージとは、必要に応じて設定されてよい。例えば、上記の所定のパーセンテージは両方とも０．５、すなわち５０％である。
【００３０】
ステップ４０４：対応する画素マッピング範囲に、現在のフレームの関心領域の画素範囲をマッピングして、現在のフレームの局所エンハンスメント曲線を取得する。
【００３１】
具体的には、ステップ４０４は、画素マッピング範囲の上限値と下限値との差の、現在のフレームの関心領域の画素範囲の上限値と下限値との差に対する比率を取得するステップと、現在のフレームの関心領域の画素範囲における各値と現在のフレームの関心領域の画素範囲の下限値との差に、比率を掛け、乗算された差に、現在のフレームの関心領域の画素範囲の下限値を加えて、現在のフレームの局所エンハンスメント曲線を取得するステップと、を含む。
【００３２】
画素範囲［Tlow，Thigh］内の画素は、画素マッピング範囲［T'low，T'high］に一様にマッピングされて、現在のフレームの局所エンハンスメント曲線L1が得られる。
【００３３】
【数３】
0006615917.tif 000004
ステップ３０８：現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得する。
【００３４】
具体的には、輝度範囲と第１のエンハンスメント曲線とのマッピング関係が最初に確立される。第１のエンハンスメント曲線では、暗い画素のコントラストを改善する必要があり、明るい画素のコントラストを抑制する必要がある。第１のエンハンスメント曲線は、暗領域では１よりも大きい画素値勾配を有し、明領域では１未満の画素値勾配を有する。暗領域は、一般に、画像画素値が最も明るい値の３分の１未満の領域である。明領域は、画像画素値が最も明るい値の２／３よりも大きい領域である。最も明るい値は最も高い画素値である。例えば、８ビットに格納される画素値のうち最も高い画素値は２５５である。コントラストは、現在の画素と周囲の画素との間の差である。第１のエンハンスメント曲線はマッピング関数であり、水平座標は現在の画素値xを示し、垂直座標はマッピング後の画素値L(x)を示す。暗領域の画素が第１のエンハンスメント曲線によってマッピングされた後、暗領域のコントラストが増加し、明領域のコントラストが減少する。例えば、画素について、画素のコントラストがk*(x0-x1)であれば、画素のコントラストはマッピングによってk*(L(x0)-L(x1))である。非常に近い２つの画素点については、コントラストはおおよそk*L*(x0-x1)である場合がある。暗領域ではL＞１であり、コントラストは増加する。明領域ではL＜１であり、コントラストは減少する。
【００３５】
第１のエンハンスメント曲線のグループは、各輝度範囲に対して構成される。第１のエンハンスメント曲線は、大量のビデオで収集された統計に基づいて得られた経験値である。
【００３６】
図５は、シーンに応じて暗から明に設計された複数グループの第１のエンハンスメント曲線の概略図である。図５に示されるように、画像の平均輝度が暗いほど、暗領域におけるエンハンスメント曲線の勾配が大きく、明領域におけるエンハンスメント曲線勾配が小さいことを示す。図５では、ボトムアップから第１のエンハンスメント曲線に対応する画像の平均輝度が徐々に増加する。複数グループの第１のエンハンスメント曲線が設計され、ビデオ輝度が変化したときにスムーズなスイッチングが実行される。
【００３７】
現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップは、現在のフレームの平均輝度に従って、輝度範囲と第１のエンハンスメント曲線とのマッピング関係から、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップを含む。
【００３８】
具体的には、現在のフレームの平均輝度が輝度範囲と比較され、現在のフレームの平均輝度の位置する輝度範囲が決定される。その後、輝度範囲と第１のエンハンスメント曲線との間のマッピング関係に従って、対応する第１のエンハンスメント曲線L0が見出される。
【００３９】
ステップ３１０：現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得する。
【００４０】
具体的には、現在のフレームの第２のエンハンスメント曲線を得るために、現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して、算術平均又は加重平均が実行される。
【００４１】
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して算術平均を実行する式は、L2=(L0+L1)/2である。L2は第２のエンハンスメント曲線である。
【００４２】
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して加重平均を行う式は、L2=(aL0+bL1)/(a+b)である。式中、a及びbは正の数である。
【００４３】
ステップ３１２：第２のエンハンスメント曲線に従って、現在のフレームを調整する。
【００４４】
具体的には、第２のエンハンスメント曲線の水平座標は、現在のフレームの画素点の現在の画素値であり、垂直座標は、現在のフレームの調整画素点の画素値である。
【００４５】
上記の実時間ビデオエンハンスメント方法では、現在のフレームの平均輝度が輝度閾値未満であると決定され、現在のフレームの関心領域の画素範囲が取得され、局所エンハンスメント曲線が取得され、平均輝度に従って対応する第１のエンハンスメント曲線が取得され、第１のエンハンスメント曲線及び局所エンハンスメント曲線に従って、現在のフレームの第２のエンハンスメント曲線が取得され、第２のエンハンスメント曲線に従って現在のフレームが調整され、第１のエンハンスメント曲線及び局所エンハンスメント曲線を用いて総合的な処理が行われる。それにより、画像が過度にエンハンスメントされることが防止され、画像の歪みが防止される。更に、計算量が非常に少なく、実時間ビデオエンハンスメントに適するように、追加の記憶スペースは不要である。
【００４６】
図６は、別の実施形態に係る実時間ビデオエンハンスメント方法のフローチャートである。図６に示されるように、実時間ビデオエンハンスメント方法は以下のステップを含む。
【００４７】
ステップ６０２：画像の現在のフレームの平均輝度を取得する。
【００４８】
具体的には、画像の現在のフレームの画素点の輝度値が取得され、それから画素点の輝度値の平均値が計算されて、画像の現在のフレームの平均輝度が取得される。
【００４９】
ステップ６０４：平均輝度が輝度閾値未満か否かを決定する。輝度閾値未満である場合、ステップ３０６を実行する。輝度閾値未満でない場合、プロセスは終了する。
【００５０】
具体的には、シーンが暗い場合、画像全体の平均画素値は比較的低い。一般に、最も明るい値の１／３が輝度閾値として用いられる。平均輝度が輝度閾値未満である場合、画像が暗いとみなされ、画像に対してエンハンスメント処理を実行する必要がある。平均輝度が輝度閾値以上であるとき、エンハンスメント処理は不要である。
【００５１】
ステップ６０６：現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得する。
【００５２】
具体的には、現在のフレームの関心領域の画素範囲の上限は、画素上限の総画素数よりも大きく総画素数以下である第１の所定のパーセンテージである。画素範囲の下限は、画素下限の総画素数よりも小さく総画素数以下である第２の所定のパーセンテージである。第１の所定のパーセンテージと第２の所定のパーセンテージは、必要に応じて調整することができる。本実施形態では、第１の所定のパーセンテージと第２の所定のパーセンテージはいずれも１パーセントである。
【００５３】
例えば、ＹＵＶ空間では、輝度成分Ｙとクロミナンス成分ＵＶとが分離され、Ｙ成分のみが処理されて、ＵＶカラー情報を維持する。画像グレースケールの値範囲は［０，２５５］である。現在のフレームの関心領域の画素範囲は、［Tlow，Thigh］である。現在のフレームの画素数をpixNumと仮定して、現在のフレームのグレースケールヒストグラムHistが算出され、画素範囲の下限Tlowと上限Thighは以下を満たす。
【００５４】
【数４】
0006615917.tif 000005
現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得するステップは、現在のフレームの関心領域の画素範囲を調整して、画素マッピング範囲を取得するステップと、対応する画素マッピング範囲に現在のフレームの関心領域の画素範囲をマッピングして、現在のフレームの局所エンハンスメント曲線を取得するステップとを含む。
【００５５】
現在のフレームの関心領域の画素範囲を調整して、画素マッピング範囲を取得するステップは、現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値未満であるとき、画素マッピング範囲の上限値が、現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージであり、画素マッピング範囲の下限値が、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージであることを含む。
【００５６】
現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値以上であるとき、画素マッピング範囲の上限値は２５５であり、画素マッピング範囲の下限値は０である。
【００５７】
具体的には、画素マッピング範囲［T'low，T'high］が決定される。動的な画素範囲が小さすぎる場合、［０，２５５］への直接マッピングが実行されるときにオーバーエンハンスメントが発生し、したがって画素マッピング範囲を調整する必要がある。
【００５８】
【数５】
0006615917.tif 000006
現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージと、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージとは、必要に応じて設定されてよい。例えば、上記の所定のパーセンテージは両方とも０．５、すなわち５０％である。
【００５９】
対応する画素マッピング範囲に現在のフレームの関心領域の画素範囲をマッピングして、現在のフレームの局所エンハンスメント曲線を取得するステップは、画素マッピング範囲の上限値と下限値との差の、現在のフレームの関心領域の画素範囲の上限値と下限値との差に対する比率を取得するステップと、現在のフレームの関心領域の画素範囲における各値と現在のフレームの関心領域の画素範囲の下限値との差に、比率を掛け、乗算された差に、現在のフレームの関心領域の画素範囲の下限値を加えて、現在のフレームの局所エンハンスメント曲線を取得するステップと、を含む。
【００６０】
画素範囲［Tlow，Thigh］内の画素は、画素マッピング範囲［T'low，T'high］に一様にマッピングされて、現在のフレームの局所エンハンスメント曲線L1が得られる。
【００６１】
【数６】
0006615917.tif 000007
ステップ６０８：現在のフレームに前のフレームからのシーン変化がないか否かと、前のフレームのエンハンスメント曲線が存在するか否かとを決定する。そうであればステップ６１０を実行し、そうでなければステップ６１２を実行する。
【００６２】
具体的には、シーンが変化したか否かは、現在のフレームの平均輝度を取得することによって決定されてよい。現在のフレームの平均輝度は、前のフレーム又は前の複数フレームの平均輝度と比較される。現在のフレームの平均輝度と前のフレーム又は前の複数フレームの平均輝度との差がエラー閾値未満である場合、シーンは変化していないとみなされる。又は、エラー閾値以上である場合、シーンが変化したとみなされる。例えば、前のフレームの平均輝度は１２０、現在のフレームの平均輝度は１２１、エラー閾値は４である。したがって、現在のフレームの平均輝度と前のフレームの平均輝度との差は１であり、エラー閾値よりも小さいので、シーンは変化していないとみなされる。
【００６３】
ステップ６１０：前のフレームの第２のエンハンスメント曲線を取得し、前のフレームの第２のエンハンスメント曲線を現在のフレームの第２のエンハンスメント曲線として用いる。それからステップ６１６を実行する。
【００６４】
ステップ６１２：現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得する。その後、ステップ６１４を実行する。
【００６５】
具体的には、輝度範囲と第１のエンハンスメント曲線とのマッピング関係が最初に確立される。第１のエンハンスメント曲線では、暗い画素のコントラストを改善する必要があり、明るい画素のコントラストを抑制する必要がある。第１のエンハンスメント曲線は、暗領域では１よりも大きい画素値勾配を有し、明領域では１未満の画素値勾配を有する。暗領域は、一般に、画像画素値が最も明るい値の３分の１未満の領域である。明領域は、画像画素値が最も明るい値の２／３よりも大きい領域である。最も明るい値は最も高い画素値である。例えば、８ビットに格納される画素値のうち最も高い画素値は２５５である。コントラストは、現在の画素と周囲の画素との間の差である。第１のエンハンスメント曲線はマッピング関数であり、水平座標は現在の画素値xを示し、垂直座標はマッピング後の画素値L(x)を示す。暗領域の画素が第１のエンハンスメント曲線によってマッピングされた後、暗領域のコントラストが増加し、明領域のコントラストが減少する。例えば、画素について、画素のコントラストがk*(x0-x1)であれば、画素のコントラストはマッピングによってk*(L(x0)-L(x1))である。非常に近い２つの画素点については、コントラストはおおよそk*L*(x0-x1)である場合がある。暗領域ではL＞１であり、コントラストは増加する。明領域ではL＜１であり、コントラストは減少する。
【００６６】
第１のエンハンスメント曲線のグループは、各輝度範囲に対して構成される。第１のエンハンスメント曲線は、大量のビデオで収集された統計に基づいて得られた経験値である。
【００６７】
現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップは、現在のフレームの平均輝度に従って、輝度範囲と第１のエンハンスメント曲線とのマッピング関係から、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップを含む。
【００６８】
具体的には、現在のフレームの平均輝度が輝度範囲と比較され、現在のフレームの平均輝度の位置する輝度範囲が決定される。その後、輝度範囲と第１のエンハンスメント曲線との間のマッピング関係に従って、対応する第１のエンハンスメント曲線L0が見出される。
【００６９】
ステップ６１４：現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得する。
【００７０】
具体的には、現在のフレームの第２のエンハンスメント曲線を得るために、現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して、算術平均又は加重平均が実行される。
【００７１】
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して算術平均を実行する式は、L2=(L0+L1)/2である。L2は第２のエンハンスメント曲線である。
【００７２】
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して加重平均を行う式は、L2=(aL0+bL1)/(a+b)である。式中、a及びbは正の数である。
【００７３】
ステップ６１６：第２のエンハンスメント曲線に従って、現在のフレームを調整する。
【００７４】
具体的には、第２のエンハンスメント曲線の水平座標は、現在のフレームの画素点の現在の画素値であり、垂直座標は、現在のフレームの調整画素点の画素値である。
【００７５】
上記の実時間ビデオエンハンスメント方法では、現在のフレームの平均輝度が輝度閾値未満であると決定され、現在のフレームの関心領域の画素範囲が取得され、局所エンハンスメント曲線が取得され、平均輝度に従って対応する第１のエンハンスメント曲線が取得され、第１のエンハンスメント曲線及び局所エンハンスメント曲線に従って、現在のフレームの第２のエンハンスメント曲線が取得され、第２のエンハンスメント曲線に従って現在のフレームが調整され、第１のエンハンスメント曲線及び局所エンハンスメント曲線を用いて総合的な処理が行われる。それにより、画像が過度にエンハンスメントされることが防止され、画像の歪みが防止される。計算量が非常に少なく、実時間ビデオエンハンスメントに適するように、追加の記憶スペースは不要である。シーンが変更されず、前のフレームに第２のエンハンスメント曲線が存在する場合、現在のフレームも、前のフレームの第２のエンハンスメント曲線を用いて調整される。それにより、更に、計算量が低減され、切換時間が大幅に短縮されることで、処理される隣接フレームがより自然になり、点滅が発生しないようになる。
【００７６】
図７は、実施形態に係る実時間ビデオエンハンスメント装置の構造ブロック図である。図７に示されるように、実時間ビデオエンハンスメント装置は、取得モジュール７１０、決定モジュール７２０及び処理モジュール７３０を備える。
【００７７】
取得モジュール７１０は、画像の現在のフレームの平均輝度を取得するように構成される。具体的には、画像の現在のフレームの画素点の輝度値が取得され、画素点の輝度値の平均値を計算して、画像の現在のフレームの平均輝度が取得される。
【００７８】
決定モジュール７２０は、平均輝度が輝度閾値未満か否かを決定するように構成される。輝度閾値未満である場合、処理モジュール７３０は、現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得し、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得し、現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得し、第２のエンハンスメント曲線に従って、現在のフレームを調整するように構成される。輝度閾値未満でない場合、プロセスは終了する。
【００７９】
具体的には、シーンが暗い場合、画像全体の平均画素値は比較的低い。一般に、最も明るい値の１／３が輝度閾値として用いられる。平均輝度が輝度閾値未満である場合、画像が暗いとみなされ、画像に対してエンハンスメント処理を実行する必要がある。平均輝度が輝度閾値以上であるとき、エンハンスメント処理は不要である。
【００８０】
現在のフレームの関心領域の画素範囲の上限は、画素上限の総画素数よりも大きく総画素数以下である第１の所定のパーセンテージである。画素範囲の下限は、画素下限の総画素数よりも小さく総画素数以下である第２の所定のパーセンテージである。第１の所定のパーセンテージと第２の所定のパーセンテージは、必要に応じて調整することができる。本実施形態では、第１の所定のパーセンテージと第２の所定のパーセンテージはいずれも１パーセントであるが、これに限定されない。
【００８１】
例えば、ＹＵＶ空間では、輝度成分Ｙとクロミナンス成分ＵＶとが分離され、Ｙ成分のみが処理されて、ＵＶカラー情報を維持する。画像グレースケールの値範囲は［０，２５５］である。現在のフレームの関心領域の画素範囲は、［Tlow，Thigh］である。現在のフレームの画素数をpixNumと仮定して、現在のフレームのグレースケールヒストグラムHistが算出され、画素範囲の下限Tlowと上限Thighは以下を満たす。
【００８２】
【数７】
0006615917.tif 000008
処理モジュール７３０は更に、現在のフレームの関心領域の画素範囲を調整して、画素マッピング範囲を取得し、対応する画素マッピング範囲に、現在のフレームの関心領域の画素範囲をマッピングして、現在のフレームの局所エンハンスメント曲線を取得するように構成される。
【００８３】
具体的には、関心領域は、具体的な適用シナリオに従って設定される。例えば、ビデオ通話シナリオでは、関心領域は人間の顔である。
【００８４】
現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値未満であるとき、画素マッピング範囲の上限値は、現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージであり、画素マッピング範囲の下限値は、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージである。
【００８５】
現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値以上であるとき、画素マッピング範囲の上限値は２５５であり、画素マッピング範囲の下限値は０である。
【００８６】
具体的には、画素マッピング範囲［T'low，T'high］が決定される。動的な画素範囲が小さすぎる場合、［０，２５５］への直接マッピングが実行されるときにオーバーエンハンスメントが発生し、したがって画素マッピング範囲を調整する必要がある。
【００８７】
【数８】
0006615917.tif 000009
現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージと、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージとは、必要に応じて設定されてよい。例えば、上記の所定のパーセンテージは両方とも０．５、すなわち５０％である。
【００８８】
処理モジュール７３０は更に、画素マッピング範囲の上限値と下限値との差の、現在のフレームの関心領域の画素範囲の上限値と下限値との差に対する比率を取得し、現在のフレームの関心領域の画素範囲における各値と現在のフレームの関心領域の画素範囲の下限値との差に、該比率を掛け、乗算された差に、現在のフレームの関心領域の画素範囲の下限値を加えて、現在のフレームの局所エンハンスメント曲線を取得するように構成される。
【００８９】
画素範囲［Tlow，Thigh］内の画素は、画素マッピング範囲［T'low，T'high］に一様にマッピングされて、現在のフレームの局所エンハンスメント曲線L1が得られる。
【００９０】
【数９】
0006615917.tif 000010
輝度範囲と第１のエンハンスメント曲線とのマッピング関係が最初に確立される。第１のエンハンスメント曲線では、暗い画素のコントラストを改善する必要があり、明るい画素のコントラストを抑制する必要がある。第１のエンハンスメント曲線は、暗領域では１よりも大きい画素値勾配を有し、明領域では１未満の画素値勾配を有する。暗領域は、一般に、画像画素値が最も明るい値の３分の１未満の領域である。明領域は、画像画素値が最も明るい値の２／３よりも大きい領域である。
【００９１】
最も明るい値は最も高い画素値である。例えば、８ビットに格納される画素値のうち最も高い画素値は２５５である。コントラストは、現在の画素と周囲の画素との間の差である。第１のエンハンスメント曲線はマッピング関数であり、水平座標は現在の画素値xを示し、垂直座標はマッピング後の画素値L(x)を示す。暗領域の画素が第１のエンハンスメント曲線によってマッピングされた後、暗領域のコントラストが増加し、明領域のコントラストが減少する。例えば、画素について、画素のコントラストがk*(x0-x1)であれば、画素のコントラストはマッピングによってk*(L(x0)-L(x1))である。非常に近い２つの画素点については、コントラストはおおよそk*L*(x0-x1)である場合がある。暗領域ではL＞１であり、コントラストは増加する。明領域ではL＜１であり、コントラストは減少する。
【００９２】
第１のエンハンスメント曲線のグループは、各輝度範囲に対して構成される。第１のエンハンスメント曲線は、大量のビデオで収集された統計に基づいて得られた経験値である。
【００９３】
処理モジュール７３０が、現在のフレームの平均輝度に従って現在のフレームに対応する第１のエンハンスメント曲線を取得することは、現在のフレームの平均輝度に従って、輝度範囲と第１のエンハンスメント曲線とのマッピング関係から、現在のフレームに対応する第１のエンハンスメント曲線を取得することを含む。
【００９４】
具体的には、現在のフレームの平均輝度が輝度範囲と比較され、現在のフレームの平均輝度の位置する輝度範囲が決定される。その後、輝度範囲と第１のエンハンスメント曲線との間のマッピング関係に従って、対応する第１のエンハンスメント曲線L0が見出される。
【００９５】
現在のフレームの第２のエンハンスメント曲線を得るために、現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して、算術平均又は加重平均が実行される。
【００９６】
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して算術平均を実行する式は、L2=(L0+L1)/2である。L2は第２のエンハンスメント曲線である。
【００９７】
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して加重平均を行う式は、L2=(aL0+bL1)/(a+b)である。式中、a及びbは正の数である。
【００９８】
第２のエンハンスメント曲線の水平座標は、現在のフレームの画素点の現在の画素値であり、垂直座標は、現在のフレームの調整画素点の画素値である。
【００９９】
上記の実時間ビデオエンハンスメント装置では、現在のフレームの平均輝度が輝度閾値未満であると決定され、現在のフレームの関心領域の画素範囲が取得され、局所エンハンスメント曲線が取得され、平均輝度に従って対応する第１のエンハンスメント曲線が取得され、第１のエンハンスメント曲線及び局所エンハンスメント曲線に従って、現在のフレームの第２のエンハンスメント曲線が取得され、第２のエンハンスメント曲線に従って現在のフレームが調整され、第１のエンハンスメント曲線及び局所エンハンスメント曲線を用いて総合的な処理が行われる。それにより、画像が過度にエンハンスメントされることが防止され、画像の歪みが防止される。更に、計算量が非常に少なく、実時間ビデオエンハンスメントに適するように、追加の記憶スペースは不要である。
【０１００】
実施形態において、決定モジュール７２０は更に、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得する前に、現在のフレームに前のフレームからのシーン変化がないか否かと、前のフレームのエンハンスメント曲線が存在するか否かとを決定するように構成され、
そうであれば、処理モジュール７３０は更に、前のフレームの第２のエンハンスメント曲線を取得し、前のフレームの第２のエンハンスメント曲線を現在のフレームの第２のエンハンスメント曲線として用いるように構成され、又は、
そうでなければ、処理モジュール７３０は、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得する。
【０１０１】
上記の実時間ビデオエンハンスメント装置では、現在のフレームの平均輝度が輝度閾値未満であると決定され、現在のフレームの関心領域の画素範囲が取得され、局所エンハンスメント曲線が取得され、平均輝度に従って対応する第１のエンハンスメント曲線が取得され、第１のエンハンスメント曲線及び局所エンハンスメント曲線に従って、現在のフレームの第２のエンハンスメント曲線が取得され、第２のエンハンスメント曲線に従って現在のフレームが調整され、第１のエンハンスメント曲線及び局所エンハンスメント曲線を用いて総合的な処理が行われる。それにより、画像が過度にエンハンスメントされることが防止され、画像の歪みが防止される。計算量が非常に少なく、実時間ビデオエンハンスメントに適するように、追加の記憶スペースは不要である。シーンが変更されず、前のフレームに第２のエンハンスメント曲線が存在する場合、現在のフレームも、前のフレームの第２のエンハンスメント曲線を用いて調整される。それにより、更に、計算量が低減され、切換時間が大幅に短縮されることで、処理される隣接フレームがより自然になり、点滅が発生しないようになる。
【０１０２】
図８は、別の実施形態に係る実時間ビデオエンハンスメント装置の構造ブロック図である。図８に示されるように、実時間ビデオエンハンスメント装置は更に、取得モジュール７１０、決定モジュール７２０及び処理モジュール７３０に加えて、関係確立モジュール７４０を備える。
【０１０３】
関係確立モジュール７４０は、輝度範囲と第１のエンハンスメント曲線とのマッピング関係を確立するように構成される。第１のエンハンスメント曲線のグループは、各輝度範囲に対して構成される。第１のエンハンスメント曲線は、大量のビデオで収集された統計に基づいて得られた経験値である。
【０１０４】
処理モジュール７３０は更に、現在のフレームの平均輝度に従って、輝度範囲と第１のエンハンスメント曲線とのマッピング関係から、現在のフレームに対応する第１のエンハンスメント曲線を取得するように構成される。
【０１０５】
具体的には、現在のフレームの平均輝度が輝度範囲と比較され、現在のフレームの平均輝度の位置する輝度範囲が決定される。その後、輝度範囲と第１のエンハンスメント曲線との間のマッピング関係に従って、対応する第１のエンハンスメント曲線L0が見出される。
【０１０６】
当業者であれば、前述の実施形態の方法の手順の全部又は一部を、関連するハードウェアに指示するコンピュータプログラムによって実施できることを理解することができるであろう。プログラムは、非一時的コンピュータ可読記憶媒体に記憶されてよい。プログラムが実行されると、プログラムは、前述の方法の実施形態の手順を含むことができる。記憶媒体は、磁気ディスク、光ディスク、リードオンリーメモリ（ＲＯＭ）等であってよい。
【０１０７】
上記の実施形態は、本開示のいくつかの実施例を示すに過ぎず、これらの実施形態は具体的且つ詳細に記載されているので、本開示の特許範囲の限定と解釈することはできない。当業者であれば、本開示の思想から逸脱することなく、いくつかの変形及び改良を行うことができることに留意すべきである。そのような変形及び改良はすべて、本開示の保護範囲内に入る。したがって、本開示の特許保護範囲は、添付の特許請求の範囲に従うものとする。
【図１】
0006615917.tif 000011
【図２】
0006615917.tif 000012
【図３】
0006615917.tif 000013
【図４】
0006615917.tif 000014
【図５】
0006615917.tif 000015
【図６】
0006615917.tif 000016
【図７】
0006615917.tif 000017
【図８】
0006615917.tif 000018