(57)【要約】【課題】  多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置及び方法を提供する。【解決手段】  ＨＤＲ映像生成装置は、受信される多重露出フレームに対してＨＤＲ加重値マップを算出する映像別のＨＤＲ加重値マップ算出部と、受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出する映像別のゴースト確率算出部と、算出されたゴースト確率を考慮し、算出されたＨＤＲ加重値マップを更新する映像別のゴースト補正ＨＤＲ加重値マップ更新部と、受信された多重露出フレームに更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成するマルチスケール混合処理部とを備える。【選択図】      図１
2013031174.tif 000002
【特許請求の範囲】
【請求項１】
受信される多重露出フレームに対してＨＤＲ加重値マップを算出する映像別のＨＤＲ加重値マップ算出部と、
前記受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出する映像別のゴースト確率算出部と、
前記算出されたゴースト確率を考慮し、前記算出されたＨＤＲ加重値マップを更新する映像別のゴースト補正ＨＤＲ加重値マップ更新部と、
前記受信された多重露出フレームに前記更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成するマルチスケール混合処理部と、
を備えることを特徴とする多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
【請求項２】
前記受信される多重露出フレームのうち基準フレームを決定し、前記決定された基準フレームを基準として前記多重露出フレームを構成する少なくとも１つ以上のフレームに対して輝度を整合する映像別の輝度整合処理部をさらに備えることを特徴とする請求項１に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
【請求項３】
前記映像別の輝度整合処理部は、前記受信される多重露出フレームのいずれか１つのフレームを前記基準フレームとして決定し、前記受信される多重露出フレームのうち前記基準フレームを除いた残りフレームの露出輝度を調整して前記輝度を整合することを特徴とする請求項２に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
【請求項４】
前記映像別のゴースト確率算出部は、前記多重露出フレームを構成する少なくとも１つ以上のフレームに対する整合する輝度を参考して、前記多重露出フレームに対するゴーストブラーを確認することを特徴とする請求項２に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
【請求項５】
前記映像別のゴースト確率算出部は、前記輝度を整合する結果に応じて、前記決定された基準フレームと前記多重露出フレームを構成する少なくとも１つ以上のフレームそれぞれの輝度差値を確認し、前記それぞれの輝度差値が閾値以上である場合にゴーストブラーを確認することを特徴とする請求項４に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
【請求項６】
前記映像別のゴースト補正ＨＤＲ加重値マップ更新部は、前記算出されたゴースト確率が閾値以上であるピクセルのＨＤＲ加重値を、前記算出されたゴースト確率が閾値以下のピクセルのＨＤＲ加重値よりも低く修正して前記ＨＤＲ加重値マップを更新することを特徴とする請求項１に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
【請求項７】
前記ＨＤＲ加重値マップは、前記多重露出フレームを構成する各フレームのピクセルに対して対比、カラー飽和、および適正露出度のうち少なくとも１つの情報を前記ＨＤＲ加重値として格納することを特徴とする請求項６に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
【請求項８】
前記マルチスケール混合処理部は、前記受信された多重露出フレーム及び前記ＨＤＲ加重値マップが入力され、ガウスピラミッド及びラプラシアンピラミッドを用いて前記多重露出フレーム及び前記ＨＤＲ加重値マップを合成して前記ＨＤＲ映像を生成することを特徴とする請求項１に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置。
【請求項９】
映像別のＨＤＲ加重値マップ算出部で、受信される多重露出フレームに対してＨＤＲ加重値マップを算出するステップと、
映像別のゴースト確率算出部で、前記受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出するステップと、
映像別のゴースト補正ＨＤＲ加重値マップ更新部で、前記算出された映像別のゴースト確率を考慮し、前記算出されたＨＤＲ加重値マップを更新するステップと、
マルチスケール混合処理部で、前記受信された多重露出フレームに前記更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成するステップと、
を含むことを特徴とする多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
【請求項１０】
映像別の輝度整合処理部で、前記受信される多重露出フレームのうち基準フレームを決定し、前記決定された基準フレームを基準として前記多重露出フレームを構成する少なくとも１つ以上のフレームに対して輝度を整合するステップをさらに含むことを特徴とする請求項９に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
【請求項１１】
前記映像別の輝度整合処理部で、前記受信される多重露出フレームのいずれか１つのフレームを前記基準フレームとして決定し、前記受信される多重露出フレームのうち、前記基準フレームを除いた残りフレームの露出輝度を調整して前記輝度を整合するステップをさらに含むことを特徴とする請求項１０に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
【請求項１２】
前記映像別のゴースト確率算出部で、前記多重露出フレームを構成する少なくとも１つ以上のフレームに対する整合する輝度を参考し、前記多重露出フレームに対するゴーストブラーを確認するステップをさらに含むことを特徴とする請求項１０に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
【請求項１３】
前記映像別のゴースト確率算出部で、前記輝度を整合する結果に応じて、前記決定された基準フレームと前記多重露出フレームを構成する少なくとも１つ以上のフレームそれぞれの輝度差値を確認し、前記それぞれの輝度差値が閾値以上である場合にゴーストブラーを確認するステップをさらに含むことを特徴とする請求項１２に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
【請求項１４】
前記映像別のゴースト補正ＨＤＲ加重値マップ更新部で、前記算出されたゴースト確率が閾値以上であるピクセルのＨＤＲ加重値を、前記算出されたゴースト確率が閾値以下のピクセルのＨＤＲ加重値よりも低く修正し、前記ＨＤＲ加重値マップを更新するステップを含むことを特徴とする請求項９に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
【請求項１５】
前記ＨＤＲ加重値マップは、前記多重露出フレームを構成する各フレームのピクセルに対して対比、カラー飽和、および適正露出度のうち少なくとも１つの情報を前記ＨＤＲ加重値として格納するステップをさらに含むことを特徴とする請求項１４に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
【請求項１６】
前記マルチスケール混合処理部で、前記ＨＤＲ映像を生成するステップは、前記受信された多重露出フレーム及び前記ＨＤＲ加重値マップが入力され、ガウスピラミッド及びラプラシアンピラミッドを用いて前記多重露出フレーム及び前記ＨＤＲ加重値マップを合成して前記ＨＤＲ映像を生成するステップを含むことを特徴とする請求項９に記載の多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多重露出フュージョン基盤でゴーストブラー（ｇｈｏｓｔ  ｂｌｕｒ）を除去したＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）映像生成装置及び方法に関し、多重露出フレームを撮影してＨＤＲを復元し、高対比の環境でＨＤＲ映像を確保するための技術的な思想を開示する。
【背景技術】
【０００２】
人間の目に比べて既存の大部分のカメラセンサは、ＤＲ（Ｄｙｎａｍｉｃ  ｒａｎｇｅ）が相対的に小さく、基本的に自然に存在する場面の細かい部分を逃してしまうときがある。例えば、逆光撮影のような高照度、すなわち、極めて明るい領域と低照度の暗い領域が共存する高対比の場面を撮影するとき、極めて明るいか暗い領域ではディテール情報がほとんどない写真が撮影されることになる。
【０００３】
高対比の環境で写真を撮影するとき、高照度領域や低照度領域では本来の実際の場面中に生き々した色感、トーン、ディテールが表現され難い。
【０００４】
このような短所を克服するためには露出を変えつつ数枚のフレームを撮影し、これを融合処理することによって本来のディテールが生きているＨＤＲ映像を生成することができる。
【０００５】
しかし、最近のＨＤＲ映像には被写体や背景の物体が動く場合にＨＤＲ融合処理の過程において、動きによる劣化、いわゆるゴーストブラー（ｇｈｏｓｔ  ｂｌｕｒ）が発生し、ゴーストブラーを減らすための別途の処理過程を行わなければならない問題が生ずる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置及び方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係るマルチ露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置は、受信される多重露出フレームに対してＨＤＲ加重値マップを算出する映像別のＨＤＲ加重値マップ算出部と、前記受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出する映像別のゴースト確率算出部と、前記算出されたゴースト確率を考慮し、前記算出されたＨＤＲ加重値マップを更新する映像別のゴースト補正ＨＤＲ加重値マップ更新部と、前記受信された多重露出フレームに前記更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成するマルチスケール混合処理部とを備える。
【０００８】
本発明の一実施形態に係るマルチ露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成装置は、前記受信される多重露出フレームのうち基準フレームを決定し、前記決定された基準フレームを基準として前記多重露出フレームを構成する少なくとも１つ以上のフレームに対して輝度を整合する映像別の輝度整合処理部をさらに備えてもよい。
【０００９】
本発明の一実施形態に係る多重露出フュージョン基盤でゴーストブラーを除去したＨＤＲ映像生成方法は、映像別のＨＤＲ加重値マップ算出部で、受信される多重露出フレームに対してＨＤＲ加重値マップを算出するステップと、映像別のゴースト確率算出部で、前記受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出するステップと、映像別のゴースト補正ＨＤＲ加重値マップ更新部で、前記算出された映像別のゴースト確率を考慮し、前記算出されたＨＤＲ加重値マップを更新するステップと、マルチスケール混合処理部で、前記受信された多重露出フレームに前記更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成するステップとを含む。
【発明の効果】
【００１０】
本発明によると、本発明の一実施形態に係るＨＤＲ映像生成方法を利用すれば、ＭＴＢ（Ｍｅｄｉａｎ  ｔｈｒｅｓｈｏｌｄ  Ｂｉｔｍａｐ）映像を活用することなく他の露出入力映像間の輝度整合の過程を行った後、その偏差を動き検出特徴として活用することによって、より単純な処理過程によりゴーストブラー問題を解決することができる。
【００１１】
また、本発明によると、本発明の一実施形態に係るＨＤＲ映像生成方法を利用すれば、従来に比べてＨＤＲラディアンスマップの復元と、復元されたＨＤＲラディアンスマップを８ビットＨＤＲにするためのトーン圧縮（ｔｏｎｅ  ｃｏｍｐｒｅｓｓｉｏｎ）の過程を行うことなく、直接に加重平均を行って最終結果を取得することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るＨＤＲ映像生成装置を説明するブロック図である。
【図２】本発明の一実施形態に係るＨＤＲ映像生成方法を説明するフローチャートである。
【図３】本発明の一実施形態に係る映像別の輝度整合処理部で輝度を整合することを説明するフローチャートである。
【図４】本発明の一実施形態に係る映像別の輝度整合処理部及び映像別のゴースト確率算出部が動作する実施形態を説明する図である。
【図５】本発明の一実施形態に係る映像別のＨＤＲ加重値マップ算出部が動作する実施形態を説明する図である。
【図６】本発明の一実施形態に係るマルチスケール混合処理部が映像を合成して生成する実施形態を説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係る好適な実施形態を添付図面を参照しながら詳細に説明する。
【００１４】
本発明を説明するにおいて、関連する公知機能または構成に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合にはその詳細な説明を省略する。そして、本明細書で用いられる用語は本発明の好適な実施形態を適切に表現するために用いられた用語であり、ユーザ、運用者の意図または本発明が属する分野の慣例などによって変わることがある。したがって、本用語に対する定義は、本明細書の全般にわたる内容に基づいて下されなければならない。各図面に提示された同一の参照符号は同一の部材を示す。
【００１５】
図１は、本発明の一実施形態に係るＨＤＲ映像生成装置を説明するブロック図である。本発明の一実施形態に係るＨＤＲ映像生成装置１００は、多重露出フレームを撮影してＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）復元を行って高対比の環境でＨＤＲ映像を確保することができる。
【００１６】
そのために、本発明の一実施形態に係るＨＤＲ映像生成装置１００は、映像のピクセル別に他の加重値を考慮して別途のＨＤＲラディアンス（ｒａｄｉａｎｃｅｓ）値を復元することなく簡単にＨＤＲ映像を合成し、合成と同時に場面の中の動いている物体によって発生するゴーストブラーの劣化を除去することで、効果的にＨＤＲ映像を合成することができる。
【００１７】
このようなＨＤＲ映像生成装置１００は、ＤＳＣ（Ｄｉｓｔｒｉｂｕｔｅｄ  Ｓｏｕｒｃｅ  Ｃｏｄｉｎｇ）、ＤＶＣ（Ｄｉｓｔｒｉｂｕｔｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）、監視用などのカメラ、モバイルカメラフォン、スマートフォン、ＩＳＰ（Ｉｍａｇｅ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）及びＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などのカメラセンサ映像信号処理プロセッサ、パーソナルコンピュータの映像処理ソフトウェアなどに適用され得る。
【００１８】
本発明の一実施形態に係るＨＤＲ映像生成装置１００は、映像別の輝度整合処理部１１０、映像別のＨＤＲ加重値マップ算出部１２０、映像別のゴースト確率算出部１３０、映像別のゴースト補正ＨＤＲ加重値マップ更新部１４０、およびマルチスケール混合処理部１５０を備える。
【００１９】
映像別の輝度整合処理部１１０は、受信される多重露出フレームのうち基準フレームを決定し、決定された基準フレームを基準として多重露出フレームを構成している少なくとも１つ以上のフレームに対して輝度を整合する。
【００２０】
本発明の一実施形態に係る映像別の輝度整合処理部１１０は、受信される多重露出フレームのいずれか１つのフレームを基準フレームとして決定し、受信される多重露出フレームのうち、基準フレームを除いた残りフレームの露出輝度を調整して輝度を整合する。
【００２１】
本発明の一実施形態に係る映像別の輝度整合処理部１１０は、入力映像のいずれか１つを基準フレームとして設定し、残り映像を基準フレームの露出輝度程度に合わせて輝度変換を行う。
【００２２】
ここで、本発明の一実施形態に係る映像別の輝度整合処理部１１０は、輝度整合の機能を実現するために設定された基準フレームに対比して他の露出映像間の輝度変換関数を算出し、各露出映像の基準フレームからの輝度変換を行って輝度を整合する。
【００２３】
本発明の一実施形態に係る映像別の輝度整合処理部１１０は、他の実施形態としてヒストグラムマッチング（ｈｉｓｔｏｇｒａｍ  ｍａｔｃｈｉｎｇ）方式を適用して輝度整合を行ってもよい。
【００２４】
ヒストグラムマッチング方式を適用すれば、フレーム間の幾何学的な位置整合が正確でなくても輝度整合を行なうことが可能である。したがって、本発明の一実施形態に係る映像別の輝度整合処理部１１０は、基準フレームのヒストグラムと残りフレームのヒストグラムを算出した後、残りフレームそれぞれのヒストグラムが基準フレームのヒストグラムに近づくようにする変換関数が求められる。
【００２５】
このように求めたＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）形態の変換関数を用いて、基準フレームではない残りの露出フレームを基準フレームに類似する輝度映像に変換してもよい。
【００２６】
輝度変換に対する実施形態については図４を参照して後述することにする。
【００２７】
映像別のＨＤＲ加重値マップ算出部１２０は、受信される多重露出フレームに対してＨＤＲ加重値マップを算出する。
【００２８】
本発明の一実施形態に係るＨＤＲ加重値マップは、多重露出フレームを構成する各フレームのピクセルに対して対比（ｃｏｎｔｒａｓｔ）、カラー飽和（ｓａｔｕｒａｔｉｏｎ）、および適正露出度（ｗｅｌｌ−ｅｘｐｏｓｅｄｎｅｓｓ）のうち少なくとも１つの情報をＨＤＲ加重値として格納してもよい。
【００２９】
本発明の一実施形態に係る映像別のＨＤＲ加重値マップ算出部１２０は、受信される多重露出フレームを構成する各フレームについて数式（１）を用いてＨＤＲ加重値マップ
【００３０】
【数１】
2013031174.tif 000003
を算出する。
【００３１】
【数２】
2013031174.tif 000004
ここで、
【００３２】
【数３】
2013031174.tif 000005
は受信される多重露出フレームに対してそれぞれｋ露出映像の（ｉ、ｊ）ピクセルにおける対比、カラー飽和、適正露出度を示す。
【００３３】
共に、
【００３４】
【数４】
2013031174.tif 000006
の指数定数は「０」または「１」の値に設定されてもよい。
【００３５】
映像別のゴースト確率算出部１３０は、受信される多重露出フレームに対するゴーストブラーを確認し、映像別のゴースト確率を算出する。
【００３６】
一例として、本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、多重露出フレームを構成する少なくとも１つ以上のフレームに対する整合する輝度を参照して、多重露出フレームに対するゴーストブラーを確認することができる。
【００３７】
また、本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、輝度を整合する結果に応じて、決定された基準フレームと多重露出フレームを構成する少なくとも１つ以上のフレームそれぞれの輝度差値を確認し、それぞれの輝度差値が閾値以上である場合にゴーストブラーを確認する。
【００３８】
一例として、本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、基準フレームと輝度整合する露出映像間の差分（ｄｉｆｆｅｒｅｎｃｅ）を用いて各露出映像別のゴースト確率
【００３９】
【数５】
2013031174.tif 000007
を算出する。
【００４０】
各露出映像別のゴースト確率
【００４１】
【数６】
2013031174.tif 000008
は数式（２）を用いて算出される。
【００４２】
【数７】
2013031174.tif 000009
数式（２）でｅｘｐ（）は指数関数を意味し、
【００４３】
【数８】
2013031174.tif 000010
は雑音レベルを意味し、
【００４４】
【数９】
2013031174.tif 000011
は閾値調整定数を意味する。
【００４５】
本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、輝度差分の他に、映像の勾配（ｇｒａｄｉｅｎｔ）差分を用いて映像のゴースト確率を算出してもよい。
【００４６】
例えば、本発明の一実施形態に係る映像別の輝度整合処理部１１０で輝度整合の代りに入力される各フレームに対してソーベル（ｓｏｂｅｌ）勾配演算子などを用いて入力映像を勾配映像に変換してもよい。
【００４７】
このように求めた基準フレームと異なる各露出映像に対する勾配映像差分を用いて、映像別のＨＤＲ加重値マップ算出部１２０で映像別のＨＤＲ加重値マップを算出する。
【００４８】
ここで、本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、数式（２）で用いられた輝度差分の概念と同じ方式として、確率概念を適用して各ピクセルにおけるゴースト確率を算出することができる。
【００４９】
言い換えれば、本発明の一実施形態に係る映像別のゴースト確率算出部１３０は、輝度映像差分、勾配映像差分のみならず、エントロピー差分のような多様な映像差分を定義し、数式（２）のような確率概念で各ピクセルがゴースト領域である可能性を算出できる。
【００５０】
映像別のゴースト補正ＨＤＲ加重値マップ更新部１４０は、算出されたゴースト確率を考慮し、算出されたＨＤＲ加重値マップを更新する。
【００５１】
一例として、本発明の一実施形態に係る映像別のゴースト補正ＨＤＲ加重値マップ更新部１４０は、算出されたゴースト確率が閾値以上であるピクセルのＨＤＲ加重値を、算出されたゴースト確率が閾値以下のピクセルのＨＤＲ加重値よりも低く修正し、ＨＤＲ加重値マップを更新する。
【００５２】
例えば、本発明の一実施形態に係る映像別のゴースト補正ＨＤＲ加重値マップ更新部１４０は、算出されたＨＤＲ加重値マップＷｉｊ、ｋとゴーストブラーの確認されたゴースト確率を用いてＨＤＲ加重値マップを更新する。
【００５３】
言い換えれば、本発明の一実施形態に係る映像別のゴースト補正ＨＤＲ加重値マップ更新部１４０は、数式（３）を用いてＨＤＲ加重値マップ
【００５４】
【数１０】
2013031174.tif 000012
にゴーストブラーの確認されたゴースト確率を適用し、数式（４）を用いて一連の正規化過程によって各フレームを構成するピクセルにおける加重値の和が「１」になるように調整する。
【００５５】
【数１１】
2013031174.tif 000013
数式（３）及び数式（４）で、「ｋ」は特定露出映像、「ｉｊ」はピクセル位置、「Ｉ」はピラミッドにおける特定レベルを示す。また、「Ｉ」は入力露出映像、「Ｗｇ」はＨＤＲ加重値マップ、「Ｒ」は合成ＨＤＲ映像を示す。
【００５６】
マルチスケール混合処理部１５０は、受信された多重露出フレームに更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成する。
【００５７】
マルチスケール混合処理部１５０は、受信された多重露出フレーム及びＨＤＲ加重値マップの入力を受け、ガウスピラミッド（Ｇａｕｓｓｉａｎ  ｐｙｒａｍｉｄ）及びラプラシアンピラミッドを用いて多重露出フレーム及びＨＤＲ加重値マップを合成してＨＤＲ映像を生成する。
【００５８】
本発明の一実施形態に係るマルチスケール混合処理部１５０は数式（５）を用いて、８ビットの多重露出フレームと更新されたＨＤＲ加重値マップを入力にして最終的に８ビットＨＤＲ映像を合成して出力してもよい。
【００５９】
【数１２】
2013031174.tif 000014
数式（５）でＧ｛｝はガウスピラミッドを示し、Ｌ｛｝はラプラシアンピラミッドを示す。
【００６０】
「ｋ」は特定露出映像、「ｉｊ」はピクセル位置、「Ｉ」はピラミッドにおける特定レベルを示す。また、「Ｉ」は入力露出映像、「Ｗｇ」はＨＤＲ加重値マップ、「Ｒ」は合成ＨＤＲ映像を示す。
【００６１】
結局、本発明の一実施形態に係るＨＤＲ映像生成装置１００は、ＭＴＢ（Ｍｅｄｉａｎ  ｔｈｒｅｓｈｏｌｄ  Ｂｉｔｍａｐ）映像を活用することなく他の露出入力映像間の輝度整合過程を行った後、その偏差を動き検出特徴として活用することで、より単純な処理過程によりゴーストブラー問題を解決することができる。
【００６２】
また、本発明の一実施形態に係るＨＤＲ映像生成装置１００は、従来技術に比べてＨＤＲラディアンスマップの復元と、復元されたＨＤＲラディアンスマップを８ビットＨＤＲにするためのトーン圧縮（ｔｏｎｅ  ｃｏｍｐｒｅｓｓｉｏｎ）の過程を行うことなく直接に加重平均を行って最終結果を取得できる。
【００６３】
したがって、本発明の一実施形態に係るＨＤＲ映像生成装置１００を用いると、算出量が減少することで処理速度及び処理費用が節減され、色感が保存され得る。
【００６４】
また、本発明の一実施形態に係るＨＤＲ映像生成装置１００は、基本的に実現しているマルチフレームフュージョン技術はＨＤＲだけではなくマルチフォーカスなどの多様なコンピュテーショナルフォトグラフィ（ｃｏｍｐｕｔａｔｉｏｎａｌ  ｐｈｏｔｏｇｒａｐｈｙ）技術に応用可能であり、その他にもマルチセンサフュージョン及びメディカルイメージング分野におけるマルチモードフュージョンにも広く活用され得る。
【００６５】
図２は、本発明の一実施形態に係るＨＤＲ映像生成方法を説明するフローチャートである。本発明の一実施形態に係るＨＤＲ映像生成方法は、ＨＤＲ加重値マップを算出する（Ｓ２１０）。
【００６６】
本発明の一実施形態に係るＨＤＲ加重値マップは、多重露出フレームを構成する各フレームのピクセルに対して対比、カラー飽和、および適正露出度のうち少なくとも１つの情報をＨＤＲ加重値として格納されるが、本発明の一実施形態に係るＨＤＲ映像生成方法は、フレームのピクセルを確認してＨＤＲ加重値マップを算出してもよい。
【００６７】
本発明の一実施形態に係るＨＤＲ映像生成方法は、ゴーストブラーを確認して映像別のゴースト確率を算出する（Ｓ２２０）。
【００６８】
ゴーストブラーを確認し、映像別のゴースト確率を算出するために本発明の一実施形態に係るＨＤＲ映像生成方法は、図３に示すように映像別の輝度整合を用いてもよい。
【００６９】
図３は、本発明の一実施形態に係る映像別の輝度整合処理部で輝度を整合することを説明するフローチャートである。本発明の一実施形態に係る映像別の輝度整合処理部から入力される多重露出フレームのうち基準フレームを選定し（Ｓ３１０）、基準フレームに対比して他のフレーム間の輝度変換関数を算出し（Ｓ３２０）、他のフレームに基づいて基準フレームを基準として輝度変換を行う（Ｓ３３０）。
【００７０】
再び図２を参照すれば、本発明の一実施形態に係るＨＤＲ映像生成方法は、ステップＳ２２０において、基準フレームによって輝度変換された他のフレームを用いて映像別のゴースト確率を算出する。
【００７１】
次に、本発明の一実施形態に係るＨＤＲ映像生成方法は、算出された映像別のゴースト確率を考慮し、ＨＤＲ加重値マップを更新する（Ｓ２３０）。
【００７２】
例えば、本発明の一実施形態に係るＨＤＲ映像生成方法は、ＨＤＲ加重値マップにゴーストブラーが確認されたゴースト確率を適用し、ゴースト確率が適用されたＨＤＲ加重値マップに一連の正規化過程によって各フレームを構成するピクセルにおける加重値の和が「１」になるように調整し、ＨＤＲ加重値マップを更新する。
【００７３】
本発明の一実施形態に係るＨＤＲ映像生成方法は、更新されたＨＤＲ加重値マップを反映してＨＤＲ映像を生成する（Ｓ２４０）。
【００７４】
本発明の一実施形態に係るＨＤＲ映像生成方法は、受信された多重露出フレーム及びＨＤＲ加重値マップの入力を受け、ガウスピラミッド及びラプラシアンピラミッドを用いて多重露出フレーム及びＨＤＲ加重値マップを合成してＨＤＲ映像を生成する。
【００７５】
図４は、本発明の一実施形態に係る映像別の輝度整合処理部及び映像別のゴースト確率算出部が動作する実施形態を説明する図である。本発明の一実施形態に係る映像別の輝度整合処理部では、入力映像のいずれか１つを基準フレームとして設定し、他の露出映像を基準フレームの露出輝度程度に合わせて輝度変換を行い、輝度の変換された映像に整合する。
【００７６】
そのために、本発明の一実施形態に係る前記映像別の輝度整合処理部では、システム特性に応じて入力映像の１つを基準フレームとして選定する。
【００７７】
具体的に、３枚の露出映像を入力にして使用した場合として、３枚のうち長露出映像（ｋ＝１）を基準フレーム４１０として設定し、短露出映像４２０（ｋ＝３）を輝度整合する。
【００７８】
２枚の露出映像、すなわち、基準フレーム４１０と短露出映像４２０（ｋ＝３）を用いて中央に表示されている２Ｄジョイントヒストグラム４４０（ｊｏｉｎｔ−ｈｉｓｔｏｇｒａｍ）を算出し、これからカーブ（ｃｕｒｖｅ）で表示される輝度変換関数をカーブフィッティング（ｃｕｒｖｅ−ｆｉｔｔｉｎｇ）方式を活用して推定できる。
【００７９】
２Ｄジョイントヒストグラム４４０の縦軸は基準フレーム４１０に対するピクセル輝度値を示し、横軸は整合しようとする他の露出映像のピクセル輝度値を示す。したがって、基準フレーム４１０と短露出映像４２０（ｋ＝３）の同一ピクセルにおける輝度値の対をヒストグラム上で全てｖｏｔｉｎｇすることによって、２Ｄジョイントヒストグラムの取得が可能になる。
【００８０】
短露出映像４２０(ｋ＝３）で基準フレーム４１０への輝度変換関数（ＢＴＦ）（ｋ：３→＃ｒｅｆ）が決定されれば、短露出映像４２０（ｋ＝３）の全てのピクセル値に対して一対一に対応するピクセル値を決定できるようになる。参考に、＃ｒｅｆは基準フレーム４１０の番号を表示する。
【００８１】
例として、２Ｄジョイントヒストグラム上の推定変換関数はカーブ上で互いに合うように描かれている２つの線で表示されている。
【００８２】
短露出映像４２０（ｋ＝３）のピクセル値（Ｉｉｊ、ｋ）が輝度変換関数（ｋ：３→＃ｒｅｆ）によって基準フレーム露出レベルの輝度値（Ｉ’ｉｊ、ｋ）にマッピングされ、輝度の整合された露出映像４３０が生成され得る。
【００８３】
図５は、本発明の一実施形態に係る映像別のＨＤＲ加重値マップ算出部が動作する実施形態を説明する図である。図５は、３枚のフレームを含む多重露出フレームが入力された場合、その中間結果と最終結果を示している。図５では長露出（ｌｏｎｇ  ｅｘｐｏｓｕｒｅ）映像をＩ＿ｋ＝１、中露出（ｍｉｄｄｌｅ  ｅｘｐｏｓｕｒｅ）映像をＩ＿ｋ＝２、および短露出（ｓｈｏｒｔ  ｅｘｐｏｓｕｒｅ）映像をＩ＿ｋ＝３と表示する。
【００８４】
また、それぞれの入力映像として、多重露出入力映像５１０、輝度変換入力映像５２０、および入力映像別のゴースト確率マップ５３０の長露出映像を基準フレーム（ｒｅｆｅｒｅｎｃｅ  ｆｒａｍｅ）と設定した。
【００８５】
図５に示す多重露出入力映像５１０は３枚の入力映像を示し、輝度変換入力映像５２０では長露出映像を基準として輝度整合を行なった結果を示している。
【００８６】
入力映像別のゴースト確率マップ５３０では、基準フレームと輝度変換入力映像５２０上の輝度整合映像との間の差分を用いてゴースト確率マップの実現結果を確認できる。
【００８７】
図６は、本発明の一実施形態に係るマルチスケール混合処理部が映像を合成して生成する実施形態を説明する図である。図６にも３枚のフレームを含む多重露出フレームが入力された場合、その中間結果と最終結果を示している。図６では長露出映像をＩ＿ｋ＝１、中露出映像をＩ＿ｋ＝２、および短露出映像をＩ＿ｋ＝３と表示する。図６のＨＤＲ加重値マップ６１０では図５の多重露出入力映像５１０のように、各入力露出映像に対する算出されたＨＤＲ加重値マップを示す。
【００８８】
また、図６の６２０は、図５の入力映像別のゴースト確率マップ５３０に基づいてゴーストが補正されて更新されたＨＤＲ加重値マップ６２０を示し、６３０は最終結果として、ＨＤＲ合成されたＨＤＲ結果映像を示す。
【００８９】
結局、本発明の一実施形態に係るＨＤＲ映像生成方法を利用すれば、ＭＴＢ（Ｍｅｄｉａｎ  ｔｈｒｅｓｈｏｌｄ  Ｂｉｔｍａｐ）映像を活用することなく他の露出入力映像間の輝度整合の過程を行った後、その偏差を動き検出特徴として活用することで、より単純な処理過程によりゴーストブラー問題を解決することができる。
【００９０】
それだけではなく、本発明の一実施形態に係るＨＤＲ映像生成方法を利用すれば、従来に比べてＨＤＲラディアンスマップの復元と、復元されたＨＤＲラディアンスマップを８ビットＨＤＲにするためのトーン圧縮（ｔｏｎｅ  ｃｏｍｐｒｅｓｓｉｏｎ）の過程を行うことなく、直接に加重平均を行って最終結果を取得できる。
【００９１】
本発明の一実施形態に係るＨＤＲ映像生成方法は、多様なコンピュータ手段によって行うことができるプログラム命令形態で実現され、コンピュータ読み出し可能媒体に記録してもよい。記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含んでもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【００９２】
上述したように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から様々に修正及び変形が可能である。
【００９３】
したがって、本発明の範囲は、開示された実施形態に限定して定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【００９４】
１００  ＨＤＲ映像生成装置
１１０  輝度整合処理部
１２０  ＨＤＲ加重値マップ算出部
１３０  ゴースト確率算出部
１４０  ＨＤＲ加重値マップ更新部
１５０  マルチスケール混合処理部
【図１】
2013031174.tif 000015
【図２】
2013031174.tif 000016
【図３】
2013031174.tif 000017
【図４】
2013031174.tif 000018
【図５】
2013031174.tif 000019
【図６】
2013031174.tif 000020