(57)【要約】【課題】本発明は、始めにＲＧＢに変換してからマージ及びトーンマッピングを行うのではなく、ベイヤーフィルターモザイク技術を施した後にマージおよびトーンマッピング技術を施し、さらにＲＧＢに変換するＨＤＲ画像処理方法を提供する。【解決手段】ＨＤＲ画像処理はベイヤーモザイク画像上で行い、デモザイクや色空間の変換を必要としない。マージ工程にはフルリセットマージモードとＬＤＲアップデートのマージモードという２種類のモードがある。１つ目のフルリセットマージモードは、すべての画像フレームを取り込んだ後にＨＤＲフレームを生成する。２つ目のＬＤＲアップデートのマージモードは、前述のＨＤＲフレームをＬＤＲフレームにアップデートすることにより、新たなＨＤＲフレームを取得する。【選択図】図１Ａ
2018112936.tif 000002
【特許請求の範囲】
【請求項１】
光をベイヤー（Ｂａｙｅｒ）フィルターに通過させるステップと、
画像取込装置を利用して前記光を取り込み、ベイヤーモザイク画像を生成するステップと、
前記ベイヤーモザイク画像に少なくとも１つのマージ技術を施すステップと、
前記ベイヤーモザイク画像に少なくとも１つのトーンマッピング技術を施すステップと、
前記マージ技術および前記トーンマッピング技術を施した結果物を少なくとも１つのＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）データに変換するステップと、
前記ＲＧＢデータに基づきハイダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像を出力するステップと、を含む、
高動解像度映像処理方法。
【請求項２】
前記マージ技術を施す時、異なる露光の４つのフレームはＨＤＲにより取り込まれる、請求項１に記載の高動解像度映像処理方法。
【請求項３】
前記マージ技術はフルリセットのマージモードおよびローダイナミックレンジ（ＬＤＲ：Ｌｏｗ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）アップデートのマージモードを含む、請求項２に記載の高動解像度映像処理方法。
【請求項４】
前記フルリセットのマージモードは、前記４つのフレームがすべて取り込まれるとＨＤＲフレームを生成することを含む、請求項３に記載の高動解像度映像処理方法。
【請求項５】
前記ＬＤＲアップデートのマージモードは、前述のＨＤＲフレームがアップデートされてＬＤＲフレームデータになることにより、新たなＨＤＲフレームを取得することを含む、請求項３に記載の高動解像度映像処理方法。
【請求項６】
前記ＬＤＲアップデートのマージモードは、ＬＤＲフレームのフレームレートでＨＤＲフレームがアップデートされてＬＤＲフレームになることにより、新たなＨＤＲフレームを取得することを含む、請求項３に記載の高動解像度映像処理方法。
【請求項７】
前記マージ技術および前記トーンマッピング技術を施す際、デモザイクや色空間変換は行われない、請求項１に記載の高動解像度映像処理方法。
【請求項８】
前記ＨＤＲ画像のすべての処理技術は、人間の視覚に合わせて対数目盛（ｌｏｇａｒｉｔｈｍｉｃ  ｓｃａｌｅ）で実行される、請求項１に記載の高動解像度映像処理方法。
【請求項９】
前記トーンマッピング技術は、人間の眼にとって快適な輝度範囲に圧縮する局所適応性のトーンマッピングを行うことを含む、請求項１に記載の高動解像度映像処理方法。
【請求項１０】
ベイヤーモザイク画像を生成するのに用いられるベイヤーフィルターと、
前記ベイヤーモザイク画像を取り込む画像取込装置と、
前記画像取込装置から前記ベイヤーモザイク画像を受信し、前記ベイヤーモザイク画像に少なくとも１つのマージ技術を施し、前記ベイヤーモザイク画像に少なくとも１つのトーンマッピング技術を施し、前記マージ技術および前記トーンマッピング技術を施した結果物を少なくとも１つのＲＧＢデータに変換するとともに、前記ＲＧＢデータに基づきＨＤＲ画像を出力するＨＤＲ画像処理装置と、を含む、
高動解像度映像処理装置。
【請求項１１】
前記ＨＤＲ画像処理装置はフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を備える、請求項１０に記載の高動解像度映像処理装置。
【請求項１２】
前記ベイヤーフィルターおよび前記画像取込装置は前記ＨＤＲ画像処理装置から分離された装置である、請求項１０に記載の高動解像度映像処理装置。
【請求項１３】
前記ベイヤーフィルターおよび前記画像取込装置は前記ＨＤＲ画像処理装置と一体化した装置である、請求項１０に記載の高動解像度映像処理装置。
【請求項１４】
複数の線形１次ベイヤーモザイク信号を対数目盛ピクセルワイズ（ｐｉｘｅｌ−ｗｉｓｅ）に直接変換し、
その際、
Ｒ、Ｇ１、Ｇ２またはＢのピクセルは各自の対数目盛にそれぞれ変換するステップと、
前記ピクセルを処理してＨＤＲの結果物を取得するステップと、
前記ＨＤＲの結果物を前記対数目盛から前記線形１次ベイヤーモザイク信号に変換し直すステップと、を含む、
高動解像度映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像処理技術に関し、特に、より小さなデータストリームを処理して高いフレームレートを達成するのに用いられる、ハイダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像処理装置および方法に関する。
【背景技術】
【０００２】
ＨＤＲ画像処理は、より高いダイナミックレンジの輝度での画像の再現や撮影に用いられる。
【０００３】
ＨＤＲ画像の従来技術は特殊な画像センサーを利用してオーバーサンプリングを行うことを含み、他にも複数の画像をマージする技術がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特定の画像センサーが低照度下で使用される時、最良の結果画像を生成できないという問題が頻繁に起こる。
【０００５】
また、デジタル画像符号化は、より良好な遷移を可能にするのに十分なレンジを提供できるとは限らず、非可逆圧縮による悪影響が生じかねない。
【０００６】
したがって本発明は、上述の問題点を解決するのに有効なＨＤＲ画像処理装置および方法を提供する。具体的な構造およびその実施方法は以下に詳述する。
【０００７】
本発明の主な目的は、より小さなデータストリームを処理して高いフレームレートを達成するのに用いられる、ＨＤＲ画像処理装置および方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、改善されたウルトラＨＤＲ技術のハードウェア実現手段を提供する。本発明の処理過程、マージおよびトーンマッピングは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）プラットフォームを利用して映像形式で多重露光を行うためのものである。
【０００９】
本発明が提供するプラットフォーム唯一の方法は、ベイヤーフィルターモザイク技術を施した後マージおよびトーンマッピングを行い、さらにそのデータをＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）に変換するものであり、始めにＲＧＢに変換してからマージ及びトーンマッピング処理を行うのではない。本発明においては、この方法により特に小さなデータストリームを高いフレームレートで処理することが可能になる。
【００１０】
線形１次ベイヤーモザイク信号は対数目盛ピクセルワイズ（ｐｉｘｅｌ−ｗｉｓｅ）に直接変換される。カラーバランス補償の中には変換前に行えるものがあり、Ｒ、Ｇ１、Ｇ２またはＢのピクセルは各自の対数目盛にそれぞれ変換される。さらにこれらのピクセルは処理され、ＨＤＲの結果物は前記対数目盛から線形１次ベイヤーモザイク信号に変換し直される。これは画像センサーと一般的に使用されている画像処理装置の間に処理工程を挿入するのに役立つ。
【００１１】
本発明のウルトラＨＤＲ画像処理には主にマージ、トーンマッピングおよび圧縮という３つの段階がある。
【００１２】
また、本発明では取り込んだＨＤＲシーンのディテールとカラーを残す。
【００１３】
そして、最後に生成される画像は取込および再生装置の能力範囲内で可能な限り自然なものになる。
【００１４】
本発明のＨＤＲ処理はベイヤーモザイク画像中で行われ（画像センサーのＲＡＷ画像データ）、マージ処理およびトーンマッピング処理の際はデモザイクや色空間の変換を行わないので、多くの処理データを節約することができ、色抜けが減少する。
【００１５】
すべてのＨＤＲ処理操作は、人間の視覚に合わせて対数目盛で実行され、この方法によりかなり計算を簡素化できる。
【００１６】
マージ処理の際には、各ＨＤＲ取込時にＮの画像フレーム（異なる露光）を使用する。
【００１７】
マージ技術には、フルリセットのマージモードとローダイナミックレンジ（ＬＤＲ：Ｌｏｗ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）アップデートのマージモードの２種類がある。第一モードのフルリセットのマージモードでは、すべての画像フレームを取り込んだ後、ＨＤＲフレームを生成する。第二モードのＬＤＲアップデートのマージモードでは、前述のＨＤＲフレームがＬＤＲフレームデータにアップデートされることにより、新たなＨＤＲフレームを取得する。
【発明の効果】
【００１８】
たとえば、ＬＤＲフレームが１秒当たりに表示するフレーム数が１２０の場合、第一モードではＨＤＲ画像の１秒当たりのフレーム数は３０であり、第二モードではＨＤＲ画像の１秒当たりのフレーム数は１２０である。
【００１９】
一部のＦＰＧＡ設計においては、ＨＤＲ画像の露光値（ＥＶ：Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ）が１６ＥＶに制限されるように操作するが、これにより画像センサーのすべての露光範囲設定がカバーできたとしても、センサーのタイミングを利用して露光時間を制御することしかできない。
【００２０】
また、出力されたＨＤＲ画像はベイヤーモザイクＨＤＲ画像である。
【００２１】
トーンマッピング技術は、人間の眼にとって快適な輝度範囲に圧縮する局所適応性のトーンマッピングを行うことを含む。トーンマッピングは人間の眼の仕組みに近づけたものであり、言い換えれば、本発明のトーンマッピング画像は芸術家の描画手法に似ている。
【００２２】
トーンマッピング過程では色度（ｃｏｌｏｒ  ｃｈｒｏｍａｔｉｃｉｔｙ）が残り、色の歪みは最小になり、これはベイヤーモザイクのタイプとレンズセンサーシステムの光学特性によって決まる。これはメインセンサーの色上でトーンマッピングを行いベイヤーモザイク画像を生成する能力により提供される（色空間の変換やデモザイクは行わない）。
【００２３】
たとえば、本発明はＨＤＲの輝度範囲を９６ｄＢに圧縮し１ピクセル当たり８ビットで出力し、出力されたＨＤＲ画像はベイヤーモザイク処理された後にトーンマッピング処理されたＨＤＲ画像である。
【００２４】
３２ビット処理の際、マージは画像センサーに基づき露光値３２ＥＶのＨＤＲ画像を破棄できる。
【００２５】
トーンマッピングは１９２ｄＢから圧縮を開始し、局所適応性の計算方法により８ビット画像にまで圧縮できる。
【図面の簡単な説明】
【００２６】
【図１Ａ】本発明の高動解像度映像処理方法の実施例のフローチャートである。
【図１Ｂ】本発明の高動解像度映像処理におけるマージ技術の実施例のフローチャートである。
【図１Ｃ】本発明の高動解像度映像処理方法の実施例のフローチャートである。
【図２】本発明の高動解像度映像処理装置の実施例のブロック図である。
【図３】追加ガンマ状（ｇａｍｍａ−ｌｉｋｅ）露出補正関数△b(bp)を示す図である。
【図４】中心半径ｒを有し、関心地点（ＰＯＩ：Ｐｏｉｎｔ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）が円心oの円形エリアＣ内にある場合の、単一ステップ遷移b:b1→b2の基本ディテールを示す図である。
【図５】図４の断面線ｌに沿った遷移b1→b2を示す図である。
【図６】局所露出補正（ＬＥＣ：Ｌｏｃａｌ  Ｅｘｐｏｓｕｒｅ  Ｃｏｍｐｅｎｓａｔｉｏｎ）変化（r'≡0に近い）の単一ステップ遷移を示す図である。
【図７】２次元カーネル中のＲＧＧＢピクセル分布の５×５カーネル実施例を示すである。
【発明を実施するための形態】
【００２７】
＜実施例＞
本発明はＨＤＲ画像処理装置および方法を提供する。本発明の高動解像度映像処理方法の実施例のフローチャートである図１Ａと、本発明の高動解像度映像処理におけるマージ技術の実施例のフローチャートである図１Ｂを参照されたい。
【００２８】
図１Ａに示した高動解像度映像処理方法１００では、まずステップ１１０で入射光を受光し、ステップ１２０で光をベイヤーフィルターに通過させ、ステップ１３０でセンサーアレイのような画像取込装置により光を取り込む。
【００２９】
画像取込装置中のＲＡＷ画像データはＨＤＲ画像処理装置モジュールにより処理するのに用いられ、ステップ１４０ではＲＡＷ画像データに対しマージ技術を施し、ステップ１６０ではトーンマッピング技術を施す。
【００３０】
ステップ１８０で既にマージ技術およびトーンマッピング技術を施したデータをＲＧＢに変換し、ステップ１９０でＨＤＲ画像を出力する。
【００３１】
本発明の高動解像度映像処理方法１００で行われるマージ技術およびトーンマッピング技術を施す唯一の方法は、ベイヤーフィルターモザイク技術を施した後、そのデータをＲＧＢに変換するものであり、始めにＲＧＢに変換してからマージ技術及びトーンマッピング技術を施すのではない。本発明は、この方法により小さなデータストリームを高いフレームレートで処理することが明らかに可能になる。
【００３２】
本発明のＨＤＲ処理はベイヤーモザイク画像中で行われ（画像センサーのＲＡＷ画像データ）、マージ処理およびトーンマッピング処理の際はデモザイクや色空間の変換を行わないので、多くの処理データを節約することができ、色抜けが減少する。
【００３３】
すべてのＨＤＲ処理操作は、人間の視覚に合わせて対数目盛で実行され、この方法により計算をかなり簡素化できる。
【００３４】
マージ処理の際には、各ＨＤＲ取込時にＮの画像フレーム（異なる露光）を使用し、この方法は、異なる露光下で行われるいかなるフレーム数のマージ処理をもサポートする。
【００３５】
マージ技術（ステップ１４０）には、フルリセットのマージモードとＬＤＲアップデートのマージモードの２種類がある。第一モード（図１Ｂのステップ１４５、１５０）のフルリセットのマージモードでは、すべての画像フレームを取り込んだ後、ＨＤＲフレームを生成する。第二モード（図１Ｂのステップ１５５）のＬＤＲアップデートのマージモードでは、前述のＨＤＲフレームがＬＤＲフレームデータにアップデートされることにより、新たなＨＤＲフレームを取得する。これにより、ＨＤＲフレームはＬＤＲフレームのフレームレートでＬＤＲフレームを利用して更新される。
【００３６】
たとえば、ＬＤＲフレームが１秒当たりに表示するフレーム数が１２０の場合、第一モードではＨＤＲ画像の１秒当たりのフレーム数は３０であり、第二モードではＨＤＲ画像の１秒当たりのフレーム数は１２０である。
【００３７】
一部のＦＰＧＡ設計においては、ＨＤＲ画像の露光値（ＥＶ：Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ）が１６ＥＶに制限されるように操作するが、これにより画像センサーのすべての露光範囲設定がカバーできたとしても、センサーのタイミングを利用して露光時間を制御することしかできない。
【００３８】
また、出力されたＨＤＲ画像はベイヤーモザイクＨＤＲ画像である。
【００３９】
人間の眼にとって快適な輝度範囲に圧縮する局所適応性のトーンマッピングを行う。トーンマッピングは人間の眼の仕組みに近づけたものであり、言い換えれば、本発明のトーンマッピング画像は芸術家の描画手法に似ている。
【００４０】
トーンマッピング過程では色度（ｃｏｌｏｒ  ｃｈｒｏｍａｔｉｃｉｔｙ）が残り、色の歪みは最小であり、これはベイヤーモザイクのタイプとレンズセンサーシステムの光学特性によって決まる。これはメインセンサーの色上でトーンマッピングを行いベイヤーモザイク画像を生成する能力により提供される（色空間の変換やデモザイクは行わない）。
【００４１】
たとえば、本発明はＨＤＲの輝度範囲を９６ｄＢに圧縮し１ピクセル当たり８ビットで出力し、出力されたＨＤＲ画像はベイヤーモザイク処理された後にトーンマッピング処理されたＨＤＲ画像である。
【００４２】
３２ビット処理の際、マージは画像センサーに基づき露光値３２ＥＶのＨＤＲ画像を破棄できる。
【００４３】
トーンマッピングは１９２ｄＢから圧縮を開始し、局所適応性の計算方法により８ビット画像に圧縮できる。
【００４４】
本発明の高動解像度映像処理方法の実施例のフローチャートである図１Ｃを参照されたい。
【００４５】
高動解像度映像処理方法２００は、線形１次ベイヤーモザイク信号を対数目盛ピクセルワイズに直接変換するステップ２１０を含み、これにより、Ｒ、Ｇ１、Ｇ２またはＢのピクセルは各自の対数目盛にそれぞれ変換する。そしてステップ２２０でこれらのピクセルを処理してＨＤＲの結果物を得る。さらにステップ２３０でＨＤＲの結果物を対数目盛から線形１次ベイヤーモザイク信号に変換し直す。
【００４６】
本発明の高動解像度映像処理装置の実施例のブロック図である図２を参照されたい。
【００４７】
本発明の高動解像度映像処理装置１０はベイヤーフィルター５０、画像取込装置６０およびＨＤＲ画像処理装置８０（またはＨＤＲ画像処理モジュール）を含む。
【００４８】
本発明の実施例では、ＨＤＲ画像処理装置８０はＦＰＧＡを備える。
【００４９】
操作時に、入射光４０は高動解像度映像処理装置１０に受光され、入射光４０はベイヤーフィルター５０を通過した後、センサーアレイのような画像取込装置６０に取り込まれる。
【００５０】
画像取込装置６０からのＲＡＷ画像データ７０はＨＤＲ画像処理装置８０により処理するのに用いられる。このＨＤＲ画像処理装置はＲＡＷ画像データのマージおよびトーンマッピングに関連する技術能力を有する。
【００５１】
マージ後のトーンマッピング画像ファイルはＲＧＢ形式のデータに変換され、続いてＨＤＲ画像が出力される。
【００５２】
ハイダイナミックレンジ画像処理（ＨＤＲＩ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｉｍａｇｉｎｇ）の目標は人間の眼に見えるダイナミックレンジに達することであり、人間の眼で確認できるハイライトまたはシャドウのシーンはすべて、確認された後ＨＤＲＩシステムに保存され同じビジュアルデータが再度生成される。
【００５３】
これは、ＨＤＲＩシステムの感応露光値が４２ＥＶから４６ＥＶの間（人間の可視範囲）または少なくとも露光値が２２ＥＶから２４ＥＶの間（人間の一般的な可視範囲）であることを示す。
【００５４】
ほとんどの場合、画像センサーのダイナミックレンジは感応露光値８ＥＶ（低コストカメラ）から１４ＥＶ（ハイエンドカメラ）の光源にとって十分ではない。
【００５５】
感応範囲を拡大するために、露出ブラケット（ｅｘｐｏｓｕｒｅ  ｂｒａｃｋｅｔｉｎｇ）を用い、１組のＬＤＲ画像（ブラケット）により同じシーンの様々な異なる露光設定に合わせることで画像データを生成する。
【００５６】
ブラケット内には露光時間、ゲイン（またはＩＳＯ感度）および絞りのような複数の異なる設定がある。そして、マージ工程は１組のＬＤＲ画像をＨＤＲ画像に変換するのに用いられ、マージのクオリティは露出ブラケットの使い方がポイントとなる。
【００５７】
異なる露光時間の条件下では、異なるＬＤＲ画像が生成され、画像全体が取り込まれた後各ブラケットに用いられる。この方法は、すべての範囲の露光時間設定を使用することができるので、最大のダイナミックレンジを得られるセンサーの使い方である。
【００５８】
露光中のゲイン（またはＩＳＯ感度）について、異なるゲイン設定により異なるＬＤＲ画像を生成することができる。この方法で生成した画像は１度だけ撮像され、画像センサー中のアナログバッファ内に残り、ブラケットは複数の画像（複数の異なるゲイン設定の使用によるアナログバッファの画像）により形成され、このマージ工程は、異なるフレーム間の移動がないので、ゴースト除去（ｄｅ−ｇｈｏｓｔｉｎｇ）補正の必要がない。
【００５９】
絞りブラケットには機械的な絞り操作が必要であり、異なるブラケットにより絞り値が変わる。このため、仮定の露光時間の間で光束範囲が定められる。
【００６０】
このようなブラケットは露光時間の固定およびゲインの固定に適用されるので、ブラケット（その他ブラケット方式と相反する）は同じ信号対雑音比（ＳＮＲ：Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）を有する。このため露光時間が増し、最適なＳＮＲに達することができる。
【００６１】
ブラケット方式の組合せはより好ましいＳＮＲまたはより少ないゴーストを達成するのに用いられる。
【００６２】
露光値２４ＥＶのＨＤＲ画像の画像データサイズは一般的な８ビットのＬＤＲ画像の４倍である。優れた圧縮技術により最小限の色抜けのＨＤＲ画像を保存し、通信プロトコルを通じて当該画像を伝送することができる。
【００６３】
モニターやプリンターのような再現デバイスを使用しても８〜１２ＥＶを超えるダイナミックレンジ画像を表現することはできない。トーンマッピング方法によれば、すべての輝度値（画像中すべてのピクセル）をデバイスの目標ダイナミックレンジまでトーンマッピングできる。これは一般的なダイナミックレンジ圧縮である。
【００６４】
トーンマッピングは複雑な方法であり、この方法を用いれば、すべての明るいまたは暗いＨＤＲ画像をトーンマッピングして、ＨＤＲ画像をＬＤＲ装置で再現でき（全体コントラスト修正）、画像の視覚的コントラストを損失することはなく（局所コントラスト修正）、色が変わることもない（または色抜けが最小限に留められる）。
【００６５】
以下にトーンマッピング技術の試みをいくつか詳述する。
【００６６】
2018112936.tif 000003
【００６７】
多くの異なるトーンマッピング（ＴＭ）技術があり、単純な「ピクセルワイズ」ＴＭおよびＴＭ中のディテール「保存」に分けられる。
【００６８】
2018112936.tif 000004
【００６９】
単純な「ピクセルワイズ」ＴＭの利点は、「オンチップ」ソリューションとしてＴＭ曲線を画像センサー内に組み込むことができる点にある。
【００７０】
しかし、画像ディテールの中にはコントラスト損失が起こるものがあり、ダイナミックレンジのＨＤＲ画像の露光値が１０ＥＶより大きい時、変換公式（画像中のすべてのピクセルについて同じ）は画像ディテールがわからないので、あらかじめ定義されたＴＭ曲線は一部画像の輝度のディテールに合わない。
【００７１】
2018112936.tif 000005
【００７２】
【数１】
2018112936.tif 000006
【００７３】
2018112936.tif 000007
【００７４】
【数２】
2018112936.tif 000008
【００７５】
光エネルギーの空間分布はセンサーのピクセル上にあるように、方法１は同等の入射光エネルギー分離と解釈できる。
【００７６】
2018112936.tif 000009
【００７７】
【数３】
2018112936.tif 000010
【００７８】
2018112936.tif 000011
【００７９】
2018112936.tif 000012
【００８０】
【数４】
2018112936.tif 000013
【００８１】
そして、この式（２．１）は、トーンマッピング画像に用いられる。
【００８２】
【数５】
2018112936.tif 000014
【００８３】
すでにわかっている式（２．２）は不自然な画像を生成する。なぜなら、上述のコントラスト操作は線形エネルギーから桁数目盛へと実行が移されるが、人間の眼は対数方式によりコントラストを感知するからである。
【００８４】
2018112936.tif 000015
【００８５】
【数６】
2018112936.tif 000016
【００８６】
その中のｌは対数基数であり、通常は２（たとえばＥＶ目盛）であるため、ｌの２ｘの変化は１ＥＶと関係する。
【００８７】
この場合、ピクセルワイズの分離式は人間の眼の仕組みにより類似する。
【００８８】
【数７】
2018112936.tif 000017
【００８９】
2018112936.tif 000018
【００９０】
【数８】
2018112936.tif 000019
【００９１】
パラメーターγはフィルターの有効半径である。
【００９２】
2018112936.tif 000020
【００９３】
【数９】
2018112936.tif 000021
【００９４】
ここでのピクセルワイズのマッピング操作は式（２．３）と似ているが、対数目盛で行う。
【００９５】
【数１０】
2018112936.tif 000022
【００９６】
2018112936.tif 000023
【００９７】
【数１１】
2018112936.tif 000024
【００９８】
この方法は人間の視覚に近く、そこから生成された結果物はＨＤＲトーンマッピングの画像より優れている。しかし、式（２．４）は人間の視覚システムに近いだけで、４段階の視野角の細かいディテールを表示できる。したがって式（２．４）の方法を用いた画像のクオリティは画像を目にする距離（人間の眼からデバイスまでの距離）がポイントとなり、画像を見る距離はガウスフィルターのパラメーターγに基づく。
また、γが用いられるので、ディテールのコントラストは異なるスペクトル周波数により変更することはできない。より大きいγ値は画像中のハイコントラストな「ハレーション」をもたらす。さらに、因子Ａは一定したものではなく、たとえば、「ハレーション」は一塊の不鮮明なディテールの場合もあれば、画像の均一的な明視野部分に出現することもある。
【００９９】
2018112936.tif 000025
【０１００】
【数１２】
2018112936.tif 000026
【０１０１】
Ａは比例定数であり、αは任意の拡大ゲインである（たとえば、アナログ、デジタル）。
【０１０２】
注意：
【０１０３】
【数１３】
2018112936.tif 000027
【０１０４】
2018112936.tif 000028
【０１０５】
【数１４】
2018112936.tif 000029
【０１０６】
上記はカメラの露光因子である（カメラの露光設定に基づく）。
【０１０７】
【数１５】
2018112936.tif 000030
【０１０８】
2018112936.tif 000031
【０１０９】
露光変化因子は次のとおりである。
【０１１０】
【数１６】
2018112936.tif 000032
2018112936.tif 000033
【０１１１】
各β値はブラケットシーケンス（ｂｒａｃｋｅｔｉｎｇ  ｓｅｑｕｅｎｃｅ）により定義できる。
【０１１２】
式（３．１）と式（３．２）から、露光値の変化はピクセル値の変化をもたらす。
【０１１３】
【数１７】
2018112936.tif 000034
【０１１４】
いくつかの特殊な状況下では、画像センサーの一部のピクセルは露光値を変更することがある。
【０１１５】
式（３．３）中にあるのは理想的なセンサーであるが、いかなる画像センサーの変換式も非線形であり、変換式の作業範囲は式（３．１）のように線形であっても、少なくとも２種類の飽和度を必要とする。
【０１１６】
2018112936.tif 000035
【０１１７】
【数１８】
2018112936.tif 000036
となる。
【０１１８】
2018112936.tif 000037
【０１１９】
本発明では対数目盛を用いてピクセル値を表す。
【０１２０】
【数１９】
2018112936.tif 000038
【０１２１】
2018112936.tif 000039
【０１２２】
【数２０】
2018112936.tif 000040
【０１２３】
Ｂの値は再度標準化されてデシベルに類似した値になり、その最大値（または白色点）は０と同等になる。
【０１２４】
【数２１】
2018112936.tif 000041
【０１２５】
2018112936.tif 000042
【０１２６】
対数Ｂ目盛の処理後のピクセル値を表示するために、次の後ろ向き変換の公式を用いる。
【０１２７】
【数２２】
2018112936.tif 000043
2018112936.tif 000044
【０１２８】
解像度変化の式（３．２）により、たとえばモニターのような再現デバイス上におけるピクセルの視覚的な明るさに変化が生じる。
【０１２９】
対数Ｂ目盛では、解像度の変化はカメラおよび／またはシーン照明により生じ、次の公式により表すことができる。
【０１３０】
【数２３】
2018112936.tif 000045
【０１３１】
ここでの解像度の変化は次のとおりである。
【０１３２】
【数２４】
2018112936.tif 000046
【０１３３】
2018112936.tif 000047
【０１３４】
式（３．２）および式（３．５）からわかるように、総露光変化と補正はその追加成分の総和を通じて示すことができる。
【０１３５】
【数２５】
2018112936.tif 000048
【０１３６】
これは次の式でも表せる。
【０１３７】
【数２６】
2018112936.tif 000049
【０１３８】
2018112936.tif 000050
【０１３９】
2018112936.tif 000051
【０１４０】
任意のΔB値は追加であるため、次のｂ目盛（ｂ−ｓｃａｌｅ）の式も真になる。
【０１４１】
【数２７】
2018112936.tif 000052
【０１４２】
2018112936.tif 000053
【０１４３】
ピクセルの輝度値を１つの範囲からもう１つの範囲に変換するために（たとえば、ＨＤＲからＬＤＲに変換──ＨＤＲ画像のすべてのピクセルをＬＤＲの再現デバイス上で見る）、本発明ではトーンマッピング操作を用いる。トーンマッピングは露光範囲を圧縮または拡張できる。
【０１４４】
2018112936.tif 000054
【０１４５】
【数２８】
2018112936.tif 000055
【０１４６】
その際、実行画像中の（ｘ，ｙ）座標のピクセルの追加露出補正は次のとおりである。
【０１４７】
【数２９】
2018112936.tif 000056
【０１４８】
式（３．７）のように、関数は同じ成分中で表す。
【０１４９】
【数３０】
2018112936.tif 000057
【０１５０】
「自然な作業」のトーンマッピング機能を確立するためには、トーンマッピングの作業方式を人間の目の局所調整に似たものにする必要がある。これは、画像の暗いエリアをより明るくすると同時に、最も明るいエリアを見える状態に維持するのに役立つ。この人間の眼の能力（その場の状況に適応する能力）と線形（光エネルギー）メモリ中のガンマ関数は似ている。ＬＤＲ再現デバイスを用いて画像が再生される時、追加のガンマ補正は画像中のすべてのピクセルに適用される。
【０１５１】
【数３１】
2018112936.tif 000058
【０１５２】
このＧｐＩｐは露出補償の立場から露光範囲の圧縮を行い、人間の眼で画像ピクセルを見るのを助け、その値Ｉｐは再現デバイスのダイナミックレンジを超える。補正パラメーターγにより画像の暗いエリアを見えるようにすると同時に、最も明るいエレメントを維持できるようにする。パラメーターαにより入力ピクセル値（または露光値）のリスケーリングまたは拡大を実行する。パラメーターＡは再現デバイスの出力輝度のスケーリングまたは拡大因子として認められる。
【０１５３】
対数Ｂ目盛（Ｂ−ｓｃａｌｅ）中では、ガンマ補正は１つの簡単な線形関数である。
【０１５４】
【数３２】
2018112936.tif 000059
【０１５５】
ｂ目盛の式（３．４）まで標準化した後、上述の式はさらに簡素化する。
【０１５６】
【数３３】
2018112936.tif 000060
【０１５７】
2018112936.tif 000061
【０１５８】
この操作は追加露出補正の式（３．８）を通じて次のように表すことができる。
【０１５９】
【数３４】
2018112936.tif 000062
【０１６０】
したがって、基本的なガンマ状の追加露出補正は任意のピクセルに対して次のようになる。
【０１６１】
【数３５】
2018112936.tif 000063
2018112936.tif 000064
【０１６２】
2018112936.tif 000065
【０１６３】
2018112936.tif 000066
【０１６４】
本発明の実施例では、式（３．９）（そのパラメーターを超過）は局所露出補償（ＬＥＣ：Ｌｏｃａｌ  Ｅｘｐｏｓｕｒｅ  Ｃｏｍｐｅｎｓａｔｉｏｎ）として認められ、画像が再現デバイスで再生され、それが見られている最中、人間の眼の局所適応を補償するのに用いられる。
【０１６５】
【数３６】
2018112936.tif 000067
【０１６６】
2018112936.tif 000068
【０１６７】
2018112936.tif 000069
【０１６８】
【数３７】
2018112936.tif 000070
【０１６９】
式（３．１０）の利点は局所露出補償にあるが、その欠点はガンマ関数の定義にある。ハイコントラストのシーンを調整圧縮する時、画像中の比較的明るいディテールのネイティブコントラストを圧縮することで、視覚的に不自然になってしまう。言い換えれば、いかなるコントラスト圧縮も禁止またはマスクされてしまったら、補償後の画像は変わらないので、局所露出補償が意味を成さない。
【０１７０】
したがって、トーンマッピングは式（３．１０）のみを用いることはできず、局所露出補正と十分な視覚的コントラストの間でよいバランスを保たなければいけないため、画像ディテールのネイティブコントラストには局所露出補償を用いて局所適応を行う必要がある。
【０１７１】
本発明の実施例では、局所露出補償の局所適応はディテールのネイティブマイクロコントラストの反応だと考えられる。
【０１７２】
2018112936.tif 000071
【０１７３】
2018112936.tif 000072
【０１７４】
2018112936.tif 000073
【０１７５】
【数３８】
2018112936.tif 000074
【０１７６】
2018112936.tif 000075
【０１７７】
ｏ点の座標が（ｘ，ｙ）であると、次のようになる。
【０１７８】
【数３９】
2018112936.tif 000076
【０１７９】
局所露出補償の式(3.10)は、圧縮因子ρの局所修正により局所適応をもたらす。ディテール内のマイクロコントラストDr(Bp)を維持または拡大するために、局所露出補償の式におけるスロープ（パラメーターP=P0により定義）はＣエリア内で減少し、P=Plocal<P0となり、当該エリアの任意の箇所の露光偏差Dr(Bp)は０にはならない。
【０１８０】
2018112936.tif 000077
【０１８１】
図６および式（３．１１）に基づき、局所露出補償に対し、局所修正を行いγに依存するようになり、次のような式も書ける。
【０１８２】
【数４０】
2018112936.tif 000078
2018112936.tif 000079
【０１８３】
2018112936.tif 000080
【０１８４】
【数４１】
2018112936.tif 000081
【０１８５】
2018112936.tif 000082
【０１８６】
【数４２】
2018112936.tif 000083
【０１８７】
2018112936.tif 000084
【０１８８】
【数４３】
2018112936.tif 000085
【０１８９】
式（３．１２）と式（２．３）、（２．４）、（２．５）が示す作業方式は同じであり、いずれも人間の視覚システムと関係している。続いて、画像がＧ（「全体コントラスト」の部分）とＬ（「局所コントラスト」の部分）の２層に分けられる。
【０１９０】
【数４４】
2018112936.tif 000086
【０１９１】
これらは式（３．１３）中での計算に用いられる。
【０１９２】
2018112936.tif 000087
【０１９３】
【数４５】
2018112936.tif 000088
【０１９４】
続いて、式（３．１２）は次の方式に書き変えられる。
【０１９５】
【数４６】
2018112936.tif 000089
【０１９６】
2018112936.tif 000090
【０１９７】
式（３．１４）は式（２．３）、（２．４）、（２．５）と同じ欠点を有する。これには人工的に生じた「ハレーション」が含まれる。
【０１９８】
2018112936.tif 000091
【０１９９】
2018112936.tif 000092
【０２００】
【数４７】
2018112936.tif 000093
【０２０１】
2018112936.tif 000094
【０２０２】
2018112936.tif 000095
【０２０３】
【数４８】
2018112936.tif 000096
2018112936.tif 000097
【０２０４】
2018112936.tif 000098
【０２０５】
【数４９】
2018112936.tif 000099
2018112936.tif 000100
【０２０６】
追加局所コントラスト補償は次の式を用いて定義される。
【０２０７】
【数５０】
2018112936.tif 000101
2018112936.tif 000102
【０２０８】
2018112936.tif 000103
【０２０９】
【数５１】
2018112936.tif 000104
【０２１０】
2018112936.tif 000105
【０２１１】
上述の１と２から次の式が得られる。
【０２１２】
【数５２】
2018112936.tif 000106
【０２１３】
続いて、次の式が得られる。
【０２１４】
【数５３】
2018112936.tif 000107
【０２１５】
2018112936.tif 000108
【０２１６】
ハレーション抑制係数ｈｓは０の定数よりも大きく、（ｘ，ｙ，ｚ）に依存せず、ユーザーにより操作される。
【０２１７】
状態１における式（３．１６）により局所適応性の局所コントラスト層を定義し、次の式（３．１７）が得られる。
【０２１８】
【数５４】
2018112936.tif 000109
【０２１９】
2018112936.tif 000110
【０２２０】
【数５５】
2018112936.tif 000111
【０２２１】
続いて、トーンマッピングの式（３．１４）はその局所適応性に置き換えて表示される。
【０２２２】
【数５６】
2018112936.tif 000112
2018112936.tif 000113
【０２２３】
2018112936.tif 000114
【０２２４】
【数５７】
2018112936.tif 000115
【０２２５】
Ｒｍａｘはすべての画像サイズに対し最大限使用可能な値γの設定に用いられ、これはアルゴリズムアプリケーションプログラムでユーザーが設定できる。
【０２２６】
式（３．１９）は次のように書き換えられる。
【０２２７】
【数５８】
2018112936.tif 000116
2018112936.tif 000117
【０２２８】
2018112936.tif 000118
【０２２９】
2018112936.tif 000119
【０２３０】
本発明のＨＤＲ画像処理をＨＤＲ映像装置のハードウェアで実現する実施例について以下に述べる。
【０２３１】
入力データ形式において、連続する画像（フレーム）から成るビデオストリームは、１つの画像センサーまたは１組の画像センサーから生成される。
【０２３２】
指定実行されるＨＤＲアルゴリズムについて、これらのフレームは連続するフレームの１つの単一ビデオストリームまたは複数のパラレルビデオストリームであると仮定する。
【０２３３】
提案されたＨＤＲ処理について、これはフレーム数であり、重要ではない。ここにおける唯一のパラメーターは露光設定である。
【０２３４】
【数５９】
2018112936.tif 000120
【０２３５】
ここでのτは露光時間であり、αはゲイン値であり、ｆと絞りは関係する。
【０２３６】
入力データを準備する際、「Ｉ」が内部ｍビットのカラーピクセルデータを指すようにし、これはカラー画像センサー（ＣＩＳ：Ｃｏｌｏｒ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）のデジタル出力端により生成される。Ｉ＝Ｉ（ｘ，ｙ）は、ここにおけるピクセル中の入射光パワーの線形輝度を表し、（ｘ，ｙ）は画像中のピクセル座標である。ピクセルデータは［０，Ｉ０］の範囲内にあり、Ｉ０は最大限可能な正値である。ｍビットデータについては次のようになる。
【０２３７】
【数６０】
2018112936.tif 000121
【０２３８】
2018112936.tif 000122
【０２３９】
マージ工程では１つの対数（２を基本単位とする）を用いて露光値を示す色の明るさを表現する。
【０２４０】
【数６１】
2018112936.tif 000123
【０２４１】
その際、ｂｉｎは標準化され、任意のＩは常に０より小さい。
【０２４２】
通常、ピクセルからＡＤＣへの変換の伝達関数は線形ではないので、最初の線形化を計算前に優先的に行う必要がある。それにもかかわらずガンマ状非線形が導き出される場合は、次の計算により補償を行う。
【０２４３】
【数６２】
2018112936.tif 000124
【０２４４】
式（４．２）は定数基準値ｂｒｅｆおよびデガンマ係数Ｃｒｓを有する。この２つの値はいずれも（ｘ，ｙ）に依存しない。
【０２４５】
2018112936.tif 000125
【０２４６】
【数６３】
2018112936.tif 000126
【０２４７】
2018112936.tif 000127
【０２４８】
【数６４】
2018112936.tif 000128
【０２４９】
2018112936.tif 000129
【０２５０】
2018112936.tif 000130
【０２５１】
2018112936.tif 000131
【０２５２】
2018112936.tif 000132
【０２５３】
続いて、その他のブラケットについての説明である（ｎ＞０）。
【０２５４】
１．絶対差を求める。
【０２５５】
【数６５】
2018112936.tif 000133
【０２５６】
２．基準値を求める。
【０２５７】
【数６６】
2018112936.tif 000134
【０２５８】
３．マージマスク（ｍｅｒｇｉｎｇ  ｍａｓｋ）を生成する。
【０２５９】
【数６７】
2018112936.tif 000135
【０２６０】
４．有効マージマスクを形成する。
変形１．％直接ピクセル値の混合にマージを行う。
【０２６１】
【数６８】
2018112936.tif 000136
【０２６２】
変形２．％デゴースト操作によりマージを行う。
【０２６３】
【数６９】
2018112936.tif 000137
【０２６４】
2018112936.tif 000138
【０２６５】
【数７０】
2018112936.tif 000139
【０２６６】
2018112936.tif 000140
【０２６７】
【数７１】
2018112936.tif 000141
【０２６８】
７．残ったすべてのブラケット（フレーム）について１〜６の操作を繰り返す。
【０２６９】
2018112936.tif 000142
【０２７０】
【数７２】
2018112936.tif 000143
【０２７１】
また、「色」成分は次のように表される。
【０２７２】
【数７３】
2018112936.tif 000144
【０２７３】
その際、ｃｏｌは（ｘ，ｙ）位置上の適当なピクセル原色Ｒ１、Ｇ１、Ｇ２またはＢで表される。
【０２７４】
2018112936.tif 000145
【０２７５】
2018112936.tif 000146
【０２７６】
2018112936.tif 000147
【０２７７】
【数７４】
2018112936.tif 000148
【０２７８】
各座標（ｘ，ｙ）に関しては、トーンマッピングは以下の操作により行われる。
【０２７９】
【数７５】
2018112936.tif 000149
【０２８０】
2018112936.tif 000150
【０２８１】
【数７６】
2018112936.tif 000151
【０２８２】
局所適応性処理により次の式が得られる。
【０２８３】
【数７７】
2018112936.tif 000152
【０２８４】
そして最後のトーンマッピングされたカラー画像は次の式により得られる。
【０２８５】
【数７８】
2018112936.tif 000153
2018112936.tif 000154
【０２８６】
上述の式におけるパラメーターの定義は次のとおりである。
2018112936.tif 000155
【０２８７】
2018112936.tif 000156
【０２８８】
【数７９】
2018112936.tif 000157
【０２８９】
最小画像ディテールが検知される時、２次元カーネル分布の標準偏差は少なくとも３×３のＲＧＢピクセルエリアをカバーできる。
【０２９０】
２次元カーネル中のＲＧＧＢピクセル分布の５×５カーネル実施例を示す図７を参照されたい。
【０２９１】
2018112936.tif 000158
【０２９２】
処理工程：
１．バッファーの初期化
【０２９３】
【数８０】
2018112936.tif 000159
【０２９４】
続いて、次のステップのループをＮ回繰り返す。
2018112936.tif 000160
【０２９５】
【数８１】
2018112936.tif 000161
【０２９６】
2018112936.tif 000162
【０２９７】
【数８２】
2018112936.tif 000163
【０２９８】
2018112936.tif 000164
【０２９９】
【数８３】
2018112936.tif 000165
【０３００】
７．インクリメントカウンターを組み込む。
【０３０１】
【数８４】
2018112936.tif 000166
2018112936.tif 000167
【０３０２】
【数８５】
2018112936.tif 000168
【０３０３】
2018112936.tif 000169
【０３０４】
【数８６】
2018112936.tif 000170
【０３０５】
2018112936.tif 000171
【０３０６】
【数８７】
2018112936.tif 000172
【０３０７】
2018112936.tif 000173
【０３０８】
上述の記載は本発明の好ましい実施例の説明に過ぎず、本発明の実施範囲を限定するものではない。したがって、本発明の特許請求の範囲で述べられた特徴および精神に基づき加えられた各種の変更や潤色はすべて、本発明の特許請求の範囲内に含まれる。
【符号の説明】
【０３０９】
１０  高動解像度映像処理装置
４０  入射光
５０  ベイヤーフィルター
６０  画像取込装置  
７０  ＲＡＷ画像データ  
８０  ＨＤＲ画像処理装置  
９０  ＨＤＲ画像出力  
【図１Ａ】
2018112936.tif 000174
【図１Ｂ】
2018112936.tif 000175
【図１Ｃ】
2018112936.tif 000176
【図２】
2018112936.tif 000177
【図３】
2018112936.tif 000178
【図４】
2018112936.tif 000179
【図５】
2018112936.tif 000180
【図６】
2018112936.tif 000181
【図７】
2018112936.tif 000182