(57)【要約】【課題】１枚の撮像画像と同一のタイミングで、かつ、異なる露出値で撮像されたと見なせる画像を得ることができる画像生成装置を提供する。【解決手段】画像生成装置は、異なる露出値で撮像された基準画像及び参照画像、それぞれに関連付けられた露出値、並びにそれぞれに関連付けられた露出値とは異なる疑似露出値を取得する取得部と、基準画像及び参照画像それぞれに関連付けられた露出値の差分に対応し、基準画像及び参照画像の輝度値を画素ごとに対応させる変換パラメータを推定する推定部と、基準画像及び参照画像それぞれに関連付けられた露出値、疑似露出値、並びに変換パラメータに基づいて、基準画像の輝度値を画素ごとに変換することにより、疑似露出値で撮像された画像と見なせる疑似画像を生成する生成部と、を備える。【選択図】図３
2020088540.tif 000002
【特許請求の範囲】
【請求項１】
異なる露出値で撮像された基準画像及び参照画像、それぞれに関連付けられた前記露出値、並びにそれぞれに関連付けられた前記露出値とは異なる疑似露出値を取得する取得部と、
前記基準画像及び前記参照画像それぞれに関連付けられた前記露出値の差分に対応し、前記基準画像及び前記参照画像の輝度値を画素ごとに対応させる変換パラメータを推定する推定部と、
前記基準画像及び前記参照画像それぞれに関連付けられた前記露出値、前記疑似露出値、並びに前記変換パラメータに基づいて、前記基準画像の前記輝度値を画素ごとに変換することにより、前記疑似露出値で撮像された画像と見なせる疑似画像を生成する生成部と、
を備える、画像生成装置。
【請求項２】
前記基準画像及び前記参照画像の少なくとも何れか一方の画像と、前記疑似画像とに基づいて、ＨＤＲ合成を行う合成部をさらに備える、請求項１に記載の画像生成装置。
【請求項３】
前記生成部は、
第１露出値から前記露出値を所定値だけ増加又は減少させた第２露出値で撮像された画像を、前記第１露出値で撮像された画像から得るための第１変換パラメータと、第２露出値から前記露出値を前記所定値だけ増加又は減少させた第３露出値で撮像された画像を、前記第２露出値で撮像された画像から得るための第２変換パラメータと、が同一であると仮定して、前記疑似画像を生成する、請求項１又は２に記載の画像生成装置。
【請求項４】
前記取得部は、複数の画像及び前記疑似露出値を取得し、前記複数の画像のうち、前記疑似露出値との差分が最も小さい前記露出値で撮像された画像を前記基準画像として取得し、前記複数の画像のうち、前記基準画像を除く画像を前記参照画像とし、
前記生成部は、前記基準画像の前記輝度値を画素ごとに変換し、前記疑似画像を生成する、請求項１から３の何れか１項に記載の画像生成装置。
【請求項５】
異なる露出値で撮像された基準画像及び参照画像、それぞれに関連付けられた前記露出値、並びにそれぞれに関連付けられた前記露出値とは異なる疑似露出値を取得する取得ステップと、
前記基準画像及び前記参照画像それぞれに関連付けられた前記露出値の差分に対応し、前記基準画像及び前記参照画像の輝度値を画素ごとに対応させる変換パラメータを推定する推定ステップと、
前記基準画像及び前記参照画像それぞれに関連付けられた前記露出値、前記疑似露出値、並びに前記変換パラメータに基づいて、前記基準画像の前記輝度値を画素ごとに変換することにより、前記疑似露出値で撮像された画像と見なせる疑似画像を生成する生成ステップと、
を備える、画像生成方法。
【請求項６】
コンピュータを、請求項１から４の何れか１項に記載の画像生成装置として機能させるための画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像生成装置、画像生成方法及び画像生成プログラムに関する。
【背景技術】
【０００２】
特許文献１には、同時に撮像されたと見なせる複数の画像を得ることができる撮像装置が開示されている。撮像装置は、複数の画像を連写し記憶する連続撮像手段と、複数の画像のすべてを加算して第１画像を合成する画像合成手段と、第１画像とは露出が異なる第２画像を生成する第２画像生成手段とを備える。第２画像は、第１画像の各画素値に係数を掛けて得られる。あるいは、第２画像は、複数の画像の相加平均により得られる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−０２７４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の撮像装置にあっては、互いに同一の撮像時間帯となる第１画像及び第２画像を生成するだけであり、連続撮像手段により撮像された１枚の画像と同一のタイミングで撮像された画像を生成することはできない。さらに、特許文献１に記載の撮像装置にあっては、撮像時間帯に撮像された画像を加算することから、第１画像及び第２画像において動被写体を本来の姿で描写することはできず、いわゆるゴーストが発生する。
【０００５】
本開示は、１枚の撮像画像と同一のタイミングで、かつ、異なる露出値で撮像されたと見なせる画像を得ることができる画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示に係る画像生成装置は、異なる露出値で撮像された基準画像及び参照画像、それぞれに関連付けられた露出値、並びにそれぞれに関連付けられた露出値とは異なる疑似露出値を取得する取得部と、基準画像及び参照画像それぞれに関連付けられた露出値の差分に対応し、基準画像及び参照画像の輝度値を画素ごとに対応させる変換パラメータを推定する推定部と、基準画像及び参照画像それぞれに関連付けられた露出値、疑似露出値、並びに変換パラメータに基づいて、基準画像の輝度値を画素ごとに変換することにより、疑似露出値で撮像された画像と見なせる疑似画像を生成する生成部と、を備える。
【０００７】
この画像生成装置によれば、取得部により、異なる露出値で撮像された基準画像及び参照画像、それぞれに関連付けられた露出値、並びにそれぞれに関連付けられた露出値とは異なる疑似露出値が取得される。推定部により、基準画像及び参照画像それぞれに関連付けられた露出値の差分に対応し、基準画像及び参照画像の輝度値を画素ごとに対応させる変換パラメータが推定される。生成部により、基準画像及び参照画像それぞれに関連付けられた露出値、疑似露出値、並びに変換パラメータに基づいて、基準画像の輝度値を画素ごとに変換することにより、疑似露出値で撮像された画像と見なせる疑似画像が生成される。疑似画像は、基準画像の輝度値を画素ごとに変換したものであるため、この装置は、基準画像と同一のタイミングで、かつ、基準画像及び参照画像とは異なる露出値で撮像されたと見なせる画像を得ることができる。また、疑似画像は、複数の画像の画素値を合算したものを基に生成されるわけではなく、基準画像を基に生成されるため、合算に伴うゴーストは発生しない。よって、この画像生成装置は、１枚の撮像画像と同一のタイミングで異なる露出値で撮像されたと見なせる画像を得ることができる。
【発明の効果】
【０００８】
本開示の種々の側面及び実施形態によれば、１枚の撮像画像と同一のタイミングで、かつ、異なる露出値で撮像されたと見なせる画像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る画像生成装置を備える端末の機能の一例を示すブロック図である。
【図２】図２は、実施形態に係る画像生成装置を備える端末のハードウェア構成を示すブロック図である。
【図３】図３は、実施形態に係る画像生成装置による疑似画像の生成工程を示す概念図である。
【図４】図４は、実施形態に係る画像生成装置の推定部における変換パラメータ推定の一例を示す図である。
【図５】図５は、実施形態に係る画像生成装置の推定部及び生成部における変換パラメータの一例を示す概念図である。
【図６】図６は、実施形態に係る画像生成装置の画像生成工程を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、種々の実施形態について詳細に説明する。なお、以下の説明及び各図面において、同一又は相当要素には同一符号を付し、重複する説明は繰り返さない。
【００１１】
［画像生成装置１の構成］
図１は、実施形態に係る画像生成装置を備える端末の機能の一例を示すブロック図である。図１に示す画像生成装置１は、取得部１０と、推定部２０と、生成部３０とを備え、異なる露出値で撮像された複数の画像から、指定された露出値で撮像されたと見なせる画像を生成する。画像生成装置１は、例えば、端末２に搭載される。端末２は、例えば、携帯電話、デジタルカメラ、ＰＤＡ（Personal Digital Assistant）など、リソースに制限のあるモバイル端末、又は、コンピュータシステムである。
【００１２】
図２は、実施形態に係る画像生成装置を備える端末のハードウェア構成を示すブロック図である。図２に示すように、端末２は、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read OnlyMemory）１０１及びＲＡＭ（Random Access Memory）１０２などの主記憶装置、カメラ又はキーボードなどの入力デバイス１０３、ディスプレイなどの出力デバイス１０４、ハードディスクなどの補助記憶装置１０５を含む通常のコンピュータシステムとして構成される。
【００１３】
画像生成装置１の各機能は、ＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御の下で入力デバイス１０３及び出力デバイス１０４を動作させるとともに、主記憶装置や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。端末２は、通信モジュール等を備えてもよい。
【００１４】
再び図１を参照する。端末２は、画像生成装置１、カメラ１１０、記録装置１２０，１２１、入力装置１３０、表示制御部１４０、及び表示部１５０を備える。カメラ１１０は、画像を撮像する機器である。カメラ１１０としては、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）の画素センサなどが用いられる。カメラ１１０は、例えば、ユーザ操作などにより指定されたタイミングから所定の間隔で繰り返し撮像する連続撮像機能を有している。すなわち、カメラ１１０は、一枚の静止画像だけでなく複数枚の静止画像（連続するフレーム画像）を取得する機能を有している。カメラ１１０は、露出値を１枚ずつ変更して連続するフレーム画像を取得する機能（ブラケット撮像機能）を有している。すなわち、カメラ１１０によって連続撮像された各画像は、それぞれ露出値の異なる画像となる。
【００１５】
露出値とは、カメラ１１０において設定される絞り値、シャッタ速度、及びＩＳＯ感度によって調整される露光量を段階化した数値により表す指標である。露光量は、カメラ１１０内の感光材料に当たる光の量を数値化したもので、光の強さ及び露光時間により定まる。露出値の単位は、段である。露出値は、例えば、露光量の変化量が２の次数倍となった場合、露出値の変化量はその次数で表すことができる。
【００１６】
画像に関連付けられた露出値とは、画像と一意に対応する露出値であり、例えば、撮像された画像のデータファイルに含まれる、Ｅｘｉｆ規格（Exchangeable image file format）に基づく規定のメタデータ内にカメラ１１０によって保存される露出値をいう。Ｅｘｉｆ規格に基づいた規定のメタデータは、一般的にデジタルカメラで使用されている１つの特定のファイル形式であり、例えば、絞り値、シャッタ速度、及びＩＳＯ感度を含む。なお、露出値は、ユーザ操作により、撮像された画像のデータファイルに直接入力されてもよい。
【００１７】
カメラ１１０は、例えば、上述したメタデータを含む画像を撮像の度に取得部１０及び記録装置１２０へ出力する機能を有している。記録装置１２０は、例えば、ハードディスクなどの記録媒体である。記録装置１２０は、上述したメタデータを含む画像を記録する。記録装置１２０は、過去に撮像された画像を記録していてもよい。
【００１８】
入力装置１３０は、ユーザ操作により露出値の入力を受け付ける。入力装置１３０は、例えば、タッチパネルである。入力装置１３０は、取得部１０に接続されており、ユーザ操作によって設定された露出値を取得部１０に送信する。
【００１９】
画像生成装置１は、取得部１０と、推定部２０と、生成部３０とを備える。取得部１０は、異なる露出値で撮像した基準画像３及び参照画像４、それぞれに関連付けられた露出値Ｘ、及び露出値Ｙ、並びに露出値Ｘ及び露出値Ｙとは異なる疑似露出値Ｚを取得する。取得部１０において、基準画像３、参照画像４、露出値Ｘ、及び露出値Ｙと、疑似露出値Ｚとは、取得する過程が異なるので順に説明する。
【００２０】
取得部１０における基準画像３、参照画像４、露出値Ｘ、及び露出値Ｙの取得過程を説明する。取得部１０は、カメラ１１０から基準画像３、参照画像４、露出値Ｘ、及び露出値Ｙを取得する。なお、取得部１０は、記録装置１２０を参照し、基準画像３、参照画像４、露出値Ｘ、及び露出値Ｙを取得してもよい。
【００２１】
取得部１０は、取得された画像のうち、任意の画像を基準画像３及び参照画像４としてそれぞれ選択することができる。取得部１０は、複数の画像及び疑似露出値Ｚを取得し、複数の画像のうち、疑似露出値Ｚとの差分が最も小さい露出値で撮像された画像を基準画像３として取得し、複数の画像のうち、基準画像３を除く画像を参照画像４としてもよい。
【００２２】
基準画像３は、例えば、取得部１０において取得された複数の画像のうち、最も有効画素が多い画像としてもよい。ここで、有効画素は、黒つぶれ又は白飛びしていない画素である。黒つぶれとは、明暗の差が著しい被写体を撮像した画像において、撮像時に露光量が過少な画素が、階調の情報を失って黒一色となる状態である。白飛びとは、明暗の差が著しい被写体を撮像した画像において、露光量が過剰な画素が、階調の情報を失って白一色となる状態である。階調とは、画像における濃淡の変化の度合いである。黒つぶれ又は白飛びは、画素の輝度値を基準として判定される。最も有効画素が多い画像を基準画像３とすることによって、取得部１０は、階調の情報が失われず、画素ごとの正確な輝度値を取得することができるので、推定部２０又は生成部３０における処理に有効な多くの画素数を担保することができる。
【００２３】
参照画像４は、例えば、取得部１０において取得された複数の画像のうち、基準画像３を除いた残りの画像から選択される。取得部１０は、基準画像３及び参照画像４となる、少なくとも２枚の画像を取得する。参照画像４は、複数の画像であってもよい。参照画像４は、例えば、取得部１０において取得され、基準画像３を除いた残りの画像のうち、最も有効画素が多い画像としてもよい。以下、基準画像３及び参照画像４は、カメラ１１０から取得されたそれぞれ１つずつの撮像画像として説明する。基準画像３に関連付けられた露出値Ｘ、及び参照画像４に関連付けられた露出値Ｙは、互いに異なる露出値である。
【００２４】
次に、取得部１０における疑似露出値Ｚの取得過程を説明する。疑似露出値Ｚは、目標の露出値である。即ち、仮に生成部３０において生成される疑似画像５をカメラ１１０によって撮像した場合、疑似画像５に関連付けられると推定される露出値である。疑似露出値Ｚは、例えば、入力装置１３０を介して、ユーザ操作により設定される露出値のうち、露出値Ｘ及び露出値Ｙとは異なる露出値である。なお、取得部１０は、疑似露出値Ｚとして、露出値Ｘ及び露出値Ｙとは異なるように、ＣＰＵなどの画像生成装置１外の装置によって自動的に生成された露出値を取得してもよい。
【００２５】
推定部２０は、取得部１０から、基準画像３、参照画像４、露出値Ｘ、露出値Ｙ、及び疑似露出値Ｚを取得する。図３は、実施形態に係る画像生成装置による疑似画像の生成工程を示す概念図である。破線枠は、推定部２０が実行する工程の外延を概念的に示している。図３に示すように、推定部２０は、基準画像３及び参照画像４それぞれに関連付けられた露出値Ｘ及び露出値Ｙの差分に対応し、基準画像３及び参照画像４の輝度値を画素ごとに対応させる変換パラメータＰを推定する。変換パラメータＰは、露出値の異なる基準画像３及び参照画像４において、対応する画素（位置）における輝度値の関係を示す。
【００２６】
図４は、実施形態に係る画像生成装置の推定部における変換パラメータ推定の一例を示す図である。図４には、横軸を基準画像の輝度値とし、縦軸を参照画像の輝度値としたグラフが示されている。横軸及び縦軸は、正規化された輝度値に対応する下限０〜上限１までの値を取り得る。推定部２０は、例えば、変換パラメータＰを推定するため、基準画像３及び参照画像４の同一の画素（位置）から輝度値を組として、サンプリングし、図４に示すようにその関係をプロットする。推定部２０は、プロットの結果をフィッティングすることにより、変換パラメータＰを推定する。例えば、基準画像３のサンプリング点ｉにおける輝度値をＫｉ、基準画像３の輝度値から参照画像４の輝度値に変換する関数をｆ（Ｋi）、参照画像４のサンプリング点ｉにおける輝度値をＵiとした場合、以下の式１に示す誤差関数ｅを用いて、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法によりフィッティングしてもよい。
【数１】
2020088540.tif 000003
【００２７】
推定部２０は、動被写体が推定される画素及びその近傍の画素においては、動被写体が輝度値の変化に影響を与えるため、変換パラメータＰの推定の際のサンプリング点から除外してもよい。動被写体が推定される画素及びその近傍の画素においては、他の多数の画素に比べて、露出値Ｘと露出値Ｙとの差異が著しく大きくなる外れ値となる。外れ値のサンプリング点は、他の多数の画素の輝度値に基づくフィッティングにより得られた変換パラメータＰから大きく逸脱する。逸脱しているか否かの判定については、適宜、変換パラメータＰに対する所定の誤差を基準として判定してもよい。
【００２８】
外れ値のサンプリング点がある場合、その画素をサンプリング点から除外し、再度、サンプリングを実行してもよい。再度サンプリングを実行するか否かについては、画素の全体のサンプリング個数に対する外れ値のサンプリング点の個数の所定の割合を基準として判定してもよい。なお、ロバスト推定によるアウトライア除去を行うことで、外れ値のサンプリング点をフィッティングから除いてもよい。
【００２９】
被写体の動きは、例えば、動きベクトルを検出し、基準画像３及び参照画像４の各画素における被写体の動きの尤度に基づき、除外するか否かを決定してもよい。推定部２０は、黒つぶれ又は白飛びの点をサンプリング点から除外するため、所定値以上の輝度値や所定値以下の輝度値をサンプリング点として採用しなくてもよい。推定部２０は、例えば、１０〜２４５の範囲に含まれる輝度値をサンプリング点として採用してもよい。
【００３０】
生成部３０は、取得部１０から、基準画像３、参照画像４、露出値Ｘ、露出値Ｙ、及び疑似露出値Ｚを取得する。生成部３０は、推定部２０から、変換パラメータＰを取得する。図３に示すように、生成部３０は、基準画像３及び参照画像４それぞれに関連付けられた露出値Ｘ及び露出値Ｙ、疑似露出値Ｚ、並びに変換パラメータＰに基づいて、基準画像３の輝度値を画素ごとに変換し、疑似画像５を生成する。疑似画像５とは、露出値Ｘ及び露出値Ｙとは異なる露出値である疑似露出値Ｚにおいて撮像されたと見なされる画像である。画像生成装置１は、取得部１０において疑似露出値Ｚを複数取得し、生成部３０において疑似画像５を複数生成してもよい。
【００３１】
生成部３０は、基準画像３の輝度値を画素ごとに変換する変換パラメータＱを推定する。疑似画像５への変換パラメータＱは、基準画像３に関連付けられた露出値Ｘと疑似露出値Ｚとの差分に対応している。疑似画像５への変換パラメータＱは、基準画像３及び疑似画像５において、対応する画素（位置）における輝度値の関係を示す。生成部３０は、記録装置１２１に疑似画像５を記録させてもよい。
【００３２】
生成部３０は、第１露出値から露出値を所定値だけ増加又は減少させた第２露出値で撮像された画像を、第１露出値で撮像された画像から得るための第１変換パラメータと、第２露出値から露出値を所定値だけ増加又は減少させた第３露出値で撮像された画像を、第２露出値で撮像された画像から得るための第２変換パラメータと、が同一であると仮定して、疑似画像５を生成してもよい。すなわち、この仮定は、任意の画像を所定の露出値の段数分だけ（所定値だけ）増減させる変換パラメータは、適用対象の画像の露出値の段数に関わらず同一であることを示している。
【００３３】
ここで、上記の仮定に基づいて、推定部２０にある任意の画像を適用したケースを説明する。図５は、実施形態に係る画像生成装置の推定部及び生成部における変換パラメータの一例を示す概念図である。図５に示すように、第１画像、第２画像、第３画像、及び第４画像は、それぞれ第１露出値、第２露出値、第３露出値、及び第４露出値で撮像された画像である。第１露出値と第２露出値との差分、第２露出値と第３露出値との差分、及び第３露出値と第４露出値との差分が同一の所定値である場合、上記の仮定より、第１画像の第１輝度値ｙ１から第２画像の第２輝度値ｙ２に変換する変換パラメータと、第２画像の第２輝度値ｙ２から第３画像の第３輝度値ｙ３に変換する変換パラメータと、第３画像の第３輝度値ｙ３から第４画像の第４輝度値ｙ４に変換する変換パラメータとは同一の変換パラメータＰ１（図５中の（ａ１，ｂ１））となる。なお、変換パラメータＰの添え字は、露出値の段数を表す。
【００３４】
推定部２０において、第１画像の第１輝度値ｙ１から第２画像の第２輝度値ｙ２に変換する変換パラメータＰ１である（ａ１，ｂ１）は、フィッティングにより、以下の式２で表される。
【数２】
2020088540.tif 000004
【００３５】
第１露出値と第２露出値との差分、及び第２露出値と第３露出値との差分は同一の所定値であるので、上記の仮定より、第１画像の第１輝度値ｙ１から第３画像の第３輝度値ｙ３に変換する変換パラメータＰ２は、以下の式３で表すことができる。
【数３】
2020088540.tif 000005
【００３６】
第１露出値と第２露出値との差分、第２露出値と第３露出値との差分、及び第３露出値と第４露出値との差分は同一の所定値であるので、上記の仮定より、第１画像の第１輝度値ｙ１から第４画像の第４輝度値ｙ４に変換する変換パラメータＰ３は、以下の式４で表すことができる。
【数４】
2020088540.tif 000006
【００３７】
以下、帰納的に、第１露出値との差分が所定値のｍ倍分ある第（ｍ＋１）露出値のメタデータを有する第（ｍ＋１）画像の第（ｍ＋１）輝度値をｙｍ＋１とした場合、上記の仮定より、第１画像の第１輝度値ｙ１から第（ｍ＋１）画像の第（ｍ＋１）輝度値ｙｍ＋１に変換する変換パラメータＰｍは、以下の式５で表すことができる。ｍは、自然数である。ここで、上記の仮定において、基準画像３を第１画像とし、露出値Ｘを第１露出値とし、参照画像４を第（ｍ＋１）画像とし、露出値Ｙを第（ｍ＋１）露出値とした場合も、変換パラメータＰは、以下の式５で表すことができる。
【数５】
2020088540.tif 000007
【００３８】
次に、生成部３０において、上記の仮定において、基準画像３を第１画像とし、露出値Ｘを第１露出値とし、基準画像３の輝度値をｙ１とする。また、参照画像４を第（ｍ＋１）画像とし、露出値Ｙを第（ｍ＋１）露出値とし、参照画像４の輝度値をｙｍ＋１とする。さらに、疑似画像５を第（ｎ＋１）画像とし、疑似露出値Ｚを第（ｎ＋１）露出値とし、疑似画像５の輝度値をｙｎ＋１とする。ここで、露出値Ｘ（第１露出値）と露出値Ｙ（第（ｍ＋１）露出値）との差分が所定値のｍ倍分、露出値Ｘ（第１露出値）と疑似露出値Ｚ（第（ｎ＋１）露出値）との差分が所定値のｎ倍分であるとする。ｎは、自然数である。
【００３９】
生成部３０は、基準画像３の輝度値を画素ごとに変換し、疑似画像５を生成する。すなわち、基準画像３は、取得部１０において取得された複数の画像のうち、疑似画像５を生成する元画像である。基準画像３、参照画像４、露出値Ｘ及び露出値Ｙから推定される変換パラメータＰｍは、（ａｍ，ｂｍ）で表される。これにより、生成部３０が基準画像３から疑似画像５を生成する場合、疑似画像５への変換パラメータＱｎである（ａｎ，ｂｎ）は、変換パラメータＰｍを用いて以下の式６で表すことができる。
【数６】
2020088540.tif 000008
【００４０】
以上のように、推定部２０が、露出値Ｘと露出値Ｙとの差分が所定値である場合の変換パラメータＰを推定したとき、生成部３０は、露出値Ｘ、露出値Ｙ、疑似露出値Ｚ、及び変換パラメータＰを基に、式６のように任意の疑似露出値Ｚに対して疑似画像５への変換パラメータＱを表すことができる。
【００４１】
なお、変換パラメータＰは、露出値Ｘ（第１露出値）及び露出値Ｙ（第（ｍ＋１）露出値）に対応し、輝度値を画素ごとに対応させるよう推定されたパラメータであり、推定時の誤差を含むおそれがある。疑似画像５への変換パラメータＱは、推定時の誤差を含む変換パラメータＰに基づき推定されたパラメータであり、さらに導出時の誤差を含むおそれがある。ここで、画像間の露出値の差分は、画素ごとの輝度値の変化量と相関がある。疑似画像５への変換パラメータＱは、輝度値の変化量と相関がある。よって、画像間の露出値の差分は、疑似画像５への変換パラメータＱの誤差と相関がある。
【００４２】
生成部３０において、疑似画像５への変換パラメータＱを適用する場合においては、画像間の露出値の差分が小さければ小さいほど、疑似画像５への変換パラメータＱの誤差による影響は小さくなる。よって、取得部１０は、複数の画像のうち、疑似露出値Ｚとの差分が最も小さい露出値Ｘのメタデータを有する基準画像３を取得してもよい。生成部３０は、取得部１０により取得された基準画像３の輝度値を画素ごとに変換し、疑似画像５を生成することによって、変換パラメータＰの推定時の誤差及び疑似画像５への変換パラメータＱの導出時の誤差による疑似画像５の生成精度への影響を小さくすることができる。
【００４３】
生成精度とは、カメラ１１０において、露出値を疑似露出値Ｚに設定された場合に撮像された画像に対する疑似画像５の画素ごとの輝度値の類似度合いを指す。なお、参照画像４が複数の画像である場合、かつ、露出値Ｘと疑似露出値Ｚとの差分と、露出値Ｙと疑似露出値Ｚとの差分とが同じ値である場合は、基準画像３及び参照画像４の何れを変換対象として選択してもよい。
【００４４】
図１に示すように、画像生成装置１は、合成部４０を備え得る。合成部４０は、取得部１０から基準画像３及び参照画像４、並びに生成部３０から疑似画像５を取得する。合成部４０は、基準画像３及び参照画像４の少なくとも何れか一方の画像と、疑似画像５とに基づいて、ＨＤＲ合成を行う。合成部４０は、従来のＨＤＲ合成方法と同様の方法でＨＤＲ合成を行う。合成部４０は、ＨＤＲ合成を行った後の画像として、合成画像を出力する。合成部４０は、記録装置１２１に合成画像を記録させてもよい。疑似画像５は複数の画像であってもよい。合成部４０は、基準画像３及び参照画像４のうち、生成部３０において疑似画像５へ変換する元画像である基準画像３と、１以上の疑似画像５とを合成してもよい。
【００４５】
端末２において、画像生成装置１から出力される情報は、記録装置１２１、表示制御部１４０、及び表示部１５０へ送信される。記録装置１２１は、例えば、ハードディスクなどの記録媒体である。記録装置１２１は、露出値Ｘ、露出値Ｙ、疑似露出値Ｚ、疑似画像５、合成画像、変換パラメータＰ、又は疑似画像５への変換パラメータＱなど、画像生成装置１内で使用したデータを記録する。記録装置１２０，１２１は、同一の記録媒体であってもよい。
【００４６】
表示制御部１４０は、画像生成装置１内の取得部１０、推定部２０、生成部３０又は合成部４０、及び画像生成装置１外の表示部１５０に接続される。表示制御部１４０は、表示部１５０における表示を制御する。表示制御部１４０は、露出値Ｘ、露出値Ｙ、疑似露出値Ｚ、疑似画像５、又は合成画像を、表示部１５０に表示するよう制御する。表示制御部１４０は、基準画像３、参照画像４、変換パラメータＰ、又は疑似画像５への変換パラメータＱを表示部１５０に表示させてもよい。
【００４７】
表示部１５０は、表示制御部１４０と接続し、表示制御部１４０により制御された内容を表示する。表示部１５０は、基準画像３、参照画像４、露出値Ｘ、露出値Ｙ、疑似露出値Ｚ、変換パラメータＰ、疑似画像５への変換パラメータＱ、疑似画像５、又は合成画像を表示する。表示部１５０は、例えば、ディスプレイである。
【００４８】
［画像生成工程］
次に、画像生成装置１の動作を説明する。図６は、実施形態に係る画像生成装置の画像生成工程を示すフローチャートである。図６に示す画像生成工程は、例えば、端末２において、ユーザ操作によりＨＤＲ合成モードが選択され、カメラ１１０が複数の画像を連続撮像した場合に開始する。
【００４９】
まず、画像情報取得処理（Ｓ１：取得ステップ）では、取得部１０は、カメラ１１０又は記録装置１２０から、異なる露出値で撮像された基準画像３及び参照画像４、並びに露出値Ｘ、露出値Ｙ、及び疑似露出値Ｚを取得する。ユーザ操作により疑似露出値Ｚを設定する場合は、取得部１０は、入力装置１３０を介して設定された疑似露出値Ｚを取得する。取得部１０は、複数の画像のうち、疑似露出値Ｚとの差分が最も小さい露出値で撮像された画像を基準画像３として取得してもよい。取得部１０において取得された複数の画像のうち、基準画像３を除く画像を参照画像４として取得してもよい。
【００５０】
少なくとも疑似露出値Ｚが露出値Ｘ又は露出値Ｙと一致する場合、取得部１０は、表示制御部１４０に露出値Ｘ、露出値Ｙ、及び疑似露出値Ｚを送信する。表示制御部１４０は、露出値Ｘ、露出値Ｙ、及び疑似露出値Ｚを表示部１５０に表示させる。疑似露出値Ｚが露出値Ｘ又は露出値Ｙと一致する場合、ユーザは、表示部１５０において表示された情報に基づいて、疑似露出値Ｚが露出値Ｘ及び露出値Ｙとは別の値となるように値を入力装置１３０に再度入力する。なお、取得部１０は、疑似露出値Ｚとして、露出値Ｘ及び露出値Ｙとは異なるように自動的に生成された露出値を取得してもよい。取得部１０は、疑似露出値Ｚを複数取得してもよい。
【００５１】
次に、推定処理（Ｓ２：推定ステップ）では、推定部２０は、基準画像３及び参照画像４それぞれに関連付けられた露出値Ｘ及び露出値Ｙの差分に対応し、基準画像３及び参照画像４の輝度値を画素ごとに対応させる変換パラメータＰを推定する。推定部２０は、例えば、基準画像３及び参照画像４の同一の画素（位置）から輝度値を組として、複数の組をサンプリングし、その関係をプロットする。ここで、サンプリングする画素は、外れ値を示す画素を除外するように選択してもよい。推定部２０は、プロットの結果をフィッティングすることにより、変換パラメータＰを推定する。
【００５２】
次に、画像変換処理（Ｓ３：生成ステップ）では、生成部３０は、基準画像３及び参照画像４それぞれに関連付けられた露出値Ｘ及び露出値Ｙ、変換パラメータＰ、並びに疑似露出値Ｚに基づいて、基準画像３の輝度値を画素ごとに変換し、疑似画像５を生成する。生成部３０は、任意の画像を所定の露出値の段数分だけ（所定値だけ）増減させる変換パラメータは、適用対象の画像の露出値の段数に関わらず同一であると仮定し、基準画像３、参照画像４、露出値Ｘ、露出値Ｙ、疑似露出値Ｚ及び変換パラメータＰを用いて、疑似画像５への変換パラメータＱを推定する。この仮定において、疑似画像５への変換パラメータＱは、変換パラメータＰを用いて表すことができる。
【００５３】
生成部３０は、式６に示される疑似画像５への変換パラメータＱを基準画像３の輝度値に画素ごとに適用することで、疑似画像５を生成する。生成部３０は、複数の疑似露出値Ｚに対応する疑似画像５を複数生成してもよい。疑似画像５が得られ次第、画像変換処理（Ｓ３）を終了する。画像生成工程として、次に、ＨＤＲ合成処理（Ｓ４）に進んでもよい。
【００５４】
ＨＤＲ合成処理（Ｓ４）では、合成部４０は、基準画像３、参照画像４、及び疑似画像５に基づいてＨＤＲ合成を行い、合成画像を生成する。ＨＤＲ合成処理（Ｓ４）におけるＨＤＲ合成は、周知の方法で行われる。合成部４０は、基準画像３及び参照画像４の少なくとも何れか一方の画像と、疑似画像５とに基づいて、ＨＤＲ合成を行い、合成画像を出力してもよい。この場合、疑似画像５は複数の画像であってもよい。合成部４０は、基準画像３及び参照画像４のうち、生成部３０において疑似画像５へ変換する元画像である基準画像３と、１以上の疑似画像５とを合成してもよい。
【００５５】
［画像生成プログラム］
画像生成装置１として機能させるための画像生成プログラムを説明する。画像生成プログラムは、メインモジュール、取得モジュール、推定モジュール、及び生成モジュールを備えている。画像生成プログラムは、合成モジュールを備えていてもよい。メインモジュールは、装置を統括的に制御する部分である。取得モジュール、推定モジュール、生成モジュール、及び合成モジュールを実行させることにより実現される機能は、上述した画像生成装置１の取得部１０、推定部２０、生成部３０及び合成部４０の機能とそれぞれ同様である。
【００５６】
［実施形態のまとめ］
本実施形態に係る画像生成装置１、画像生成方法、又は画像生成プログラムでは、１枚の撮像画像と同一のタイミングで、かつ、異なる露出値で撮像されたと見なせる画像を得ることができる。また、画像生成装置１は、取得部１０において疑似露出値Ｚを複数取得することで、生成部３０において疑似画像５を複数生成することができる。これによって、合成部４０は、基準画像３及び参照画像４のうち、生成部３０において疑似画像５へ変換する元画像である基準画像３と、疑似画像５とを合成することで、複数の異なる露出値の画像に基づいた、動被写体を本来の姿で描写することのできる合成画像を得ることができる。
【００５７】
また、任意の画像を所定の露出値の段数分だけ（所定値だけ）増減させる変換パラメータは、適用対象の画像の露出値の段数に関わらず同一であるという仮定において、基準画像３及び参照画像４それぞれの露出値Ｘと露出値Ｙとの差分の段数、並びに、露出値Ｘ及び露出値Ｙの何れか一方と疑似露出値Ｚとの差分の段数に基づき、変換パラメータＰを用いて帰納的に疑似画像５への変換パラメータＱを推定することができる。生成部３０は、疑似画像５への変換パラメータＱを用いて、基準画像３から疑似画像５を生成することができる。これにより、任意の疑似露出値Ｚに対して疑似画像５への変換パラメータＱを推定することができる。よって、カメラ１１０におけるブラケット撮像機能の撮像時間に固定されることなく、疑似画像５を得るために必要な疑似露出値Ｚを柔軟に設定することができる。
【００５８】
また、取得部１０は、複数の画像及び疑似露出値Ｚを取得し、複数の画像のうち、疑似露出値Ｚとの差分が最も小さい露出値で撮像された画像を基準画像３として取得し、複数の画像のうち、基準画像３を除く画像を参照画像４とする。これにより、疑似露出値Ｚとの差分が最も小さい基準画像３の輝度値を画素ごとに変換し、疑似画像５を生成することによって、変換パラメータＰの推定時の誤差及び疑似画像５への変換パラメータＱの導出時の誤差による疑似画像５の生成精度への影響を小さくすることができる。これにより、基準画像３及び参照画像４それぞれと露出値の異なる疑似画像５を、精度よく生成することができる。
【００５９】
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されるものではない。例えば、画像生成装置１は、端末２におけるカメラ１１０、記録装置１２０，１２１、入力装置１３０、表示制御部１４０、又は表示部１５０を備えていてもよい。取得部１０における疑似露出値Ｚの取得は、画像変換処理（Ｓ３）の前であれば画像情報取得処理（Ｓ１）内で行われなくともよい。
【００６０】
また、取得部１０において取得される基準画像３は、複数の画像のうち、疑似露出値Ｚとの差分が最も小さい露出値で撮像された画像であることに限定されない。例えば、取得部１０は、複数の画像のうち、疑似露出値Ｚとの差分が所定閾値以下となる露出値で撮像された画像を基準画像３としてもよい。疑似露出値Ｚとの差分が所定閾値以下となる露出値で撮像された画像が複数ある場合は、その複数の画像から任意に選択された画像を基準画像３としてもよいし、その複数の画像のうち、有効画素が最も多い画像を基準画像３としてもよい。
【００６１】
また、式６から露出値が整数でないものも導くことができる。例えば、ｎがｍ以下の自然数であり、第（ｍ＋１）露出値が露出値ｋ（ｋは自然数）である場合、第（ｎ＋１）露出値は、ｋ・ｎ／ｍと表すことができる。
【００６２】
また、推定部２０及び生成部３０において導出される変換パラメータＰ、又は疑似画像５への変換パラメータＱは、式２から式６における関数に付随するパラメータで表されなくともよい。変換パラメータＰは、例えば、機械学習により、基準画像３及び参照画像４の対応する画素（位置）の輝度値について学習した結果得られたパラメータであってもよい。疑似画像５への変換パラメータＱは、機械学習により得られた変換パラメータＰを用いて表してもよい。疑似画像５への変換パラメータＱは、取得部１０において得られた複数の画像及びそれぞれに関連付けられた露出値について機械学習することにより、対応するパラメータを導出してもよい。画像生成方法は、ＨＤＲ合成処理（Ｓ４）と同様の処理を行う合成ステップを備えていてもよい。
【００６３】
また、本開示は、以下に記載の画像生成装置、画像生成方法、及び画像生成プログラムを含む。
【００６４】
一実施形態においては、画像生成装置では、基準画像及び参照画像の少なくとも何れか一方の画像と、疑似画像とに基づいて、ＨＤＲ合成を行う合成部をさらに備えてもよい。この場合、基準画像、参照画像、及び疑似画像は、それぞれに関連付けられた露出値が異なる。疑似画像は、基準画像と同一のタイミングで撮像された画像と見なすことができる。よって、合成部において、複数の異なる露出値の画像に基づいた、ＨＤＲ合成画像を得ることができる。また、合成部は、生成部において疑似画像へ変換する元画像である基準画像と、１以上の疑似画像とを合成することで、複数の異なる露出値の画像に基づいた、動被写体を本来の姿で描写することのできるＨＤＲ合成画像を得ることができる。
【００６５】
一実施形態においては、画像生成装置では、生成部は、第１露出値から露出値を所定値だけ増加又は減少させた第２露出値で撮像された画像を、第１露出値で撮像された画像から得るための第１変換パラメータと、第２露出値から露出値を所定値だけ増加又は減少させた第３露出値で撮像された画像を、第２露出値で撮像された画像から得るための第２変換パラメータと、が同一であると仮定して、疑似画像を生成する。任意の画像を所定の露出値の段数分だけ（所定値だけ）増減させる変換パラメータは、適用対象の画像の露出値の段数に関わらず同一であるという仮定において、基準画像及び参照画像それぞれの露出値との差分の段数、並びに、基準画像の露出値と疑似露出値との差分の段数に基づき、変換パラメータを用いて帰納的に疑似画像への変換パラメータを推定することができる。生成部は、疑似画像への変換パラメータを用いて、基準画像から疑似画像を生成することができる。これにより、任意の疑似露出値に対して疑似画像への変換パラメータを推定することができる。よって、カメラにおけるブラケット撮像機能の撮像時間により固定されることなく、疑似画像を得るために必要な疑似露出値を柔軟に設定することができる。
【００６６】
一実施形態においては、画像生成装置では、取得部は、複数の画像及び疑似露出値を取得し、複数の画像のうち、疑似露出値との差分が最も小さい露出値で撮像された画像を基準画像として取得し、複数の画像のうち、基準画像を除く画像を参照画像とし、生成部は、基準画像の輝度値を画素ごとに変換し、疑似画像を生成してもよい。変換パラメータは、基準画像に関連付けられた露出値及び参照画像に関連付けられた露出値に対応し、輝度値を画素ごとに対応させるよう推定されたパラメータであり、推定時の誤差を含むおそれがある。疑似画像への変換パラメータは、推定時の誤差を含む変換パラメータに基づき推定されたパラメータであり、さらに導出時の誤差を含むおそれがある。ここで、画像間の露出値の差分は、画素ごとの輝度値の変化量と相関がある。疑似画像５への変換パラメータＱは、輝度値の変化量と相関がある。よって、画像間の露出値の差分は、疑似画像５への変換パラメータＱの誤差と相関がある。よって、生成部において、疑似画像への変換パラメータを適用する場合に、画像間の露出値の差分が小さければ小さいほど、疑似画像への変換パラメータの誤差による影響は小さい。生成部において、疑似露出値との差分が最も小さい露出値のメタデータを有する基準画像から疑似画像を生成することによって、変換パラメータの推定時の誤差及び疑似画像への変換パラメータの導出時の誤差による疑似画像の生成精度への影響を小さくすることができる。これにより、基準画像及び参照画像と露出値の異なる疑似画像を、精度よく生成することができる。
【００６７】
本開示の他の側面は、異なる露出値で撮像された基準画像及び参照画像、それぞれに関連付けられた露出値、並びにそれぞれに関連付けられた露出値とは異なる疑似露出値を取得する取得ステップと、基準画像及び参照画像それぞれに関連付けられた露出値の差分に対応し、基準画像及び参照画像の輝度値を画素ごとに対応させる変換パラメータを推定する推定ステップと、基準画像及び参照画像それぞれに関連付けられた露出値、疑似露出値、並びに変換パラメータに基づいて、基準画像の輝度値を画素ごとに変換することにより、疑似露出値で撮像された画像と見なせる疑似画像を生成する生成ステップと、を備える画像生成方法である。この画像生成方法は、上記した画像生成装置と同一の効果を奏する。
【００６８】
本開示の他の側面は、コンピュータを、上記の画像生成装置として機能させるための画像生成プログラムである。この画像生成プログラムは、上記した画像生成装置と同一の効果を奏する。
【符号の説明】
【００６９】
１…画像生成装置、２…端末、３…基準画像、４…参照画像、５…疑似画像、１０…取得部、２０…推定部、３０…生成部、４０…合成部、１００…ＣＰＵ、１０１…ＲＯＭ、１０２…ＲＡＭ、１０３…入力デバイス、１０４…出力デバイス、１０５…補助記憶装置、１１０…カメラ、１２０，１２１…記録装置、１３０…入力装置、１４０…表示制御部、１５０…表示部。
【図１】
2020088540.tif 000009
【図２】
2020088540.tif 000010
【図３】
2020088540.tif 000011
【図４】
2020088540.tif 000012
【図５】
2020088540.tif 000013
【図６】
2020088540.tif 000014
【手続補正書】
【提出日】令和2年3月9日(2020.3.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
異なる露出値で撮像された基準画像及び参照画像、それぞれに関連付けられた前記露出値、並びにそれぞれに関連付けられた前記露出値とは異なる疑似露出値を取得する取得部と、
前記基準画像及び前記参照画像それぞれに関連付けられた前記露出値の差分に対応し、前記基準画像及び前記参照画像の輝度値を画素ごとに対応させる変換パラメータを推定する推定部と、
前記基準画像及び前記参照画像それぞれに関連付けられた前記露出値、前記疑似露出値、並びに前記変換パラメータに基づいて、前記基準画像及び前記参照画像のうち前記基準画像の前記輝度値を画素ごとに変換することにより、前記疑似露出値で撮像された画像と見なせる疑似画像を生成する生成部と、
を備える、画像生成装置。
【請求項２】
前記基準画像及び前記参照画像の少なくとも何れか一方の画像と、前記疑似画像とに基づいて、ＨＤＲ合成を行う合成部をさらに備える、請求項１に記載の画像生成装置。
【請求項３】
前記生成部は、
第１露出値から前記露出値を所定値だけ増加又は減少させた第２露出値で撮像された画像を、前記第１露出値で撮像された画像から得るための第１変換パラメータと、第２露出値から前記露出値を前記所定値だけ増加又は減少させた第３露出値で撮像された画像を、前記第２露出値で撮像された画像から得るための第２変換パラメータと、が同一であると仮定して、前記疑似画像を生成する、請求項１又は２に記載の画像生成装置。
【請求項４】
前記取得部は、複数の画像及び前記疑似露出値を取得し、前記複数の画像のうち、前記疑似露出値との差分が最も小さい前記露出値で撮像された画像を前記基準画像として取得し、前記複数の画像のうち、前記基準画像を除く画像を前記参照画像とし、
前記生成部は、前記基準画像及び前記参照画像のうち前記基準画像の前記輝度値を画素ごとに変換し、前記疑似画像を生成する、請求項１から３の何れか１項に記載の画像生成装置。
【請求項５】
異なる露出値で撮像された基準画像及び参照画像、それぞれに関連付けられた前記露出値、並びにそれぞれに関連付けられた前記露出値とは異なる疑似露出値を取得する取得ステップと、
前記基準画像及び前記参照画像それぞれに関連付けられた前記露出値の差分に対応し、前記基準画像及び前記参照画像の輝度値を画素ごとに対応させる変換パラメータを推定する推定ステップと、
前記基準画像及び前記参照画像それぞれに関連付けられた前記露出値、前記疑似露出値、並びに前記変換パラメータに基づいて、前記基準画像及び前記参照画像のうち前記基準画像の前記輝度値を画素ごとに変換することにより、前記疑似露出値で撮像された画像と見なせる疑似画像を生成する生成ステップと、
を備える、画像生成方法。
【請求項６】
コンピュータを、請求項１から４の何れか１項に記載の画像生成装置として機能させるための画像生成プログラム。