(57)【要約】  カメラで撮像した撮像画像の画質を所定の画質に近づける。  撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る。この第１の画質評価値と基準となる第２の画質評価値との差分が減少するように現像処理における画質パラメータ群を得る。あるいは、複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る。この複数の第１の画質評価値のそれぞれとこの複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように現像処理における画質パラメータ群を得る。
2019188573.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得部と、
上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
演算装置。
【請求項２】
上記第２の画質評価値は、上記撮像画像データを得るための第１のカメラと同一の機種または異なる機種の第２のカメラの撮像画像データに現像処理をして得られた現像画像データに基づいて得られる
請求項１に記載の演算装置。
【請求項３】
上記画質評価値取得部は、上記画質パラメータ群取得部が繰り返し得る上記画質パラメータ群に基づいて現像処理することで、上記現像画像データを繰り返し得る
請求項１に記載の演算装置。
【請求項４】
上記画質パラメータ群は、上記現像画像データの画質に影響を与えるパラメータである
請求項１に記載の演算装置。
【請求項５】
上記第１の画質評価値は、上記現像画像データの色再現性、解像度、ノイズ感を評価する評価値である
請求項１に記載の演算装置。
【請求項６】
撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る手順と、
上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る手順を有する
演算方法。
【請求項７】
コンピュータを、
撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得手段と、
上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するような上記現像処理における画質パラメータ群を得る画質パラメータ群取得手段として機能させる
プログラム。
【請求項８】
複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る画質評価値取得部と、
上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
演算装置。
【請求項９】
上記画質パラメータ群取得部は、一定の画質を担保する制約条件の下で上記画質パラメータ群を得る
請求項８に記載の演算装置。
【請求項１０】
上記複数の撮像画像データは、全部が同一機種、あるいは全部または一部が異なる機種である複数のカメラの撮像画像データである
請求項８に記載の演算装置。
【請求項１１】
複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る手順と、
上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するような上記複数の撮像画像データに対する上記現像処理における画質パラメータ群を得る手順とを有する
演算方法。
【請求項１２】
コンピュータを、
撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得手段と、
上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得手段として機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、演算装置、演算方法およびプログラムに関し、詳しくは、カメラで撮像した撮像画像の画質を所定の画質に合わせるための演算装置等に関する。
【背景技術】
【０００２】
カメラで撮像した撮像画像の画質を、例えば撮像に使ったカメラの機種とは異なる機種のカメラで撮像した場合の撮像画像の画質など、所定の画質に近づけることが求められることがある。撮像画像の画質の調整に関して、例えば、特許文献１には、幾何形状が定義済みのパターンをカメラで撮像した撮像画像と前記定義済みのパターンからなる基準画像との間の画素の対応関係に基づいて変換パラメータを算出するカメラ・キャリブレーション装置が示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３５０２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本技術の目的は、カメラで撮像した撮像画像の画質を所定の画質に近づける画質パラメータ群を取得することができる演算装置、演算方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本技術の概念は、
撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得部と、
上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
演算装置にある。【０００６】
本技術において、画質評価値取得部により、撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値が得られる。そして、画質パラメータ群取得部により、第１の画質評価値と基準となる第２の画質評価値との差分が減少するように現像処理における画質パラメータ群が得られる。例えば、第２の画質評価値は、撮像画像データを得るための第１のカメラと同一の機種または異なる機種の第２のカメラの撮像画像データに現像処理をして得られた現像画像データに基づいて得られる、ようにされてもよい。【０００７】
このように本技術においては、撮像画像データに現像処理をして得られた現像画像データに基づいて得られた第１の画質評価値と、基準となる第２の画質評価値との差分が減少するように現像処理における画質パラメータ群を得るものである。そのため、撮像画像データに現像処理をして得られた現像画像データの画質をターゲットの現像画像データの画質に近づけるための画質パラメータ群を得ることができ、カメラで撮像した撮像画像の画質を所定の画質に近づけることが可能となる。本技術においては、画質を評価する評価関数自体を最適化するのではなく、所定の評価値（第２の画質評価値）との差分を最適化することで、所定の画質に近づけることができるものである。【０００８】
また、本技術の他の概念は、
複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る画質評価値取得部と、
上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
演算装置にある。【０００９】
本技術において、画質評価値取得部により、複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値が得られる。そして、画質パラメータ群取得部により、複数の第１の画質評価値のそれぞれとこの複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように現像処理における画質パラメータ群が得られる。例えば、画質パラメータ群取得部は、一定の画質を担保する制約条件の下で画質パラメータ群を得る、ようにされてもよい。また、例えば、複数の撮像画像データは、全部が同一機種、あるいは全部または一部が異なる機種である複数のカメラの撮像画像データである、ようにされてもよい。【００１０】
このように本技術においては、複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて得られた複数の第１の画質評価値と、この複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように現像処理における画質パラメータ群を得るものである。そのため、複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データの画質を近づけるための画質パラメータ群を得ることができ、カメラで撮像した撮像画像の画質を所定の画質に近づけることが可能となる。本技術においては、画質を評価する評価関数自体を最適化するのではなく、所定の評価値（第２の画質評価値）との差分を最適化することで、所定の画質に近づけることができるものである。
【発明の効果】
【００１１】
本技術によれば、カメラで撮像した撮像画像の画質を所定の画質に近づけることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態としてのカメラ画質調整システムの構成例を示すブロック図である。
【図２】機種間、個体間の画質合わせの様子を示す図である。
【図３】カメラの構成例を示すブロック図である。
【図４】現像処理部の構成例を示すブロック図である。
【図５】画質パラメータ群の最適化処理を説明するための図である。
【図６】画質パラメータ自動チューニングシステムにおける収束条件を説明するための図である。
【図７】第２の実施の形態としてのカメラ画質調整システムの構成例を示すブロック図である。
【図８】機種間、個体間の画質合わせの様子を示す図である。
【図９】画質パラメータ群の最適化処理を説明するための図である。
【図１０】本技術を利用した第１のビジネスモデルを概略的に示す図である。
【図１１】本技術を利用した第２のビジネスモデルを概略的に示す図である。
【図１２】本技術を利用した第３のビジネスモデルを概略的に示す図である。
【図１３】本技術を利用した第４のビジネスモデルを概略的に示す図である。
【図１４】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．ビジネスモデル
４．変形例
【００１４】
＜１．第１の実施の形態＞
［カメラ画質調整システム］
図１は、第１の実施の形態としてのカメラ画質調整システム１００の構成例を示している。このカメラ画質調整システム１００は、カメラ１０１と、画質評価システム１０２と、画質差分指標計算器１０３と、画質パラメータ自動チューニングシステム１０４を有している。このカメラ画質調整システム１００は、カメラ１０１から出力される現像画像の画質を、ターゲットカメラの現像画像の画質に近づけるためのシステムである。このシステムにより、カメラで撮像した撮像画像の画質を所定の画質に近づけることができる。例えば、複数のカメラを用いて撮影を行う場合、それぞれのカメラの画質が異なることで統一感のある作品を作成できないことがあるが、本技術により、複数のカメラ間の画質を合わせることができるため、そのような課題を解決できる。
【００１５】
図２（ａ）は、機種間での画質合わせの様子を示している。図示の例では、ターゲットカメラ１０ｔの他に、ソースカメラ１０ｓ１，１０ｓ２が存在し、ソースカメラ１０ｓ１，１０ｓ２の画質をターゲットカメラ１０ｔの画質に近づけることを示している。ここで、カメラ１０ｔ，１０ｓ１，１０ｓ２は異なる機種のカメラであり、機種間ばらつきおよび個体間ばらつきを最小化できる。
【００１６】
また、図２（ｂ）は、個体間での画質合わせの様子を示している。図示の例では、ターゲットカメラ２０ｔの他に、ソースカメラ２０ｓ１，２０ｓ２が存在し、ソースカメラ２０ｓ１，２０ｓ２の画質をターゲットカメラ２０ｔの画質に近づけることを示している。ここで、カメラ２０ｔ，２０ｓ１，２０ｓ２は同一機種のカメラであり、個体間ばらつきを最小化できる。なお、図２（ａ），（ｂ）の例では、ソースカメラが２つの場合を示しているが、ソースカメラが３つ以上の場合であっても同様である。
【００１７】
図１に戻って、カメラ１０１は、図２におけるソースカメラに相当する。図３は、カメラ１０１の構成例を示している。このカメラ１０１は、画像入力部１１１と、画像保持部（メモリ）１１２と、現像処理部１１３と、現像パラメータ保持部（メモリ）１１４と、画像情報記録部１１５と、外部入出力制御部１１６と、ユーザ操作部１１７を有している。
【００１８】
画像入力部１１１は、レンズやイメージャなどで構成されており、イメージャは撮像画像データとしてのＲＡＷ画像データを出力する。画像保持部１１２は、イメージャから出力されるＲＡＷ画像データを保持する。ここで、色再現性、解像度、ノイズ感などのそれぞれを評価するためのチャート（マクベスカラーチェッカー/ISO-12233解像度テストチャートなど）がイメージャにより撮像され、この各チャートのＲＡＷ画像データも画像保持部１１２に保持される。
【００１９】
現像処理部１１３は、画像保持部１１２に保持されているＲＡＷ画像データに対して現像処理を行って現像画像データを出力する。画像保持部１１２は、現像処理部１１３から出力される現像画像データも保持する。現像パラメータ保持部１１４は、現像処理部１１３で用いられる現像画質パラメータ群を保持する。ここで、現像パラメータ保持部１１４は、通常モードで使用される固定画質パラメータ群を保持する他に、この実施の形態においては、特殊モードで他のカメラとの画質合わせを行う際に使用される特殊画質パラメータ群の保持が可能とされる。
【００２０】
なお、画質合わせを行う他のカメラが複数存在することも予想されることから、現像パラメータ保持部１１４は、特殊画質パラメータ群の保持を１つだけでなく、複数保持することも可能とされる。その際には、それぞれの特殊画質パラメータ群は、画質合わせを行う他のカメラと機種名や型番号等で関連付けされて保持されることになる。
【００２１】
図４は、現像処理部１１３の構成例を示している。この現像処理部１１３は、オフセット除去・ホワイトバランス部、ノイズリダクション部、ベイヤ補間処理部、色空間変換部、ガンマ処理部、ＲＧＢ/ＹＣＣ変換部、アンシャープ・マスク部、ＪＰＥＧ変換部等を有している。なお、図示の例においては、代表的な処理ブロックのみを示しているが、実際のカメラでは、この他にも非常に多くの処理ブロックが存在する。また、カメラによっては図示の例の処理ブロックの一部を使用しない場合もある。
【００２２】
画質パラメータ（現像パラメータ）は、処理ブロックにおける処理に用いられるパラメータであり、現像画像データの色再現性、解像度、ノイズ感などに影響を与えるもので、現像画像データの画質を変化させる。この画質パラメータは、ほとんどの処理ブロックに対して存在し、カメラの特性やモードによって複雑に変化する。現像パラメータ保持部１１４はその全てを保持し、モードに応じて現像処理部１１３に渡す画質パラメータ群を切り替える。現像パラメータ保持部１１４は、固定で保持する固定画質パラメータ群の他に、外部入出力装置などを介して得られた特殊画質パラメータ群を別途追加で保持することができる。
【００２３】
特殊画質パラメータ群は複数持つことも可能であり、自動チューニング処理においては、外部より渡された画質パラメータ群で現像を行い、その現像結果を外部装置に送ることで最適化処理が行われる。最適化された画質パラメータ群は現像パラメータ保持部１１４に特殊画質パラメータ群として保持され、ユーザが特殊モードを選んだ場合に使用される。なお、特殊モードを複数持つことも可能である。
【００２４】
図３に戻って、画像情報記録部１１５は、リムーバブルメディアであるメモリスティックやＳＤカード等に、必要に応じて、画像保持部１１２に保持されているＲＡＷ画像データや現像画像データを記録する。また、画像情報記録部１１５は、リムーバブルメディアであるメモリスティックやＳＤカード等に、必要に応じて、現像パラメータ保持部１１４に保持されている画質パラメータ群を記録する。
【００２５】
外部入出力制御部１１６は、画像保持部１１２にアクセスしてＲＡＷ画像データや現像画像データを読み出し、有線通信あるいは無線通信により、外部機器に送信する。また、外部入出力制御部１１６は、有線通信あるいは無線通信により、外部機器から特殊画質パラメータ群を受信し、現像パラメータ保持部１１４に書き込む。この場合、現像パラメータ保持部１１４に新たな特殊画質パラメータ群を書き込むことができ、また、既存の特殊画質パラメータ群に上書きすることで特殊画質パラメータ群の変更も可能である。
【００２６】
ユーザ操作部１１７は、ボタンやタッチパネル等で構成されており、ユーザが種々の操作を行うことができる。例えば、ユーザは、現像処理部１１３の動作モードを通常モードとするか特殊モードとするかの操作を行うことができる。また、例えば、ユーザは、画像保持部１１２に保持されているＲＡＷ画像データや現像画像データを外部機器に送信するように操作することができる。また、例えば、ユーザは、外部機器からを受信し、現像パラメータ保持部１１４に書き込むように操作することができる。さらに、例えば、ユーザは、現像パラメータ保持部１１４に保持されている特殊画質パラメータ群を削除するように操作することができる。
【００２７】
図１に戻って、ソースカメラであるカメラ１０１の画質をターゲットカメラの画質に合わせるための自動チューニング処理においては、画質評価システム１０２は、カメラ１０１から画質評価用の複数の現像画像データを受信する。そして、画質評価システム１０２は、この複数の現像画像データに基づいて色再現性、解像度、ノイズ感などのそれぞれの評価を行って画質評価値群を求める。
【００２８】
画質差分指標計算器１０３は、画質評価システム１０２で求められた画質評価値群と基準となる画質評価値群との差分を示す画質差分指標を計算する。ここで、基準となる画質評価値群としては、ターゲットカメラについての画質評価値群が使用される。この場合、ターゲットカメラからの画質評価用の複数の現像画像データに基づいて色再現性、解像度、ノイズ感などのそれぞれの評価がされることでターゲットカメラについての画質評価値群が取得される。
【００２９】
画質パラメータ自動チューニングシステム１０４は、遺伝的アルゴリズム(ＧＡ：Genetic Algorithms)、シミュレーテッド アニーリング(ＳＡ)などの非線形最適化アルゴリズムを用いて、画質差分指標計算器１０３で計算された画質差分指標に基づき、その差分が減少するように、カメラ１０１の現像処理部１１３における画質パラメータ群を算出する。画質パラメータ自動チューニングシステム１０４で求められる画質パラメータ群はカメラ１０１の現像処理部１１３に反映される。画質パラメータ自動チューニングシステム１０４は、ニューラルネットワークや、ディープラーニングなどを用いても良い。
【００３０】
画質パラメータ自動チューニングシステム１０４は、新たな画質差分指標に基づいて画質パラメータ群を求めることを繰り返し、画質パラメータ群の最適化を行って、最適画質パラメータ群を算出する。最終的に、カメラ１０１は、画質パラメータ自動チューニングシステム１０４で算出された最適画質パラメータ群を、特殊画質パラメータ群として、現像パラメータ保持部１１４に保持し、画質をターゲットカメラに合わせる特殊モードにおいて使用する。
【００３１】
上述した画質パラメータ群の最適化処理について、図５を参照して、さらに説明する。現像処理部１１３には、画質パラメータ群Ｐがセットされ、その状態で画質評価用の複数のＲＡＷ画像データに現像処理がされて画質評価用の複数の現像画像データが得られる。そして、この複数の現像画像データに基づいて画質評価システム１０２で色再現性、解像度、ノイズ感などのそれぞれの評価が行われて画質評価値群ｅが得られる。
【００３２】
この画質評価値群ｅは画質差分指標計算器１０３に供給される。また、この画質差分指標計算器１０３には、画質評価指標重み係数ｗも供給される。この画質評価指標重み係数ｗは、重要度に応じてそれぞれの画質評価値に重みを付けるための係数である。例えば、解像度が重要であり、ノイズ感は重要でない場合には、解像度のｗは大きく、ノイズ感のｗは小さくされる。これにより、解像度を重視した画質差分の最小化を行うことができる。なお、ここでは、画質評価指標重み係数ｗを用いる例を示したが、この係数を用いない場合も考えられる。
【００３３】
画質差分指標計算器１０３は、例えば、以下の数式（１）に基づいて、画質差分指標Ｑを算出する。この数式（１）において、“e_src(j)”は、ソースカメラの画質評価値群、つまり画像評価システム１０２で得られた画質評価値群ｅの要素を示しており、“e_target(j)”は、ターゲットカメラの画質評価値群の要素を示している。また、Ｍは画質評価値群の要素の個数を示している。なお、画質差分指標Ｑを求める数式は、数式（１）に限定されない。例えば、差分絶対値和を画質差分指標Ｑとすることも考えられる。
【数１】
2019188573.tif 000003
【００３４】
この画質差分指標Ｑは、画質パラメータ自動チューニングシステム１０４に供給される。また、この画質パラメータ自動チューニングシステム１０４には、画質パラメータ群Ｐも供給される。画質パラメータ自動チューニングシステム１０４は、Ｐ，Ｑに基づいて、次回の画質パラメータ群Ｐ´を算出する。画質パラメータ自動チューニングシステム１０４は、この処理を繰り返し、画質差分指標Ｑを最適化する画質パラメータ群Ｐを導出する。なお、画質パラメータ自動チューニングシステム１０４は、過去のＰ，Ｑを参照することもある。
【００３５】
図６は、画質パラメータ自動チューニングシステム１０４における収束条件の一例を示している。収束条件としては、例えば、以下の（１）〜（４）が考えられる。（１）繰り返し回数が一定回数を上回ったら終了とする。（２）画質差分指標Ｑの収束速度が指定値を下回った時点で終了とする。（３）画質差分指標Ｑが指定値を下回った時点で終了とする。また、（４）として、（１）〜（３）の組み合わせも考えられる。例えば、例えば（３）に従って繰り返すものの、その場合は終了しない恐れもあるので、（１）の指定回数を越えた場合は（３）を満たさなくても強制的に終了するというものがある。その場合はどちらの条件で終了したかも情報として返す必要がある。
【００３６】
以上説明したように、図１に示すカメラ画質調整システム１００においては、画質パラメータ自動チューニングシステム１０４で、カメラ１０１の画質評価値群とターゲットカメラの画質評価値群とから得られた画質差分指標を最適化する画質パラメータ群を得るものである。そのため、ソースカメラとしてのカメラ１０１の画質をターゲットカメラの画質に近づけるための画質パラメータを容易に得ることができる。
【００３７】
なお、図１のカメラ画質調整システム１００においては、自動チューニング処理において、カメラ１０１が備える現像処理部１１３を用いる例を示した。詳細説明は省略するが、画質評価システム自体が現像処理部を備えおり、自動チューニング処理では、その現像処理部を用いて現像処理を行って画質パラメータ群の最適化処理を行うことも考えられる。この場合には、カメラ１０１から画質評価システム１０２には、画質評価用の複数のＲＡＷ画像データが供給される。
【００３８】
また、図２（ａ）に示す機種間の場合、実運用では、全ての(または代表的な)組み合わせの最適化処理を事前に行っておき、ユーザ提供時にはその画質パラメータ群をそのまま提供することもできる。ただし、この方法の場合はカメラの機種間ばらつきは最小化できるものの、個体間ばらつきまでは最適化の対象とはならない。
【００３９】
また、上述したように、ターゲットカメラの画質にその他のソースカメラの画質を合わせる手法の場合、ターゲットカメラの設定次第では、最適化の結果が思わしくない場合がある。例えばターゲットカメラが最新機種であり、他のソースカメラがどのような画質パラメータ群を取ろうともそのレベルに達することができない場合などがある。このような弊害を防ぐため、例えば、３つのカメラの画質を合わせる場合には、３つのカメラそれぞれをターゲットカメラにした最適化を行い、その中で最も良好な結果(Ｑが小さい)を得たターゲットカメラ設定を最終結果として用いる方法などが考えられる。
【００４０】
＜２．第２の実施の形態＞
［カメラ画質調整システム］
図７は、第２の実施の形態としてのカメラ画質調整システム２００の構成例を示している。このカメラ画質調整システム２００は、カメラ２０１-1，２０１-2，２０１-3と、画質評価システム２０２と、画質差分指標計算器２０３と、画質パラメータ自動チューニングシステム２０４を有している。このカメラ画質調整システム２００は、カメラ２０１-1，２０１-2，２０１-3から出力される現像画像の画質を近づけるためのシステムである。このシステムにより、カメラで撮像した撮像画像の画質を所定の画質に近づけることができる。例えば、複数のカメラを用いて撮影を行う場合、それぞれのカメラの画質が異なることで統一感のある作品を作成できないことがあるが、本技術により、複数のカメラ間の画質を合わせることができるため、そのような課題を解決できる。
【００４１】
カメラ画質調整システム２００では、特定のターゲットカメラを設定せず、相互に画質パラメータ群を変化させることで全体としての画質差分の最小化を行うものである。例えば、ターゲットカメラが最新機種で、他のどのカメラよりも画質が優れている場合、他のカメラはいくら画質パラメータ群を変化させてもターゲットカメラの画質を作ることはできない。カメラ画質調整システム２００では、全てのカメラの画質が「歩み寄る」ことから、画質差分の最適化度合は高まる。カメラ画質調整システム２００では、ターゲットカメラが設定される場合とは異なり、最適化をカメラ毎に行うのではなく、全てのカメラの画質パラメータ群の最適化が同時に行われる。
【００４２】
図８（ａ）は、機種間での画質合わせの様子を示している。図示の例では、ソースカメラ３０ｓ１，３０ｓ２，３０ｓ３が存在し、これらソースカメラ３０ｓ１，３０ｓ２，３０ｓ３の画質を、制約条件Ｌの下で、近づけることを示している。ここで、ソースカメラ３０ｓ１，３０ｓ２，３０ｓ３は異なる機種のカメラであり、機種間ばらつきおよび個体間ばらつきを最小化できる。
【００４３】
また、図８（ｂ）は、個体間での画質合わせの様子を示している。図示の例では、ソースカメラ４０ｓ１，４０ｓ２，４０ｓ３が存在し、これらソースカメラ４０ｓ１，４０ｓ２，４０ｓ３の画質を、制約条件Ｌの下で、近づけることを示している。ここで、カメラ４０ｓ１，４０ｓ２，４０ｓ３は同一機種のカメラであり、個体間ばらつきを最小化できる。なお、図８（ａ），（ｂ）の例では、ソースカメラが３つの場合を示しているが、ソースカメラが４つ以上の場合であっても同様である。
【００４４】
図７に戻って、カメラ２０１-1，２０１-2，２０１-3は、図８における３つのソースカメラに相当する。詳細説明は省略するが、各カメラの構成は、上述の図１に示すカメラ１０１と同様である（図３参照）。
【００４５】
カメラ２０１-1，２０１-2，２０１-3の画質を合わせるための自動チューニング処理においては、画質評価システム２０２は、カメラ２０１-1，２０１-2，２０１-3のそれぞれから、画質評価用の複数の現像画像データを受信する。そして、画質評価システム２０２は、カメラ毎に、画質評価用の複数の現像画像データに基づいて、色再現性、解像度、ノイズ感などのそれぞれの評価を行って画質評価値群を求める。
【００４６】
画質差分指標計算器２０３は、画質評価システム２０２で求められた各カメラの画質評価値群と基準となる画質評価値群との差分を示す画質差分指標を計算する。ここで、基準となる画質評価値群は、各カメラの画質評価値群に基づいて得られる。例えば、それぞれの画質評価値毎に各カメラの画質評価値の平均値が求められ、基準の画質評価値とされる。
【００４７】
画質パラメータ自動チューニングシステム２０４は、遺伝的アルゴリズム(ＧＡ：Genetic Algorithms)、シミュレーテッド アニーリング(ＳＡ)などの非線形最適化アルゴリズムを用いて、画質差分指標計算器２０３で計算された画質差分指標に基づき、その差分が減少するように、カメラ２０１-1，２０１-2，２０１-3のそれぞれにおける現像処理部１１３の画質パラメータ群を算出する。画質パラメータ自動チューニングシステム２０４で求められる各カメラの画質パラメータ群はカメラ２０１-1，２０１-2，２０１-3のそれぞれにおける現像処理部１１３に反映される。
【００４８】
画質パラメータ自動チューニングシステム２０４は、新たな画質差分指標に基づいて各カメラの画質パラメータ群を求めることを繰り返し、各カメラの画質パラメータ群の最適化を行って、最適画質パラメータ群を算出する。最終的に、カメラ２０１-1，２０１-2，２０１-3は、画質パラメータ自動チューニングシステム２０４で算出された各カメラの最適画質パラメータ群を、特殊画質パラメータ群として、各カメラの現像パラメータ保持部１１４に保持し、画質合わせをする特殊モードにおいて使用する。
【００４９】
なお、カメラ２０１-1，２０１-2，２０１-3の画質を合わせるための上述の自動チューニング処理は、一定の画質を担保する制約条件Ｌの下で行われる。このような制約条件Ｌがない場合、画質差分は小さくなるものの、そもそもの画質が保証されない可能性があるためである。例えば、画質パラメータが「画像を全て黒く塗りつぶす」ものであった場合、全ての画像は黒一色となるため、画質差分はない。そのため、画質差分指標は０となり、最高の結果となる。しかしながら、このような結果はユーザの期待に沿うものではない。制約条件Ｌは、一定の画質を担保するためのものであり、例えば「全ての画質評価値は指定値以上であること」などが考えられる。
【００５０】
上述した画質パラメータ群の最適化処理について、図９を参照して、さらに説明する。各カメラの現像処理部１１３には、画質パラメータ群Ｐ１，Ｐ２，Ｐ３がセットされ、その状態で画質評価用の複数のＲＡＷ画像データに現像処理がされて画質評価用の複数の現像画像データが得られる。そして、カメラ毎に、画質評価用の複数の現像画像データに基づいて画質評価システム２０２で色再現性、解像度、ノイズ感などのそれぞれの評価が行われて画質評価値群ｅ１，ｅ２，ｅ３が得られる。
【００５１】
これらの画質評価値群ｅ１，ｅ２，ｅ３は画質差分指標計算器２０３に供給される。また、この画質差分指標計算器２０３には、画質評価指標重み係数ｗも供給される。この画質評価指標重み係数ｗは、重要度に応じてそれぞれの画質評価値に重みを付けるための係数である。例えば、解像度が重要であり、ノイズ感は重要でない場合には、解像度のｗは大きく、ノイズ感のｗは小さくされる。これにより、解像度を重視した画質差分の最小化を行うことができる。なお、ここでは、画質評価指標重み係数ｗを用いる例を示したが、この係数を用いない場合も考えられる。
【００５２】
画質差分指標計算器２０３は、例えば、以下の数式（２）に基づいて、画質差分指標Ｑを算出する。この数式（２）において、“e_src(i)(j)”は、ソースカメラ(i)の画質評価値群、つまり画像評価システム２０２で得られたソースカメラ(i)の画質評価値群ｅの要素を示しており、“eバー(j)”は、基準の画質評価値群の要素を示している。また、Ｍは画質評価値群の要素の個数を示している。また、Ｎはカメラの個数を示し、ここではＮ＝３である。なお、画質差分指標Ｑを求める数式は、数式（２）に限定されない。
【数２】
2019188573.tif 000004
【００５３】
この画質差分指標Ｑは、画質パラメータ自動チューニングシステム２０４に供給される。また、この画質パラメータ自動チューニングシステム２０４には、各カメラの画質パラメータ群Ｐ１，Ｐ２，Ｐ３も供給される。画質パラメータ自動チューニングシステム２０４は、Ｐ１，Ｐ２，Ｐ３，Ｑに基づいて、次回の画質パラメータ群Ｐ１´，Ｐ２´，Ｐ３´を算出する。画質パラメータ自動チューニングシステム２０４は、この処理を繰り返し、一定の画質を担保する制約条件Ｌの下、画質差分指標Ｑを最適化する画質パラメータＰ１，Ｐ２，Ｐ３を導出する。なお、画質パラメータ自動チューニングシステム２０４は、過去のＰ，Ｑを参照することもある。
【００５４】
なお、画質パラメータ自動チューニングシステム２０４における収束条件に関しては、詳細説明は省略するが、上述の図１に示す画質パラメータ自動チューニングシステム１０４における収束条件と同様である（図６参照）。
【００５５】
以上説明したように、図７に示すカメラ画質調整システム２００においては、画質パラメータ自動チューニングシステム２０４で、カメラ２０１-1，２０１-2，２０１-3の画質評価値群とこれらの画質評価値群に基づいて得られた基準の画質評価値群とから得られた画質差分指標を最適化する各カメラの画質パラメータ群を得るものである。そのため、カメラ２０１-1，２０１-2，２０１-3の画質を近づけるための画質パラメータを容易に得ることができる。
【００５６】
なお、図７のカメラ画質調整システム２００においては、自動チューニング処理において、カメラ２０１-1，２０１-2，２０１-3が備える現像処理部１１３を用いる例を示した。詳細説明は省略するが、画質評価システム自体が現像処理部を備えおり、自動チューニング処理では、その現像処理部を用いて現像処理を行って画質パラメータ群の最適化処理を行うことも考えられる。この場合には、カメラ２０１-1，２０１-2，２０１-3から画質評価システム２０２には、画質評価用の複数のＲＡＷ画像データが供給される。
【００５７】
また、図８（ａ）に示す機種間の場合、実運用では、全ての(または代表的な)組み合わせの最適化処理を事前に行っておき、ユーザ提供時にはその画質パラメータ群をそのまま提供することもできる。ただし、この方法の場合はカメラの機種間ばらつきは最小化できるものの、個体間ばらつきまでは最適化の対象とはならない。
【００５８】
＜３．ビジネスモデル＞
次に、本技術を利用した第１から第４のビジネスモデルについて説明する。
「第１のビジネスモデル」
図１０は、第１のビジネスモデルを概略的に示している。
（１）ユーザは、画質合わせを希望するカメラ群をセンターに持ち込むか郵送する。この場合、ユーザは、ターゲットカメラ（Target）、ソースカメラ（Src）の別を指示することもできるが、指示しなくてもよい。
【００５９】
（２）センターは、各カメラで色再現性、解像度、ノイズ感などのそれぞれを評価するためのチャート（マクベスカラーチェッカー/ISO-12233解像度テストチャートなど）を撮影して、画質調整のための複数のＲＡＷ画像データを得る。
（３）センターは、カメラ毎の画質調整のための複数のＲＡＷ画像データに基づき、各カメラの画質パラメータ群の最適化をする。
【００６０】
（４）センターは、最適化画質パラメータ群を特殊画質パラメータ群としてインストールした各カメラを、ユーザに送付する。
（５）ユーザは、各カメラを特殊モードに切り替えることで特殊画質パラメータ群を利用した状態とすることができ、各カメラの画質を近づけた状態で撮影することが可能となる。
【００６１】
この第１のビジネスモデルでは、センター側でチャート撮影および最適化を行うものであることから、個体間ばらつきも最適化可能なため、機種間/個体間の両方での画質合わせに利用することが可能である。
【００６２】
「第２のビジネスモデル」
図１１は、第２のビジネスモデルを概略的に示している。
（１）ユーザは、画質合わせを希望するカメラ群の機種の組み合わせを、ウェブ（Ｗｅｂ）上で選択し、その組み合わせデータをデータセンターやサーバ拠点に送信する。この場合、ターゲットカメラ（Target）およびソースカメラ(Src)を特定した組み合わせであってもよい。
【００６３】
（２）データセンターやサーバ拠点は、予め全てあるいは代表的な機種組み合わせにおける各カメラの最適画質パラメータ群を生成して保存しておく。データセンターやサーバ拠点は、ユーザから送られてくる組み合わせデータに合致する各カメラの最適画質パラメータ群を検索して抽出する。
（３）データセンターやサーバ拠点は、各カメラの最適画質パラメータ群を、ユーザに、送信する。
【００６４】
（４）ユーザは、データセンターやサーバ拠点から受信した各カメラの最適画質パラメータ群を、それぞれのカメラに特殊画質パラメータ群としてインストールする。
（５）ユーザは、各カメラを特殊モードに切り替えることで特殊画質パラメータ群を利用した状態とすることができ、各カメラの画質を近づけた状態で撮影することが可能となる。
【００６５】
この第２のビジネスモデルでは、ユーザのカメラ個体の情報がないため個体間ばらつきの最適化は不可能であり、機種間での画質合わせのみに利用することが可能である。
【００６６】
「第３のビジネスモデル」
図１２は、第３のビジネスモデルを概略的に示している。
（１）ユーザは、画質合わせを希望するカメラ群の各カメラで市販のチャート（マクベスカラーチェッカー/ISO-12233解像度テストチャートなど）を撮影する。
（２）ユーザは、ウェブ（Ｗｅｂ）で、各カメラで撮影されたＲＡＷ画像データを、データセンターやサーバ拠点に送信する。この場合、ユーザは、ターゲットカメラ（Target）、ソースカメラ（Src）の別を指示することもできるが、指示しなくてもよい。
【００６７】
（３）ユーザは、ウェブ（Ｗｅｂ）上で操作して、データセンターやサーバ拠点において、カメラ毎の画質調整のための複数のＲＡＷ画像データに基づき、各カメラの画質パラメータ群の最適化を実行させる。この場合、ユーザは、最適化の実行を自覚する必要はなく、ユーザが各カメラのＲＡＷ画像データをデータセンターやサーバ拠点に送信することで、最適化が自動的に実行されてもよい。
（４）データセンターやサーバ拠点は、各カメラの最適画質パラメータ群を、ユーザに、送信する。
【００６８】
（５）ユーザは、データセンターやサーバ拠点から受信した各カメラの最適画質パラメータ群を、それぞれのカメラに特殊画質パラメータ群としてインストールする。
（６）ユーザは、各カメラを特殊モードに切り替えることで特殊画質パラメータ群を利用した状態とすることができ、各カメラの画質を近づけた状態で撮影することが可能となる。
【００６９】
この第３のビジネスモデルでは、ユーザのカメラ個体の情報があるため個体間ばらつきの最適化も可能であり、機種間/個体間の両方での画質合わせに利用することが可能である。
【００７０】
なお、ウェブ（Ｗｅｂ）を用いて、逐次指定していく形でも良いが、専用アプリや専用Ｗｅｂアプリを用いって、（２）〜（５）を自動で実行することもできる。また、上述では、チャートは市販のものを用いるとしているが、プロのユーザであれば所持またはレンタルしていることを想定している。また、チャートをＷｅｂ上でダウンロードし、印刷または画面表示したものを撮影することで代替することも可能であるが、ユーザが持つハード環境などに強く依存するため、精度のよい結果が得られない可能性がある。
【００７１】
「第４のビジネスモデル」
図１３は、第４のビジネスモデルを概略的に示している。
（１）ユーザは、画質合わせを希望するカメラ群の機種の組み合わせを、ウェブ（Ｗｅｂ）上で選択し、その組み合わせデータをデータセンターやサーバ拠点に送信する。この際、各カメラが工場出荷時に保持している補助情報も付与して送信する。この場合、ターゲットカメラ（Target）およびソースカメラ(Src)を特定した組み合わせであってもよい。
【００７２】
補助情報には個体番号や個体間ばらつき情報が含まれている。補助情報には個体番号の他、画質に関するばらつき情報などが含まれている。例えば、色再現性が機種平均に比べ、どのようにシフトしているかなどのシフト方向とその量、またノイズ量の機種平均に比べた大小などがあり得る。
【００７３】
個体間ばらつきを出荷時に全て補正するのはコストの関係上難しい。そこで、事後に追加サービスとして用いるのに十分な情報を含む補助情報を出荷時にカメラに持たせることが想定される。なお、データセンターやサーバ拠点が、ユーザが送信する補助情報と対応する追加情報を保持し、個体番号と対応させることで個体間ばらつき情報を形成することも考えられる。工場出荷時にチャートを撮影して得られたＲＡＷ画像データをデータセンターやサーバ拠点に追加情報として置く方法もある。
【００７４】
（２）データセンターやサーバ拠点は、機種組み合わせ情報および補助情報（固体ばらつき情報を含む）を用いて、各カメラの画質パラメータ群を最適化する。その際、補助情報を用いるので、個体間ばらつきの補正も同時に行うことができる。この時、個体番号と対応付けされてデータセンターやサーバ拠点が保持する情報を追加的に利用することもできる。なお、このデータセンターやサーバ拠点における最適化の実行は、ユーザがウェブ（Ｗｅｂ）上で操作して実行させてもよいが、ユーザが機種組み合わせ情報および補助情報をデータセンターやサーバ拠点に送信することで、最適化が自動的に実行されてもよい。
【００７５】
（３）データセンターやサーバ拠点は、各カメラの最適画質パラメータ群を、ユーザに、送信する。
（４）ユーザは、データセンターやサーバ拠点から受信した各カメラの最適画質パラメータ群を、それぞれのカメラに特殊画質パラメータ群としてインストールする。
（５）ユーザは、各カメラを特殊モードに切り替えることで特殊画質パラメータ群を利用した状態とすることができ、各カメラの画質を近づけた状態で撮影することが可能となる。
【００７６】
この第４のビジネスモデルでは、機種組み合わせ情報の他に固体ばらつき情報を含む補助情報をデータセンターやサーバ拠点に送信するため、個体間ばらつきの最適化も可能であり、機種間/個体間の両方での画質合わせに利用することが可能である。
【００７７】
＜４．変形例＞
なお、上述第１、第２の実施の形態において、画質評価システム１０２，２０２、画質差分指標計算器１０３，２０３および画質パラメータ自動チューニングシステム１０４，２０４の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【００７８】
図１４において、パーソナルコンピュータ７００のＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００７９】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【００８０】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【００８１】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【００８２】
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８３】
また、本技術は、以下のような構成を取ることもできる。
（１）撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得部と、
上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
演算装置。
（２）上記第２の画質評価値は、上記撮像画像データを得るための第１のカメラと同一の機種または異なる機種の第２のカメラの撮像画像データに現像処理をして得られた現像画像データに基づいて得られる
前記（１）に記載の演算装置。
（３）上記画質評価値取得部は、上記画質パラメータ群取得部が繰り返し得る上記画質パラメータ群に基づいて現像処理することで、上記現像画像データを繰り返し得る
前記（１）または（２）に記載の演算装置。
（４）上記画質パラメータ群は、上記現像画像データの画質に影響を与えるパラメータである
前記（１）から（３）のいずれかに記載の演算装置。
（５）上記第１の画質評価値は、上記現像画像データの色再現性、解像度、ノイズ感を評価する評価値である
前記（１）から（４）のいずれかに記載の演算装置。
（６）撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る手順と、
上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る手順を有する
演算方法。
（７）コンピュータを、
撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得手段と、
上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するような上記現像処理における画質パラメータ群を得る画質パラメータ群取得手段として機能させる
プログラム。
（８）複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る画質評価値取得部と、
上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
演算装置。
（９）上記画質パラメータ群取得部は、一定の画質を担保する制約条件の下で上記画質パラメータ群を得る
前記（８）に記載の演算装置。
（１０）上記複数の撮像画像データは、全部が同一機種、あるいは全部または一部が異なる機種である複数のカメラの撮像画像データである
前記（８）または（９）に記載の演算装置。
（１１）複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る手順と、
上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するような上記複数の撮像画像データに対する上記現像処理における画質パラメータ群を得る手順とを有する
演算方法。
（１２）コンピュータを、
撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得手段と、
上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得手段として機能させる
プログラム。
【符号の説明】
【００８４】
１００，２００・・・カメラ画質調整システム
１０１，２０１-1，２０１−２，２０１−３・・・カメラ
１０２，２０２・・・画質評価システム
１０３，０２３・・・画質差分指標計算器
１０４，２０４・・・画質パラメータ自動チューニングシステム
１１１・・・画像入力部
１１２・・・画像保持部（メモリ）
１１３・・・現像処理部
１１４・・・撮像パラメータ保持部（メモリ）
１１５・・・画像情報記録部
１１６・・・外部入出力制御部
１１７・・・ユーザ操作部
【図１】
2019188573.tif 000005
【図２】
2019188573.tif 000006
【図３】
2019188573.tif 000007
【図４】
2019188573.tif 000008
【図５】
2019188573.tif 000009
【図６】
2019188573.tif 000010
【図７】
2019188573.tif 000011
【図８】
2019188573.tif 000012
【図９】
2019188573.tif 000013
【図１０】
2019188573.tif 000014
【図１１】
2019188573.tif 000015
【図１２】
2019188573.tif 000016
【図１３】
2019188573.tif 000017
【図１４】
2019188573.tif 000018
【国際調査報告】
2019188573.tif 000019
2019188573.tif 000020