(57)【要約】【課題】客観的評価値を主観的評価値に対応させ、これにより客観的評価のみで画像の画質を判定すること。【解決手段】共通の元画像を異なる手段を経て再現した再現画像の画質判定方法であり、基準空間を生成する段階（Ｓ１０３）、客観的、主観的評価の相関をとる段階（Ｓ１０４）、判定対象である再現画像の良否を判定する段階（Ｓ１０６）を含む。Ｓ１０３では主観的評価で画質が良好と判断された基準画像について画質に関わる複数の項目の物性値を取得し（Ｓ２０１）、規格化して基準空間を生成し（Ｓ２０５）、Ｓ１０４では、基準画像のマハラノビス距離を求め（Ｓ３０１）、主観的評価に対応するマハラノビス距離の閾値を求め（Ｓ３０３）、Ｓ１０６では、判定対象の再現画像の物性値を取得し（Ｓ４０１）、規格化してマハラノビス距離を求め（Ｓ４０４）、閾値と比較して当該再現画像の良否を判定する（Ｓ４０５）。【選択図】  図２
2004295691.tif 000002
【特許請求の範囲】
【請求項１】
共通の元画像を再現した再現画像の画質判定方法であって、
コンピュータに、評価の基準となる基準空間を生成する段階と、客観的評価と主観的評価との相関をとる段階と、判定対象である再現画像の良否を判定する段階とを実行させ、前記コンピュータは、
前記基準空間を生成する段階では、複数の再現画像から主観的評価で画質が良好と判断された基準画像を複数選択し、選択された複数の基準画像について予め測定された画質に関わる複数の項目の物性値を取得すると共に、各画像について複数の物性値を規格化して前記基準空間を生成し、
前記相関をとる段階では、前記複数の基準画像のそれぞれについてマハラノビス距離を求め、前記各再現画像のマハラノビス距離と主観評価の評価値とを比較し、主観的評価における良否判定の閾値に対応するマハラノビス距離の閾値を求め、
前記判定する段階では、判定対象である再現画像について前記複数の項目の物性値を取得し、当該複数の物性値を規格化してマハラノビス距離を求め、求められた当該再現画像のマハラノビス距離と前記マハラノビス距離の閾値とを比較して当該再現画像の良否を判定することを特徴とする画質判定方法。
【請求項２】
コンピュータに、共通の元画像を再現した再現画像の画質を判定させる画質判定プログラムであって、
評価の基準となる基準空間を生成するモジュールと、客観的評価と主観的評価との相関をとるモジュールと、判定対象である再現画像の良否を判定するモジュールとを含み、
前記基準空間を生成するモジュールでは、複数の再現画像から主観的評価で画質が良好と判断された基準画像を複数選択し、選択された複数の基準画像について予め測定された画質に関わる複数の項目の物性値を取得すると共に、各画像について複数の物性値を規格化して前記基準空間を生成し、
前記相関をとるモジュールでは、前記複数の基準画像のそれぞれについてマハラノビス距離を求め、前記各再現画像のマハラノビス距離と主観評価の評価値とを比較し、主観的評価における良否判定の閾値に対応するマハラノビス距離の閾値を求め、
前記判定するモジュールでは、判定対象である再現画像について前記複数の項目の物性値を取得し、当該複数の物性値を規格化してマハラノビス距離を求め、求められた当該再現画像のマハラノビス距離と前記マハラノビス距離の閾値とを比較して当該再現画像の良否を判定することを特徴とする画質判定プログラム。
【請求項３】
共通の元画像を再現した再現画像の画質判定装置であって、
測定機器を用いて測定された画質に関わる複数の項目の物性値及び前記再現画像に対する主観的評価を評価者が入力するための入力手段と、入力されたデータを記憶する記憶手段と、請求項２に記載の画質判定プログラムにしたがって判定対象である再現画像の良否を判定する判定手段と、判定結果を出力する出力手段とを備えることを特徴とする画質判定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンピュータを用いて画像の画質を判定する方法プログラム及びこの方法を実現するための装置に関する。
【０００２】
【従来の技術】
例えばカメラやプリンタの性能を判定するには、評価用の元画像に対して実際に撮影された再現画像、出力された再現画像の画質を評価する必要がある。評価には、測定機器により測定した物性値に基づく客観的評価と、人間の目による主観的評価とがある。
【０００３】
コンピュータを用いた客観的評価では、再現画像の画質に影響を与える色再現、階調再現、解像度、ノイズ等の複数の物性値の項目についてそれぞれ評価値を求め、これらを総合的に判断して良否を判定する。これらの物理的評価の値は、分光光度計やＭＴＦ測定機等の測定装置により測定され、コンピュータに入力される。一方、主観的評価では、上記のような項目に細分化することなく、再現画像全体の印象から総合的に良否が判定される。
【０００４】
再現画像の画質は、最終的には利用者が目で見たときに望ましいものである必要があるため、人間の官能値に依拠した主観的評価は重要である。ただし、主観的評価は、評価者間での評価値のバラツキが大きく信頼性に欠けるため、大量の再現画像の画質を均一な尺度で評価するためには、客観的評価を用いることが望ましい。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の客観的評価は、その評価値が必ずしも主観的評価の評価値に対応しないため、客観的評価のみで画質を判定することができず、主観的評価の併用が必要となるという問題がある。
【０００６】
本発明は、上記の問題を解決し、客観的評価の評価値を主観的評価の評価値に対応させ、これにより客観的評価のみで再現画像の画質を判定することができる画質判定方法、及びこの方法を実現するためのプログラム、装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、共通の元画像を再現した再現画像の画質を判定する本発明の画質判定方法は、コンピュータに評価の基準となる基準空間を生成する段階と、客観的評価と主観的評価との相関をとる段階と、判定対象である再現画像の良否を判定する段階とを実行させ、コンピュータは、基準空間を生成する段階では、複数の再現画像から主観的評価で画質が良好と判断された基準画像を複数選択し、選択された複数の基準画像について予め測定された画質に関わる複数の項目の物性値を取得すると共に、各画像について複数の物性値を規格化して基準空間を生成し、相関をとる段階では、複数の基準画像のそれぞれについてマハラノビス距離を求め、各再現画像のマハラノビス距離と主観評価の評価値とを比較し、主観的評価における良否判定の閾値に対応するマハラノビス距離の閾値を求め、判定する段階では、判定対象である再現画像について複数の項目の物性値を取得し、これらの複数の物性値を規格化してマハラノビス距離を求め、求められた当該再現画像のマハラノビス距離とマハラノビス距離の閾値とを比較して当該再現画像の良否を判定することを特徴とする。
【０００８】
上記の方法によれば、再現画像の画質をマハラノビス距離に基づいて判定することにより、複数の物理量を検査項目として客観的、均質的な判定が可能になる。しかも、マハラノビス距離を用いた判定と主観的評価との相関がとれているため、機器による判定のみで主観的な判定にも合致した判定をすることができる。
【０００９】
上記の画質判定方法は、コンピュータを用いて画質を判定するための画質判定プログラムとして実現できる。また、この発明の画質判定装置は、測定機器を用いて測定された画質に関わる複数の項目の物性値及び再現画像に対する主観的評価を評価者が入力するための入力手段と、入力されたデータを記憶する記憶手段と、画質判定プログラムにしたがって判定対象である再現画像の良否を判定する判定手段と、判定結果を出力する出力手段とを備えることを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００１１】
本発明の一実施形態に係る画質判定装置は、共通の元画像を互いに異なる複数の手段を経て再現した再現画像の特性を表す画質に関わる複数種類の物性値と、これらの再現画像の主観的（官能的）な品質との相関を求め、物性値のみにより主観的な判定にも合致した画質の判定をするための装置である。
【００１２】
まず、図１を用いて、実施形態に係る画質判定装置のハードウェア構成を説明する。図示してあるように、実施形態に係る画質判定装置１０は、ディスプレイ１１、入力装置１２、プリンタ１３、コンピュータ１４から構成されている。コンピュータ１４は、読み取られた再現画像をデータとして記憶する記憶手段であるメモリ２２と、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、及び、ＯＳ上で動作する画質判定プログラムを格納したハードディスク２４と、画質判定プログラムにしたがって判定対象である再現画像の良否を判定する判定手段の機能を含むＣＰＵ２１とを備えている。入力装置１２は、コンピュータ１４に対して各種の指示、データを入力するために用いるキーボードとマウスとであり、読み取られた再現画像に対する主観的評価を評価者が入力するために用いられる。ディスプレイ１１及びプリンタ１３は、判定結果を出力する出力手段として機能する。
【００１３】
なお、ディスプレイ１１、入力装置１２、プリンタ１３は、それぞれディスプレイ制御回路２５、インターフェース回路２６、２７を介してＣＰＵ２１、メモリ２２等を接続するバス２９に接続されている。
【００１４】
以下、画質判定プログラムに従った画質判定装置１０の動作を説明する。図２に、画質判定装置１０の全体的な動作のフローチャートを示す。図示したように、ＣＰＵ２１は、最初にメインメニューをディスプレイ１１に表示する（ステップＳ１０１）。そして、操作者によっていずれかのメニューが選択されるまで待機する（ステップＳ１０２）。ステップＳ１０１で表示されるメインメニューは、基準空間の設定処理と、判定対象である再現画像の判定処理と、終了メニューとを含む。
【００１５】
基準空間の設定処理に関するメニューが選択された場合（ステップＳ１０２、設定）、ＣＰＵ２１は、基準空間生成処理（ステップＳ１０３）と、相関処理（ステップＳ１０４）とを実行する。
【００１６】
基準空間生成処理を実行するには、操作者は判定しようとする再現画像の物性値を測定する必要がある。例えば、物性値の項目として色再現、階調再現、解像度、ノイズを用いる場合には、分光測定、濃度階調の測定、ＭＴＦ測定、ノイズ測定を行う。再現画像の元になる共通の元画像としては、計測される特徴量が良好に反映される画像が望ましく、例えば色再現を重視する場合には、多数の色見本が印刷されたカラーチャートを利用し、解像度やノイズを重視する場合には、空間周波数の異なる白黒の縞模様が描かれたテストチャートを利用すればよい。
【００１７】
基準空間生成処理では、図３に示すように、主観評価で良好（合格）の判定を受けた再現画像（基準画像）に関するｋ種類の物性値（ｋ個の物性項目のそれぞれに関する物性値）のみのデータを操作者（入力装置１２）から取得し、メモリ２３上に記憶する（ステップＳ２０１）。ＣＰＵ２１は、入力された物性値のデータを用いて評価の基準となる基準空間を生成する。最初に、判定値であるマハラノビス距離に対する各物性値の寄与度を等しくするため、基準画像の物性値である基準データを、平均値が０、標準偏差が１となるように規格化する。基準空間は、規格化した基準データの相関行列を求め、その逆行列を計算することにより求められる。
【００１８】
具体的には、主観評価で良好の判定を受けた基準画像に関する物性値ｙｉｊ（ｉ＝１〜ｋ、ｊ＝１〜ｎ、ｊ番目の画像のｉ番目の項目の物性値）の入力に基づき、各物性項目に関する物性値ｙｉｊの平均値ｍｉと標準偏差σｉとを算出する（ステップＳ２０２）。そして、算出した平均値ｍｉ及び標準偏差σｉとを用いて、以下に記す（１）式により、基準データである物性値ｙｉｊ（ｉ＝１〜ｋ、ｊ＝１〜ｎ）を規格化し、規格化物性値Ｙｉｊを得る（ステップＳ２０３）。
【００１９】
【数１】
2004295691.tif 000003
【００２０】
ステップＳ２０４では、まず、上記の規格化物性値Ｙｉｊを用いて、以下の（２）、（３）式で示される相関係数行列Ｒを求める。次いで、ステップＳ２０５では、（４）式に示すように、相関係数行列Ｒの逆行列Ａの係数ａｉｊを求める。
【００２１】
【数２】
2004295691.tif 000004
【００２２】
図２の基準空間生成処理（ステップＳ１０３）が終了すると、続いて相間処理（ステップＳ１０４）が実行される。相間処理は、図４に示すような３つのステップにより構成される。まず、ステップＳ３０１では、基準空間生成処理で求められた逆行列Ａを用いて（５）式により各基準画像のマハラノビス距離Ｄ２が求められる。
【００２３】
【数３】
2004295691.tif 000005
【００２４】
ステップＳ３０２では、機器により測定された客観的評価であるマハラノビス距離と、主観的評価との相関をとるために、マハラノビス距離が求められた各基準画像についての主観評価点を操作者（入力装置１２）から取得し、メモリ２２上に記憶する。主観評価点は、例えば操作者が入力手段１２であるキーボードを利用して入力する。
【００２５】
続いて、ステップＳ３０３では、Ｓ３０１で求められた基準画像のマハラノビス距離に基づいて、基準空間の限界、すなわち、画質の良否判定に関するマハラノビス距離の閾値ＳＨを決定する。閾値ＳＨは、例えば基準画像のマハラノビス距離の平均値と最低値とを用い、平均値と最低値との差分の何割か（例えば１割）だけ最低値より低い値として決定される。あるいは、予め基準空間の限界値となる画像を基準画像として取り込んでおき、この画像のマハラノビス距離を閾値としてもよい。さらに、予め主観評価や客観評価で限界値とされている画像を限界画像として取り込み、そのマハラノビス距離を閾値として採用してもよい。
【００２６】
基準画像としては、主観評価点により良好と判断されるものを選んでいるため、ステップＳ３０３で求められるマハラノビス距離の閾値ＳＨは、主観評価による画質の良否判定の閾値に対応する。以上で設定処理が終了し、再びＳ１０１に戻ってメニューが表示される。
【００２７】
ステップＳ１０２で判定処理に関するメニューが選択された場合には、Ｓ１０５で判定のための基準空間が定義されているか否かを確認し、基準空間が定義されていない場合には設定の処理が実行され、定義されている場合にはＳ１０６の判定処理が実行される。
【００２８】
判定処理では、図５に示すように、判定対象である再現画像の物性値のデータを操作者（入力装置１２）から取得する（ステップＳ４０１）。ＣＰＵ２１は、入力された物性値のデータに基づき、各物性項目に関する物性値の平均値と標準偏差とを算出する（ステップＳ４０２）。そして、算出した平均値及び標準偏差とを用いて、前記の（１）式により、判定対象である再現画像の物性値を平均値が０、標準偏差が１となるように規格化する（ステップＳ４０３）。
【００２９】
次に、規格化した物性値に基づいて判定対象となる画像のマハラノビス距離Ｄ２を求め（ステップＳ４０４）、閾値ＳＨと比較して画質の良否を判定する（ステップＳ４０５）。マハラノビス距離は、基準データと異なる度合いが大きいほど大きくなるため、マハラノビス距離Ｄ２が閾値より大きい場合には、画質が不良と判定してその結果をディスプレイ１１に表示し（ステップＳ４０６）、閾値より小さい場合には画質が良好と判定してその結果をディスプレイ１１に表示する（ステップＳ４０７）。このようにマハラノビス距離を用いて判定することにより、主観評価による判定に合致した評価を均一な尺度で行うことができる。
【００３０】
なお、マハラノビス距離は、上記のように複数種類の物性値に基づいて求められるが、主観評価点との相関において、画質評価に寄与しない、あるいは寄与が少ない物性項目が含まれる可能性がある。このような物性項目はマハラノビス距離を求める際に用いない方が望ましいため、事前に各物性項目について、その物性項目の寄与度を調べ、寄与度の低い物性項目を評価対象から外すことが望ましい。
【００３１】
上記の画質判定方法によって、例えば、デジタルカメラの色再現性の評価をするためには、複数のデジタルカメラにより共通の元画像（例えばカラーチャート）を撮影し、撮影された複数の画像から主観評価で画質良好と判断される基準画像を選んで基準空間を形成し、マハラノビス距離の閾値を決定しておく。その後、評価対象となるデジタルカメラによって元画像を撮影し、撮影された画像のマハラノビス距離を計算して閾値と比較することにより、当該デジタルカメラの色再現性の良否の判定をすることができる。
【００３２】
次に、上述した画質評価方法の具体例を説明する。ここでは、元画像としてカラーチャートを用い、その再現画像の画質の良否を判定する。物性項目としては、再現画像に含まれるカラーチャート中の１２色を分光光度計を用いて測定して得られたＣＩＥ  １９７６  Ｌ＊ａ＊ｂ＊色空間の色度ａ＊、ｂ＊の値、ＭＴＦ測定装置により測定された先鋭度、そして、ＳＮ比、すなわちノイズのデータを用いる。この例では、１２色についてａ＊とｂ＊とを用いるため色度の物性項目は２４種類、ＭＴＦは像高の異なる３点で測定しているため３種類、ＳＮ比が１種類で全体で２８種類の物性項目が用いられる。これらの物性項目のデータに基づいてマハラノビス距離が求められる。
【００３３】
色度ａ＊、ｂ＊のデータは、ｄｓ（ｄａｒｋ  ｓｋｉｎ），  ｌｓ（ｌｉｇｈｔ  ｓｋｉｎ），  ｂｓｋ（ｂｌｕｅ  ｓｋｙ），  ｆｏｌ（ｆｏｌｉａｇｅ），  ｂｆ（ｂｌｕｅ  ｆｌｏｗｅｒ），  ｂｇ（ｂｌｕｉｓｈ  ｇｒｅｅｎ），  ｏｒｇ（ｏｒａｎｇｅ），  ｐｂ（ｐｕｒｐｌｉｓｈ  ｂｌｕｅ），  ｍｒ（ｍｏｄｅｒａｔｅ  ｒｅｄ），  ｐｕ（ｐｕｒｐｌｅ），  ｙｇ（ｙｅｌｌｏｗ  ｇｒｅｅｎ），  ｏｙ（ｏｒａｎｇｅ  ｙｅｌｌｏｗ）の１２色について測定される。２文字あるいは３文字のアルファベットが色の略称であり、それに続く括弧内が正式名称である。
【００３４】
ここでは１００枚の再現画像について、上記の２８種類の物性項目の値を求め、主観評価が良好と判断された３５枚を基準画像とし、それらのマハラノビス距離から閾値を求め、他の再現画像についてこの閾値に基づいて良否を判定する。データは図７〜図１９に示される。データ量が多いため、複数の図にわたって一つの表を示している。図６にそのマップを示す。すなわち、図７〜図１２は図６（Ａ）に示すように配列することにより１００枚の再現画像についての２８種類の物性値と主観評価の値とを表す。また、図１３と図１４は、図６（Ｂ）に示すように並べることにより、基準画像のデータを規格化した値を表す。同様に、図１５と図１６とは図６（Ｃ）、図１７と図１８とは図６（Ｄ）に示すようにそれぞれ並べることにより、２８×２８の相間係数行列、その逆行列をそれぞれ表す。
【００３５】
図７〜図１２は、１００枚の再現画像のデータを主観評価の値をキーにソートして主観評価が高い順に上から配列して示している。主観評価点は６２０点満点とし、５２０．０点を基準空間の閾値とし、画像番号１〜３５を基準画像としている。これらの基準画像のデータに基づいて基準空間が生成される。すなわち、図１３，１４に示すように、基準画像の物性値の平均値と標準偏差とを求め、これらに基づいて物性値を規格化し、規格化物性値を求める。次に、規格化物性値に基づいて図１５，１６に示すように相関係数行列Ｒを求め、これに基づいて図１７，１８に示すように逆行列Ａを求める。
【００３６】
続いて、上記のように求められた逆行列Ａを用いて各基準画像のマハラノビス距離Ｄ２を求め、このマハラノビス距離の分布から、マハラノビス距離の閾値ＳＨを設定する。図１９は、各再現画像の主観評価とマハラノビス距離とを示し、画像番号１〜３５のデータが基準空間を生成する。ここでは、マハラノビス距離の閾値を画像番号１〜３５における限界値「３．２０００」に設定する。画像番号３６〜１００の再現画像は、判定対象となる画像であり、これらについても物性値から逆行列Ａを用いてマハラノビス距離を求め、これが閾値を越えるか否かにより画像の良否を判定する。
【００３７】
図２０は、１００枚の再現画像についてマハラノビス距離と主観評価点との相関を示すグラフである。図中の破線が閾値ＳＨを示し、黒塗りの四角（■）は基準再現画像のデータ、白抜きの四角（□）は測定対象となる再現画像のデータを示す。
【００３８】
画像番号３６〜１００の中でマハラノビス距離が閾値ＳＨ（＝３．２０００）より小さくなるのは、画像番号４８，５３，７６の３枚のみである。すなわち、これらの３枚の再現画像については、画質良好と判定され、他の６２枚の再現画像については、画質が不良と判定される。
【００３９】
このように、上記の画質判定方法によれば、複数の色の再現性、エッジの先鋭度、ノイズ等を含めて多変量をマハラノビス距離という１つの数値により簡単に評価、判定することができる。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、機器による客観的な測定データに基づいて、主観的評価にも一致した判定基準で再現画像の画質の良否の判定が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画質判定装置のハードウェア構成を示したブロック図である。
【図２】実施形態に係る画質判定装置の全体的な動作手順を示したフローチャートある。
【図３】実施形態に係る画質判定装置において実行される基準空間生成処理のフローチャートである。
【図４】実施形態に係る画質判定装置において実行される相関処理のフローチャートである。
【図５】実施形態に係る画質判定装置において実行される判定処理のフローチャートである。
【図６】図７〜図１８の配列を示すマップである。
【図７】実施形態に係る画質判定装置に利用される１００枚の再現画像の物性値と主観評価とを示す表の一部（１／６）である。
【図８】実施形態に係る画質判定装置に利用される１００枚の再現画像の物性値と主観評価とを示す表の一部（２／６）である。
【図９】実施形態に係る画質判定装置に利用される１００枚の再現画像の物性値と主観評価とを示す表の一部（３／６）である。
【図１０】実施形態に係る画質判定装置に利用される１００枚の再現画像の物性値と主観評価とを示す表の一部（４／６）である。
【図１１】実施形態に係る画質判定装置に利用される１００枚の再現画像の物性値と主観評価とを示す表の一部（５／６）である。
【図１２】実施形態に係る画質判定装置に利用される１００枚の再現画像の物性値と主観評価とを示す表の一部（６／６）である。
【図１３】実施形態に係る画質判定装置において規格化された基準画像のデータを示す表の一部（１／２）である。
【図１４】実施形態に係る画質判定装置において規格化された基準画像のデータを示す表の一部（２／２）である。
【図１５】実施形態に係る画質判定装置において求められた相関係数行列を示す表の一部（１／２）である。
【図１６】実施形態に係る画質判定装置において求められた相関係数行列を示す表の一部（２／２）である。
【図１７】実施形態に係る画質判定装置において求められた逆行列を示す表の一部（１／２）である。
【図１８】実施形態に係る画質判定装置において求められた逆行列を示す表の一部（２／２）である。
【図１９】実施形態に係る画質判定装置において求められた１００枚の再現画像の主観評価とマハラノビス距離との相間を示す表である。
【図２０】図１９の数値を視覚化したグラフである。
【符号の説明】
１０  画質判定装置
１１  ディスプレイ
１２  入力装置
１３  プリンタ
１４  コンピュータ
２１  ＣＰＵ
２２  メモリ
２４  ハードディスク
２５  ディスプレイ制御回路
２６、２７  インターフェース回路
２９  バス
【図１】
2004295691.tif 000006
【図２】
2004295691.tif 000007
【図３】
2004295691.tif 000008
【図４】
2004295691.tif 000009
【図５】
2004295691.tif 000010
【図６】
2004295691.tif 000011
【図７】
2004295691.tif 000012
【図８】
2004295691.tif 000013
【図９】
2004295691.tif 000014
【図１０】
2004295691.tif 000015
【図１１】
2004295691.tif 000016
【図１２】
2004295691.tif 000017
【図１３】
2004295691.tif 000018
【図１４】
2004295691.tif 000019
【図１５】
2004295691.tif 000020
【図１６】
2004295691.tif 000021
【図１７】
2004295691.tif 000022
【図１８】
2004295691.tif 000023
【図１９】
2004295691.tif 000024
【図２０】
2004295691.tif 000025