(57)【要約】【課題】様々な視覚特性上を有する視聴者に対する、一般視聴者が映像から受け取る情報と比べた際の情報損失を低減する。【解決手段】構造分析処理部１０は、複数の異なる視覚特性モデルに基づいて入力映像に対して並列的な構造分析を行い、該構造分析の結果として、複数の異なる視覚特性モデルに対応する顕著性マップｓＡ、ｓＢ１、ｓＢ２、…を算出する。比較演算部２０は、複数の異なる視覚特性モデルの各々に対する顕著性マップｓＡ、ｓＢ１、ｓＢ２、…を比較し、該比較結果を情報損失マップＬとして出力する。統合演算部２１は、情報損失マップを統合して、単一、または複数の情報損失指標ｖＬを算出する。比較部２２は、上記情報損失指標ｖＬを基準情報損失指標ｖＬ＃と比較し、該比較結果を診断結果として出力する。【選択図】図１
2013145514.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる視覚特性モデルに基づいて入力映像に対して並列的な構造分析処理を行い、前記構造分析処理の結果として、前記複数の異なる視覚特性モデルに対応する顕著性マップを算出する構造分析処理部と、
前記構造分析処理部により算出された、前記複数の異なる視覚特性モデルの各々に対する前記顕著性マップを比較し、比較結果を情報損失マップとして出力する比較演算部と、
前記比較演算部からの前記情報損失マップを統合して、単一または複数の情報損失指標を算出する統合演算部と、
前記統合演算部により算出された情報損失指標を基準情報損失指標と比較し、該比較結果を診断結果として出力する比較部と
を備えることを特徴とする映像処理装置。
【請求項２】
前記比較部による診断結果に基づいて前記入力映像を修正する修正部、をさらに備えることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記構造分析処理部は、対象とする視聴者の視覚特性データに基づいて、水晶体分光透過特性モデル、光受容体分布モデル、反対色応答モデル、顕著性計算モデルを用いて、入力映像内の顕著領域分布をシミュレートすることで、前記顕著性マップを算出する、
ことを特徴とする請求項１または２のいずれか一項に記載の映像処理装置。
【請求項４】
前記修正部は、前記情報損失指標の値を最小化するように前記入力映像に対して修正を施す、
ことを特徴とする請求項２に記載の映像処理装置。
【請求項５】
コンピュータに、
複数の異なる視覚特性モデルに基づいて入力映像に対して並列的な構造分析を行い、該構造分析の結果として、前記複数の異なる視覚特性モデルに対応する顕著性マップを算出する構造分析処理ステップと、
前記複数の異なる視覚特性モデルの各々に対する前記顕著性マップを比較し、比較結果を情報損失マップとして出力する比較演算ステップと、
前記情報損失マップを統合して、単一、または複数の情報損失指標を算出する統合演算ステップと、
前記算出された情報損失指標を基準情報損失指標と比較し、該比較結果を診断結果として出力する比較ステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置およびそのプログラムに関する。特に、異なる視覚特性を持った視聴者間におけるユニバーサルデザインを支援する映像処理装置およびそのプログラムに関する。
【背景技術】
【０００２】
映像や図案などの視覚情報を作成する際、一般視聴者だけでなく、特有の視覚特性を有する視聴者（色弱者、白内障者、弱視者など）に対しても同等の情報が伝わるような配慮が求められている。特に、生活に関する情報や災害情報など、視聴者の暮らしや生命に関わる重要な情報については、意図した情報が確実に伝わるよう、細心の注意を払う必要がある。
【０００３】
そのためには、様々な視聴者の視覚特性を考慮して、どのような映像が知覚されるかを予測し、視聴者間で受け取る情報的価値が極端に異ならないように、映像を作成、あるいは修正する手段が必要となる。
【０００４】
「色弱」の場合、網膜における錐体細胞の分布が一般視聴者のそれと異なっている。例えば、１型、２型、３型の２色覚では、それぞれＬ錐体、Ｍ錐体、Ｓ錐体が存在しないか、数が少ないために、知覚としては、赤と緑、あるいは青と黄などの区別や、暗い背景の中の特定の色の認識が困難になる。
【０００５】
「白内障」は、水晶体を構成する蛋白質の変性により、水晶体内に黄白色の濁りを生じる現象である。水晶体内での光の散乱の他、網膜上に届く光が短波長成分を中心として減衰されるため、知覚としては、黒と青、白と黄の差が区別しにくくなる等の特徴がある。
【０００６】
「弱視」には、いくつかの種類があり、斜視や屈折異常などによる網膜上のデフォーカスや、遺伝的または環境的要因による視細胞の発達異常からくるコントラスト感度低下などが挙げられる。
【０００７】
上述した様々な視覚特性に関して、これまでの医学的・心理学的研究等により、具体的にどのような色の組み合わせや視覚パターンが認識上問題となるかが調べられ、膨大なデータが蓄積されている。また、それらのデータに基づき、各種の視覚特性を持つ視聴者の知覚を疑似的に体験するシミュレーションツールもいくつか考案されている。映像作成者は、これらの知見やシミュレーションツールの出力等に基づいて、多様な視聴者が知覚する映像を予測し、情報が適切に伝わるような色の組み合わせや視覚パターンを選択することが求められている。
【０００８】
これまでにも、映像のユニバーサルデザインを支援するためのシステムが複数提案されてきた。例えば、色覚に関しては、心理物理学的に計測されたモデルを用いて、２色覚者が知覚する色空間をシミュレートするものがある（例えば非特許文献１参照）。
【０００９】
また、２色覚者にとって見やすい図案を自動的に作成するために、シミュレートされた２色覚者色空間において、近接する領域の色座標同士の距離を広げるような色変換を施す方法などが提案されている（例えば特許文献１、２参照）。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】Vienot F, Brettel H, Mollon JD. Digital video colourmaps for checking the legibility of displays by dichromats. Color Research & Application. 1999; 24(4): 243-252.
【特許文献】
【００１１】
【特許文献１】特許第４７２４８８７号公報
【特許文献２】特開２００８−１２９１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述した非特許文献１に記載された技術では、心理物理学的にモデルを用いて、２色覚者が知覚する色空間をシミュレートすることができる。しかながら、実際にこれを映像制作等のユニバーサルデザインに活かす際には、シミュレーション結果の解釈については、多くの部分を主観的判断に頼らざるを得ないという問題がある。すなわち、シミュレーション結果の画像を見て、元の画像中のどこをどのように修正すれば良いかを客観的に判断するのは非常に難しく、結局はシミュレーションで用いられているアルゴリズムや視覚特性のパラメータ等に関する高度な専門的知識が求められる。そのため、専門知識を持たない映像作成者にとって、ユニバーサルデザインに配慮した映像を作成することは困難であった。
【００１３】
また、特許文献１に記載された発明は、上記問題に対応するために、２色覚者にとって見やすい図案を自動的に作成する方法を提案している。これは、シミュレートされた２色覚者色空間において、図案中の背景と文字などを弁別しやすくなるように、色座標同士の距離を広げるような色変換を施すものである。しかしながら、色座標同士の距離を評価基準とする方法には、妥当な距離基準の設定が困難であるという点で問題がある。なぜならば、２色覚者の色認知空間の構造については議論があり、当該手法で提案されているような、色空間内での「縮退面」への投影によって、一般視聴者と２色覚者との間で色知覚上の距離が保存されるということは実証されていないからである。
【００１４】
また、特許文献１に記載された手法では、テクスチャなど、色以外の次元で表現される情報を考慮することができない。さらに、この手法では、主な適用対象としてＨＴＭＬ文書等、構造化された視覚情報を想定しており、画像や図案等のより一般的な視覚情報については「ベイズ推定に基づくベイジアンネットワークなどを用いることによって、分割された領域の視覚的特徴や属性を推定することができる」との記載にとどまり、具体的な図地の判別方法などは明記されていない。現実的な設定においては、写真等の多階調の画像において、背景と物体を分離する作業自体が難易度の高い課題となる。
【００１５】
また、特許文献２では、色弱者も考慮しつつ視聴者の視覚モデルを随時計測し、照明環境等に合わせた最適な画像表示を行う方法が提案されている。しかしながら、これは色弱者と一般視聴者との見え方の違いを低減するようなユニバーサルデザインを目的としたものではなく、むしろ単一の視聴者内で変換前後の画像の見え方の違いを抑えるようなシステムとなっている。ユニバーサルデザインを目的とした場合、これとは異なり、「変換後」の視覚情報において「複数の視聴者間で」見え方の違いを抑えることが必要となるため、異なる原理に基づいたシステムが必要となる。
【００１６】
また、上述したいずれの従来手法においても、２種類以上の色弱タイプに対して、すべての視聴者に見やすい映像を制作することは想定されていない。さらに、根本的な問題として、これらの従来手法は、２色覚の色弱に特化したものであり、白内障や弱視といった色弱以外の視覚特性に対しては適用できない。
【００１７】
こうした理由から、上述した従来技術では、一般的な画像や図案を含む非構造的な視覚情報について、色弱、白内障、弱視といった様々な視覚特性上のマイノリティに属する視聴者を含む、広範な視覚特性をもつ視聴者を対象としたユニバーサルデザインを実現することは困難であるという問題があった。
【００１８】
本発明は、このような事情を考慮してなされたものであり、様々な特殊な視覚特性を有する視聴者に対して、一般視聴者が映像から受け取る情報と比べた際の情報損失を低減することができる映像処理装置およびそのプログラムを提供しようとするものである。
【課題を解決するための手段】
【００１９】
［１］上述した課題を解決するために、本発明の一態様は、複数の異なる視覚特性モデルに基づいて入力映像に対して並列的な構造分析を行い、該構造分析の結果として、前記複数の異なる視覚特性モデルに対応する顕著性マップを算出する構造分析処理部と、前記構造分析処理部により算出された、前記複数の異なる視覚特性モデルの各々に対する前記顕著性マップを比較し、該比較結果を情報損失マップとして出力する比較演算部と、前記比較演算部からの前記情報損失マップを統合して、単一、または複数の情報損失指標を算出する統合演算部と、前記統合演算部により算出された情報損失指標を基準情報損失指標と比較し、該比較結果を診断結果として出力する比較部とを備えることを特徴とする映像処理装置である。
【００２０】
［２］また、本発明の一態様は、上記態様において、前記比較部による診断結果に基づいて前記入力映像を修正する修正部を更に備えることを特徴とする。
【００２１】
［３］また、本発明の一態様は、上記態様において、前記構造分析処理部は、対象とする視聴者の視覚特性データに基づいて、水晶体分光透過特性モデル、光受容体分布モデル、反対色応答モデル、顕著性計算モデルを用いて、入力映像内の顕著領域分布をシミュレートすることで、前記顕著性マップを算出することを特徴とする。
【００２２】
［４］また、本発明の一態様は、前記修正部は、前記情報損失指標の値を最小化するように前記入力映像に対して修正を施すことを特徴とする。
【００２３】
［５］また、本発明の一態様は、コンピュータに、複数の異なる視覚特性モデルに基づいて入力映像に対して並列的な構造分析を行い、該構造分析の結果として、前記複数の異なる視覚特性モデルに対応する顕著性マップを算出する構造分析処理ステップと、前記複数の異なる視覚特性モデルの各々に対する前記顕著性マップを比較し、該比較結果を情報損失マップとして出力する比較演算ステップと、前記情報損失マップを統合して、単一、または複数の情報損失指標を算出する統合演算ステップと、前記算出された情報損失指標を基準情報損失指標と比較し、該比較結果を診断結果として出力する比較ステップとを実行させるプログラムである。
【発明の効果】
【００２４】
この発明によれば、様々な視覚特性上のマイノリティに属する視聴者に対する、一般視聴者が映像から受け取る情報と比べた際の情報損失を低減することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１実施形態による映像処理装置の構成を示すブロック図である。
【図２】第１実施形態による構造分析処理部における視聴者モデルＸ（Ｘ＝Ａ、Ｂ１、Ｂ２、…）の構成を示すブロック図、及び顕著性モデルでの処理の流れを示す概念図である。
【図３】本発明の第２実施形態による映像処理装置の構成を示すブロック図である。
【図４】本発明の第１および第２実施形態において生成される情報損失マップの計算例について説明する概念図である。
【図５】本発明の第１および第２実施形態において生成される情報損失指標の計算例について説明する概念図である。
【図６】本発明の第１実施形態による映像処理装置を適用した第１の実施例について説明する概念図である。
【発明を実施するための形態】
【００２６】
本発明の実施形態では、画像処理技術を用いて、番組映像が色弱者にどのように見えるかをシミュレートし、一般視聴者の見る映像に比べた視認性低下の度合いを評価するアルゴリズムおよびソフトウェアを提供する。特に、一般の視聴者が映像中で注目する箇所の情報損失に焦点を当てることで、視聴者に情報を伝えるという目的に即した評価および修正を行うことができる。
【００２７】
以降、次のような表記を用いる。「視聴者Ａ」は、一般的な視覚特性を持つ視聴者を表わす。また、「視聴者Ｂ」は、視覚特性上のマイノリティに属する視聴者（色弱者、白内障者、弱視者などを含む）を表わす。
【００２８】
視覚特性上のマイノリティに属する視聴者として、複数の異なる種類（例えば、色弱者と白内障者など）を対象とする場合には、それらを区別するために、それぞれ「視聴者Ｂ１」、「視聴者Ｂ２」、…などと置き換えて表わす。また、以下で各視聴者に共通する処理を説明する場合、抽象的に「視聴者Ｘ」（Ｘ＝Ａ、Ｂ１、Ｂ２、…）と表わす。
【００２９】
本発明の実施形態による映像処理装置では、次のような原理に基づき、画像評価および画像修整の処理を行うように構成される。視覚情報のユニバーサルデザインを実現するにあたり、満たすべき２つの要請がある。
【００３０】
第１の要請としては、異なる視覚特性を持つ視聴者間において、見え方の違いを統一的な尺度で評価する必要がある。その際、単純な色座標間距離などの尺度は、前述したような理由から適当ではない。
【００３１】
また、第２の要請として、写真などの一般的に非構造的なデータとして与えられる視覚情報については、領域分割などの構造分析処理をシステムに組み込む必要がある。その際、構造分析の結果は、視認性評価における処理の結果と矛盾しないものである必要がある。これらの要請に対し、従来提案されてきた手法のように、構造分析と視認性評価とを異なるステップで処理する方針をとった場合、多くの制約条件を伴う複雑な問題を解決しなければならない。
【００３２】
そこで、本発明の実施形態においては、視覚情報の構造分析の結果自体を視認性評価に利用できることに着目し、構造分析と視認性評価とを一体化させた処理を行う。すなわち、構造分析の段階で、異なる視覚特性モデルを複数併用することにより、各種の視聴者モデルにおける知覚処理をシミュレートする。その際、構造分析において、視覚情報の中で顕著性が高い部分を抽出する処理を行うことにより、その結果を視認性評価として用いることができる。
【００３３】
本発明の実施形態による映像処理装置は、次のような入出力を伴うアルゴリズムに基づいて計算を行う。入力は、映像（静止画または動画）である。出力は、（ｉ）視聴者Ａに比べ、視聴者Ｂにとって映像中のどの部分で大きく見やすさが低下しているかを示すマップ（情報損失マップＬ）、および／または、（ｉｉ）映像全体の見やすさ低下を示す評価値（情報損失指標ｖＬ）である。
【００３４】
本発明の実施形態では、上記情報損失マップＬ、および情報損指標ｖＬを計算するために、視覚処理の分野で提案されている「顕著性マップ」の概念を拡張した処理を行う。
【００３５】
顕著性マップは、画像中で視聴者の注意が向けられやすい領域を自動的に抽出する手段として有効な方法であり、注視点の分布とよく相関することが実証されている（参考文献「Itti L, Koch C. “A model of saliency-based visual attention for rapid scene analysis.” IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998; 20(11): 1254-1259」を参照）。但し、従来提案されている顕著性マップの計算は、一般的な視聴者の視覚特性を想定したものであり、色弱や白内障等を含む視聴者の光受容体分布特性や水晶体分光透過特性などを反映した計算を行うようには設計されていなかった。
【００３６】
そこで、本発明の実施形態では、従来提案されてきた顕著性マップの計算方法を拡張し、生理学的により忠実なモデルを構成する。具体的には、水晶体分光特性、光受容体分布特性、時空間周波数分解特性などをデータに基づいて設定し、視覚特性上のマイノリティに属する視聴者の知覚についても妥当な結果が得られる処理を行う。
【００３７】
以下、図面を参照しながら、本発明の実施形態の詳細について説明する。
【００３８】
［第１実施形態］
まず、本発明の第１実施形態＜映像評価システム＞について説明する。
図１は、本発明の第１実施形態による映像処理装置の構成を示すブロック図である。同図において、映像処理装置１は、構造分析処理部１０と、比較演算部２０と、統合演算部２１と、比較部２２とを含んで構成される。
【００３９】
構造分析処理部１０は、入力映像Ｉに対して、複数の異なる視覚特性モデルＡ、Ｂ１、Ｂ２、…に対応する視聴者モデル部１１、１２、１３、…で並列的な構造分析を行い、該構造分析の結果として、視覚特性モデルＡ、Ｂ１、Ｂ２、…に対応する顕著性マップｓＡ、ｓＢ１、ｓＢ２、…を出力する。顕著性マップｓＡ、ｓＢ１、ｓＢ２、…は、各々、対応する視聴者が、画像中で注目しやすい部分を示す映像を表わす。なお、視覚特性モデルＡ、Ｂ１、Ｂ２、…については、上述したように、視覚特性モデルＡが３色覚者（健常者）を示し、視覚特性モデルＢ１、Ｂ２は、例えば２色覚者（色弱者）などを示す。
【００４０】
比較演算部２０は、構造分析処理部１０により算出された、複数の異なる視覚特性モデルの各々に対する顕著性マップを比較し、その比較結果を情報損失マップとして出力する。より具体的には、比較演算部２０は、構造分析の結果である顕著性マップｓＡ、ｓＢ１、ｓＢ２、…を比較し、該比較結果に基づいて、情報損失マップＬを映像出力する。なお、このとき、視聴者モデルＢ１、Ｂ２、…に対しては、重みづけＷｋを用いた重みづき加算（ΣｋＷｋｓＢｋ）を行う。統合演算部２１は、情報損失マップＬを統合して単一、または複数の情報損失指標ｖＬを算出する。比較部２２は、情報損失指標ｖＬを基準情報損失指標ｖＬ＃と比較し、該比較結果を診断結果として出力する。
【００４１】
図２は、本第１実施形態による構造分析処理部１０における視聴者モデルＸ（Ｘ＝Ａ、Ｂ１、Ｂ２、…）の構成を示すブロック図、および顕著性モデル部１０３での処理の流れを示す概略図である。同図において、構造分析処理部１０は、対象とする視聴者の視覚特性データに基づき、水晶体分光透過特性モデルΛＸ、光受容体分布モデルΦＸ、反対色応答モデルΩＸ、及び顕著性計算モデルＳＸを通して入力映像Ｉ内の顕著領域分布をシミュレートするように構成されている。
【００４２】
より具体的には、構造分析処理部１０は、上記水晶体分光透過特性モデルΛＸに相当する水晶体モデル部（ΛＸ）１００と、上記光受容体分布モデルΦＸに相当する光受容体モデル部（ΦＸ）１０１と、上記反対色応答モデルΩＸに相当する低次応答モデル部（ΩＸ）１０２と、上記顕著性計算モデルＳＸに相当する顕著性モデル部（ＳＸ）１０３とを用いて、入力映像Ｉ内の顕著領域分布をシミュレートすることで、顕著性マップｓＸを算出する。
【００４３】
水晶体モデル部（ΛＸ）１００は、入力映像Ｉに対して水晶体をシミュレートして網膜入力を出力する。光受容体モデル部（ΦＸ）１０１は、網膜入力に対して光受容体をシミュレートして光受容出力を出力する。低次応答モデル部（ΩＸ）１０２は、光受容出力に対して低次応答をシミュレートして低次応答を出力する。顕著性モデル部（ＳＸ）１０３は、低次応答に対して顕著性をシミュレートし、顕著性マップｓＸを出力する。なお、図２の下部に示す、顕著性モデル部（ＳＸ）１０３での処理については後述する。
【００４４】
次に、本第１実施形態の動作について説明する。映像処理装置１は、以下の３段階の処理を行う。以下の各処理は、パラメータ設定を除いて各視聴者Ｘ（Ｘ＝Ａ、Ｂ１、Ｂ２、…）に共通である。
【００４５】
第１段階では、構造分析処理部１０により、入力映像Ｉから、視聴者Ｘの水晶体モデル部（ΛＸ）１００、光受容体モデル部（ΦＸ）１０１、低次応答モデル部（ΩＸ）１０２を用いて、視聴者Ｘの模擬的な低次応答ｃＸを計算する。
第２段階では、構造分析処理部１０により、上記低次応答ｃＸから、視聴者Ｘにとって画像中で注目しやすい部分を示す映像（顕著性マップ）ｓＸを計算する。
第３段階では、比較演算部２０により、各視聴者の顕著性マップｓＡ、ｓＢ１、ｓＢ２、…を比較し、顕著性マップｓＡに対する顕著性マップｓＢｋ（ｋ＝１、２、…）の顕著性低下量を情報損失マップＬとして出力し、統合演算部２１により、情報損失マップＬを統合して、映像全体の情報損失指標ｖＬを出力する。
以下においては、上記３段階の各処理について、図１および図２を参照して詳細に説明する。
【００４６】
（第１段階）
構造分析処理部１０は、入力映像Ｉから、視聴者Ｘの水晶体分光透過特性モデル部（ΛＸ）１００、光受容体モデル部（ΦＸ）１０１、低次応答モデル部（ΩＸ）１０２を用いて、視聴者Ｘの模擬的な低次応答ｃＸを計算する。入力映像のフレームｔ、画素ｒ、波長λにおける強度をＩ（λ，ｒ，ｔ）とすると、フレームｔ、画素ｒにおける低次応答をｃＸ（ｒ，ｔ）は、下の式（１）のように計算される。
【００４７】
【数１】
2013145514.tif 000003
【００４８】
但し、上記の式（１）において、ΛＸ（λ）は、波長λにおける水晶体分光透過強度を表す。また、ΦＸ（λ）＝（ΦＸＬ（λ），ΦＸＭ（λ），ΦＸＳ（λ））は、各光受容体（Ｌ錐体、Ｍ錐体、Ｓ錐体）の分光吸収感度と細胞体分布強度との積を要素に持つベクトルである。したがって、上記の式（１）の右辺の積分の計算結果は、下の式（２）に示すように、フレームｔ、画素ｒにおける光受容体応答を表すベクトル（Ｌ（ｒ，ｔ），Ｍ（ｒ，ｔ），Ｓ（ｒ，ｔ））として表せる。
【００４９】
【数２】
2013145514.tif 000004
【００５０】
また、この積分計算は、３原色ディスプレイなど、分光特性が既知の有限の光源の組み合わせにより入力映像が与えられる場合には、下の式（３）のように行列演算の形に簡略化することもできる。
【００５１】
【数３】
2013145514.tif 000005
【００５２】
ΛＸ、ΦＸに用いるパラメータは、視聴者の視覚特性に対応して定められる。例えば、白内障の場合、水晶体において短波長側の分光透過率が低下するため、積分計算において小さなλに対するΦＸ（λ）の値を小さくしたり、行列計算においてΛＸＢの値を小さくしたりすることで表現できる。また、Ｐ型強度の色弱の場合には、Ｌ錐体が無いため、積分計算におけるΦＸＬ（λ）や行列計算におけるΦＸＬ，Ｒ、ΦＸＬ，Ｇ、ΦＸＬ，Ｂの値をそれぞれ０にすることで表現できる。
【００５３】
また、ΩＸは、光受容体応答から低次神経系における色表現ｃＸを求めるための関数であり、代表的な色表現として「輝度、赤−緑、青−黄」の３変数による反対色表現がある。具体的な変換式として、いくつかの方法が提案されており、適切なものを選択して用いることができる。例えば、ＤＫＬ色空間による表現は、神経系における外側膝状体の細胞応答をよく説明するモデルとして知られ、図２に示す輝度ｌ、赤−緑ｒｇ、青−黄ｂｙの値は、下の式（４）のように行列演算を用いて計算される。
【００５４】
【数４】
2013145514.tif 000006
【００５５】
但し、上記の式（４）において、Ｌ０、Ｍ０、Ｓ０は、背景色に対するＬ錐体、Ｍ錐体、Ｓ錐体の応答を表す。
【００５６】
（第２段階）
構造分析処理部１０は、顕著性モデル部（ＳＸ）１０３において、上記低次応答ｃＸから、視聴者Ｘにとって画像中で注目しやすい部分を示す映像（顕著性マップ）ｓＸを計算する（図２を参照）。まず、輝度モダリティのみ抽出した映像（マップ）ｌを、様々な時空間周波数に中心を持つバンドパスフィルタにかけることで、周波数マップ群ｏを生成する。こうして得られた各モダリティの輝度マップｌ、周波数マップｏ、赤緑マップｒｇ、青黄マップｂｙを、特徴モデル部（ＦＸ）２００、規格化モデル部（ＮＸ）２０１により並列的に処理した後、統合モデル部（ＵＸ）２０２により、顕著性マップｓＸとして、１つの映像に統合する。以下の数式では、各モダリティに共通の処理を説明する際にマップを、記号ｍを用いて表す。
【００５７】
特徴モデル部（ＦＸ）２００は、マップ中の時空間的な文脈と対比することで、マップの各点を特徴づけるマップ（特徴マップ）を計算する。すなわち、マップ中のある点の近傍における値の分布が、より広い周辺領域における値の分布からどの程度異なっているかを、特徴量として求める。具体的な計算方法の中で最も単純なモデルとして、周辺と近傍の分布平均の差を計算する方法がある。これは、次式（５）に示すように、異なる幅を持つ２つのガウシアンフィルタの差分関数（ＤｏＧ，Difference of Gaussian）を畳み込むことで計算できる。
【００５８】
【数５】
2013145514.tif 000007
【００５９】
ＤｏＧに用いられるガウシアンフィルタの幅の組み合わせを様々に変えることで、各モダリティにおいて複数のマップが生成される。
【００６０】
規格化モデル部（ＮＸ）２０１は、下の式（６）に示すように、特徴マップ全体の値の分布に基づいて、各点の値を規格化する。
【００６１】
【数６】
2013145514.tif 000008
【００６２】
但し、ｚ（ｍ’）は、規格化定数であり、例えば、特徴マップ全体の平均や最大値などを用いることができる。
【００６３】
統合モデル部（ＵＸ）２０２は、下の式（７）に示すように、上記特徴モデル部（ＦＸ）２００および規格化モデル部（ＮＸ）２０１の処理により生成された複数のマップを適当な重みづけにより足し合わせる。
【００６４】
【数７】
2013145514.tif 000009
【００６５】
但し、式（７）において、表記「｛  ｝」はマップの集合を表し、｛ｍｉ＊｝＝｛｛ｌ＊｝，｛ｏ＊｝，｛ｒｇ＊｝，｛ｂｙ＊｝｝である。例えば、デフォーカスによる弱視の場合、特徴モデル部（ＦＸ）２００の処理において高空間周波数領域に中心を持つフィルタで処理されたマップの重みＵｘ，ｉを小さくすることで視覚特性による影響を表現できる。
【００６６】
（第３段階）
比較演算部２０は、各視聴者の顕著性マップｓＡ、ｓＢ１、ｓＢ２、…を比較し、下の式（８）に示すように、顕著性マップｓＡに対するｓＢｋ（ｋ＝１、２、…）の顕著性低下量を１つの映像（情報損失マップ）Ｌとして出力する。
【００６７】
【数８】
2013145514.tif 000010
【００６８】
ここで、ｆは任意の関数である。例えば、単純に顕著性マップの値の差分を考える場合は、ｆとして線形な関数を用いればよい。また、顕著性マップ値が小さい範囲での差異に興味がある場合などには、ｆとして対数関数など非線形の関数を用いることができる。
【００６９】
次に、統合演算部２１は、情報損失マップＬの値を映像全体に渡って統合することで映像全体の評価値を計算し、これを情報損失指標ｖＬとして出力する。統合の計算には、情報損失マップの平均値を用いるものや最大値を用いるものなど、いくつかの方法が可能であり、複数の指標を併用してもよい。
【００７０】
比較部２２は、情報損失指標ｖＬを基準となる情報損失指標値ｖＬ＃と比較し、ｖＬ＞ｖＬ＃となる場合には、診断結果として、情報損失が許容できない範囲であることを警告する。
【００７１】
［第２実施形態］
次に、本発明の第２実施形態＜映像修正システム＞について説明する。
図３は、本第２実施形態による映像処理装置１の構成を示すブロック図である。なお、第１の実施形態で説明した図１に対応する部分には同一の符号を付けて説明を省略する。図３において、修正部２３は、統合演算部２１の出力である情報損失マップＬ、または比較部２２の出力である、情報損失指標ｖＬと基準情報損失指標ｖＬ＃との比較結果である診断結果に基づいて、入力映像Ｉを修正するとともに、修正を施した映像を出力する。より具体的には、修正部２３は、情報損失指標ｖＬの値を最小化するように、言い換えると、診断結果が許容範囲となるように、入力映像Ｉに対して修正を施す。なお、構造分析処理部１０の構成は、図２に示したもの同様であるので説明を省略する。
【００７２】
入力映像Ｉから情報損失指標ｖＬを計算する過程は、１つの関数、ｖＬ＝Ｆ（Ｉ）、として表現できる。本第２実施形態では、上記情報損失指標ｖＬを最小化することを目標として、入力映像Ｉを修正するような最適化問題を解くことに相当する修正処理を行う。これは、一般的な非線形最適化問題に帰着され、原理的に任意の最適化手法を適用できるため、目的に応じてその中から最良のものを選択すればよい。
【００７３】
例えば、時間的制約が弱い場合には、強化学習アルゴリズム、または遺伝的アルゴリズム等を用いて多数の繰り返し処理による最適化を行うことで、可能な修正案の中から最良のものを求めることができる。
【００７４】
一方、リアルタイムな映像修正など、速い処理が求められる場合には、少数回数の演算で済む処理を用いて、ある程度の精度の最適化を行うこともできる。具体例として、情報損失マップＬの値の符号を反転し、適当なフィードバック用の重みづけを用いて視聴者Ｂｋの規格化モデル部（ＮＸ）２０１の出力（図２）に加算し、さらに、図２および図３の処理を逆に辿って加算統合したものを修正された入力映像とする方法がある。この際、上記フィードバック用の重みづけとしては、図３に示す比較演算部２０における重みづけＷｋと図２に示す統合モデル部（ＵＸ）２０２における重みづけＵｋｉとを積算した値ＷｋＵｋｉを用いることができる。
【００７５】
これにより、視聴者Ａと視聴者Ｂｋとの間の顕著性マップの形状を近づけることができ、情報損失を低減させることができる。
【００７６】
図４（ａ）〜（ｃ）は、本発明の第１および第２実施形態において生成される情報損失マップの計算例について説明する概念図である。図４（ａ）には、入力画像（映像）が示されている。なお、入力画像（映像）は、実際にはカラー画像（映像）である。図４（ｂ）には、構造分析処理部１０の所定の視聴者モデル(健常者）から出力される３色覚の顕著性マップｓ１と、所定の視聴者モデル(色弱者）から出力される２色覚の顕著性マップｓ２とが示されている。色の違いは、図の横に示す縦バーで表わしており、白くなるほど目立つことを示している。図示の例では、破線Ｌ１、Ｌ２で囲んだ領域の画像に注目されたい。３色覚の顕著性マップｓ１の方が、２色覚の顕著性マップｓ２に比べて、より目立っていることが分かる。
【００７７】
図４（ｃ）には、図４（ｂ）に示す、３色覚の顕著性マップｓ１と、２色覚の顕著性マップｓ２と差分を示している。なお、実際には、青〜赤に渡るカラー画像である。色の違いは、図の横に示す縦バーで表わしている。破線Ｌ３で囲んだ領域の画像は、水色に一部黄色から赤色となっており、３色覚者(健常者）には見やすいが、２色覚者（色弱者）には見づらい部分である。
【００７８】
図５は、本発明の第１および第２実施形態において生成される情報損失指標ｖＬの計算例について説明する概念図である。同図には、様々な種類のサンプル画像に対して算出された情報損失指標ｖＬを示している。情報損失指標ｖＬの値が大きいほど見づらい（悪い）ことを示している。サンプル画像としては、左から、窓と花のある風景の画像３００、女性の顔の画像３０１、カラフルな模様を有する鳥の画像３０２、色覚検査用迷彩文字パターン（その１：赤系のドット中に緑色系の「７」）３０３、色覚検査用迷彩文字パターン（その２：緑系のドット中に赤系の「８」）３０４、色覚検査用迷彩文字パターン（その３：グレー系のドット中に赤系の「４２」）３０５、ボウルに盛られたカラフルなフルーツの画像３０６、日本列島周辺の地図（天気図）の画像３０７を用いている。視聴者モデルが同一であっても（言い換えれば、テレビの視聴者が同一であっても）、映像の種類によって、見づらさの度合いが異なることが分かる。
【００７９】
上述した第１および第２実施形態によれば、構造分析の段階で、異なる視覚特性モデルを複数併用し、各種の視聴者モデルにおける知覚処理をシミュレートし、その際、構造分析において、視覚情報の中で顕著性が高い部分を抽出する処理を行い、その結果を視認性評価として用いることにより、様々な視覚特性上のマイノリティに属する視聴者に対する、一般視聴者が映像から受け取る情報に比べた際の情報損失を低減することができる。すなわち、ユニバーサルデザインに配慮した視覚情報の提供を、より簡便に、かつ確実に行うことが可能になる。
【００８０】
＜第１の実施例＞
本発明の第１の実施例として、コンピュータグラフィクス等での図案作成時の事前チェックシステムを説明する。映像作成段階において、図案等のデザイン担当者は、多くの場合、デザインに関する専門的な技術と芸術的評価とに基づいて図案を作成する。こうしたデザイン技術や芸術的評価を損なうことなく、ユニバーサルデザインに配慮した映像を作成するためには、本発明における「映像評価システム」の結果を、映像作成時の事前チェックの用途に用いることが望ましい。
【００８１】
図６は、本発明の第１実施形態による映像処理装置を適用した第１の実施例について説明する概念図である。素材登録ＰＣ４００は、素材映像を多数記録したデータベースである。精密試写ＰＣ４０１は、素材映像の試写用のコンピュータである。素材登録ＰＣ４００と精密試写ＰＣ４０１とは、ＬＡＮ（ローカルエリアネットワーク）４０３で接続され、さらに、ネットワーク４０４（例えば、広域ネットワークであるインターネットなど）に接続されている。精密試写ＰＣ４０１からは、ＳＤＩ（Serial Digital Interface：シリアルデジタルインタフェース）４０５を介してスタジオ内へ素材映像が送出されている。
【００８２】
また、試写用モニタ４０６は、精密試写ＰＣ４０１から送出される素材映像の試写を行うためのモニタである。チェッカＰＣ４０７は、本発明における「映像評価システム」、すなわち第１実施形態による映像処理装置１が適用されたコンピュータであり、精密試写ＰＣ４０１から送出される素材映像に対する評価結果を表示する。図案等のデザイン担当者は、チェッカＰＣ４０７に表示される、素材映像に対する評価結果を確認することで、映像作成時の事前チェックなどを行う。
【００８３】
デザイン担当者は、チェッカＰＣ４０７で、評価結果に基づいて、情報損失のある箇所を判別し、それに基づいて作成した図案を手作業で修正することができる。こうすることで、デザイン担当者独自の芸術的感性やデザイン意図を損なうことなく、ユニバーサルデザインに配慮した映像を作成することができる。
【００８４】
＜第２の実施例＞
また、本発明の第２の実施例として、既存の図案や映像のチェックおよび修正システムを説明する。資料として残されている映像の中には、用いられている図案の電子データがすでに破棄されている場合や、デザイン担当者が直接それらの修正に携われない場合がほとんどである。また、膨大な資料を全て手作業でチェック・修正することが困難である場合もある。
【００８５】
そうした映像をユニバーサルデザインに叶ったものに修正する際には、本発明の「映像評価システム」およびそれに基づく自動的な「映像修正システム」を利用することができる。これにより、手作業での修正が困難な場合でも、既存の映像を多くの視聴者にとって情報伝達が行える映像に変換することができる。
【００８６】
＜第３の実施例＞
さらに、本発明の第３の実施例として、映像の受信側での自動映像修正システムを説明する。映像の中には、ユニバーサルデザインに配慮した処理がなされないまま視聴者のもとへ届けられるものもある。本発明の「映像評価システム」およびそれに基づく自動的な「映像修正システム」を受信者側の視聴環境に組み込むことで、ユニバーサルデザインに配慮した処理がなされない映像に関しても的確に変換し、情報伝達を助けることができる。
【００８７】
この場合、様々な視覚特性を持った視聴者全てに考慮した変換を行う必要はなく、受信側で実際に映像を視聴する視聴者の視覚特性のみ考慮すれば良い。これは、本発明における「映像評価システム」において、該当する視覚特性のみが出力に反映されるよう、適切な重みづけを行うことで簡単に実現できる。これにより、個々の視聴者に最適化した処理が行えるだけでなく、考慮すべき視覚特性が絞られることで、計算上の付加を軽減することもできる。
【符号の説明】
【００８８】
１  映像処理装置
１０  構造分析処理部
１１  視聴者モデルＡ
１２  視聴者モデルＢ１
１３  視聴者モデルＢ２
２０  比較演算部
２１  統合演算部
２２  比較部
２３  修正部
１００  水晶体モデル部
１０１  光受容体モデル部
１０２  低次応答モデル部
１０３  顕著性モデル部
２００  特徴モデル部
２０１  規格化モデル部
２０２  統合モデル部
４００  素材登録ＰＣ
４０１  精密試写ＰＣ
４０３  ＬＡＮ
４０４  ネットワーク
４０５  ＳＤＩ
４０６  試写用モニタ
４０７  チェッカＰＣ
【図１】
2013145514.tif 000011
【図２】
2013145514.tif 000012
【図３】
2013145514.tif 000013
【図６】
2013145514.tif 000014
【図４】
2013145514.tif 000015
【図５】
2013145514.tif 000016