(57)【要約】【課題】ユーザーが誤認識するようなエラーを適切に検出することが可能な回路装置、電子機器及びエラー検出方法。【解決手段】回路装置１００は、表示画像を取得する画像取得回路１３０と、表示画像のエラー検出を行うエラー検出回路１５０と、を含む。エラー検出回路１５０は、表示画像の画素値のヒストグラムを求め、ヒストグラムを用いた相関演算を行い、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を相関演算の結果に基づいて求め、その指標に基づいてエラー検出を行う。【選択図】図１
2020107351.tif 000002
【特許請求の範囲】
【請求項１】
表示画像を取得する画像取得回路と、
前記表示画像のエラー検出を行うエラー検出回路と、
を含み、
前記エラー検出回路は、
前記表示画像の画素値のヒストグラムを求め、前記ヒストグラムを用いた相関演算を行い、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相関演算の結果に基づいて求め、前記指標に基づいて前記エラー検出を行うことを特徴とする回路装置。
【請求項２】
請求項１において、
前記エラー検出回路は、
色空間の構成成分の各成分の前記ヒストグラムを求め、前記各成分の前記ヒストグラムに対して自己相関演算を行い、自己相関のピークが生じる距離を前記各成分について求め、求めた距離のうち最大の距離に基づいて前記指標を求めることを特徴とする回路装置。
【請求項３】
請求項１において、
前記エラー検出回路は、
前記表示画像から色空間の構成成分の各成分の第１のヒストグラムを前記ヒストグラムとして求め、前記前景画像に対応する基準画像から前記各成分の第２のヒストグラムを求め、前記各成分について前記第１のヒストグラムと前記第２のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて前記指標を求めることを特徴とする回路装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記エラー検出回路は、
前記表示画像の画素値と前記前景画像の基準となる基準画像の画素値、又は前記表示画像のエッジと前記基準画像のエッジに基づいて、前記表示画像のうち前記所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す第２の指標を求め、前記指標及び前記第２の指標に基づいて前記エラー検出を行うことを特徴とする回路装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記画像取得回路は、第１の画像に対して前記所与の領域に第２の画像を重ねて前記表示画像を生成し、
前記背景画像は、前記表示画像のうち前記第１の画像に対応する画像であることを特徴とする回路装置。
【請求項６】
表示画像を取得する画像取得回路と、
前記表示画像のエラー検出を行うエラー検出回路と、
を含み、
前記エラー検出回路は、
前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とする回路装置。
【請求項７】
請求項６において、
前記エラー検出回路は、
前記表示画像及び前記基準画像の画素数又は解像度を低下させるサブサンプリングを行い、前記サブサンプリングされた前記表示画像の画素値と前記サブサンプリングされた前記基準画像の画素値との、色空間における距離を表す距離情報を求め、前記距離情報から前記指標を求めることを特徴とする回路装置。
【請求項８】
請求項７において、
前記エラー検出回路は、
所与の閾値を前記距離情報で除算した値から前記指標を求めることを特徴とする回路装置。
【請求項９】
請求項６において、
前記エラー検出回路は、
前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値との積和演算を行い、前記積和演算の結果から前記指標を求めることを特徴とする回路装置。
【請求項１０】
請求項９において、
前記エラー検出回路は、
前記表示画像のエッジ画像のうち、背景画像に対応する領域をマスクし、前記マスクされた前記表示画像のエッジ画像を用いて、前記積和演算を行うことを特徴とする回路装置。
【請求項１１】
請求項６乃至１０のいずれかにおいて、
前記画像取得回路は、第１の画像に対して前記所与の領域に第２の画像を重ねて前記表示画像を生成することを特徴とする回路装置。
【請求項１２】
請求項１乃至１１のいずれかに記載された回路装置を含むことを特徴とする電子機器。
【請求項１３】
表示画像の画素値のヒストグラムを求め、
前記ヒストグラムを用いた相関演算を行い、
前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相関演算の結果に基づいて求め、
前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とするエラー検出方法。
【請求項１４】
表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、
前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とするエラー検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、回路装置、電子機器及びエラー検出方法等に関する。
【背景技術】
【０００２】
表示装置（例えば液晶表示装置）における表示制御では、ＣＰＵ等の処理装置が表示コントローラーに画像データと制御信号とを送信し、表示コントローラーが画像処理とタイミング信号の生成とを行い、その画像処理された画像データとタイミング信号により表示ドライバーが表示パネルを駆動する。処理装置から表示コントローラーへの画像データの送信には、例えばＬＶＤＳ（Low Voltage Differential Signal）方式やＲＧＢシリアル方式等が用いられる。このような通信において表示コントローラーが受信した画像データには、通信エラー等によるデータエラーが発生する場合がある。例えば特許文献１〜３には、表示コントローラーが処理装置から受信した画像データをＣＲＣ（Cyclic Redundancy Check）によりエラー検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−３５６７７号公報
【特許文献２】特開２００７−１０１６９１号公報
【特許文献３】特開２００７−７２３９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＣＲＣのようなビット単位のエラー検出を用いた場合、例えば画像データに含まれる１ビット分のエラーを検出可能である。しかしながら、１ビット分のエラー等の微小なエラーを画像データが含んでいたとしても、実際の表示では元の画像と大きな差がなく、ユーザーが誤認識する（元の画像と異なる画像と誤って認識する）可能性は低いと考えられる。ＣＲＣのようなビット単位のエラー検出では、このような微小なエラーも検出してしまうため、ユーザーが誤認識するようなエラーを適切に検出する目的には不向きである。例えば、表示画像にアイコン等を表示させた場合において、そのアイコン等をユーザーが正しく認識できるか否かといった判定には不向きである。
【０００５】
本発明の幾つかの態様によれば、ユーザーが誤認識するようなエラーを適切に検出することが可能な回路装置、電子機器及びエラー検出方法等を提供できる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、表示画像を取得する画像取得回路と、前記表示画像のエラー検出を行うエラー検出回路と、を含み、前記エラー検出回路は、前記表示画像の画素値のヒストグラムを求め、前記ヒストグラムを用いた相関演算を行い、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相関演算の結果に基づいて求め、前記指標に基づいて前記エラー検出を行う回路装置に関係する。
【０００７】
本発明の一態様によれば、表示画像のヒストグラムに基づく相関演算の結果により、前景画像と背景画像の非類似度合いを表す指標が求められ、その指標に基づいて表示画像のエラー検出が行われる。これにより、ユーザーが誤認識するようなエラーを適切に検出することが可能になる。即ち、前景画像が背景画像に対して非類似度合いが高い場合、その前景画像が背景画像に対して視覚的に区別されている可能性が高いので、上記のような指標を用いることで、前景画像の視認性が低い場合にエラーと判断することが可能となる。
【０００８】
また本発明の一態様では、前記エラー検出回路は、色空間の構成成分の各成分の前記ヒストグラムを求め、前記各成分の前記ヒストグラムに対して自己相関演算を行い、自己相関のピークが生じる距離を前記各成分について求め、求めた距離のうち最大の距離に基づいて前記指標を求めてもよい。
【０００９】
このようにすれば、色空間の構成成分の各成分のうち、前景画像と背景画像で最も差が大きい成分により指標を求めることができる。前景画像と背景画像で最も差が大きい成分は、視覚的にも差が大きく見えると考えられるので、その成分により指標を求めることで、前景と背景の非類似度合いを適切に評価できる。
【００１０】
また本発明の一態様では、前記エラー検出回路は、前記表示画像から色空間の構成成分の各成分の第１のヒストグラムを前記ヒストグラムとして求め、前記前景 画像に対応する基準画像から前記各成分の第２のヒストグラムを求め、前記各成分について前記第１のヒストグラムと前記第２のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて前記指標を求めてもよい。
【００１１】
基準画像のヒストグラムと同じパターンが表示画像のヒストグラムに含まれている場合、少なくとも色又は輝度のパターンにおいて基準画像に類似した画像が表示画像に含まれていることになる。この場合、相互相関演算の結果に大きなピークが発生するはずなので、そのピーク値により指標を求めることで、前景と背景の非類似度合いを適切に評価できる。
【００１２】
また本発明の一態様では、前記エラー検出回路は、前記表示画像の画素値と前記前景画像の基準となる基準画像の画素値、又は前記表示画像のエッジと前記基準画像のエッジに基づいて、前記表示画像のうち前記所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す第２の指標を求め、前記指標及び前記第２の指標に基づいて前記エラー検出を行ってもよい。
【００１３】
このようにすれば、前景画像と基準画像との間の輝度や色の非類似度合いを表す指標と、前景画像と基準画像との間の形状の一致度合いを表す第２の指標とを組み合わせることで、表示画像のエラー検出をより高精度に行うことができる。
【００１４】
また本発明の一態様では、前記画像取得回路は、第１の画像に対して前記所与の領域に第２の画像を重ねて前記表示画像を生成し、前記背景画像は、前記表示画像のうち前記第１の画像に対応する画像であってもよい。
【００１５】
このようにすれば、例えばアイコンや文字等を入力画像にオーバーレイして表示画像を生成できる。この場合、オーバーレイされた文字やアイコンが前景画像に相当し、それ以外の元の入力画像の部分が背景画像に相当する。本発明の一態様によれば、このような表示画像のエラー検出を行うことで、アイコンや文字が適切に（即ちユーザーが認識可能なように）オーバーレイされなかった場合にエラーと判定することが可能となる。
【００１６】
また本発明の他の態様は、表示画像を取得する画像取得回路と、前記表示画像のエラー検出を行うエラー検出回路と、を含み、前記エラー検出回路は、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行う回路装置に関係する。
【００１７】
本発明の他の態様によれば、前景画像と基準画像との一致度合いを表す指標が、表示画像の画素値と基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて求められ、その指標に基づいてエラー検出が行われる。これにより、ユーザーが誤認識するようなエラーを適切に検出することが可能になる。即ち、前景画像が基準画像に対して一致度合いが高い場合、その前景画像が基準画像に対して視覚的に同じ形状に見える可能性が高いので、上記のような指標を用いることで、前景画像の形状が正しく表示されていない場合にエラーと判断することが可能となる。
【００１８】
また本発明の他の態様では、前記エラー検出回路は、前記表示画像及び前記基準画像の画素数又は解像度を低下させるサブサンプリングを行い、前記サブサンプリングされた前記表示画像の画素値と前記サブサンプリングされた前記基準画像の画素値との、色空間における距離を表す距離情報を求め、前記距離情報から前記指標を求めてもよい。
【００１９】
サブサンプリングされた表示画像の画素値とサブサンプリングされた基準画像の画素値との間の色空間における距離は、形状が一致している場合には小さい（短い）はずである。このため、色空間における距離を用いることで、形状の一致度合いを適切に評価できる。また、サブサンプリングを行うことで画素値が平均化されるので、形状に影響を与えない軽微なエラーの影響を低減することができる。
【００２０】
また本発明の他の態様では、前記エラー検出回路は、所与の閾値を前記距離情報で除算した値から前記指標を求めてもよい。
【００２１】
距離情報が表す距離は、形状の一致度合いが高いほど小さくなる。このため、所与の閾値を距離情報で除算することで、形状の一致度合いが高いほど値が大きくなる指標を求めることができる。
【００２２】
また本発明の他の態様では、前記エラー検出回路は、前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値との積和演算を行い、前記積和演算の結果から前記指標を求めてもよい。
【００２３】
エッジ画像は、各画素の画素値としてエッジ量が定義された画像である。形状が一致している場合、表示画像のエッジ画像と基準画像のエッジ画像とを同じ画素で比べると、同じ（略同じ）エッジ量になっているはずである。逆に、形状が一致していない場合にはエッジの位置が表示画像と基準画像で一致しない。このため、同じ画素同士のエッジ量を積和すると、形状が一致している場合には積和の結果が大きな値になる。このようなエッジ量の積和演算を用いることで、形状の一致度合いを適切に評価できる。
【００２４】
また本発明の他の態様では、前記エラー検出回路は、前記表示画像のエッジ画像のうち、前記背景画像に対応する領域をマスクし、前記マスクされた前記表示画像のエッジ画像を用いて、前記積和演算を行ってもよい。
【００２５】
このようにすれば、背景にエッジが含まれるような場合であっても、そのエッジをマスクしてエッジ量の積和演算を行うことができる。即ち、背景のエッジに影響されることなく表示画像と基準画像のエッジの一致度合いを評価できるので、エラー検出の精度をより向上できる。
【００２６】
また本発明の他の態様では、前記画像取得回路は、第１の画像に対して前記所与の領域に第２の画像を重ねて前記表示画像を生成してもよい。
【００２７】
このようにすれば、例えばアイコンや文字等を入力画像にオーバーレイして表示画像を生成できる。この場合、オーバーレイされた文字やアイコンが前景画像に相当し、それ以外の元の入力画像の部分が背景画像に相当する。本発明の他の態様によれば、このような表示画像のエラー検出を行うことで、アイコンや文字が適切に（即ちユーザーが認識可能なように）オーバーレイされなかった場合にエラーと判定することが可能となる。
【００２８】
また本発明の更に他の態様は、上記のいずれかに記載された回路装置を含む電子機器に関係する。
【００２９】
また本発明の更に他の態様は、表示画像の画素値のヒストグラムを求め、前記ヒストグラムを用いた相関演算を行い、前記表示画像のうち所与の領域の画像である前景画像と、前記表示画像のうち前記前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を前記相関演算の結果に基づいて求め、前記指標に基づいて前記表示画像のエラー検出を行うエラー検出方法に関係する。
【００３０】
また本発明の更に他の態様は、前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行うエラー検出方法に関係する。
【図面の簡単な説明】
【００３１】
【図１】本実施形態の回路装置の構成例。
【図２】エラー検出処理の処理フローを示すフローチャート。
【図３】関心領域におけるＹＣｂＣｒの各チャンネルのヒストグラム。
【図４】ヒストグラムに自己相関演算を行って得られた自己相関値。
【図５】表示画像の第１の例。
【図６】前景がマルチトーンである場合のヒストグラムの例。
【図７】前景がマルチトーンである場合のヒストグラムの相互相関値の例。
【図８】基準画像の例。
【図９】基準画像の平均化画像。
【図１０】表示画像の第２の例。
【図１１】表示画像の第３の例。
【図１２】表示画像の第４の例。
【図１３】基準画像と表示画像（関心領域）とマスク画像の第１の例。
【図１４】第１の例の基準画像と表示画像から計算されたエッジ値の例。
【図１５】基準画像と表示画像（関心領域）とマスク画像の第２の例。
【図１６】第２の例の基準画像と表示画像から計算されたエッジ値の例。
【図１７】電子機器の構成例。
【発明を実施するための形態】
【００３２】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３３】
１．回路装置
図１は、本実施形態の回路装置の構成例である。回路装置１００は、インターフェース１１０（第１のインターフェース）、前処理回路１２０（画像処理回路）、画像取得回路１３０（オンスクリーンディスプレイ回路）、インターフェース１４０（第２のインターフェース）、エラー検出回路１５０、ＣＲＣ回路１６０、レジスター回路１７０、アイコン処理回路１８０（アイコン色拡張回路）、インターフェース１９０（第３のインターフェース）、メモリー１９５（記憶回路）を含む。回路装置１００は、例えば集積回路装置（ＩＣ）である。
【００３４】
インターフェース１１０は、例えば処理装置２００等から回路装置１００に送信される画像データを受信し、その受信した画像データを、回路装置１００の内部で用いられる形式に変換する。例えば、インターフェース１１０はＯｐｅｎＬＤＩ（Open LVDS Display Interface）であり、ＬＶＤＳ（Low Voltage Differential Signaling）で受信したシリアル信号を、ＲＧＢのパラレル信号に変換する。処理装置２００は、例えばＭＣＵ（Micro Control Unit）やＣＰＵ（Central Processing Unit）等である。
【００３５】
前処理回路１２０は、インターフェース１１０から入力される画像データに対して種々の画像処理を行う。例えば、前処理回路１２０は、ガンマ補正やＦＲＣ（Frame Rate Control）、ホワイトバランス処理等を行う。例えばＲチャンネル、Ｇチャンネル及びＢチャンネルの各々のチャンネルのための１次元ルックアップテーブルがメモリー１９５（又はレジスター回路１７０又は不図示の不揮発性メモリー）に記憶されており、そのルックアップテーブルを用いて各々のチャンネルに対してガンマ補正を行う。ＦＲＣでは、フレーム間で階調をスイッチングすることで、疑似的に中間階調を表現する処理を行う。ホワイトバランス処理では、例えばホワイトバランスを調整するための１次元ルックアップテーブルがメモリー１９５（又はレジスター回路１７０又は不図示の不揮発性メモリー）に記憶されており、そのルックアップテーブルを用いてＲＧＢチャンネルを調整する。
【００３６】
アイコン処理回路１８０は、アイコン画像の生成（又は取得）を行う。例えば、メモリー１９５にアイコンのマスク画像が記憶されており、そのマスク画像をＲＧＢ画像に変換することでアイコン画像を生成する。マスク画像は、各画素がｋビットのデータを有するｋビット画像である。ｋは１以上の整数である。２k乗個のインデックス色テーブルがメモリー１９５（又はレジスター回路１７０又は不図示の不揮発性メモリー）に記憶されており、その色テーブルに従ってｋビットのデータ（インデックス）をＲＧＢのデータに変換する。例えばｋ＝２の場合、色テーブルは、２ビットのインデックスに４色が対応付けられたルックアップテーブルである。或いはｋ＝１の場合、色テーブルは１ビットのインデックスに２色が対応付けられたルックアップテーブルであり、背景の画素を表す「０」に特定の色が対応付けられ、前景の画素を表す「１」に他の色（背景とは異なる特定の色）が対応付けられる。メモリー１９５は、例えばＳＲＡＭ等のＲＡＭである。
【００３７】
画像取得回路１３０は、前処理回路１２０から入力される画像（以下、入力画像）にアイコン画像を重ねることにより、入力画像にアイコン画像を合成し、その合成した画像を表示画像（レンダーされた画像）としてインターフェース１４０に出力する。例えば、画像取得回路１３０は、アイコン画像が完全に背景（入力画像）を隠すように（背景が見えないように）入力画像にアイコン画像を重ねる。或いは、アイコン画像と背景を所与のブレンド比でブレンド（αブレンド）してもよい。入力画像にアイコン画像を重ねる位置は、例えばレジスター回路１７０（又はメモリー１９５又は不図示の不揮発性メモリー）に設定される。
【００３８】
エラー検出回路１５０は、画像解析による表示画像のエラー検出を行う。即ち、入力画像にアイコン画像が正しく合成されたか否かを画像解析によりチェックする。エラー検出回路１５０は、表示画像の関心領域（ROI: Region Of Interest）から、その関心領域の画像が適切に表示されるかを示す指標を求め、その指標に基づいてエラー検出を行う。関心領域は、表示画像においてアイコンを含む領域である。指標は、アイコンの視認性を評価するための視認性指標と、アイコンの形状と基準（例えばマスク画像）との類似正を評価する形状指標である。これらの指標については、後述する。
【００３９】
インターフェース１４０は、表示画像を回路装置１００の外部（例えば表示パネルを駆動する表示ドライバー）に出力する。例えば、インターフェース１４０はＬＶＤＳのインターフェースであり、画像取得回路１３０からのＲＧＢのパラレル信号をＬＶＤＳのシリアル信号に変換する。インターフェース１４０は、エラー検出回路１５０によりエラーが検出された場合、表示画像の出力を停止する。或いは、エラー検出回路１５０により検出されるエラー情報（例えばエラー判定フラグ、或いは指標等）と共に表示画像を出力し、そのエラー情報を受信した表示ドライバーが、エラー情報に基づく動作（表示の停止等）を行ってもよい。
【００４０】
インターフェース１９０は、回路装置１００と処理装置２００との間で設定情報や制御情報等を通信する。例えば、インターフェース１９０は、ＳＰＩ（Serial Peripheral Interface）方式やＩ２Ｃ方式等のシリアル通信インターフェースである。処理装置２００からの設定情報や制御情報は、例えばレジスター回路１７０に書き込まれ、回路装置１００は、その設定情報や制御情報に応じた動作を行う。
【００４１】
ＣＲＣ回路１６０は、インターフェース１１０が受信した画像データに対してＣＲＣによるエラー検出を行う。即ち、処理装置２００からインターフェース１９０を介して入力されるＣＲＣ値（基準）と、インターフェース１１０が受信した画像データから計算したＣＲＣ値とを比較し、それらが一致するか否かを検出する。
【００４２】
なお、回路装置１００に含まれるロジック回路（例えば前処理回路１２０、画像取得回路１３０、エラー検出回路１５０、ＣＲＣ回路１６０、アイコン処理回路１８０等）は、例えば個々の回路として構成されてもよいし、或いは自動配置配線等により一体化された回路として構成されてもよい。また、これらのロジック回路の一部又は全部が、ＤＳＰ（Digital Signal Processor）等のプロセッサーにより実現されてもよい。この場合、各回路の機能が記述されたプログラムや命令セットがメモリーに記憶され、そのプログラムや命令セットをプロセッサーが実行することで、各回路の機能が実現される。
【００４３】
２．エラー検出処理
以下、エラー検出回路１５０が行うエラー検出処理について説明する。
【００４４】
コンテンツをディスプレイに表示する画像処理システムでは、画像の所定の領域が当初の意図と一致しているか否かを確認する必要がある場合がある。例えば、自動車用システムのクラスターディスプレイ（メーターパネルのディスプレイ）に重要な画像を表示する場合を考える。このとき、画面に表示されている既存のコンテンツに重ねられた可視画像を介して所定の重要な情報を表示する必要がある。以下では、画像が正しく表示されているか否かを検出するためのいくつかの方法を説明する。検出は、関心領域（ＲＯＩ）を解析し、その領域が正しく表示されている程度を示すいくつかの主要な指標を導き出すことによって行う。
【００４５】
以下では、基準に対して表示画像を検証する方法及び概念を用いる。これは、基準画像に対する表示画像の一致度を演算することによって達成される。以下では、表示画像における注目領域（ＲＯＩ）を考慮する場合について述べるが、（画像全体の境界にＲＯＩを設定することによって）画像全体に対して容易に拡張することができる。以下では本発明の手法（アルゴリズム）をカラー画像に適用した例について述べるが、本発明の手法はグレースケール画像又は二値画像（白黒画像）にも適用することができる。
【００４６】
図２は、エラー検出処理の処理フローを示すフローチャートである。エラー検出処理では、入力画像にアイコン画像を重ねて表示画像を取得する（Ｓ１、Ｓ２）。次に、基準画像（Ｓ３）と表示画像（Ｓ２）を比較してエラー検出処理を行い（Ｓ４）、指標を求める（Ｓ５）。なお基準画像は必ず取得されるとは限らない。例えば、視認性指標を求める際には基準画像を用いず、表示画像のみを用いて指標が計算される場合がある。
【００４７】
エラー検出処理では、表示画像を基準画像と比較することにより、表示画像（又は表示画像の一部）の妥当性を確認する。上記比較では、色ずれ、輝度変化、スケーリング又は所定の意図的な画像変換による変化はエラーとして検出せず、意図しない回転による変形や、ユーザーによる画像の認識を不可能とするクロップ又はノイズによるエラー等のその他の重要なエラーを検出する。
【００４８】
そのために、視認性指標及び形状指標という２つの指標を使用する。視認性指標は、関心領域の画像が背景に溶け込むことなく視認できる度合いを規定する数値である。なお、関心領域は画像全体を含むように規定することもできる。
【００４９】
上述したように、エラー検出処理はカラー画像に対して適用される（１つのチャンネルをグレーに使用するか、１つのチャンネルにおいて２つの値のみを二値画像に使用することによって白黒又はグレースケール画像（サブセット）に適用することもできる）。そのために、表示画像中の関心領域の画素をＲＧＢフォーマットからＹＣｂＣｒフォーマットに変換する。ただし、本発明の手法はその他の色空間（例えばＬａｂ又はＨｓｖ等）にも適用することができる。
【００５０】
２．１．視認性指標（第１の指標）を求める第１の演算手法
図３は、関心領域におけるＹＣｂＣｒの各チャンネルのヒストグラムである。また図４は、ヒストグラムに自己相関演算を行って得られた自己相関値である。
【００５１】
図３に示すように、ＹＣｂＣｒ画像の各チャンネルについて、ｎ個のビンを使用してヒストグラムを求める。例えば、２５６個のビンを使用し、異なるビンの組を有するヒストグラムを生成することができる。
【００５２】
ヒストグラムは、関心領域において特定の値が生じる回数をカウントする。即ち、ＹＣｂＣｒ画像の各チャンネルについて、各ビンが示す値を有する画素の数を関心領域内でカウントする。次に、ヒストグラムを０〜ａの間の値に正規化する。値「ａ」は、実装の容易さを考慮して選択することができる（例えば１又は２５５等）。図３では、ａ＝１である。次に、各チャンネルのヒストグラムをそれ自身と相互相関演算（自己相関演算）し、その自己相関信号をその後の解析に使用する。図４に示すように、自己相関信号を、ゼロ遅延におけるピーク値が１（又は予め設定した値）となるように正規化する。
【００５３】
自己相関値は、下式（１）により求められる。ｆ、ｇは相関演算される関数（信号。ここではヒストグラム）を表し、自己相関の場合にはｆ＝ｇである。ｆ＊ｇは、関数ｆと関数ｇの相関演算を表す。ｆ*は関数ｆの複素共役を表し、本実施形態ではｆ*＝ｆである。ｍはヒストグラムのビンの番号を表す。ｎは遅延（lag）を表し、図４ではｎは−２５５〜＋２５５の整数である。
【数１】
2020107351.tif 000003
【００５４】
なお、図３のヒストグラムでは、２５６個のビンが０〜１の間に正規化されているため、横軸が０〜１になっている。図４の相関値は、１ビンずつ遅延を変えながら相関値を求めているため、横軸が−（２５６−１）〜＋（２５６−１）になっている。
【００５５】
図４に示すように、二色の画像が関心領域に存在する場合には、自己相関演算により側波帯が得られる。上記ピークが生じる中心（ゼロ遅延）からの遅延の距離は、色間のコントラストを示す。コントラスト（輝度コントラスト及び色コントラスト）によって人間の目は画像の特徴を識別することができるため、３つのチャンネル全てのピークについてチェックする。図４では、Ｙチャンネルを点線で示し、Ｃｂチャンネルを細実線で示し、Ｃｒチャンネルを太実線で示している。チェックは、（自己相関信号のノイズを拾わないように）ピーク検索の閾値を設定することによって行う。例えば、最小ピーク閾値を０．０５に設定する。信号におけるピーク（閾値より大きいピーク値のピーク）を検索して局所最大値を求める。
【００５６】
なお、帯域内信号ピークを回避するために、連続するピーク間の最小距離を所定値に設定することもできる。これらの閾値は調節可能な値であり、用途に応じて選択する。
【００５７】
識別可能な画像が背景（二色以上）上に示されているか否かを示す第１の指標を求めるために、全てのチャンネルについて、ノイズ閾値を超える自己相関信号の全てのピークを求めた後、ピークが生じる最大距離（遅延）を求める。３つのチャンネルにおいてピークが生じる遅延のうち最大値を、視認性を示す指標として選択する。
【００５８】
図４に示す相関プロットでは、ピークを丸で示している。図示する例では、Ｃｒチャンネルが最大の分離を示しており、距離は１８４である。上記値を考えられる最大遅延に正規化する（例えば、考えられる最大遅延はヒストグラムのビンの数である２５６である）。従って、指標値は１８４／２５５＝０．７２２である。図５に示す画像では、上記指標値をＶｉｓパラメーターとして示している。上記演算は、一つの例について示している。
【００５９】
図５は、表示画像（解析画像）の第１の例である。Ａ１は関心領域であり、Ａ２はアイコンである。なお、関心領域を示す点線は、実際には表示画像には描画されていない。例えば、アイコンＡ２の内部（図５において黒色で示す部分）は赤色であり、その背景（図５において白色で示す部分）は緑色である。
【００６０】
図５の画像では、関心領域内に赤と緑の二色の画素群があるので、図３に示すヒストグラムでは、ＹＣｂＣｒの各チャンネルに２つのピーク（大小のピーク）が生じる。例えば、ＣｒチャンネルではビンＢａ、Ｂｂにピークが生じている。この２つのピークの間の距離は、前景（アイコン）の色と背景の色との間のコントラストを表しており、距離が大きいほど前景と背景の色がより異なることを意味する。ヒストグラムにおける２つのピークの間の距離は、図４に示す自己相関値においてピークが発生する遅延の距離になる。図５の画像では、前景（アイコン）が赤色で背景が緑色なので、図３に示すヒストグラムにおいてＣｒチャンネルの２つのピーク間の距離が最大距離となっており、その距離は｜Ｂａ−Ｂｂ｜×２５５である。これが、図４に示す自己相関値において、ピークが発生する最大距離として検出され、正規化した指標値は｜Ｂａ−Ｂｂ｜となる。従って、前景（アイコン）の色と背景の色との間のコントラストが大きいほど、視認性の指標値も大きくなる。
【００６１】
エラー検出回路１５０は、上記のようにして求めた視認性指標に基づいてエラー検出を行う。例えば、視認性指標と所与の閾値とを比較し、視認性指標が所与の閾値より小さい場合にエラーと判定する。或いは、視認性指標をエラー検出結果として回路装置１００の外部に出力してもよい。
【００６２】
２．２．視認性指標を求める第２〜第４の演算手法
第２の演算手法では、相互相関演算を用いて視認性指標を求める。
【００６３】
第１の演算手法では、自己相関演算を使用して関心領域内の基準の視認性についてチェックしている。この場合の基準画像は、背景画像に関する情報（色等）を含んでいない。そのため、合成画像（表示画像）のみを解析して合成画像が二色以上を含むか否かを調べている。
【００６４】
第２の演算手法では、基準画像が情報全体を含む場合（例えば、表示処理によってソース画像を変化させる場合）を想定する。この場合、基準画像のヒストグラムを解析画像（表示画像）のヒストグラムと同様な方法で作成し、自己相関演算の代わりに、基準画像と解析画像のヒストグラム信号間の相互相関演算を行うことができる。数学的には、自己相関演算は、信号自体の相互相関演算である。そのため、相関演算に対する入力信号のみを変化させて相互相関演算又は自己相関演算を行うことができる。即ち、上式（１）において基準画像のヒストグラムをｆ及びｇの一方とし、表示画像のヒストグラムをｆ及びｇの他方とする。
【００６５】
相互相関演算の場合には、中心からのピークの距離を求める代わりに、相互相関信号に所定の閾値を超えるピークが存在しているか否かを調べる。そのようなピークが存在している場合には、画素の分布を考慮する限りにおいて、基準画像と解析画像はかなり一致していることになる。これにより、解析画像に対する第１のレベルのエラー検出を行うことができる。このパラメーターは、空間的相関は示さない（画素分布相関のみ）。この場合の指標は、自己相関演算の場合の中心からのピークの距離ではなく、ピーク値自体であってもよい。
【００６６】
図６は、アイコン等の前景がマルチトーン（二色以上）である場合のヒストグラムの例である。図７は、図６のヒストグラムの相互相関値の例である。ここでは、カラー画像の１チャンネル分について説明するが、同様の処理を複数のチャンネルに対して行う。例えば、複数のチャンネルの相互相関値のピークのうち最大のピーク値を採用すればよい。
【００６７】
図６に示すように、表示画像（合成画像）と基準画像のヒストグラムには、３以上（図６では４）のピークが生じている。表示画像のヒストグラムのピークと、基準画像のヒストグラムのピークが、Ｂｎだけずれているとする。この場合、図７に示すように、相互相関値には遅延Ｂｎのところに大きなピークが現れる。このピークのピーク値が閾値Ｔｈｒより大きい場合、例えば、そのピーク値を視認性の指標値に採用する。
【００６８】
第３の演算手法では、視認性の指標値として前景と背景のコントラスト比を求める。
【００６９】
第１の演算手法では、Ｃｒチャンネルのヒストグラムにおいてピークが生じるビンＢａ、Ｂｂの差分｜Ｂａ−Ｂｂ｜を、視認性の指標値として用いている。
【００７０】
第３の演算手法では、コントラスト比｜Ｂａ−Ｂｂ｜／Ｂａ又は｜Ｂａ−Ｂｂ｜／Ｂｂを求め、それを視認性の指標値とする。或いは、第２の演算手法のような基準画像を用いる場合には、表示画像におけるＣ１＝｜Ｂａ−Ｂｂ｜と基準画像におけるＣ２＝｜Ｂａ−Ｂｂ｜を求め、コントラスト比Ｃ１／Ｃ２又はＣ２／Ｃ１を求め、それを視認性の指標値とする。
【００７１】
第４の演算手法では、多次元ヒストグラムを生成して視認性指標を求める。
【００７２】
第１の演算手法では、視認性の解析に各チャンネルのヒストグラム（１次元ヒストグラム）を使用している。
【００７３】
第４の演算手法では、複数のチャンネルの信号から多次元ヒストグラムを生成し、その多次元ヒストグラムに対して多次元相関演算（多次元自己相関演算、又は多次元相互相関演算）を行って、視認性指標を求める。これにより、人間の目によるコントラスト検出をより良好に模擬できる可能性がある。３Ｄ色ヒストグラムを使用することにより、より良好な性能が得られる場合がある。
【００７４】
以上の実施形態によれば、回路装置１００は、表示画像を取得する画像取得回路１３０と、その表示画像のエラー検出を行うエラー検出回路１５０と、を含む。そしてエラー検出回路１５０は、表示画像の画素値（ＹＣｂＣｒの各チャンネル）のヒストグラム（図３）を求め、そのヒストグラムを用いた相関演算を行う（図４）。エラー検出回路１５０は、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標（視認性指標、第１の指標）を相関演算の結果に基づいて求め、その指標に基づいてエラー検出を行う。
【００７５】
このようにすれば、ＣＲＣのようなビット単位のエラー検出ではなく、表示画像の前景画像と背景画像との間の非類似度合いを表す指標に基づいて表示画像のエラー検出を行うことができる。前景画像が背景画像に対して非類似度合いが高い場合、その前景画像が背景画像に対して視覚的に区別されている可能性が高いので、前景画像の視認性が高いと考えられる。即ち、本手法によれば、前景画像の視認性が低い場合にエラーと判断することが可能となる。例えば車載のメーターパネルなどでは、ユーザーに警告するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが１ビットエラーなどで表示が停止されずに、視認性が確保されている場合において出来るだけ表示させ、ユーザーに警告を行うことができる。
【００７６】
ここで、図１では画像取得回路１３０はＯＳＤであるが、これに限定されず、画像取得回路１３０は任意の表示画像を取得する回路であればよい。詳細は「３．変形例」で説明する。また表示画像とは、ディスプレイ（表示装置）に表示させるために生成等された画像のことである。上記の実施形態では、表示画像はＯＳＤによりレンダーされた画像であるが、これに限定されず、例えば何らかの画像処理により生成された画像、或いは通信により受信された画像、或いはメモリーから読み出された画像等であってもよい。
【００７７】
またエラー検出とは、指標に基づくエラー検出結果を出力することであり、例えば指標に基づいて表示画像にエラーが存在するか否かを判定することである。或いは、指標をエラー検出結果として出力することであってもよい。例えば、指標は、前景画像と背景画像の非類似度合いが高いほど値が大きくなる。この場合、指標が所与の値より小さい場合に表示画像がエラーを含むと判定する。
【００７８】
また前景画像は、表示画像のうち、指標により背景画像との非類似度合いを判定したい領域の画像のことである。また、その領域が所与の領域である。例えば、前景を指定するマスク画像を用意して（メモリー等に記憶させて）おき、そのマスク画像において前景を定義する画素（例えば１ビットマスクにおける「１」の画素）によって、前景画像の画素（所与の領域）を特定する。より具体的には、前景を定義するマスク画像を適用する表示画像上の位置（例えばアイコンをオーバーレイする位置）を指定し、その位置とマスク画像とから前景を特定する。
【００７９】
また背景画像は、前景画像を除く表示画像の一部又は全体のことである。即ち、表示画像の一部又は全体に関心領域（前景画像を含む領域）を設定し、その関心領域のうち前景画像を除く領域の画像が背景画像である。例えば、マスク画像において背景を定義する画素（例えば１ビットマスクにおける「０」の画素）によって、背景画像の画素を特定する。
【００８０】
また非類似度合いとは、色空間の構成成分（チャンネル）の各成分における非類似の程度のことである。例えば、ＹＣｂＣｒ空間では、前景画像の輝度と背景画像の輝度とがどの程度異なるか、又は前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。或いは、ＲＧＢ空間では、前景画像の色と背景画像の色とがどの程度異なるかを表す度合いである。
【００８１】
また本実施形態では、エラー検出回路１５０は、色空間の構成成分（チャンネル）の各成分のヒストグラムを求め（図３）、各成分のヒストグラムに対して自己相関演算を行い、自己相関のピークが生じる距離を各成分について求め（図４）、求めた距離のうち最大の距離（｜Ｂａ−Ｂｂ｜）に基づいて指標（視認性指標）を求める。
【００８２】
このようにすれば、色空間の構成成分の各成分のうち、前景画像と背景画像で最も差が大きい成分により指標を求めることができる。前景画像と背景画像で最も差が大きい成分は、視覚的にも差が大きく見えると考えられるので、その成分により指標を求めることで、前景の視認性（背景との非類似度合い）を適切に評価できる。
【００８３】
ここで、指標は最大の距離｜Ｂａ−Ｂｂ｜に基づいて求められた値であればよい。例えば第１の演算手法では、指標は最大の距離｜Ｂａ−Ｂｂ｜そのものである。また第２の演算手法では、指標は、最大の距離｜Ｂａ−Ｂｂ｜に基づくコントラスト比（｜Ｂａ−Ｂｂ｜／Ｂａ等）である。
【００８４】
また本実施形態では、エラー検出回路１５０は、表示画像から色空間の構成成分の各成分の第１のヒストグラムをヒストグラムとして求め、前景画像に対応する基準画像から各成分の第２のヒストグラムを求める（図６）。エラー検出回路１５０は、各成分について第１のヒストグラムと第２のヒストグラムの相互相関演算を行い、相互相関のピークのピーク値に基づいて指標を求める（図７）。
【００８５】
このようにすれば、基準画像が２色以上の色を含む場合（マルチトーン）であっても、前景画像と背景画像の非類似度合いを表す指標を求めることができる。即ち、基準画像のヒストグラムには２以上のピークが発生するが、このヒストグラムと同じパターンが表示画像のヒストグラムに含まれている場合、少なくとも色又は輝度のパターンにおいて基準画像に類似した画像が表示画像に含まれていることになる。この場合、相互相関演算の結果に大きなピークが発生するはずなので、そのピーク値により指標を求めることで、前景の視認性（背景との非類似度合い）を適切に評価できる。
【００８６】
ここで、基準画像は、表示画像において前景画像が正しく表示されていると仮定した場合の前景画像に対応した画像である。より具体的には、少なくともヒストグラムにおけるピークのパターンが前景画像と同じ画像である。このとき、図６のようにピーク間の相対的な位置関係が同じであればよく、パターン全体がシフトしていても構わない。
【００８７】
また本実施形態では、エラー検出回路１５０は、表示画像の画素値と前景画像の基準となる基準画像の画素値、又は表示画像のエッジと基準画像のエッジに基づいて、前景画像と基準画像との一致度合いを表す第２の指標（形状指標）を求め、指標（視認性指標）及び第２の指標（形状指標）に基づいてエラー検出を行う。
【００８８】
このようにすれば、互いに異なる性質について評価した２つの指標を組み合わせて表示画像のエラー検出を行うことができる。即ち、前景画像と基準画像との間の輝度や色の非類似度合いを表す指標と、前景画像と基準画像との間の形状の一致度合いを表す第２の指標とを組み合わせることで、表示画像のエラー検出をより高精度に行うことができる。なお、第２の指標（形状指標）の詳細は後述する。
【００８９】
また本実施形態では、画像取得回路１３０は、第１の画像に対して所与の領域に第２の画像を重ねて表示画像を生成する。背景画像は、表示画像のうち第１の画像に対応する画像である。
【００９０】
このようにすれば、ＯＳＤにより入力画像に例えばアイコンや文字等をオーバーレイして表示画像を生成できる。この場合、オーバーレイされた文字やアイコンが前景画像に相当し、それ以外の元の入力画像の部分が背景画像に相当する。本実施形態では、このような表示画像のエラー検出を行うことで、ＯＳＤにおいてアイコンや文字が適切に（即ちユーザーが視認可能なように）オーバーレイされなかった場合にエラーと判定することが可能となる。一方、オーバーレイにおいて１ビット程度の処理エラーが発生していたとしても、視認性が確保できる場合にはエラーと判定されないので、アイコンや文字をユーザーに提示できる。
【００９１】
また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の画素値のヒストグラムを求め、そのヒストグラムを用いた相関演算を行い、表示画像のうち所与の領域の画像である前景画像と、表示画像のうち前景画像の背景に相当する背景画像との間の非類似度合いを表す指標を相関演算の結果に基づいて求め、その指標に基づいて表示画像のエラー検出を行う。
【００９２】
また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の関心領域を解析し、背景に対する前景の視認性を記述する指標を演算する（このとき、前景を特定するために基準画像をマスクとして用いてもよい）。指標は、以下の（ａ）又は（ｂ）の技術用いて演算される。（ａ）表示画像のヒストグラムを用い、前景と背景の分離を探す。（ｂ）前景と背景のコントラスト比を計算する。
【００９３】
２．３．形状指標（第２の指標）の第１の演算手法
形状指標は、解析画像（表示画像）の関心領域の形状が基準画像と一致しているか否かを示す指標である。以下、形状指標の演算手法について説明する。
【００９４】
まず、最終的な平均化画像がｍ×ｎ画素となるように、解析画像のＲＯＩの画素ブロックを平均化する。このサブサンプリング処理は、少数の画素エラーが重要なエラーとして検出されないために行うものであり、これらのエラー（色ずれ、小さな歪み等）を無視し、基準画像と解析画像の全体形状を確認する。完全な一致を得るために、サブサンプリングされた画像の解像度を高めることができる。ｍ×ｎの値は、用途に応じて選択することができる。以下に述べるように基準画像に関連して使用する場合には、ｍ×ｎの値はサンプルデータ観測に基づいて選択する。
【００９５】
解析画像の関心領域がｕ×ｖ画素である場合には、平均化ブロックサイズはｕ／ｍ×ｖ／ｎ画素である。基準背景情報が利用できない場合には、基準画素が存在しない部分の解析画像の画素を削除する。これは、基準前景マスキングに相当する。これは、基準画像と解析画像との間で背景画素をベースライン化する（そろえる、同条件にする）ことが必要であるために行う。そのため、背景画素の値は、解析画像及び基準画像の両方において同じ値に設定する。
【００９６】
基準画像の平均化もｍ×ｎ画素となるように行う。平均化は、各チャンネルに対して別々に行う。図８は、基準画像の例である。基準画像ＲＩＡの前景Ｆ１（アイコン）は、着色されており、背景（アイコン以外の領域）は例えば黒等の無色である。図８では、基準画像ＲＩＡのサイズは２５６×２５６画素である。図９は、基準画像の平均化画像である。図９では、平均化画像ＳＲｅｆのサイズは１６×１６画素（ｍ＝ｎ＝１６）である。この基準画像及びその平均化画像は背景が無色なので、解析画像の関心領域も背景を無色に変換し（背景を削除し）、その関心領域の平均化画像を求める。
【００９７】
次に、基準画像の平均化画像（ＳＲｅｆ  ｍ×ｎ）と解析画像の関心領域の平均化画像（ＳＡｎｚ  ｍ×ｎ）を、距離基準を使用して画素毎に比較し、下式（２）のように距離Ｄ（３次元距離）を求める。本実施形態では、距離基準はデカルト距離の２乗であるが、その他の距離基準であっても同様なパラメーターが得られる。
【数２】
2020107351.tif 000004
【００９８】
ｃは、チャンネルを表し、ｘは平均化画像での横（水平）方向の画素位置を表し、ｙは平均化画像での縦（垂直）方向の画素位置を表す。ｍ、ｎは平均化画像のサイズである。Ｒxycは、チャンネルｃにおける基準画像の平均化画像の位置（ｘ，ｙ）での画素値を表す。Ｒ'cは、チャンネルｃにおけるＲxy画素の平均値（Ｒxycを平均化画像内で平均したもの）を表す。Ａxycは、チャンネルｃにおける解析画像の平均化画像の位置（ｘ，ｙ）での画素値を表す。Ａ'cは、チャンネルｃにおけるＡxy画素の平均値（Ａxycを平均化画像内で平均したもの）を表す。
【００９９】
各チャンネルにおいて平均値を減算する理由は、基準画像と解析画像との間の小さな色ずれがエラーとして扱われないようにするためである。完全な一致が求められる場合には、平均値を０に設定することができる。この場合、距離基準によって形状及び色の一致をチェックすることになる。
【０１００】
解析画像（表示画像）は例えば図５である。関心領域Ａ１は、基準の周囲（基準画像を入力画像に合成した領域の周囲）において抽出される。図５では、関心領域を点線の四角形で示している。
【０１０１】
形状指標Ｓ（形状パラメーター）は、下式（３）、（４）によって距離パラメーターから導出される。Ｔは閾値であり、任意の値を採用できる。Ｄ＜Ｔの場合にはＴ／Ｄ＝１となり、形状指標Ｓは変化しない。
【数３】
2020107351.tif 000005
【数４】
2020107351.tif 000006
【０１０２】
関数ｆは、ハードウェアへの実装が容易となるように選択する。例えば、関数ｆは、範囲０〜１が０〜ｋにスケーリングされるようなスケーリング関数Ｋであってもよい。以下に記載する例では、関数ｆは単位関数である（即ち、Ｓ＝Ｔ／Ｄ）。形状指標Ｓは、基準画像と解析画像との間の形状の一致度を示す。画像が一致していない場合には、この値は減少し、０となる傾向がある。その例を以下に記載する。
【０１０３】
図５では、基準画像のアイコンが解析画像に正しく表示されている。この場合、形状指標はＳ＝１（図５では、Shape:1.000と示す）となる。
【０１０４】
図１０は、表示画像の第２の例である。Ｂ１は関心領域を示す。図１０のＢ２に示すように、基準画像のアイコンが解析画像では不明瞭になっている。即ち、基準画素のいくつかが解析画像には存在しておらず、形状指標Ｓは１未満となる（関数ｆが単位関数の場合）。このような不明瞭な前景の場合、視認性指標と形状指標が共に小さい値となる。
【０１０５】
図１１は、表示画像の第３の例である。Ｅ１は関心領域を示す。図１１のＥ２に示すように、基準画像のアイコンが解析画像では回転している。この例では、形状は基準から回転しているので、形状指標Ｓは１未満となる（関数ｆが単位関数の場合）。このように前景が回転している場合、視認性指標は比較的大きな値であり、形状指標が小さい値となる。このように、視認性指標と形状指標を組み合わせることにより様々な前景の状態において適切なエラー検出を行うことが可能となり、エラー検出の精度を向上できる。
【０１０６】
なお、以上では解析画像と基準画像が画像として利用可能である場合について述べたが、本発明の適用対象はこれに限定されない。例えば、画像がライン、画素又はサブ画像としてストリーミングされる場合にも同じ演算を容易に行うことができる。
【０１０７】
上記の形状指標は、ベース信号の一致のみをチェックする。視認性が低い画像の場合には、エッジ検出カーネル（Ｌａｐｌａｃｉａｎ又はＳｏｂｅｌ等）を解析画像の関心領域及び基準画像とコンボリューションして一次勾配画像を生成した後、形状演算アルゴリズムによってパラメーターを求めることができる。求めたパラメーターにより、形状指標によって得られた誤検知を除去することができる。このようにすれば、視認性が低い画像の場合にも正しいエラー検出結果を得ることができる。
【０１０８】
２．４．形状指標の第２の演算手法
図１２は、表示画像の第４の例である。図１２では、ダッシュボード画像ＤＩＭの上にアイコンＩＣＡを重ねた例を示す。アイコン画像の前景と背景は、分離して、ダッシュボード画像にアルファブレンドされる。上記の場合、アイコン画像の前景は部分的にブレンドされる一方、アイコン画像の背景は完全にブレンドされる。ここで、アイコン画像の前景は、アイコン画像のアイコン部分（図１３のマスク画像ＭＳＢのビット「１」の画素（黒色の部分））である。アイコン画像の背景は、アイコン画像のアイコン以外の部分（図１３のマスク画像ＭＳＢのビット「０」の画素（白色の部分））である。アイコン画像の背景では、アイコン画像が０、ダッシュボード画像ＤＩＭが１の割合でブレンドされる。アイコン画像の前景では、アイコン画像がα、ダッシュボード画像ＤＩＭが（１−α）の割合でブレンドされる。０＜α＜１である。割合αでブレンドされたアイコンが表示画像における前景となり、それ以外の領域が表示画像における背景となる。
【０１０９】
本実施形態では、このアイコンとオリジナルのアイコンとの関係を分析して、アイコンが正しく表示されているかをチェックする。具体的には、エッジ検出技術（例えば、ソーベルエッジ検出畳み込み演算子）を用いて、基準に対するのと同様に関心領域でエッジを検出する。
【０１１０】
図１３は、基準画像と表示画像（関心領域）とマスク画像の第１の例である。マスク画像ＭＳＢは、基準画像ＩＣＢの前景及び背景を示すマスクであり、黒が前景画素を示し、白が背景画素を示す。基準画像ＩＣＢ（基準アイコン）は、前景（アイコン、図のグレー部分）が着色された画像である。表示画像ＣＩＢ（表示アイコン）は、ダッシュボード画像ＤＩＭに基準画像ＩＣＢをブレンドした画像（関心領域の画像）である。アイコン部分では、ブレンドによりダッシュボード画像ＤＩＭが透けて見えている。
【０１１１】
図１４は、基準画像と表示画像から計算されたエッジ値の例である。ＥＩＣＢは基準画像ＩＣＢのエッジ画像であり、ＥＣＩＢは表示画像ＣＩＢのエッジ画像である。図示の関係上、エッジを黒線及びグレー線で示しているが、実際にはエッジの強度はグレースケールで示すことができる（白：高強度のエッジ、黒：エッジ無し）。このエッジ検出は、輝度チャンネルに対して行われる。同様に、エッジ検出は、色チャンネルに対して、又はＹＣｂＣｒのような色空間においても行われる。
【０１１２】
前景領域と背景領域におけるエッジは、基準画像と表示画像について計算され、形状指標は、下式（５）〜（１６）に示すように類似量を算出することにより計算される。下式（１６）のＭａｔｃｈが形状指標（適合値）である。以下では、基準画像はｍ×ｎ画素のサイズであり、表示画像の関心領域もｍ×ｎ画素であるとする。
【０１１３】
下式（５）は、水平ソーベルカーネル（水平方向のエッジを検出するソーベルフィルターの演算子）である。下式（６）は、垂直ソーベルカーネル（垂直方向のエッジを検出するソーベルフィルターの演算子）である。
【数５】
2020107351.tif 000007
【数６】
2020107351.tif 000008
【０１１４】
下式（７）〜（１２）に示すように、基準画像と表示画像の関心領域における各画素位置について、エッジ値を計算する。「＊」は畳み込み演算子である。Ｎは、値を０と１の間に保つための正規化係数であり、ここではＮ＝４である。ＩＲｅｆは、基準画像の輝度（Ｙ）チャンネルである。ＩＲｅｆ(x,y)は、基準画像の輝度チャンネルの位置ｘ、ｙの画素である。ｘは０＜ｘ≦ｍの整数であり、ｙは０＜ｙ≦ｎの整数である。ＩＲｅｎは、関心領域における表示画像の輝度チャンネルである。ＩＲｅｎ(x,y)は、関心領域における表示画像の輝度チャンネルの位置ｘ、ｙを中心とした３×３画素である。
【数７】
2020107351.tif 000009
【数８】
2020107351.tif 000010
【数９】
2020107351.tif 000011
【数１０】
2020107351.tif 000012
【数１１】
2020107351.tif 000013
【数１２】
2020107351.tif 000014
【０１１５】
下式（１３）〜（１６）に示すように、上記のエッジ値から形状指標Ｍａｔｃｈ（適合値）を求める。「・」は内積演算子を表す。
【数１３】
2020107351.tif 000015
【数１４】
2020107351.tif 000016
【数１５】
2020107351.tif 000017
【数１６】
2020107351.tif 000018
【０１１６】
図１３、図１４に上記の演算を適用すると、Ｍａｔｃｈ＝０．７８となる。
【０１１７】
背景を分析せずに適合値を計算することが要求される場合には、下式（１７）〜（２２）に示す計算を用いる。
【数１７】
2020107351.tif 000019
【数１８】
2020107351.tif 000020
【数１９】
2020107351.tif 000021
【数２０】
2020107351.tif 000022
【数２１】
2020107351.tif 000023
【数２２】
2020107351.tif 000024
【０１１８】
Ｍ(x,y)は、いずれの画素が背景に属し、いずれの画素が前景に属すのかを定義するマスク画素を意味する。このマスクは、背景を０で定義し、前景を１で定義する単純な１ビットマスクで実現できる。又は、アンチエイリアスされたエッジをサポートする１ビット以上のマスクであってもよい。そのマスクでは、０と１の間の値が部分的な背景と部分的な前景として扱われる。例えば、０．２５の値（２ビット表記では、０１）は、２５％前景と７５％背景を意味する。
【０１１９】
図１５は、基準画像と表示画像（関心領域）とマスク画像の第２の例である。基準画像ＩＣＣ、表示画像ＣＩＣ、マスク画像ＭＳＣは、図１３の基準画像ＩＣＢ、表示画像ＣＩＢ、マスク画像ＭＳＢと同じである。図１６は、基準画像と表示画像から計算されたエッジ値の例である。ＥＩＣＣは基準画像ＩＣＣのエッジ画像であり、ＥＣＩＣは表示画像ＣＩＣのエッジ画像である。表示画像のエッジ画像ＥＣＩＣにおいて、アイコンの外部（背景）のエッジ成分がＭ(x,y)によりマスクされている。図１５に示すように、上記の演算では形状指標Ｍａｔｃｈが０．８２に上昇する。
【０１２０】
以上の実施形態によれば、エラー検出回路１５０は、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値（エッジ量）と基準画像のエッジ画像の画素値（エッジ量）とに基づいて、表示画像のうち所与の領域の画像である前景画像と、基準画像との一致度合いを表す指標（形状指標）を求め、その指標に基づいて表示画像のエラー検出を行う。
【０１２１】
このようにすれば、ＣＲＣのようなビット単位のエラー検出ではなく、表示画像の前景画像と基準画像との間の一致度合いを表す指標に基づいて表示画像のエラー検出を行うことができる。前景画像が基準画像に対して一致度合いが高い場合、その前景画像が基準画像に対して視覚的に同じ形状に見える可能性が高い。即ち、本手法によれば、前景画像の形状が正しく表示されていない場合にエラーと判断することが可能となる。例えば車載のメーターパネルなどでは、ユーザーに警告するためのアイコン等を表示させる。本実施形態によれば、このようなアイコンが１ビットエラーなどで表示が停止せずに、形状が正しく認識できる場合において出来るだけ表示させ、ユーザーに警告を行うことができる。
【０１２２】
ここで、第１の演算手法（上式（３）〜（５））は、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて指標（Ｓ）を求める場合に対応する。また、第２の演算手法（上式（５）〜（２２））は、表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて指標（Ｍａｔｃｈ）を求める場合に対応する。エッジ画像の画素値は、上式（７）、（１０）、（１７）、（１８）のエッジ量に対応する。
【０１２３】
また、一致度合いとは、例えばアイコン、文字、図形、マーク等（以下アイコン等）の形状の一致の程度のことである。より具体的には、アイコン等の輪郭と向きの一致の程度のことである。また更に、アイコン等の輪郭の内側の状態（例えば塗りつぶされているか否か等）の一致の程度を含んでもよい。例えば、一致度合いを表す指標は、前景画像と背景画像の一致度合いが高いほど値が大きくなる。
【０１２４】
また本実施形態では、エラー検出回路１５０は、表示画像及び基準画像の画素数又は解像度を低下させるサブサンプリングを行う（図９）。エラー検出回路１５０は、サブサンプリングされた表示画像の画素値とサブサンプリングされた基準画像の画素値との、色空間における距離を表す距離情報を求め（上式（２））、その距離情報から指標（上式（３）、（４））を求める。
【０１２５】
サブサンプリングを行うことで画素値が平均化されるので、指標を求める際に１ビットエラー等のノイズ（形状に影響を与えない軽微なエラー）の影響を低減することができる。また、表示画像の画素値と基準画像の画素値との間の色空間における距離は、形状が一致している場合には小さい（短い）はずである。このため、色空間における距離を用いることで、形状の一致度合いを適切に評価できる。
【０１２６】
また本実施形態では、エラー検出回路１５０は、所与の閾値（上式（３）、（４）のＴ）を距離情報（Ｄ）で除算した値から指標（Ｓ）を求める。
【０１２７】
形状の一致度合いが高いほど距離（Ｄ）が小さくなるので、所与の閾値を距離情報で除算することで、形状の一致度合いが高いほど値が大きくなる指標（Ｓ）を求めることができる。
【０１２８】
また本実施形態では、エラー検出回路１５０は、表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値との積和演算（上式（１３））を行い、その積和演算の結果から指標を求める（上式（１６））。
【０１２９】
エッジ画像は、各画素の画素値としてエッジ量が定義された画像である。形状が一致している場合、表示画像のエッジ画像と基準画像のエッジ画像とを同じ画素で比べると、同じ（略同じ）エッジ量になっているはずである。逆に、形状が一致していない場合にはエッジの位置が表示画像と基準画像で一致しないので、例えば表示画像のエッジ画像に大きなエッジ量があっても、基準画像のエッジ画像の同じ画素ではエッジ量がゼロになっていたりする。このため、同じ画素同士のエッジ量を積和すると、形状が一致している場合には積和の結果が大きな値になり、形状が一致していない場合には積和の結果が小さな値になる。このため、エッジ量の積和演算を用いることで、形状の一致度合いを適切に評価できる。
【０１３０】
ここで、上式（１３）では、積和の「積」はベクトルの内積になっているが、「積」はこれに限定されない。例えばエッジ量がスカラーで定義される場合には、「積」はスカラー同士の積となる。
【０１３１】
また本実施形態では、エラー検出回路１５０は、表示画像のエッジ画像のうち、背景画像に対応する領域をマスクし（上式（１８））、そのマスクされた表示画像のエッジ画像を用いて、積和演算を行う（上式（１９））。
【０１３２】
このようにすれば、背景にエッジが含まれるような場合であっても、そのエッジをマスクしてエッジ量の積和演算を行うことができる。即ち、背景のエッジに影響されることなく表示画像と基準画像のエッジの一致度合いを評価できるので、エラー検出の精度をより向上できる。
【０１３３】
また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は表示画像のエッジ画像の画素値と基準画像のエッジ画像の画素値とに基づいて、表示画像のうち所与の領域の画像である前景画像と、基準画像との一致度合いを表す指標を求め、その指標に基づいて表示画像のエラー検出を行う。
【０１３４】
また本実施形態は、以下のようなエラー検出方法として実施することが可能である。即ち、その方法では、表示画像の関心領域を解析し、基準画像との類似性を記述する指標を演算する。指標は、以下の（ａ）又は（ｂ）の技術用いて演算される。（ａ）表示画像と基準画像（ベース信号）のサブサンプルされた画素の３次元距離エラーを比較する。（ｂ）表示画像と基準画像のエッジ（画像の一次導関数）の３次元距離エラーを比較する。
【０１３５】
３．変形例
以上の実施形態では、本発明のエラー検出手法を表示コントローラー（TCON: Timing CONtroller）に適用した場合を例に説明したが、本発明の適用対象はこれに限定されない。即ち、表示画像を処理又は転送する経路のいずれの段階においても本発明を適用可能である。
【０１３６】
例えば、表示パネルを駆動する表示ドライバーを、本発明が適用された回路装置としてもよい。この場合、例えば表示ドライバーにおいて画像データが入力されるインターフェースが画像取得回路に相当し、インターフェースと駆動回路の間にエラー検出回路が設けられる。例えばオーバーレイ等は行わず、エラー検出回路は、インターフェースにより受信された画像の所与の領域（アイコン等）に対して本発明のエラー検出を行う。
【０１３７】
また以上の実施形態では、画像取得回路１３０が、表示コントローラーに入力されて前処理された画像（以下、入力画像）に対してアイコンをオーバーレイして表示画像を生成する場合を例に説明したが、本発明の適用対象はこれに限定されない。即ち、画像取得回路１３０は、表示画像として任意の画像を取得できる。
【０１３８】
例えば、画像取得回路１３０は、入力画像そのものを表示画像としてもよい。この場合、入力画像には例えばアイコンが既に含まれており、そのアイコン等を含む領域を関心領域に設定する。
【０１３９】
或いは、画像取得回路１３０は、入力画像をスケーリング処理した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコンをスケーリングし、そのスケーリングされたアイコンを含む領域を関心領域に設定する。
【０１４０】
或いは、画像取得回路１３０は、入力画像をガンマ変換処理（階調変換処理）した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコンをガンマ変換し、そのガンマ変換されたアイコンを含む領域を関心領域に設定する。
【０１４１】
或いは、画像取得回路１３０は、入力画像を変形処理した画像を表示画像としてもよい。この場合、入力画像には例えばアイコンが含まれており、そのアイコン（又は入力画像全体）を変形し、その変形されたアイコンを含む領域を関心領域に設定する。例えば、ヘッドマウントディスプレイ等に表示するために画像を変形させる場合がある。
【０１４２】
或いは、画像取得回路１３０は、メモリーに記憶された画像を読み出し、その画像を表示画像としてもよい。この場合、メモリーコントローラーが画像取得回路１３０に相当する。或いは、画像取得回路１３０は、インターフェースにより受信された画像を表示画像としてもよい。この場合、インターフェースが画像取得回路１３０に相当する。
【０１４３】
４．電子機器
図１７は、本実施形態の回路装置を含む電子機器の構成例である。電子機器３００は、処理装置３１０（例えばＭＣＵ等）、回路装置３２０（ＴＣＯＮ）、表示ドライバー３３０、表示パネル３４０、記憶装置３５０、操作装置３６０、通信装置３７０を含む。
【０１４４】
処理装置３１０は、記憶装置３５０に記憶された画像データ、又は通信装置３７０により受信された画像データを回路装置３２０に転送する。回路装置３２０は、画像データに対する画像処理や、表示タイミング制御や、表示ドライバーに転送する画像データのエラー検出処理（視認性指標、形状指標の算出）等を行う。表示ドライバー３３０は、回路装置３２０から転送された画像データと、回路装置３２０による表示タイミング制御に基づいて、表示パネル３４０を駆動し、画像を表示させる。表示パネル３４０は、例えば液晶表示パネル、或いはＥＬ表示パネル等である。記憶装置３５０は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置３６０は、電子機器３００をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置３７０は、例えば有線通信（ＬＡＮ、又はＵＳＢ等）を行う装置や、或いは無線通信（Ｗｉｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行う装置である。
【０１４５】
本実施形態の回路装置を含む電子機器としては、車載用の電子機器（メーターパネル等）や、工場設備等の表示端末、ロボットに搭載された表示装置、情報処理装置（ＰＣ等）、携帯情報処理端末（スマートフォン等）の種々の機器を想定できる。電子機器の構成は図１７に限定されず、用途に応じて種々の構成をとることができる。例えば車載用の電子機器では、回路装置３２０と表示ドライバー３３０と表示パネル３４０と操作装置３６０がメーターパネルに組み込まれ、処理装置３１０と記憶装置３５０と通信装置３７０がＥＣＵ（Electronic Control Unit）に組み込まれる。この場合、メーターパネルが、本実施形態の回路装置を含む電子機器に相当する。
【０１４６】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本発明の範囲に含まれる。また回路装置、電子機器の構成・動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１４７】
１００…回路装置、１１０…インターフェース、１２０…前処理回路、１３０…画像取得回路、１４０…インターフェース、１５０…エラー検出回路、１６０…ＣＲＣ回路、１７０…レジスター回路、１８０…アイコン処理回路、１９０…インターフェース、１９５…メモリー、２００…処理装置、３００…電子機器、３１０…処理装置、３２０…回路装置、３３０…表示ドライバー、３４０…表示パネル、３５０…記憶装置、３６０…操作装置、３７０…通信装置、Ａ１…関心領域、Ａ２…アイコン（前景）、ＥＣＩＢ…エッジ画像、ＭＳＢ…マスク画像、ＲＩＡ…基準画像、ＳＲｅｆ…平均化画像。
【図１】
2020107351.tif 000025
【図２】
2020107351.tif 000026
【図３】
2020107351.tif 000027
【図４】
2020107351.tif 000028
【図５】
2020107351.tif 000029
【図６】
2020107351.tif 000030
【図７】
2020107351.tif 000031
【図８】
2020107351.tif 000032
【図９】
2020107351.tif 000033
【図１０】
2020107351.tif 000034
【図１１】
2020107351.tif 000035
【図１２】
2020107351.tif 000036
【図１３】
2020107351.tif 000037
【図１４】
2020107351.tif 000038
【図１５】
2020107351.tif 000039
【図１６】
2020107351.tif 000040
【図１７】
2020107351.tif 000041
【手続補正書】
【提出日】令和2年3月31日(2020.3.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
補正前の請求項６
表示画像を取得する画像取得回路と、
前記表示画像のエラー検出を行うエラー検出回路と、
を含み、
前記エラー検出回路は、
前記表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記距離情報から前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とする回路装置.
【請求項２】
請求項１において、
前記エラー検出回路は、
前記表示画像及び前記基準画像の画素数又は解像度を低下させるサブサンプリングを行い、前記サブサンプリングされた前記表示画像の画素値と前記サブサンプリングされた前記基準画像の画素値との、色空間における距離を表す距離情報を求め、前記距離情報から前記指標を求めることを特徴とする回路装置。
【請求項３】
請求項２において、
前記エラー検出回路は、
所与の閾値を前記距離情報で除算した値から前記指標を求めることを特徴とする回路装置。
【請求項４】
請求項１において、
前記エラー検出回路は、
前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値との積和演算を行い、前記積和演算の結果から前記指標を求めることを特徴とする回路装置。
【請求項５】
請求項４において、
前記エラー検出回路は、
前記表示画像のエッジ画像のうち、背景画像に対応する領域をマスクし、前記マスクされた前記表示画像のエッジ画像を用いて、前記積和演算を行うことを特徴とする回路装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記画像取得回路は、第１の画像に対して前記所与の領域に第２の画像を重ねて前記表示画像を生成することを特徴とする回路装置。
【請求項７】
請求項１乃至６のいずれかに記載された回路装置を含むことを特徴とする電子機器。
【請求項８】
表示画像の画素値と前景画像の基準となる基準画像の画素値とに基づいて、又は前記表示画像のエッジ画像の画素値と前記基準画像のエッジ画像の画素値とに基づいて、前記表示画像のうち所与の領域の画像である前記前景画像と、前記基準画像との一致度合いを表す指標を求め、
前記指標に基づいて前記表示画像のエラー検出を行うことを特徴とするエラー検出方法。