(57)【要約】【課題】ワーピング後の画像に対して各領域の変形の程度に応じた鮮鋭化処理を施す。【解決手段】画像補正装置（１０）は、鮮鋭化フィルタ（１５）と補間処理部（１３）とを含む。鮮鋭化フィルタ（１５）は、出力画像における対象画素の座標に対応する入力画像上の座標と、対象画素の周辺の画素の座標に対応する入力画像上の座標との距離に応じて特性が定まるものである。補間処理部（１３）は、対象画素毎に、対象画素の座標に対応する入力画像上の座標の周辺の各画素の画素値に基づいて補間した補間値に対して鮮鋭化フィルタ（１５）を施した値を、対象画素の画素値とする。【選択図】図１
2017049898.tif 000002
【特許請求の範囲】
【請求項１】
画像を投影面に投影するときに生じる歪を補正するための処理を入力画像に対して施した出力画像を出力する画像補正装置であって、
上記出力画像における対象画素の座標に対応する入力画像上の座標と、上記対象画素の周辺に隣接する画素の座標に対応する入力画像上の座標との距離に応じて特性が定まる鮮鋭化フィルタと、
上記対象画素毎に、上記対象画素の座標に対応する入力画像上の座標の周辺の各画素の画素値に基づいて補間した補間値に対して上記鮮鋭化フィルタを施した値を、当該対象画素の画素値とする補間処理部とを備えることを特徴とする画像補正装置。
【請求項２】
上記鮮鋭化フィルタは、
上記対象画素の座標に対応する入力画像上の座標と、上記対象画素の周辺の画素の座標に対応する入力画像上の座標の各々との距離の平均値を変数とするパラメータを含むことを特徴とする請求項１に記載の画像補正装置。
【請求項３】
上記鮮鋭化フィルタは、
処理対象となる上記補間値を上記パラメータで重み付けた値から、当該補間値の周辺で補間された他の補間値を上記パラメータで重み付けた値を減じた値を出力するラプラシアンフィルタであることを特徴とする請求項２に記載の画像補正装置。
【請求項４】
上記補間は、バイリニアフィルタによる補間であることを特徴とする請求項１から３のいずれか１項に記載の画像補正装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像補正装置が出力する上記出力画像を表示装置から上記投影面に投影する表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の歪を補正する画像補正装置に関する。
【背景技術】
【０００２】
近年、車載の情報表示装置として、ヘッドアップディスプレイ（Head Up Display、以下では、ＨＵＤと略記する）システムが注目されている。車載のＨＵＤシステムは、例えば、車速や燃料残量等を表す画像をフロントガラスに投影する。しかし、これらの画像を非平面のフロントガラスにそのまま投影すると、運転者からは歪んだ画像として見える。そこで、多くのＨＵＤシステムでは、この歪を補正する機能（ワーピング機能）により、投影された画像の歪が補正され、視認性の向上が図られている。ワーピング機能に関する従来技術として、フロントガラスに投影する画像を構成する各画素を補間処理により算出する技術が、特許文献１に開示されている。補間処理では、バイリニアフィルタなどの周知の補間フィルタが用いられることが多い。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１０２５１９号公報（２００８年５月１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ワーピングにおいて補間処理を行う場合、ワーピング後の画像は、変形の程度によっては画質の劣化が目立つことがある。特に、ワーピングにより拡大される領域および縮小される領域のいずれにおいても同じ特性の補間フィルタを用いて補間処理を行う場合、拡大される領域ではボケが目立つことがあり、縮小される領域ではジャギーが目立つことがある。特許文献１には、画像の領域毎の変形の程度に応じてフィルタの特性を変える技術については言及されていない。
【０００５】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ワーピング後の画像に対して各領域の変形の程度に応じた鮮鋭化処理を施す画像補正装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る画像補正装置は、画像を投影面に投影するときに生じる歪を補正するための処理を入力画像に対して施した出力画像を出力する画像補正装置であって、上記出力画像における対象画素の座標に対応する入力画像上の座標と、上記対象画素の周辺に隣接する画素の座標に対応する入力画像上の座標との距離に応じて特性が定まる鮮鋭化フィルタと、上記対象画素毎に、上記対象画素の座標に対応する入力画像上の座標の周辺の各画素の画素値に基づいて補間した補間値に対して上記鮮鋭化フィルタを施した値を、当該対象画素の画素値とする補間処理部とを備えている。
【０００７】
上記の構成によれば、鮮鋭化フィルタの特性は、出力画像における対象画素の座標に対応する入力画像上の座標と、対象画素の周辺に隣接する画素の座標に対応する入力画像上の座標との距離に応じて定まる。そして、上記特性の鮮鋭化フィルタを、対象画素毎に求めた補間値に対して施し、当該対象画素の画素値とする。ここで、上記距離は、出力画像における対象画素の周辺領域が、対応する入力画像上の領域から変形された程度（拡大または縮小された程度）を示す指標である。よって、鮮鋭化フィルタの特性は、出力画像の各領域が変形された程度（拡大または縮小された程度）に応じて自動的に変わる。したがって、出力画像の各領域に応じた度合いで鮮鋭化処理を施すことができる。
【０００８】
なお、本発明の各態様に係る画像補正装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像補正装置が備える各部として動作させることにより上記画像補正装置をコンピュータにて実現させる画像補正装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。さらに、本発明の各態様に係る画像補正装置は集積回路として実現してもよく、この場合には、上記集積回路を備えるチップなども本発明の範疇に入る。
【発明の効果】
【０００９】
本発明によれば、ワーピング時に各画素に鮮鋭化処理を施すので、ワーピング後の画像の画質劣化を抑えることができる。さらに、ワーピング後の画像の各領域が変形される程度（拡大または縮小される程度）に応じて鮮鋭化フィルタの特性を自動的に変えるので、画像の各領域に応じた度合いで鮮鋭化処理を施すことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像補正装置を含む画像処理装置の構成例を示すブロック図である。
【図２】上記画像処理装置を用いたシステムの構成例を示す模式図である。
【図３】上記画像補正装置による補間処理に用いる周辺画素と補間値との位置関係を示す模式図である。
【図４】（ａ）は、上記画像補正装置に含まれる鮮鋭化フィルタ（ラプラシアンフィルタ）の処理対象の一例を並べた模式図である。（ｂ）は、上記鮮鋭化フィルタ（ラプラシアンフィルタ）のフィルタ係数の一例を示す模式図である。
【発明を実施するための形態】
【００１１】
本発明の一実施形態について、図１〜図４に基づいて説明すると以下のとおりである。
【００１２】
まず、図２を参照しながら、本実施形態に係る画像補正装置１０を含む画像処理装置１を用いたシステムの構成例について説明する。図２に示すように、画像処理装置１は、表示装置３１の表示画面から投影面３２（典型例として、フロントガラスなどの非平面表示面）に画像を投影する表示システム３０（典型例として、ＨＵＤシステム）で用いられる。画像処理装置１は、表示システム３０を利用するユーザの視点Ａから視た投影面３２上の画像の歪を補正するために、入力された画像（以下では「入力画像」と表記する）に対して、補間、拡大、縮小、変形、鮮鋭化などの処理を施し、表示装置３１に出力する画像（以下では「出力画像」と表記する）を生成する装置である。
【００１３】
次に、図１を参照しながら、画像処理装置１の構成例について説明する。図１は、画像処理装置１の構成例を示すブロック図である。図１に示すとおり、画像処理装置１は、書込／読出部２０、ワーピング座標メモリ２３、表示座標カウンタ２５、および、画像補正装置１０を含んでいる。この他にも、画像処理装置１は、表示装置３１を制御する表示制御部などの周知の構成を含んでいるが、これらについては図示および説明を省略する。
【００１４】
書込／読出部２０は、入力画像を一時的に記憶するＲＡＭ（Random Access Memory）などの記憶部であるフレームメモリ２１を備えている。そして、書込／読出部２０は、フレームメモリ２１への書き込み処理と、フレームメモリ２１からの読み出し処理とを実行する。書き込み処理では、入力画像を、フレーム単位に、フレームメモリ２１に書き込む。より具体的には、入力画像を構成する各画素の画素値（ＲＧＢデータ）を、書き込み用クロックに従って動作するカウンタ（図示省略）が示す順に（典型的には、入力画像の画素の走査順に）、フレームメモリ２１に書き込む。
【００１５】
読み出し処理では、出力画像における処理対象画素（以下では「対象画素」と表記する）を特定するとともに、画像補正装置１０が行う補間処理に用いる画素（以下では「周辺画素」と表記する）の画素値をフレームメモリ２１から読み出す。より具体的には、読み出し用クロックに従って動作する表示座標カウンタ２５が示す順に（典型的には、出力画像の画素の走査順に）対象画素を特定するとともに、ワーピング座標メモリ２３を参照することにより特定される対象画素のワーピング元の座標（フレームメモリ２１から読み出す座標であり、入力画像上の座標に相当する）の周辺に位置する周辺画素の画素値をフレームメモリ２１から読み出す処理を、対象画素を特定する毎に実行する。
【００１６】
ワーピング座標メモリ２３は、画素のワーピング（座標変換）に関するデータを記憶するＲＡＭなどの記憶部である。ワーピング座標メモリ２３は、典型的には、各画素について、ワーピング元の座標と、ワーピング後の座標（出力画像上の座標に相当する）とを対応付けて記憶する。
【００１７】
次に、画像補正装置１０について説明する。画像補正装置１０は、表示装置３１から投影面３２に画像を投影するときに生じる歪を補正するための処理を行うことに加え、出力画像の画質を向上させる装置である。画像補正装置１０は、フィルタゲイン演算部１１、および、補間処理部１３を含んでいる。また、補間処理部１３は、鮮鋭化フィルタ１５を含んでいる。
【００１８】
フィルタゲイン演算部１１は、鮮鋭化フィルタ１５の特性を定めるフィルタ係数ゲインｇ（パラメータ）を算出する。具体的には、フィルタゲイン演算部１１は、対象画素のワーピング元の座標と、出力画像において対象画素の周辺に隣接する画素のワーピング元の座標との距離から、対象画素毎にフィルタ係数ゲインｇを算出する。
【００１９】
フィルタ係数ゲインｇの算出方法について具体例を挙げて説明する。この説明にあたり、出力画像における対象画素の座標を（nx，ny）と表記する。また、対象画素のワーピング元の座標を（wx，wy）と表記する。また、出力画像における対象画素に隣接する８個の画素の座標を（nx＋j，ny＋i）と表記する（ｉおよびｊは、−１、０、１のいずれか。ただし、ｉ＝ｊ＝０を除く）。また、当該８個の画素のワーピング元の座標を（wa_x(i，j)，wa_y(i，j)）と表記する。
【００２０】
フィルタゲイン演算部１１は、まず、８個の（wa_x(i，j)，wa_y(i，j)）の各々について、（wx，wy）との距離（以下では「Ｄ（i，j）」と表記する）を、下記式（１）のとおりに算出する。
【００２１】
【数１】
2017049898.tif 000003
【００２２】
続いて、フィルタゲイン演算部１１は、算出された８個の距離Ｄ（i，j）の平均値（以下では「Ｄ８」と表記する）を算出する。つまり、下記式（２）のとおりにＤ８を算出する。
【００２３】
【数２】
2017049898.tif 000004
【００２４】
ここで、Ｄ（i，j）が「１」より小さいことは、（nx，ny）と（nx＋j，ny＋i）との距離（＝１）の方が、（wx，wy）と（wa_x(i，j)，wa_y(i，j)）との距離より大きいことを意味する。このことは、（nx，ny）から（nx＋j，ny＋i）までの区間はワーピングによって拡大される区間であることを意味する。一方、Ｄ（i，j）が「１」より大きいことは、（nx，ny）と（nx＋j，ny＋i）との距離（＝１）の方が、（wx，wy）と（wa_x(i，j)，wa_y(i，j)）との距離より小さいことを意味する。このことは、（nx，ny）から（nx＋j，ny＋i）までの区間はワーピングにより縮小される区間であることを意味する。したがって、Ｄ（i，j）の平均値であるＤ８が「１」より小さいほど、対象画素の周辺領域はワーピングによって拡大されると判断でき、一方、Ｄ８が「１」より大きいほど、対象画素の周辺領域がワーピングによって縮小されると判断できることに留意されたい。
【００２５】
続いて、フィルタゲイン演算部１１は、下記式（３）のとおり、Ｄ８を変数とする値をフィルタ係数ゲインｇとして算出する。なお、「scale」は画像全体の鮮鋭化の度合いを調整するためのパラメータであり、０以外の値である。
【００２６】
【数３】
2017049898.tif 000005
【００２７】
式（３）によれば、Ｄ８が「１」より小さいほど（つまり、対象画素の周辺領域がワーピングにより拡大されるほど）、フィルタ係数ゲインｇの値は大きくなり、一方、Ｄ８が「１」より大きいほど（つまり、対象画素の周辺領域がワーピングにより縮小されるほど）、フィルタ係数ゲインｇの値は小さくなることが分かる。
【００２８】
次に、補間処理部１３について説明する。補間処理部１３は、対象画素の各々について、書込／読出部２０が読み出した周辺画素を入力として、対象画素の画素値の補間処理を行う。補間処理には、バイリニアフィルタなどの周知の補間フィルタを用いればよい。以下では、補間処理により補間した値を「補間値」と表記する。
【００２９】
図３を参照しながら、周辺画素と補間値との関係を説明する。図３は、フレームメモリ２１に記憶された入力画像を示しており、４個の周辺画素に基づいて１個の補間値を補間する例を示しており、Ｐ（ｍ，ｎ）が周辺画素であり、ｑ（ｍ，ｎ）が補間値である（ｍおよびｎは０以上の整数）。具体的には、図３に示す周辺画素Ｐ（ｍ，ｎ）、Ｐ（ｍ，ｎ＋１）、Ｐ（ｍ＋１，ｎ）、Ｐ（ｍ＋１，ｎ＋１）の画素値に基づいて補間した値が補間値ｑ（ｍ，ｎ）である。補間フィルタを表す関数をＢｉと表記すると、補間値ｑ（ｍ，ｎ）は下記式（４）のとおりに表される。
【００３０】
【数４】
2017049898.tif 000006
【００３１】
次に、補間処理部１３は、補間処理により求めた補間値に対して鮮鋭化フィルタ１５を施す。鮮鋭化フィルタ１５は、フィルタゲイン演算部１１が算出したフィルタ係数ゲインｇにより特性が定まる可変フィルタである。
【００３２】
鮮鋭化フィルタ１５の種類は限定されるものではないが、本実施形態では、エッジ（画像上の明るさ（階調）が変化する部分。なお、階調はＲＧＢデータから算出される。）を強調する鮮鋭化を行うために、ラプラシアンフィルタを用いる例について説明する。図４を参照しながら、処理対象であるｑ（１，１）に隣接する８個の値を引数とする８方向ラプラシアンフィルタを鮮鋭化フィルタ１５とする一例について説明する。図４の（ａ）は、８方向ラプラシアンフィルタの処理対象の一例として、図３に示したｑ（０，０）、ｑ（１，０）、ｑ（２，０）、ｑ（０，１）、ｑ（１，１）、ｑ（２，１）、ｑ（０，２）、ｑ（１，２）、ｑ（２，２）の各々を並べた模式図である。図４の（ｂ）は、８方向ラプラシアンフィルタのフィルタ係数の一例を示す模式図である。図４の（ａ）に示す９個の値に対して図４の（ｂ）に示すフィルタ係数のラプラシアンフィルタを施す演算式は、下記式（５）のとおりである。つまり、このラプラシアンフィルタは、処理対象であるｑ（１，１）を（１＋８ｇ）で重み付けた値から、ｑ（１，１）の周辺の各々（ｑ（０，０）、ｑ（１，０）、ｑ（２，０）、ｑ（０，１）、ｑ（２，１）、ｑ（０，２）、ｑ（１，２）、ｑ（２，２））をｇで重み付けた値を減じた値を出力する。
【００３３】
【数５】
2017049898.tif 000007
【００３４】
なお、鮮鋭化フィルタ１５に８方向ラプラシアンフィルタを採用する場合は、その入力として、隣接する８個の補間値が必要となる。そのため、補間値ｑ（ｍ，ｎ）を処理対象とする場合、補間処理部１３は、その周囲の８個の補間値ｑ（ｍ−１，ｎ−１）、ｑ（ｍ−１，ｎ）、ｑ（ｍ−１，ｎ＋１）、ｑ（ｍ，ｎ−１）、ｑ（ｍ，ｎ＋１）、ｑ（ｍ＋１，ｎ−１）、ｑ（ｍ＋１，ｎ）、ｑ（ｍ＋１，ｎ＋１）の各々を事前に算出する。図３に示す例を用いて説明すれば、ｑ（１，１）を処理対象とする場合、補間処理部１３は、その周辺のｑ（０，０）、ｑ（１，０）、ｑ（２，０）、ｑ（０，１）、ｑ（２，１）、ｑ（０，２）、ｑ（１，２）、ｑ（２，２）の各々を事前に算出する。
【００３５】
上述したとおり、フィルタ係数ゲインｇは対象画素毎に算出される可変値であるため、フィルタ係数ゲインｇをパラメータとする鮮鋭化フィルタ１５の特性も対象画素毎に変わり、その結果として、鮮鋭化フィルタ１５による鮮鋭化の度合いは対象画素毎に変わる。
【００３６】
特に、対象画素の周辺領域がワーピングにより拡大されるほど、フィルタ係数ゲインｇの値は大きくなるため、図４の（ｂ）に示すフィルタ係数のラプラシアンフィルタはエッジを強調させる特性が強まる。したがって、出力画像においてワーピングにより拡大される領域ほど、拡大時に生じ得るボケを抑えることができる。
【００３７】
一方、対象画素の周辺領域がワーピングにより縮小されるほど、フィルタ係数ゲインｇの値は小さくなるため、図４の（ｂ）に示すフィルタ係数のラプラシアンフィルタはエッジを強調させる特性が弱まる。したがって、出力画像においてワーピングにより縮小される領域ほど、弱い度合いで鮮鋭化が施される。
【００３８】
以上のとおり、画像補正装置１０によれば、ワーピング時に各画素に鮮鋭化処理を施すので、ワーピング後の画像の画質劣化を抑えることができる。
【００３９】
さらに、フィルタ係数ゲインｇが、対象画素のワーピング元の座標と、対象画素の周辺の画素のワーピング元の座標との距離に基づいて算出されることから、鮮鋭化フィルタ１５の特性は対象画素毎に自動的に変わるため、出力画像の領域毎に鮮鋭化フィルタ１５の特性を設定する必要がない。つまり、出力画像の各領域がワーピングにより拡大または縮小される程度に応じて鮮鋭化の特性を自動的に変えるので、出力画像の各領域に応じた度合いで鮮鋭化を施すことができる。
【００４０】
なお、対象画素および対象画素の周辺の画素について、ワーピング元の座標上での距離と、ワ―ピング元の画素値とに基づいて、対象画素を補間し、更に鮮鋭化するので、ワーピング後の画像が破綻することはない。より正確に言えば、対象画素および対象画素の周辺画素について、（１）対象画素の周辺画素のワ―ピング元の画像について、画素位置を特定し、周辺画素のワ―ピング元の画素値を補間することで対象画素の補間値を求めて、（２）ワ―ピング元の画像上で、対象画素と周辺画素との距離に基づいてフィルタ係数ゲインｇを求めて、（３）上記（１）で求めた対象画素の補間値、および、対象画素の周辺画素の補間値と、上記（２）で求めたフィルタ係数ゲインＧとにより、フィルタ処理（積和演算）を行う。したがって、ワーピング後の画像が破綻することはない。
【００４１】
最後に、画像補正装置１０の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。ＣＰＵを用いて実現する場合、画像補正装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００４２】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００４３】
１  画像処理装置、１０  画像補正装置、１１  フィルタゲイン演算部、１３  補間処理部、１５  鮮鋭化フィルタ、２０  書込／読出部、２１  フレームメモリ、３０  表示システム、３１  表示装置、３２  投影面、ｇ  フィルタ係数ゲイン（パラメータ）、ｑ（ｍ，ｎ）  補間値
【図１】
2017049898.tif 000008
【図２】
2017049898.tif 000009
【図３】
2017049898.tif 000010
【図４】
2017049898.tif 000011