(57)【要約】【課題】各格子点間のデータを補間しつつ、各格子点に付与されたデータを処理することができる補間装置及び補間方法を提供する。【解決手段】水平走査線方向に並ぶ多数の格子点にそれぞれ付与され、これら格子点の並び順に処理されるべき補正値に対し、各格子点間の補正値を補間する補間装置（２０）である。補間装置（２０）は、第１格子点間に対して設定された補間式を用いて第１格子点間の補間を行う第２補間部（２２）と、第１格子点間に対する補間が行われている期間中に、第１格子点間より並び順が後の第２格子点間に対して補間式を設定する第１補間部（２１）とを備える。【選択図】図１
2015197718.tif 000002
【特許請求の範囲】
【請求項１】
第１方向に並ぶ多数の格子点にそれぞれ付与され、これら格子点の並び順に処理されるべきデータに対し、各格子点間のデータを補間する補間装置であって、
第１格子点間に対して設定された補間式を用いて当該第１格子点間の補間を行う補間手段と、
上記第１格子点間に対する補間が行われている期間中に、上記第１格子点間より並び順が後の第２格子点間に対して補間式を設定する補間式設定手段と、
を備えることを特徴とする補間装置。
【請求項２】
上記補間式設定手段は、上記第１方向とは異なる第２方向に並び、それぞれに予めデータが定められた複数の格子点の各格子点間に対して上記第２方向の補間式を設定する副補間式設定手段と、
上記副補間式設定手段により設定された補間式を用いて上記第２方向の各格子点間の補間を行うことにより、上記第２方向の各格子点間に位置する点にデータを付与し、当該データが付与された点を上記補間手段及び上記補間式設定手段が用いる上記格子点とする副補間手段と、
を有することを特徴とする請求項１に記載の補間装置。
【請求項３】
上記補間式は、上記格子点間の両端の格子点を通るｎ次式（ｎは２以上の自然数）であることを特徴とする請求項１または２に記載の補間装置。
【請求項４】
上記データは、画像を投影面に投影するときに生じる歪を補正するための補正値であり、上記格子点は当該画像を構成する画素上に配置されていることを特徴とする請求項１から３のいずれか１項に記載の補間装置。
【請求項５】
上記第１方向は、上記画像を描画する際の水平走査線の方向であることを特徴とする請求項４に記載の補間装置。
【請求項６】
第１方向に並ぶ多数の格子点にそれぞれ付与され、これら格子点の並び順に処理されるべきデータに対し、各格子点間のデータを補間する補間方法であって、
第１格子点間に対して設定された補間式を用いて当該第１格子点間の補間を行う補間工程と、
上記補間工程にて上記第１格子点間に対する補間が行われている期間中に、上記第１格子点間より並び順が後の第２格子点間に対して補間式を設定する補間式設定工程と、
を含むことを特徴とする補間方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多数の格子点にそれぞれ付与され、これら格子点の並び順に処理されるべきデータに対し、各格子点間を補間することにより、各格子点間のデータを求める補間装置及び補間方法に関する。
【背景技術】
【０００２】
近年、車載の情報表示装置として、ヘッドアップディスプレイ（Head Up Display、以下では、「ＨＵＤ」と略記する）システムが注目されている。車載のＨＵＤシステムは、例えば、車速や燃料残量等を表す画像をフロントガラスに投影する。しかし、これらの画像を非平面のフロントガラスにそのまま投影すると、運転者からは歪んだ画像として見える。そこで、多くのＨＵＤシステムは、この歪みを補正する機能（ワーピング機能）を備えている。
【０００３】
ワーピング機能として、フロントガラスの曲面に応じた補正値を、映像を構成する各画素にそれぞれ与えておく手法が挙げられる。この手法によれば、映像をフロントガラスに投影したとき、各画素に与えられた補正値を用いて、各画素の投影位置を補正することにより、フロントガラスに投影される映像から歪を無くすことができる。
【０００４】
さらに、この手法による場合、各画素に与える補正値のデータ量を削減することを目的として、映像を構成する全画素に補正値を予め与えることはせずに、一部の画素の補正値は補間により求めることが行われる。このような補間を行うことにより、予め格納しておかなければならない補正値のデータ量を削減することができる。
【０００５】
このような補間の手法としては、例えば、双線形補間法を挙げることができる（特許文献１を参照）。双線形補間法では、補正値の補間対象である画素と、その画素を囲む周囲４点の、予め補正値を持つ画素の各々との距離に比例するように、周囲４点の各々の補正値を重み付けする。そして、それら重み付けされた値の平均を求め、その平均値を補間対象の画素に与える補正値とする。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１０２５１９号公報（２００８年５月１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の双線形補間法は１次式を用いた線形補間であるため、フロントガラスといった曲面に適用した場合、滑らかな補間を行うことができない。
【０００８】
そこで、１次式に代えて、２次式を用いた補間を行うことが考えられるが、この場合、水平走査線方向及び垂直方向それぞれを２次式で補間することになるため、補間のための演算量が増大し、それゆえ、補正値を補間しつつ、補間された補正値を逐次的に用いて水平走査線上を描画するといったリアルタイム処理を行うことは困難となる。
【０００９】
これに対し、本発明は、補正値を補間しつつ、補間された補正値を逐次的に用いて水平走査線上を描画するリアルタイム処理を実現することができる補間装置及び補間方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、本発明に係る補間装置は、第１方向に並ぶ多数の格子点にそれぞれ付与され、これら格子点の並び順に処理されるべきデータに対し、各格子点間のデータを補間する補間装置であって、第１格子点間に対して設定された補間式を用いて当該第１格子点間の補間を行う補間手段と、上記第１格子点間に対する補間が行われている期間中に、上記第１格子点間より並び順が後の第２格子点間に対して補間式を設定する補間式設定手段と、を備える。
【００１１】
上記構成によれば、第１格子点間と第２格子点間とがこの順で各々の格子点に付与されたデータが処理される場合において、補間手段が第１格子点間に対する補間を行っている期間中に、補間式設定手段が第２格子点間を補間する補間式を決定し、第２格子点間に設定する。
【００１２】
このため、補間手段が、第１格子点間の各格子点のデータに対する処理が終了し、続いて、第２格子点間の各格子点のデータに対する処理を開始するときには、第２格子点間を補間する補間式が第２格子点間に設定されていることになる。
【００１３】
したがって、第１格子点間の各データに対する処理終了後直ちに、設定済みの補間式を用いて第２格子点間の補間を行うことが可能となる。
【００１４】
それゆえ、各格子点間に付与されるデータを補間しつつ、補間されたデータを逐次的に用いて各データに対する処理を行うリアルタイム処理を実現することができる。
【００１５】
ここで「多数の格子点」とは、原理的には格子点が３点以上であればよいことになるが、画像を表示するための画素に対する処理を想定した場合にはより多くの格子点を意味することになる。
【発明の効果】
【００１６】
本発明は、補正値を補間しつつ、補間された補正値を逐次的に用いて水平走査線上を描画するリアルタイム処理を実現することができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る補間装置の機能構成を示すブロック図である。
【図２】上記補間装置を適用した画像処理装置の概略構成を示すブロック図である。
【図３】上記補間装置のハードウェア構成を示すブロック図である。
【図４】上記補間装置を説明するための図であり、（ａ）は元画像上の２次元格子を示す図、（ｂ）は基準補正値が記載された補正テーブルの一例を示す図である。
【図５】本発明の一実施形態に係る補間方法を具体的に説明するための図であり、（ａ）及び（ｄ）は元画像を説明する図、（ｂ）及び（ｃ）は投影用画像を説明する図である。
【図６】上記補間方法の処理手順を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
【００１９】
（画像処理装置１）
図２は、本発明の実施の形態に係る補間装置２０を適用した画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、例えば、ＨＵＤシステムを利用した車載用の表示システムといった、表示装置から投影面に投影した画像をユーザに提供する表示システムに好適な画像処理装置である。
【００２０】
図２に示すように、画像処理装置１は、基準補正値記憶部２、アドレス生成部３、映像キャプチャバッファ４、フィルタ機能部５及び表示制御部６を備えている。
【００２１】
基準補正値記憶部２は、平面に表示することを想定した元画像をそのまま曲面に投影したときに生じる歪を取り除くための、元画像を構成する各画素に予め与えられる補正値を格納する。各補正値は、元画像の各画素の位置と、投影面に投影される投影用画像内における、元画像の各画素にそれぞれ対応する各画素の位置との間の位置ずれを示すものである。
【００２２】
例えば、各補正値は、元画像の各画素をそれぞれ投影用画像内においてどの位置に対応する画素として表示すべきか（例えば、投影用画像内における当該画素の座標）を示すものである。また、各補正値は、元画像の座標系における各画素の座標からの、投影用画像内の座標系における各画素の座標のずれを示す係数であってもよい。この場合、元画像のＸ−Ｙ座標系におけるｘ座標と投影用画像のＵ−Ｖ座標系におけるｕ座標との差及び、元画像のＸ−Ｙ座標系におけるｙ座標と投影用画像のＵ−Ｖ座標系におけるｖ座標との差を補正係数とすればよい。
【００２３】
ただし、基準補正値記憶部２は、元画像を構成するすべての画素について、上述のような補正値を格納するものではない。基準補正値記憶部２は、元画像上に２次元格子を想定し、当該２次元格子の格子点に位置する画素（以下、「格子点画素」と呼ぶ）のみについて上述の補正値を予め格納する。一方、このような２次元格子の格子点から外れた画素、すなわち、格子点間に位置する画素（以下、「格子点間画素」と呼ぶ）における補正値については、格子点画素に与えられている補正値を用いた補間により、算出する。この補間については、後述する。なお、以下では、基準補正値記憶部２に予め格納されている補正値を「基準補正値」、上述のように補間により求められる補正値を「補間補正値」と呼ぶ。
【００２４】
アドレス生成部３は、画像処理装置１の外部より入力され、映像キャプチャバッファ４に一時的に格納されるＲＧＢデータに対し、上述した投影用画像上における表示位置を示すアドレスデータを生成する。画像処理装置１はＲＧＢデータを表示装置（図示省略）に出力し、そのＲＧＢデータを基に表示装置に画像を表示させる。
【００２５】
また、アドレス生成部３は補間装置２０を有している。この補間装置２０は、後述するように、基準補正値記憶部２から取得される、格子点画素の基準補正値を基に、補間により、格子点間画素の補間補正値を求めるものである。格子点間画素に補間補正値が与えられることにより、アドレス生成部３は、基準補正値記憶部２から取得する基準補正値及び補間装置２０により求められる補間補正値を基にして、上述のアドレスを生成する。
【００２６】
映像キャプチャバッファ４は、画像処理装置１の外部より入力される、元画像のＲＧＢデータを一時的に格納する。このＲＧＢデータは、上述したアドレスに従って映像キャプチャバッファ４からフィルタ機能部５に出力される。
【００２７】
フィルタ機能部５は、例えば、映像キャプチャバッファ４から入力されるＲＧＢデータに対し、エッジ強調などのフィルタ処理を行う。フィルタ機能部５は、このようなフィルタ処理を施したＲＧＢデータを表示制御部６に出力する。
【００２８】
表示制御部６は、上述の表示装置を制御し、フィルタ機能部５から入力されるＲＧＢデータを用いて上述の表示装置に投影用画像を表示させる。
【００２９】
（補間装置２０）
上述したように、基準補正値記憶部２に予め格納されている基準補正値を基に補間補正値を求める処理は補間装置２０により実現される。この補間装置２０は、図１に示すように、第１補間を行うための補間式を設定して第１補間を行うとともに第２補間を行うための補間式を設定する第１補間部（補間式設定手段）２１と、第２補間を行う第２補間部（補間手段）２２と、水平方向補間係数を一時的に格納する水平方向補間係数記憶部２３と、第１補正値を一時的に格納する第１補正値記憶部２４と、を備えている。補間装置２０のハードウェア的な構成を図３に示しているが、その詳細は後述する。
【００３０】
（第１補間部２１）
第１補間部２１は、まず、水平走査線上の２つの格子点間画素の各々に対し、垂直方向の補間により、それらに与えるべき補間補正値（以下、「第１補正値」と呼ぶ）を求める。水平走査線上における一つの補間区間は、この第１補正値が与えられる２つの格子点間画素の間の区間である。次に、第１補間部２１は、この補間区間内の画素に与えるべき補間補正値（以下、「第２補正値」と呼ぶ）を水平走査線方向に補間し、算出するための走査線方向補間式を決定する。
【００３１】
このような機能を実現する第１補間部２１は、図１に示すように、参照画素設定部３０と、垂直方向補間係数演算部（副補間式設定手段）３１と、第１補正値算出部（副補間手段）３２と、垂直座標算出部（副補間手段）３３と、水平方向補間係数演算部３４と、を有している。
【００３２】
以下、図４の（ａ）に示すように、複数の画素からなる元画像上に２次元格子を想定し、当該２次元格子の格子点に位置する格子点画素に基準補正値が与えられている実施形態を例として説明する。
【００３３】
この場合、例えば、元画像のＸ−Ｙ座標系におけるｐ点（０，１）に位置する画素に対応する、投影用画像内の画素は、投影用画像のＵ−Ｖ座標系においてｑ点（ｕ０１，ｖ０１）に位置する。このとき、元画像のｐ点に位置する画素に対し、基準補正値ｄとして[ｕ０１，ｖ０１]が与えられている。すなわち、この例では、元画像の格子点に位置する各画素に対し、それぞれに対応する画素の、投影用画像内において位置する座標が基準補正値として与えられている。
【００３４】
図４の（ｂ）に示すように、このような基準補正値はテーブル形式により、基準補正値記憶部２に予め格納されている。この補正テーブルでは、上述したｐ点に位置する格子点画素に与えられた基準補正値ｄが、ｐ点の（ｘ，ｙ）＝（０，１）に対応する行列要素として記載されている。同様に、補正テーブルには、元画像の各格子点画素に与えられた基準補正値がそれぞれ記載されている。
【００３５】
参照画素設定部３０は、水平走査線上の２つの格子点間画素を補間する際に参照すべき参照画素領域を設定する。この参照画素領域には、元画像の格子点画素のうち、補間対象の画素に対して垂直方向（第２方向）に位置する複数の画素（以下、「参照画素」と呼ぶ）が含まれる。参照画素設定部３０は、参照画素領域に含まれる各参照画素の基準補正値を基準補正値記憶部２から取得する。
【００３６】
垂直方向補間係数演算部３１は、参照画素設定部３０により設定された参照画素領域に含まれる各参照画素の基準補正値を用いて、上記２つの格子点間画素に与えるべき第１補正値を算出するための垂直方向補間式を決定する。
【００３７】
ここで、上述した「垂直方向」とは、元画像のＸ−Ｙ座標系におけるＹ方向である。上述したように、基準補正値及び第１補正値は、元画像の各画素に対応する、投影用画像内における各画素の座標を示すものである。基準補正値及び第１補正値がこのような投影用画像内における各画素の座標を示す場合、垂直方向補間式は、元画像のＸ−Ｙ座標系においてＹ方向に並ぶ各格子点画素に与えられた基準補正値を通る曲線で表されることになる。
【００３８】
一般に、ｎ＋１個の点（α０，β０），（α１，β１），（α２，β２），・・・，（αｎ，βｎ）が与えられているとき、その点を通る滑らかな曲線をひき、α０〜αｎの間の値αにおける上記曲線上の点のβの値を求めることを補間という。通常、ｎ＋１個の点を通る曲線は、例えば、以下のようなｎ次式（ｎは２以上の自然数）で表される。本実施の形態では、ニュートンの補間式を用いている。
【００３９】
β＝Ａ０＋Ａ１（α−α０）＋Ａ２（α−α０）（α−α１）＋・・・＋Ａｎ（α−α０）（α−α１）・・・（α−αｎ−１）
上述の「垂直方向補間式を決定する」とは、このｎ次式を決定するために、上記の係数（補間係数）Ａ０〜Ａｎを算出することを意味する。
【００４０】
このようなｎ次式を用いた場合、ｎの数が大きくなると、演算量が増大する傾向にある。このため、垂直方向補間係数演算部３１は、参照画素領域のＸ方向の格子点の数分の低次元の補間を行う。具体的には、垂直方向補間係数演算部３１は、垂直方向補間式として、３点の格子点画素を用いた２次式を用いる。もちろん、垂直方向補間式は２次式に限られるものではなく、演算量の増大が問題とならなければ、３次式、４次式といった、より高次の式であっても構わない。高次の式になるほど、参照画素領域を広く取る必要がある。
【００４１】
垂直方向補間係数演算部３１は、このような垂直方向補間式の係数を演算し、複数の垂直方向補間式を決定する。なお、本実施の形態では、垂直方向補間式は２次式を用いるものとする。
【００４２】
第１補正値算出部３２は、垂直方向補間係数演算部３１により決定された垂直方向補間式を用いて、補間対象である、水平走査線上の２つの格子点間画素に与える第１補正値を算出する。この第１補正値を算出する際、第１補正値算出部３２は、参照画素領域のＸ方向の格子点の数分の、投影用画像のＵ−Ｖ座標系における各ｖ座標を垂直座標算出部３３より取得する。取得したｖ座標を対応する垂直方向補間式に代入することで、ｕ座標を取得する。これらのｕ、ｖ座標が第１補正値である。
【００４３】
垂直座標算出部３３は、補間対象の水平走査線の上下に位置する２つの格子点の基準補正値から、以下の方法で補間対象の水平走査線上のｖ座標を算出する。
【００４４】
上記２つの格子点のＵ−Ｖ座標系でのｖ座標の差と、同じ２つの格子点のＸ−Ｙ座標系でのｙ座標の差（Ｙ方向の格子点間距離）を求める。
【００４５】
上記の２つの差と、上記の水平走査線のｙ座標と上記の水平走査線の上下にある格子点のｙ座標との関係から、ｖ座標を算出する。
【００４６】
水平方向補間係数演算部３４は、第１補正値算出部３２により算出された第１補正値を用いて、上記２つの格子点間画素内の画素に与えるべき第２補間値を算出するために、まず、水平走査線方向（第１方向）に補間する走査線方向補間式を決定する。
【００４７】
上述した「水平走査線方向」とは、元画像のＸ−Ｙ座標系におけるＸ方向である。上述した垂直方向補間式と同様、走査線方向補間式は、３点の格子点間画素を用いた２次式（曲線）を用いる。水平方向補間係数演算部３４は、このような走査線方向補間式の係数を演算し、走査線方向補間式を決定する。なお、本実施の形態では、走査線方向補間式は２次式を用いるものとする。
【００４８】
（第２補間部２２）
第２補間部２２は、第１補間部２１により決定された走査線方向補間式を用いて、第１補正値が与えられた格子点間画素間である補間区間内に位置する画素に与える第２補正値を求める。第２補間部２２は、図１に示すように、第２補正値算出部４０と、水平座標算出部４１と、を有している。
【００４９】
第２補正値算出部４０は、水平方向補間係数演算部３４により決定された走査線方向補間式を用いて、上記補間区間内の画素に与える第２補正値を算出する。この第２補正値を算出する際、第２補正値算出部４０は、投影用画像のＵ−Ｖ座標系における各画素のｕ座標を水平座標算出部４１より取得する。
【００５０】
水平座標算出部４１は、第１補正値算出部３２により算出された第１補正値を用い、投影用画像のＵ−Ｖ座標系における、補間区間内の画素のｕ座標を水平走査線方向に沿って順次算出する。
【００５１】
（水平方向補間係数記憶部２３）
水平方向補間係数記憶部２３は、水平方向補間係数演算部３４により演算された走査線方向補間式の係数を第２補正値算出部４０の処理開始まで一時的に格納する。
【００５２】
（第１補正値記憶部２４）
第１補正値記憶部２４は、第１補正値算出部３２により算出された第１補正値を水平座標算出部４１の処理開始まで一時的に格納する。
【００５３】
（補間装置２０の動作）
以下、図５及び図６を用いて、補間装置２０の動作、すなわち、本発明の実施の形態に係る補間方法について説明する。図５は、本発明の実施の形態に係る補間方法を具体的に説明する図、図６は、当該補間方法の処理手順を示す図である。
【００５４】
図６において、参照画素設定部３０は参照画素領域Ｒ１を設定する（Ｓ１）。図５の（ａ）に示すように、格子点間画素である第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３が補間対象である。参照画素領域Ｒ１には、第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３がそれぞれの補間において参照すべき参照画素が含まれている。具体的には、参照画素領域Ｒ１は、元画像の格子点に位置する格子点画素ｐ１〜ｐ９を含んでいる。第１画素Ｐ１は、ｐ１とｐ４との間の区間ｌ１に位置する画素、第２画素Ｐ２は、ｐ２とｐ５との間の区間ｌ２に位置する画素、第３画素Ｐ３は、ｐ３とｐ６との間の区間ｌ３に位置する画素である。
【００５５】
第１画素Ｐ１の第１補正値を求める際に参照すべき参照画素はｐ１、ｐ４、ｐ７である。第２画素Ｐ２の第１補正値を求める際に参照すべき参照画素はｐ２、ｐ５、ｐ８である。第３画素Ｐ３の第１補正値を求める際に参照すべき参照画素はｐ３、ｐ６、ｐ９である。なお、各々の参照画素として３点が必要となるのは、上述したように、垂直方向補間式が２次式のためである。
【００５６】
参照画素設定部３０は、ｐ１〜ｐ９の各々に与えられている基準補正値を基準補正値記憶部２に格納されている補正テーブルからそれぞれ取得する。
【００５７】
次に、垂直方向補間係数演算部３１は、参照画素設定部３０よりｐ１〜ｐ９の各々に与えられている基準補正値が入力されると、第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３の各第１補正値を求めるための垂直方向補間式の係数を算出し、各々の垂直方向補間式を決定する（Ｓ２）。
【００５８】
例えば、第１画素Ｐ１の第１補正値を垂直方向ｍ０１で補間し、算出するための垂直方向補間式ｍ１は次のように決定される。
【００５９】
まず、第１画素Ｐ１の第１補正値を求める際に参照すべき参照画素であるｐ１、ｐ４、ｐ７の基準補正値、すなわち、投影用画像のＵ−Ｖ座標系における座標に位置するｑ１、ｑ４、ｑ７を通る２次式である垂直方向補間式ｍ１を以下の（１）式とする（図５の（ｂ）参照）。
【００６０】
ｕ＝Ａ００（ｖ−ｖ００）（ｖ−ｖ０１）＋Ｂ００（ｖ−ｖ００）＋Ｃ００  ・・・  （１）
投影用画像のＵ−Ｖ座標系におけるｑ１、ｑ４、ｑ７の座標を、（ｕ００，ｖ００）、（ｕ０１，ｖ０１）、（ｕ０２，ｖ０２）とする。
【００６１】
ｖ＝ｖ００により、ｕ＝ｕ００＝Ｃ００となる。
【００６２】
ｖ＝ｖ０１により、ｕ＝ｕ０１＝Ｂ００（ｖ０１−ｖ００）＋Ｃ００となる。これにより、Ｂ００＝（ｕ０１−ｕ００）／（ｖ０１−ｖ００）となる。
【００６３】
ｖ＝ｖ０２により、ｕ＝ｕ０２＝Ａ００（ｖ０２−ｖ００）（ｖ０２−ｖ０１）＋Ｂ００（ｖ０２−ｖ００）＋Ｃ００となる。ｕ００＝Ｃ００、Ｂ００＝（ｕ０１−ｕ００）／（ｖ０１−ｖ００）により、Ａ００＝（Ｂ００’−Ｂ００）／（ｖ０２−ｖ０１）となる。ただし、Ｂ００’＝（ｕ０２−ｕ００）／（ｖ０２−ｖ００）である。
【００６４】
このように、上記（１）式における３つの係数Ａ００、Ｂ００、Ｃ００が求められ、上記（１）式が決定される。
【００６５】
同様に、第２画素Ｐ２の第１補正値を垂直方向ｍ０２で補間し、算出するための垂直方向補間式ｍ２、第３画素Ｐ３の第１補正値を垂直方向ｍ０３で補間し、算出するための垂直方向補間式ｍ３、がそれぞれ決定される。
【００６６】
次に、第１補正値算出部３２は、上述したように決定された垂直方向補間式ｍ１、ｍ２及びｍ３を用いて、第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３の各々の第１補正値を算出する（Ｓ３）。ここで、第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３の投影用画像のＵ−Ｖ座標系における点を各々、第１画素Ｑ１、第２画素Ｑ２及び第３画素Ｑ３とする。
【００６７】
図５の（ｂ）に示すように、投影用画像のＵ−Ｖ座標系において、第１画素Ｑ１、第２画素Ｑ２及び第３画素Ｑ３は、水平走査線と各垂直方向補間式ｍ１、ｍ２、ｍ３との各交点に位置する。垂直座標算出部３３は、この各交点のｖ座標、すなわち、第１画素Ｑ１、第２画素Ｑ２及び第３画素Ｑ３の各ｖ座標を算出する。第１画素Ｑ１、第２画素Ｑ２及び第３画素Ｑ３の各ｖ座標は、ｑ１とｑ４とのｖ座標の差、ｑ２とｑ５とのｖ座標の差及びｑ３とｑ６とのｖ座標の差の各々から求めることができる。例えば、第１画素Ｑ１の場合であれば、ｑ１とｑ４との間の区間ｌ１に予め定められた数の水平走査線が描画される。ｑ１とｑ４とのｖ座標の差を区間ｌ１に対応するＸ−Ｙ座標系のＹ方向の格子点間における補間数で分割すれば、水平走査線間のＶ方向の単位距離が算出される。垂直座標算出部３３は、ｑ１のｖ座標にｑ１から見た水平走査線数分だけ水平走査線間のＶ方向の単位距離を加えることにより、第１画素Ｑ１のｖ座標を算出することができる。第２画素Ｑ２、第３画素Ｑ３についても同様である。
【００６８】
第１補正値算出部３２は、上述の垂直方向補間式ｍ１、ｍ２及びｍ３の各々に対し、垂直座標算出部３３により算出された第１画素Ｑ１、第２画素Ｑ２及び第３画素Ｑ３の各ｖ座標を代入することにより、第１画素Ｑ１、第２画素Ｑ２及び第３画素Ｑ３の各ｕ座標を算出する。
【００６９】
このようにして、第１補正値算出部３２は、投影用画像のＵ−Ｖ座標系における第１画素Ｑ１、第２画素Ｑ２及び第３画素Ｑ３の各座標（第１補正値）を算出する。第１補正値算出部３２は、第１画素Ｑ１、第２画素Ｑ２及び第３画素Ｑ３の各座標を水平方向補間係数演算部３４に出力すると共に、第１補正値記憶部２４に一時的に格納する。
【００７０】
次に、水平方向補間係数演算部３４は、第１補正値算出部３２より第１画素Ｑ１、第２画素Ｑ２及び第３画素Ｑ３の各々に与えられた座標が入力されると、第１画素Ｑ１と第２画素Ｑ２間を補間し、その間の画素の各第２補正値を求めるための走査線方向補間式の係数を算出し、走査線方向補間式を決定する（Ｓ４）（補間式設定工程）。第１画素Ｑ１と第２画素Ｑ２間を補間する走査線方向補間式は、上述した垂直方向補間式と同様に決定される。
【００７１】
例えば、走査線方向補間式ｍ４は以下の（２）式とすればよい。
【００７２】
ｖ＝Ａ（ｕ−Ｕ０）（ｕ−Ｕ１）＋Ｂ（ｕ−Ｕ０）＋Ｃ  ・・・  （２）
なお、第１画素Ｑ１、第２画素Ｑ２、第３画素Ｑ３の各々の第１補正値、すなわち、投影用画像のＵ−Ｖ座標系における座標を、（Ｕ０，Ｖ０）、（Ｕ１，Ｖ１）、（Ｕ２，Ｖ２）とする。
【００７３】
上記（２）式の３つの係数Ａ、Ｂ及びＣは、以下のとおりとなる。
【００７４】
Ａ＝（Ｂ’−Ｂ）／（Ｕ２−Ｕ１）
ただし、Ｂ’＝（Ｖ２−Ｖ０）／（Ｕ２−Ｕ０）
Ｂ＝（Ｖ１−Ｖ０）／（Ｕ１−Ｕ０）
Ｃ＝Ｖ０
このように、上記（２）式における３つの係数Ａ、Ｂ、Ｃが求められ、上記（２）式が決定される。図５の（ｂ）に示すように、第０画素Ｑ０と第１画素Ｑ１との間の補間区間を走査する期間中において、第１画素Ｑ１と第２画素Ｑ２との間の補間区間に対する上記ステップＳ１〜Ｓ４が行われる。
【００７５】
次に、第２補正値算出部４０は、水平方向補間係数演算部３４により決定された走査線方向補間式を用いて、図５の（ｃ）に示すように、第１画素Ｑ１と第２画素Ｑ２との間の補間区間ｌ４内の画素（例えば、Ｑａ、Ｑｂ）の第２補正値を算出する（Ｓ５）（補間工程）。この第２補正値は、上述したとおり、投影用画像のＵ−Ｖ座標系における座標である。第２補正値算出部４０は、描画処理する水平走査線の走査点の進行に合わせて、補間区間ｌ４内の画素のｕ、ｖ座標を順次算出する。
【００７６】
第２補正値算出部４０は、上述の走査線方向補間式ｍ４に対し、水平座標算出部４１により算出された補間区間ｌ４内の各画素のｕ座標を代入することにより、各ｖ座標を算出する。
【００７７】
水平座標算出部４１は、投影用画像のＵ−Ｖ座標系において、補間区間ｌ４内の各画素のｕ座標を水平走査線方向に順次出力する。補間区間ｌ４内の各画素のｕ座標は、第１画素Ｑ１と第２画素Ｑ２とのｕ座標の差から求めることができる。第１画素Ｑ１と第２画素Ｑ２とのｕ座標の差を補間区間ｌ４に対応するＸ−Ｙ座標系のＸ方向の格子点間における補間数で分割すれば、画素間のＵ方向の単位距離が算出される。水平座標算出部４１は、このように算出された単位距離を、水平走査線の走査点の進行に合わせて、第１画素Ｑ１のｕ座標に１単位距離ずつ加えていくことにより、補間区間ｌ４内の各画素のｕ座標を算出することができる。
【００７８】
なお、補間区間ｌ４の描画の開始とともに、参照画素設定部３０は新たな参照画素領域Ｒ２を設定する（Ｓ１）。図５の（ｄ）に示すように、参照画素領域Ｒ２には、第１補正値を補間すべき対象の画素である、第１画素Ｐ１’、第２画素Ｐ２’及び第３画素Ｐ３’がそれぞれ参照すべき参照画素が含まれている。参照画素領域Ｒ２は、元画像の格子点に位置するｐ１’〜ｐ９’を含んでいる。第１画素Ｐ１’は、ｐ１’とｐ４’との間の区間ｌ１’に位置する画素、第２画素Ｐ２’は、ｐ２’とｐ５’との間の区間ｌ２’に位置する画素、第３画素Ｐ３’は、ｐ３’とｐ６’との間の区間ｌ３’に位置する画素である。第１画素Ｐ１’の第１補正値を垂直方向ｍ０１’で補間し、算出するための垂直方向補間式、第２画素Ｐ２’の第１補正値を垂直方向ｍ０２’で補間し、算出するための垂直方向補間式及び第３画素Ｐ３’の第１補正値を垂直方向ｍ０３’で補間し、算出するための垂直方向補間式が決定される（Ｓ２）。
【００７９】
ここで、図６に示すように、補間区間１、補間区間２及び補間区間３がこの順で描画されるものとする。補間装置２０は、補間区間１に対し、上述したステップＳ５の処理を行う期間内において、補間区間２に対し、上述したステップＳ１〜Ｓ４の処理を行う。同様に、補間区間２に対し、上述したステップＳ５の処理を行う期間内において、補間区間３に対し、上述したステップＳ１〜Ｓ４の処理を行う。
【００８０】
補間装置２０では、各補間区間の描画処理が開始するまでに、各補間区間を走査するために必要となる補間区間を補間し、補間区間内の座標を求める走査線方向補間式が決定される。これにより、補間区間の描画処理を行いつつ、次の描画対象である補間区間を走査するために必要となる走査線方向補間式が決定される。
【００８１】
このようにすることにより、水平走査線上を描画しつつ、水平走査線上を補間することにより水平走査線上の画素の補正値を求めることができる。
【００８２】
以上のとおり、本実施の形態では、格子点画素に付与された基準補正値を用いて格子点間画素の補正値を補間することを前提とした処理について説明した。すなわち、本実施の形態の処理は、２次元空間での補間を対象としたものであるといえる。しかしながら、先の補間区間に対して上述したステップＳ５の処理を行う期間内に、後の補間区間に対して上述したステップＳ１〜Ｓ４の処理を行うという点に着目すれば、この点は１次元空間での補間にも応用可能である。一例を挙げれば、時間的にサンプリングされた音声データを補間しつつ再生する技術への応用が考えられる。
【００８３】
補間装置２０は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００８４】
補間装置２０は、例えば、図３に示すハードウェア構成により実現することができる。図３に示すように、補間装置２０は、第１補間装置５１と、第２補間装置５２と、を有している。第１補間装置５１は、図１に示した参照画素設定部３０、垂直方向補間係数演算部３１、第１補正値算出部３２、垂直座標算出部３３及び水平方向補間係数演算部３４をハードウェア構成により実現する加算器６１、乗算器６２及び除算テーブル記憶部６３を有している。さらに、第１補間装置５１は、図１に示した水平方向補間係数記憶部２３及び第１補正値記憶部２４をハードウェア構成により実現するテンポラリレジスタ６４を有している。第１補間装置５１は、基準補正値記憶部２から入力される基準補正値に対し、加算器６１、乗算器６２及び、除算テーブル記憶部６３に格納されている除算用のテーブルを用いて演算し、上述した水平方向補間係数および第１補正値を算出し、テンポラリレジスタ６４に一時的に格納する。除算用のテーブルは、例えば、被除数と除数に基づいて商の各桁を決定可能なルックアップテーブルを用いることができる。
【００８５】
第２補間装置５２は、第１補間装置５１から入力される、上述した水平方向補間係数および第１補正値に対し、乗算器７１、７２及び加算器７３を用いて演算し、上述した第２補正値を算出する。
【００８６】
ソフトウェアによって実現する場合、補間装置２０の第１補間部２１及び第２補間部２２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８７】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００８８】
なお、本発明の各態様に係る補間装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記補間装置が備える各手段として動作させることにより上記補間装置をコンピュータにて実現させる補間装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。さらに、本発明の各態様に係る補間装置は集積回路として実現してもよく、この場合には、上記集積回路を備えるチップなども本発明の範疇に入る。
【産業上の利用可能性】
【００８９】
本発明は、ＨＵＤシステムを利用した車載用の表示システムといった、表示装置から投影面に投影した画像をユーザに提供する表示システムに利用することができる。
【符号の説明】
【００９０】
１  画像処理装置、２  基準補正値記憶部、３  アドレス生成部、４  映像キャプチャバッファ、５  フィルタ機能部、６  表示制御部、２０  補間装置、２１  第１補間部（補間式設定手段）、２２  第２補間部（補間手段）、２３  水平方向補間係数記憶部、２４  第１補正値記憶部、３０  参照画素設定部、３１  垂直方向補間係数演算部（副補間式設定手段）、３２  第１補正値算出部（副補間手段）、３３  垂直座標算出部（副補間手段）、３４  水平方向補間係数演算部、４０  第２補正値算出部、４１  水平座標算出部。
【図１】
2015197718.tif 000003
【図２】
2015197718.tif 000004
【図３】
2015197718.tif 000005
【図４】
2015197718.tif 000006
【図５】
2015197718.tif 000007
【図６】
2015197718.tif 000008