(57)【要約】【課題】歪んだ画像を精度良く補正可能な補正係数を生成する。【解決手段】平面表示面に表示された２つの方向に沿って所定の間隔で複数のパターンが配置された元画像を、歪ませた歪み画像が撮影された撮影画像中の各パターンの座標を算出する座標算出部（２２）と、所定の基準点を基準として撮影画像中のパターン間の間隔比が維持されるように撮影画像中の各パターンの座標を平面表示面の座標に変換した座標を補正係数として算出する係数算出部（２３）とを備える。【選択図】図１
2017049671.tif 000002
【特許請求の範囲】
【請求項１】
歪んだ画像を補正するための補正係数を生成する補正係数生成装置であって、
平面表示面に表示された２つの方向に沿って所定の間隔で複数のパターンが配置された元画像を、歪ませた歪み画像が撮影された撮影画像中の各パターンの座標を算出する座標算出部と、
所定の基準点を基準として上記撮影画像中のパターン間の間隔比が維持されるように上記撮影画像中の各パターンの座標を上記平面表示面の座標に変換した座標を上記補正係数として算出する係数算出部と
を備えることを特徴とする補正係数生成装置。
【請求項２】
上記撮影画像は上記元画像よりも高解像度であることを特徴とする請求項１に記載の補正係数生成装置。
【請求項３】
上記撮影画像中の各パターンを特定する画像処理を行う画像処理部をさらに備えることを特徴とする請求項１または２に記載の補正係数生成装置。
【請求項４】
上記画像処理部は、
上記撮影画像に対して２値化処理を行うことにより、上記撮影画像中の各パターンを分離する２値化部と、
上記２値化部により分離されたパターンに対して膨張処理及び収縮処理を行うことにより、当該パターンからノイズを除去するノイズ除去部と
を有することを特徴とする請求項３に記載の補正係数生成装置。
【請求項５】
上記係数算出部により算出された上記補正係数を用いて上記平面表示面に表示可能な元画像の領域を判定する領域判定部をさらに備えることを特徴とする請求項１から４のいずれか１項に記載の補正係数生成装置。
【請求項６】
上記歪み画像は、上記元画像が非平面表示面に投影された画像であることを特徴とする請求項１から５のいずれか１項に記載の補正係数生成装置。
【請求項７】
上記撮影画像は、魚眼レンズを通して上記元画像が撮影されたものであることを特徴とする請求項１から５のいずれか１項に記載の補正係数生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪んだ画像を補正するために用いる補正係数を生成する技術に関する。
【背景技術】
【０００２】
車載の情報表示装置として、ヘッドアップディスプレイ（Head Up Display、以下では、「ＨＵＤ」と略記する）システムが注目されている。車載のＨＵＤシステムは、例えば、車速や燃料残量等を表す画像をフロントガラスに投影する。これらの画像を非平面のフロントガラスにそのまま投影すれば、運転者からは歪んだ画像として見える。ＨＵＤシステムは、この歪んだ画像を補正する機能（ワーピング機能）を備えている。ワーピング機能に用いられる従来技術として、特許文献１〜３に開示された技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−７２５５３号公報（２００４年３月４日公開）
【特許文献２】特開２００８−２５１０２６号公報（２００８年１０月１６日公開）
【特許文献３】特開２００２−１５０２８０号公報（２００２年５月２４日公開）
【特許文献４】特開２０１５−１１１３５３号公報（２０１５年６月１８日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術は、画像が投影されるスクリーンの形状をパラメータ化し、そのパラメータを用いて歪んだ画像を補正するものである。このため、複雑なスクリーン形状の場合にはパラメータに誤差が生じ、補正精度は低下する。
【０００５】
特許文献２の技術は、スクリーンのアスペクト比を用いて、スクリーンに収まるように画像を補正するものである。しかし、スクリーン形状に関しては何ら考慮されていないことから、複雑なスクリーン形状の場合、補正精度は低下する。
【０００６】
特許文献３の技術は、スクリーン形状を３次元モデルで推定し、その３次元モデルを用いて歪んだ画像を補正するものである。このため、複雑なスクリーン形状の場合には推定した３次元モデルに誤差が生じ、特許文献１の技術と同様、補正精度は低下する。
【０００７】
本発明は、前記の問題点に鑑みてなされたものであり、その目的は、歪んだ画像を精度良く補正可能な補正係数を生成する補正係数生成装置を実現することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る補正係数生成装置は、歪んだ画像を補正するための補正係数を生成する補正係数生成装置であって、平面表示面に表示された２つの方向に沿って所定の間隔で複数のパターンが配置された元画像を、歪ませた歪み画像が撮影された撮影画像中の各パターンの座標を算出する座標算出部と、所定の基準点を基準として上記撮影画像中のパターン間の間隔比が維持されるように上記撮影画像中の各パターンの座標を上記平面表示面の座標に変換した座標を上記補正係数として算出する係数算出部とを備える構成である。
【０００９】
上記構成によれば、歪み画像を補正するための補正係数を生成する際、平面表示面に表示された元画像が歪んだ歪み画像を実際に撮影する。
【００１０】
元画像とは、２つの方向（例えば、水平方向と垂直方向）に沿って、所定の間隔を空けて互いに隣接するように、複数のパターンが配置された２次元格子の画像である。複数のパターンの各々は、２次元格子の各格子点を表す領域に相当する。また、元画像において、各パターンは、元画像を構成する複数の画素のうちの、１つの画素で表されてもよいし、複数の画素（例えば、２×２画素、３×３画素）で表されてもよい。
【００１１】
そして、実際に撮影された撮影画像から、補正係数の生成に必要となる元画像の各パターンの座標を算出する。
【００１２】
さらに、所定の基準点を基準とし、撮影画像中のパターン間の間隔比を維持しつつ、撮影画像中の各パターンの座標を平面表示面の座標に変換し、当該変換された座標、すなわち、各パターンが平面表示面のどの位置に表示されるかを示す座標を算出する。それら算出された座標が補正係数となる。
【００１３】
ここで、画像の歪みは、例えば、平面表示面に表示された画像が非平面表示面に投影された場合に生じる。従来では、非平面表示面の形状をシミュレーションし、そのシミュレーション結果に基づき補正係数を生成していた。このため、非平面表示面の形状が複雑となり、シミュレーションの誤差が生じると、補正精度が低下してしまう。
【００１４】
これに対し、上記構成では、非平面表示面に投影された歪み画像を実際に撮影し、その撮影画像から各パターンの座標を算出し、補正係数を生成する。このため、非平面表示面がどのような形状であっても、歪み画像の各パターンを忠実に再現することができるので、歪んだ画像を精度良く補正可能な補正係数を生成することができる。
【００１５】
なお、本発明の各態様に係る補正係数生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記補正係数生成装置が備える各部として動作させることにより上記補正係数生成装置をコンピュータにて実現させる補正係数生成装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。さらに、本発明の各態様に係る補正係数生成装置は集積回路（ＩＣチップ）として実現してもよく、この場合には、上記集積回路を備えるチップなども本発明の範疇に入る。
【発明の効果】
【００１６】
本発明によれば、歪んだ画像を精度良く補正可能な補正係数を生成することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る補正係数生成装置の概略構成を示すブロック図である。
【図２】本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図３】上記画像処理装置を含むシステムの原理を示す模式図である。
【図４】上記補正係数生成装置が補正係数を生成する際に用いる２次元格子を説明する図であり、（ａ）は平面表示面に表示させた２次元格子の画像を示す図、（ｂ）は非平面表示面に投影された２次元格子の画像を示す図である。
【図５】２値化された白黒の２次元格子画像中の１つの格子点を表す領域に対する膨張処理及び収縮処理を説明する図であり、（ａ）は、膨張処理及び収縮処理前を示す図であり、（ｂ）は、膨張処理後を示す図であり、（ｃ）は、収縮処理後を示す図である。
【図６】或る格子点を表す領域を構成する各画素の距離係数を示す図である。
【図７】上記補正係数生成装置の係数算出部による解像度変換を説明する図であり、（ａ）は、上記補正係数生成装置の座標算出部により算出された各格子点を表す領域の座標を示す図、（ｂ）は、上記係数算出部により解像度変換された各格子点を表す領域の座標を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態について、詳細に説明する。
【００１９】
図２は、本発明の一実施形態に係る画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、図３に示すように、表示装置３１に表示させる画像に画像処理を施す装置であり、特に、非平面表示面３２（例えばフロントガラス）に画像を投影するシステム（例えばＨＵＤシステム）に適した装置である。以下、図３に示したＨＵＤシステムを本発明の一実施形態の例として説明する。
【００２０】
図２に示したとおり、画像処理装置１は、補正係数記憶部２、アドレス生成部３、キャプチャバッファ４、フィルタ機能部５、及び表示制御部６を含んでいる。
【００２１】
補正係数記憶部２は、表示装置３１の平面表示面における表示位置を、非平面表示面３２における表示位置に補正するための補正係数を記憶する。補正係数は、表示装置３１の平面表示面に表示することを想定した元画像をそのまま非平面表示面３２に投影したときに生じる歪を取り除くため、元画像を構成する各画素に与えられる補正値である。補正係数は元画像を構成する全画素には与えられず、一定の補間間隔ごとに与えられる。補正係数記憶部２に記憶されるデータ量の削減のためである。
【００２２】
アドレス生成部３は、画像処理装置１の外部より入力され、キャプチャバッファ４に一時的に格納されるＲＧＢデータに対し、非平面表示面３２上における表示位置を示すアドレスデータを生成する。
【００２３】
アドレス生成部３は、補間部１０を含んでいる。補間部１０は、一定の補間間隔ごとに与えられた補正係数から未設定の補正係数を補間する。補正係数が２次元格子の各格子点の位置に与えられた場合、補間部１０は、２次元２次式を用いて、格子点間の補正係数を補間するのが好ましい。この２次元２次式を用いた補間については、本出願人が平成２６年３月３１日に出願した特願２０１４−０７３９９７号の出願当初明細書等に具体的に開示されている。アドレス生成部３は、補正係数記憶部２に記憶された補正係数、及び補間部１０により補間された補正係数を基にアドレスデータを生成する。なお、２次元格子とは、複数の格子点が２つの方向（例えば、水平方向と垂直方向）に沿って、所定の間隔を空けて、互いに隣接するように配置されたものである。
【００２４】
キャプチャバッファ４は、画像処理装置１の外部より入力される、元画像のＲＧＢデータを一時的に格納する。このＲＧＢデータは、上述したアドレスデータに従ってキャプチャバッファ４からフィルタ機能部５に出力される。フィルタ機能部５は、例えば、キャプチャバッファ４から入力されるＲＧＢデータに対し、エッジ強調などのフィルタ処理を行う。フィルタ機能部５は、このようなフィルタ処理を施したＲＧＢデータを表示制御部６に出力する。表示制御部６は、表示装置３１を制御し、フィルタ機能部５から入力されるＲＧＢデータを用いて表示装置３１に画像を表示させる。
【００２５】
図１は、本発明の一実施形態に係る補正係数生成装置２０の概略構成を示すブロック図である。補正係数生成装置２０は、画像処理部２１、座標算出部２２、係数算出部２３、及び領域判定部２４を含んでいる。
【００２６】
画像処理部２１は、補正係数生成装置２０に入力される入力画像中の処理対象領域を特定する画像処理を行う。画像処理部２１は、２値化部２１１、及びノイズ除去部２１２を含んでいる。２値化部２１１は、入力画像に対して２値化処理を行うことにより、入力画像中の処理対象領域と背景等のその他の領域とを分離する。ノイズ除去部２１２は、２値化部２１１により分離された処理対象領域に対して膨張処理及び収縮処理を行うことにより、処理対象領域からノイズを除去する。２値化処理、膨張処理、及び収縮処理の原理については周知であるのでここでは説明しない。
【００２７】
座標算出部２２は、入力画像における処理対象領域の位置を表す座標を算出する。
【００２８】
係数算出部２３は、座標算出部２２により算出された処理対象領域の座標を用いて、上述の補正係数を算出する。補正係数生成装置２０は、係数算出部２３により算出された補正係数を画像処理装置１の補正係数記憶部２に格納する。
【００２９】
領域判定部２４は、係数算出部２３により算出された補正係数を用いて、表示装置３１の平面表示面に表示可能な元画像の領域を判定する。補正係数生成装置２０は、領域判定部２４により判定された元画像の領域を示す表示可能領域データを画像処理装置１のアドレス生成部３に出力する。アドレス生成部３は、アドレスデータ生成の際、表示可能領域データを参照し、表示可能な元画像の領域を表示するためのＲＧＢデータに対してアドレスデータを生成する。
【００３０】
補正係数生成装置２０の上述した各構成部について具体的に説明する。図４は、補正係数生成装置２０が補正係数を生成する際に用いる２次元格子を説明する図であり、図４の（ａ）は、画像処理装置１が表示装置３１の平面表示面に表示させた２次元格子の画像を示す図、図４の（ｂ）は、非平面表示面３２に投影された２次元格子の画像を示す図である。なお、以下では、「２次元格子画像」は、２次元格子自体の画像及びその２次元格子自体の画像を除く背景画像等を含む画像を指すものとする。
【００３１】
図４の（ａ）に示した２次元格子画像（元画像）は、画像処理装置１により表示装置３１の平面表示面（解像度：４８０×２４０）に表示されたものである。１つの格子点の領域（パターン）は３×３画素（pixel）で表されており、格子点数は２９×１５（＝４３５）個である。なお、本実施形態では、１つの格子点の領域を３×３画素で表しているが、この画素数に限定されるものではない。１画素であってもよいし、２画素×２画素であってもよい。図４の（ａ）に示した２次元格子画像の水平方向をＸ方向、垂直方向をＹ方向とする。
【００３２】
図４の（ｂ）に示した２次元格子画像は、図３のシステムにおいて、非平面表示面３２に投影された２次元格子画像を、同図中Ａで示す位置に配置されたＣＣＤ（Charge Coupled Device）カメラやデジタルカメラ等の撮影装置により撮影した画像である。同図中Ａで示す位置は、本システムを利用するユーザの視点の位置である。よって、この撮影画像は、ユーザの視点から、非平面表示面３２に投影された２次元格子画像を実際に撮影した画像となる。
【００３３】
ここで、特許文献１、３の技術では、画像が投影されるスクリーンの形状をシミュレーションし、そのシミュレーション結果を用いて歪んだ画像を補正するものであった。このため、パラメータや３次元モデルの精度が悪ければ、必然的に補正精度が低下してしまう。これに対し、本願発明では、非平面表示面３２に投影された画像を実際に撮影し、投影された画像が忠実に再現された撮影画像を用いて歪んだ画像の補正を行うので、特許文献１、３の技術のように、スクリーン形状をシミュレーションする場合と比較して、補正の精度が向上する。特に、非平面表示面３２の形状が複雑になればなるほど、その効果は顕著である。
【００３４】
撮影装置は表示装置３１よりも高解像度であることが好ましく、本発明の一実施形態では、撮影装置の解像度は１７６０×１１００である。図４の（ｂ）に示したとおり、１つの格子点は、本実施形態では、ほぼ９×９画素（pixel）で表されており、格子点数は、図４の（ａ）と同様、２９×１５個である。図４の（ｂ）に示した２次元格子画像の水平方向をＵ方向、垂直方向をＶ方向とする。ここで、撮影装置は表示装置３１よりも高解像度であることが好ましい理由は、第一に、非平面表示面３２に投影された２次元格子画像中の各格子点を確実に撮影するためである。第二に、各格子点座標の算出誤差を低減するためである。撮影された画像上の座標を低解像度の平面表示面の座標に変換する場合、高解像度の座標空間で各格子点座標を算出した方が算出誤差が小さくなるからである。
【００３５】
画像処理部２１の２値化部２１１には、図４の（ｂ）に示した２次元格子画像が入力される。２値化部２１１は、図４の（ｂ）に示した２次元格子画像の各画素のＲＧＢデータの濃度値（R[v][u]、G[v][u]、B[v][u]）に対し、所定のしきい値を基に２値化する。例えば、ＲＧＢデータのとりうる濃度値の最大値を２５５、しきい値を１９２としたとき、R[v][u]、G[v][u]、B[v][u]の全てが１９２を超える場合のみ当該画素を白色（１）に置き換え、それ以外の場合には当該画素を黒色（０）に置き換える。２値化部２１１は、図４の（ｂ）に示した２次元格子画像の全画素に対して２値化を行う。
【００３６】
２値化部２１１の２値化処理により、図４の（ｂ）に示した２次元格子画像における各格子点を表す領域がほぼ決定される。
【００３７】
画像処理部２１のノイズ除去部２１２は、２値化部２１１により２値化された白黒の２次元格子画像を構成する各画素に対し、膨張処理及び収縮処理を行う。図５は、２値化された白黒の２次元格子画像中の１つの格子点を表す領域に対する膨張処理及び収縮処理を説明する図であり、図５の（ａ）は、膨張処理及び収縮処理前を示しており、図５の（ｂ）は、膨張処理後を示しており、図５の（ｃ）は、収縮処理後を示している。ノイズ除去部２１２は、このような膨張処理及び収縮処理を繰り返すことにより、各格子点を表す領域に含まれる孤立点の除去、不連続な点の接続、穴埋め等を行う。これにより、各格子点を表す領域からノイズが除去され、各格子点を表す領域が決定される。
【００３８】
膨張処理の典型例は、注目画素が白色またはその四方近傍の画素のうちいずれかが白色の場合のみ当該注目画素を白色とし、それ以外の場合には当該注目画素を黒色とする。収縮処理の典型例は、注目画素が黒色またはその四方近傍の画素のうちいずれかが黒色の場合のみ当該注目画素を黒色とし、それ以外の場合には当該注目画素を白色とする。
【００３９】
座標算出部２２は、画像処理部２１により決定された各格子点を表す領域の位置を表す座標を算出する。各格子点を表す領域は複数の画素（ほぼ９×９画素）から構成されている。座標算出部２２は、特許文献４に開示された距離変換処理により１つの格子点を表す格子点領域を構成する各画素の距離係数を算出し、距離係数が最大となる画素を特定する。特定された画素を格子点領域の中心画素とし、この中心画素の座標を格子点領域の座標とする。
【００４０】
一方、距離係数が最大となる画素が複数存在する場合には、それら画素の座標の平均値を格子点領域の座標とする。図６に、或る格子点を表す格子点領域を構成する各画素の距離係数の一例を示す。同図に示すとおり、距離係数が最大（＝４）となる画素はＰ０、Ｐ１、Ｐ２、Ｐ３である。各画素の座標（ｖ，ｕ）を、Ｐ０が（３，３）、Ｐ１が（３，４）、Ｐ２が（３，５）、Ｐ３が（４，４）とすれば、この領域のｖ座標は（３＋３＋３＋４）／４＝３．２５、ｕ座標は（３＋４＋５＋４）／４＝４．０となる。
【００４１】
係数算出部２３は、座標算出部２２により算出された各格子点を表す領域の座標を解像度変換することにより、補正係数を算出する。図７は、係数算出部２３による解像度変換を説明する図であり、図７の（ａ）は、座標算出部２２により算出された各格子点を表す領域の座標を示す図、図７の（ｂ）は、係数算出部２３により解像度変換された各格子点を表す領域の座標を示す図である。図７の（ａ）及び（ｂ）のいずれにおいても、「ｉ」は表示装置３１の平面表示面のＸ方向の格子点の位置を表し、「ｊ」は表示装置３１の平面表示面のＹ方向の格子点の位置を表す。具体的には、「ｉ」及び「ｊ」の両者が小さいほど平面表示面の左上隅側の格子点を表し、逆に、「ｉ」及び「ｊ」の両者が大きいほど平面表示面の右下隅側の格子点を表す。
【００４２】
以下、図７を参照しつつ、係数算出部２３による解像度変換について説明する。図７の（ａ）に示したとおり、「ｉ」及び「ｊ」のとりうる値は、０≦ｉ≦２８（ただし、ｉは整数）、０≦ｊ≦１４（ただし、ｊは整数）である。図７の（ａ）に示した各格子点を表す領域の座標のｕ座標をKousi_pixel_u[j][i]、ｖ座標をKousi_pixel_v[j][i]と表す。例えば、左上隅の格子点であればKousi_pixel_u[0][0]=51.0、Kousi_pixel_v[0][0]=83.5となる。
【００４３】
この解像度変換においては、図４の（ｂ）に示した２次元格子画像の各格子点を表す領域の座標を、表示装置３１の平面表示面の座標に変換することで、各格子点を表す領域のｕ座標coff_u[j][i]、ｖ座標coff_v[j][i]を算出する。ここで、図４の（ｂ）に示した２次元格子画像中の２次元格子の格子点間隔比は維持される。この格子点間隔比とは、図４の（ｂ）におけるＵ方向に隣接する格子点間隔の比、及びＶ方向に隣接する格子点間隔の比のことである。
【００４４】
具体的には、最初に、図７の（ａ）に示した各格子点を表す領域の座標の中から中心に位置する格子点の座標（基準点）を求める。基準点を示す中心座標のｕ座標center_u、ｖ座標center_vは、center_u=Kousi_pixel_u[7][14]=842.5、center_v=Kousi_pixel_v[7][14]=557.5となる。
【００４５】
さらに、Ｘ方向の縮小率pxl_pointxを算出する。なお、Ｘ方向に代えて、Ｙ方向の縮小率であっても良い。pxl_pointxは、以下のように算出される。
【００４６】
pxl_pointx=(464-16)/(max_u-min_u)
=(464-16)/(Kousi_pixel_u[0][28]-Kousi_pixel_u[0][0])
=(464-16)/(1637.8-51.0)=0.282
ただし、464は、図４の（ａ）に示した２次元格子画像における、Kousi_pixel_u[0][28]に対応する格子点のｘ座標、16は、図４の（ａ）に示した２次元格子画像における、Kousi_pixel_u[0][0]に対応する格子点のｘ座標である。また、max_uは、図７の（ａ）に示したKousi_pixel_u[0][28]に対応するｕ座標（ｊ＝０）であり、min_uは、同図に示したKousi_pixel_u[0][0]に対応するｕ座標（ｊ＝０）である。なお、Ｙ方向のｊはｊ＝０に限られるものではなく、０≦ｊ≦１４のいずれであっても構わない。
【００４７】
次に、上述した中心座標及び縮小率を用いて、以下のようにして、各格子点を表す領域のｕ座標coff_u[j][i]及びｖ座標coff_v[j][i]を算出する。
【００４８】
coff_u[j][i]=240+(Kousi_pixel_u[j][i]-center_u)×pxl_pointx
coff_v[j][i]=120+(Kousi_pixel_v[j][i]-center_v)×pxl_pointx
ここで、coff_u[7][14]=240、coff_v[7][14]=120としたのは、上述した中心座標を表示装置３１の平面表示面の中心座標と一致させるためである。この一致させる座標は、図７の（ａ）及び（ｂ）の各々の左上隅同士であっても良いし、右下隅同士であっても構わない。
【００４９】
図７の（ｂ）に、上述のようにして算出されたcoff_u[j][i]及びcoff_v[j][i]を示す。coff_u[j][i]及びcoff_v[j][i]は元画像の画素を表示装置３１の平面表示面のどの位置に表示するかを示すものである。よって、coff_u[j][i]及びcoff_v[j][i]は、元画像の格子点上の各画素に与えられる補正係数となる。
【００５０】
ただし、図７の（ｂ）に示したとおり、ｊ＝０、１、１３、１４のＸ方向のラインには、表示装置３１の平面表示面の解像度（４８０×２４０）を超える格子点が存在する。領域判定部２４は、このような格子点が存在するＸ方向のラインを判定する。補間部１０が補間する場合、１点でも表示できない補間点があるとその補間ラインを正しく補間することができないからである。領域判定部２４は、補間することができないＸ方向のラインを除いた、元画像の表示可能な領域を判定し、判定された領域を示す表示可能領域データを画像処理装置１のアドレス生成部３に出力する。
【００５１】
ここで、投影画像は元画像とはアスペクト比が異なるので、元画像のアスペクト比を変えずに元画像を表示するには、元画像を縮小して全体を表示するか、元画像の一部のみを表示することになる。このため、投影画像上で元画像をどこまで表示できるかを検出する手段が必要となるところ、本願発明では、補正係数が表示装置３１の平面表示面の解像度を超えるか否かによって元画像の表示可能な領域を判定することができるので、上述した検出手段は不要となる。
【００５２】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００５３】
例えば、図３に示した、非平面表示面３２に投影された画像を投影するＨＵＤシステムにおいて、ユーザの視点の位置として想定される複数の位置の各々に対し、補正係数生成装置２０を用いて補正係数を生成し、画像処理装置１の補正係数記憶部２に予め記憶しておけばよい。こうすることにより、ユーザは自分の視点の位置に適した補正係数を選択することが可能となり、ユーザの利便性が向上する。
【００５４】
また、ユーザの視点の位置に追従する撮影装置をＨＵＤシステムに設け、ユーザの視点の位置が変化する毎に、補正係数生成装置２０が新たな補正係数を生成してもよい。
【００５５】
さらに、上記の一実施形態では、図３に示したＨＵＤシステムを例に説明したが、本発明はＨＵＤシステムのみに適したものではない。本発明によれば、魚眼レンズで撮影した画像を平面画像に補正することも可能となる。すなわち、図３に示した非平面表示面３２に画像を投影された画像を撮影するのに代えて、魚眼レンズを通して表示装置３１に表示させる画像を撮影すればよい。こうすることにより、補正係数生成装置２０を用いて、魚眼レンズで撮影した画像を平面画像に補正するための補正係数を生成することが可能となる。
【００５６】
なお、補正係数生成装置２０の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００５７】
後者の場合、補正係数生成装置２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【符号の説明】
【００５８】
１  画像処理装置、２０  補正係数生成装置、２１  画像処理部、２２  座標算出部、２３  係数算出部、２４  領域判定部、２１１  ２値化部、２１２  ノイズ除去部
【図１】
2017049671.tif 000003
【図２】
2017049671.tif 000004
【図３】
2017049671.tif 000005
【図４】
2017049671.tif 000006
【図５】
2017049671.tif 000007
【図６】
2017049671.tif 000008
【図７】
2017049671.tif 000009