(57)【要約】      （修正有）【課題】斜めから撮像された画像に対して簡便に歪みを補正できる画像処理装置等を提供する。【解決手段】被写体の平面部における対象を斜め方向から撮影した原画像を取得し（Ｓ１）、対象の正面復元画像の情報を取得し（Ｓ２）、原画像から、正面復元画像において第１四角形を形成する各頂点に対応する各特徴点を抽出し（Ｓ３）、第１四角形の各頂点と当該第１四角形を含む平面上の第１点とから形成される複数の第１三角形と、抽出した各特徴点と当該各特徴点を頂点とする第２四角形を含む平面上にあって第１点に対応する第２点から形成される複数の第２三角形と、における面積複比から、原画像から正面復元画像に変換する変換写像を生成し（Ｓ４）、変換写像に基づき、正面復元画像の各画素に対応する原画像の画素情報を算出する（Ｓ６、Ｓ７）。【選択図】図１０
2015114949.tif 000002
【特許請求の範囲】
【請求項１】
被写体の平面部における対象を斜め方向から撮影した原画像を取得する原画像取得手段と、
前記対象の正面復元画像の情報を取得する正面復元画像情報取得手段と、
前記原画像から、前記正面復元画像において第１四角形を形成する各頂点に対応する各特徴点を抽出する特徴点抽出手段と、
前記第１四角形の各頂点と当該第１四角形を含む平面上の第１点とから形成される複数の第１三角形と、前記抽出した各特徴点と当該各特徴点を頂点とする第２四角形を含む平面上にあって前記第１点に対応する第２点から形成される複数の第２三角形と、における面積複比から、前記原画像から前記正面復元画像に変換する変換写像を生成する変換写像生成手段と、
前記変換写像に基づき、前記正面復元画像の各画素に対応する前記原画像の画素情報を算出する画素情報算出手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記変換写像は、当該第１四角形の辺と前記第１点とから形成される複数の前記第１三角形、および、前記第２四角形の辺と前記第２点とから形成される複数の前記第２三角形であって、当該形成された各第１三角形および当該各第２三角形の所定の組み合わせの結果における写像であることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記所定の組み合わせにおいて、前記第１四角形が平行四辺形であり、前記第１三角形が当該平行四辺形の平行する２辺を各第１底辺とする三角形であり、前記第２三角形が前記第２四角形の対向する２辺であり当該第１底辺に対応する各第２底辺とする三角形であることを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記第１点が、前記正面復元画像おいて描画のための画素情報を求める描画点と、前記第１四角形の各頂点から規定される第１規定点とを含み、
前記第２点が、前記原画像において前記描画点に対応する描画対応点と、前記第１規定点に対応し、前記第２四角形の各頂点から規定される第２規定点とを含むことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記第１規定点が、前記第１四角形の対角線の交点であり、
前記第２規定点が、前記第２四角形の対角線の交点であることを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記描画対応点の座標を座標（ｕ５、ｖ５）と表記し、
前記第２四角形の各頂点の座標を、前記第２四角形において所定の周り方向に番号付けした座標（ｕ１、ｖ１）（ｕ２、ｖ２）（ｕ３、ｖ３）、（ｕ４、ｖ４）と表記し、
当該各座標（ｕ１、ｖ１）（ｕ２、ｖ２）（ｕ３、ｖ３）、（ｕ４、ｖ４）に対応する前記第１四角形の各頂点により形成される前記第１三角形の各面積を［ｉｊｋ］（ｉ＝１、２、３、ｊ＝１、２、３、ｋ＝１、２、３）と表記した場合、
前記変換写像は、
2015114949.tif 000037
であることを特徴とする画像処理装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の画像処理装置において、
前記正面復元画像から少なくとも４つの復元画像特徴点を抽出する復元画像特徴点抽出手段と、
前記復元画像特徴点から、平行四辺形である前記第１四角形を生成する平行四辺形生成手段と、
を更に備えたことを特徴とする画像処理装置。
【請求項８】
画像処理装置が画像を処理する画像処理方法であって、
被写体の平面部における対象を斜め方向から撮影した原画像を取得する原画像取得ステップと、
前記対象の正面復元画像の情報を取得する正面復元画像情報取得ステップと、
前記原画像から、前記正面復元画像において第１四角形を形成する各頂点に対応する各特徴点を抽出する特徴点抽出ステップと、
前記第１四角形の各頂点と当該第１四角形を含む平面上の第１点とから形成される複数の第１三角形と、前記抽出した各特徴点と当該各特徴点を頂点とする第２四角形を含む平面上にあって前記第１点に対応する第２点から形成される複数の第２三角形と、における面積複比から、前記原画像から前記正面復元画像に変換する変換写像を生成する変換写像生成ステップと、
前記変換写像に基づき、前記正面復元画像の各画素に対応する前記原画像の画素情報を算出する画素情報算出ステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
コンピュータを、
被写体の平面部における対象を斜め方向から撮影した原画像を取得する原画像取得手段、
前記対象の正面復元画像の情報を取得する正面復元画像情報取得手段、
前記原画像から、前記正面復元画像において第１四角形を形成する各頂点に対応する各特徴点を抽出する特徴点抽出手段、
前記第１四角形の各頂点と当該第１四角形を含む平面上の第１点とから形成される複数の第１三角形と、前記抽出した各特徴点と当該各特徴点を頂点とする第２四角形を含む平面上にあって前記第１点に対応する第２点から形成される複数の第２三角形と、における面積複比から、前記原画像から前記正面復元画像に変換する変換写像を生成する変換写像生成手段、および、
前記変換写像に基づき、前記正面復元画像の各画素に対応する前記原画像の画素情報を算出する画素情報算出手段として機能させる画像処理装置用プログラム。
【請求項１０】
コンピュータを、
被写体の平面部における対象を斜め方向から撮影した原画像を取得する原画像取得手段、
前記対象の正面復元画像の情報を取得する正面復元画像情報取得手段、
前記原画像から、前記正面復元画像において第１四角形を形成する各頂点に対応する各特徴点を抽出する特徴点抽出手段、
前記第１四角形の各頂点と当該第１四角形を含む平面上の第１点とから形成される複数の第１三角形と、前記抽出した各特徴点と当該各特徴点を頂点とする第２四角形を含む平面上にあって前記第１点に対応する第２点から形成される複数の第２三角形と、における面積複比から、前記原画像から前記正面復元画像に変換する変換写像を生成する変換写像生成手段、および、
前記変換写像に基づき、前記正面復元画像の各画素に対応する前記原画像の画素情報を算出する画素情報算出手段として機能させる画像処理装置用プログラムがコンピュータ読み取り可能に記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の歪みを補正する画像処理装置、画像処理方法、画像処理装置用プログラム、および、記録媒体に関する。
【背景技術】
【０００２】
被写体を斜め方向から撮影して歪んだ画像をもとのかたちに復元するために、射影幾何学の射影変換によって実現できる。例えば、特許文献１には、射影幾何学の複比の原理を利用した建造物画像合成装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許３２３５９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、距離の複比を利用しているため、画像に対して、距離複比の原理を適用するときに、距離複比の原理が成り立つように直線を選び出す必要があり、前処理が複雑になっていた。
【０００５】
そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、斜めから撮像された画像に対して簡便に歪みを補正できる画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、請求項１に記載の発明は、被写体の平面部における対象を斜め方向から撮影した原画像を取得する原画像取得手段と、前記対象の正面復元画像の情報を取得する正面復元画像情報取得手段と、前記原画像から、前記正面復元画像において第１四角形を形成する各頂点に対応する各特徴点を抽出する特徴点抽出手段と、前記第１四角形の各頂点と当該第１四角形を含む平面上の第１点とから形成される複数の第１三角形と、前記抽出した各特徴点と当該各特徴点を頂点とする第２四角形を含む平面上にあって前記第１点に対応する第２点から形成される複数の第２三角形と、における面積複比から、前記原画像から前記正面復元画像に変換する変換写像を生成する変換写像生成手段と、前記変換写像に基づき、前記正面復元画像の各画素に対応する前記原画像の画素情報を算出する画素情報算出手段と、を備えたことを特徴とする。
【０００７】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記変換写像は、当該第１四角形の辺と前記第１点とから形成される複数の前記第１三角形、および、前記第２四角形の辺と前記第２点とから形成される複数の前記第２三角形であって、当該形成された各第１三角形および当該各第２三角形の所定の組み合わせの結果における写像であることを特徴とする。
【０００８】
また、請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記所定の組み合わせにおいて、前記第１四角形が平行四辺形であり、前記第１三角形が当該平行四辺形の平行する２辺を各第１底辺とする三角形であり、前記第２三角形が前記第２四角形の対向する２辺であり当該第１底辺に対応する各第２底辺とする三角形であることを特徴とする。
【０００９】
また、請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の画像処理装置において、前記第１点が、前記正面復元画像おいて描画のための画素情報を求める描画点と、前記第１四角形の各頂点から規定される第１規定点とを含み、前記第２点が、前記原画像において前記描画点に対応する描画対応点と、前記第１規定点に対応し、前記第２四角形の各頂点から規定される第２規定点とを含むことを特徴とする。
【００１０】
また、請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記第１規定点が、前記第１四角形の対角線の交点であり、前記第２規定点が、前記第２四角形の対角線の交点であることを特徴とする。
【００１１】
また、請求項６に記載の発明は、請求項５に記載の画像処理装置において、前記描画対応点の座標を座標（ｕ５、ｖ５）と表記し、前記第２四角形の各頂点の座標を、前記第２四角形において所定の周り方向に番号付けした座標（ｕ１、ｖ１）（ｕ２、ｖ２）（ｕ３、ｖ３）、（ｕ４、ｖ４）と表記し、当該各座標（ｕ１、ｖ１）（ｕ２、ｖ２）（ｕ３、ｖ３）、（ｕ４、ｖ４）に対応する前記第１四角形の各頂点により形成される前記第１三角形の各面積を［ｉｊｋ］（ｉ＝１、２、３、ｊ＝１、２、３、ｋ＝１、２、３）と表記した場合、前記変換写像は、
【数１】
2015114949.tif 000003
であることを特徴とする。
【００１２】
また、請求項７に記載の発明は、請求項１から請求項６のいずれか１項に記載の画像処理装置において、前記正面復元画像から少なくとも４つの復元画像特徴点を抽出する復元画像特徴点抽出手段と、前記復元画像特徴点から、平行四辺形である前記第１四角形を生成する平行四辺形生成手段と、を更に備えたことを特徴とする。
【００１３】
また、請求項８に記載の発明は、画像処理装置が画像を処理する画像処理方法であって、被写体の平面部における対象を斜め方向から撮影した原画像を取得する原画像取得ステップと、前記対象の正面復元画像の情報を取得する正面復元画像情報取得ステップと、前記原画像から、前記正面復元画像において第１四角形を形成する各頂点に対応する各特徴点を抽出する特徴点抽出ステップと、前記第１四角形の各頂点と当該第１四角形を含む平面上の第１点とから形成される複数の第１三角形と、前記抽出した各特徴点と当該各特徴点を頂点とする第２四角形を含む平面上にあって前記第１点に対応する第２点から形成される複数の第２三角形と、における面積複比から、前記原画像から前記正面復元画像に変換する変換写像を生成する変換写像生成ステップと、前記変換写像に基づき、前記正面復元画像の各画素に対応する前記原画像の画素情報を算出する画素情報算出ステップと、を含むことを特徴とする。
【００１４】
また、請求項９に記載の発明は、コンピュータを、被写体の平面部における対象を斜め方向から撮影した原画像を取得する原画像取得手段、前記対象の正面復元画像の情報を取得する正面復元画像情報取得手段、前記原画像から、前記正面復元画像において第１四角形を形成する各頂点に対応する各特徴点を抽出する特徴点抽出手段、前記第１四角形の各頂点と当該第１四角形を含む平面上の第１点とから形成される複数の第１三角形と、前記抽出した各特徴点と当該各特徴点を頂点とする第２四角形を含む平面上にあって前記第１点に対応する第２点から形成される複数の第２三角形と、における面積複比から、前記原画像から前記正面復元画像に変換する変換写像を生成する変換写像生成手段、および、前記変換写像に基づき、前記正面復元画像の各画素に対応する前記原画像の画素情報を算出する画素情報算出手段として機能させる。
【００１５】
また、請求項１０に記載の発明は、コンピュータを、被写体の平面部における対象を斜め方向から撮影した原画像を取得する原画像取得手段、前記対象の正面復元画像の情報を取得する正面復元画像情報取得手段、前記原画像から、前記正面復元画像において第１四角形を形成する各頂点に対応する各特徴点を抽出する特徴点抽出手段、前記第１四角形の各頂点と当該第１四角形を含む平面上の第１点とから形成される複数の第１三角形と、前記抽出した各特徴点と当該各特徴点を頂点とする第２四角形を含む平面上にあって前記第１点に対応する第２点から形成される複数の第２三角形と、における面積複比から、前記原画像から前記正面復元画像に変換する変換写像を生成する変換写像生成手段、および、前記変換写像に基づき、前記正面復元画像の各画素に対応する前記原画像の画素情報を算出する画素情報算出手段として機能させる画像処理装置用プログラムがコンピュータ読み取り可能に記録される。
【発明の効果】
【００１６】
本発明によれば、斜めから撮像された原画像に対して歪みを補正した正面復元画像を簡便に得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る情報処理システムの概要構成例を示す模式図である。
【図２】図１の画像処理装置の概要構成例を示すブロック図である。
【図３】（Ａ）原画像における対象を示す模式図である。（Ｂ）正面復元画像における対象を示す模式図である。
【図４】（Ａ）原画像における対象の四角形の対角線の交点を示す模式図である。（Ｂ）正面復元画像における対象の四角形の対角線の交点を示す模式図である。
【図５】三角形の面積の特定の仕方を示す模式図である。
【図６】（Ａ）原画像における対象の四角形の対角線の交点および描画点に対応する点を示す模式図である。（Ｂ）正面復元画像における対象の四角形の対角線の交点および描画点を示す模式図である。
【図７】（Ａ）実施形態に係る原理を説明するための模式図である。（Ｂ）実施形態に係る原理を説明するための模式図である。
【図８】（Ａ）実施形態に係る原理を説明するための模式図である。（Ｂ）実施形態に係る原理を説明するための模式図である。
【図９】実施形態に係る原理を説明するための模式図である。
【図１０】図１の情報処理システムの動作例を示すフローチャートである。
【図１１】原画像における対象の一例を示す模式図である。
【図１２】図１０の面積複比の変換写像生成のサブルーチンの一例を示すフローチャートである。
【図１３】（Ａ）変換写像における三角形の組み合わせの一例を示す模式図である。（Ｂ）変換写像における三角形の組み合わせの一例を示す模式図である。
【図１４】（Ａ）変換写像における三角形の組み合わせの一例を示す模式図である。（Ｂ）変換写像における三角形の組み合わせの一例を示す模式図である。
【図１５】（Ａ）変換写像における三角形の組み合わせの一例を示す模式図である。（Ｂ）変換写像における三角形の組み合わせの一例を示す模式図である。
【図１６】（Ａ）変換写像における三角形の組み合わせの一例を示す模式図である。（Ｂ）変換写像における三角形の組み合わせの一例を示す模式図である。
【図１７】（Ａ）原画像における対象の第１変形例を示す一例である。（Ｂ）正面復元画像における対象の第１変形例を示す模式図である。
【図１８】（Ａ）原画像における対象の第２変形例を示す一例である。（Ｂ）正面復元画像における対象の第２変形例を示す模式図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像処理システムに対して本発明を適用した場合の実施形態である。
【００１９】
［１．画像処理システムの構成および機能の概要］
（１．１  画像処理システム１の構成および機能）
【００２０】
まず、本発明の一実施形態に係る画像処理システムの構成および概要機能について、図１を用いて説明する。
【００２１】
図１は、本実施形態に係る画像処理システム１の概要構成例を示すブロック図である。
【００２２】
図１に示すように、画像処理システム１（画像処理装置の一例）は、車両のナンバープレート（被写体の平面部における対象Ｔ）のような被写体の平面部における対象を斜め方向から撮影するカメラ５と、カメラ５により撮影された画像に対して画像処理を行う画像処理装置１０と、を備えている。
【００２３】
カメラ５は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を有するデジタルカメラである。
【００２４】
画像処理装置１０は、カメラ５からの原画像を、正面復元画像に復元する。
【００２５】
（１．２  画像処理装置１０の構成および機能）
次に、画像処理装置１０の構成および機能について、図２を用いて説明する。
【００２６】
図２は、画像処理装置１０の概要構成例を示すブロック図である。
【００２７】
図２に示すように、画像処理装置１０は、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６と、を備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。
【００２８】
通信部１１は、ネットワークに接続して、ネットワークとの通信状態を制御するようになっている。
【００２９】
記憶部１２（記憶手段の一例）は、例えば、ハードディスクドライブ、シリコンディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや地図情報等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
【００３０】
記憶部１２は、正面復元画像のデータベースとして、被写体の平面部における対象を正面から撮像した場合の正面復元画像の情報を有する。正面復元画像の情報として、対象の形状、特徴点の座標、対象の特徴点間の関係等が、記憶部１２に予め記憶されている。例えば、車両のナンバープレートを長方形とした場合、長方形の各頂点の座標および各頂点の位置関係、長方形の各辺の長さ、長方形の各辺の比率、長方形の大きさ等の正面復元画像の情報が、記憶部１２に予め記憶されている。
【００３１】
ここで、対象が平行四辺形である場合、平行四辺形の各頂点の座標および各頂点の位置関係、平行四辺形の各辺の長さ、平行四辺形の各辺の比率、平行四辺形の大きさ等の正面復元画像の情報が、挙げられる。また、対象が一般の四辺形である場合、四辺形の各頂点の座標および各頂点の位置関係、四辺形の各辺の長さ、四辺形の各辺の比率、四辺形の大きさ等の正面復元画像の情報が、挙げられる。
【００３２】
また、対象が平行四辺形でない場合、対象の特徴点の座標および各特徴点の位置関係等の正面復元画像の情報が、挙げられる。特徴点の数は、４点以上が好ましい。
【００３３】
なお、被写体の平面部は、平面で近似できる部分ならばかまわない。
【００３４】
表示部１３は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。
【００３５】
操作部１４は、例えば、キーボードおよびマウス等によって構成されている。
【００３６】
入出力インターフェース部１５は、通信部１１等とシステム制御部１６との間のインターフェース処理を行うようになっている。入出力インターフェース部１５は、カメラ５と接続している。
【００３７】
システム制御部１６は、ＣＰＵ（Central Processing Unit）１６ａ、ＲＯＭ（Read Only Memory）１６ｂ、ＲＡＭ（Random Access Memory）１６ｃ等により構成されている。
【００３８】
［２．面積複比を用いた画像処理の原理］
次に、面積複比を用いた画像処理の原理について、図を用いて説明する。
【００３９】
（２．１  射影変換と距離複比）
斜め方向から撮影して歪んだナンバープレート像（被写体の平面部における対象の一例）を、元の形に復元するために、射影幾何学の射影変換と呼ばれる方法によって実現できることはよく知られている。射影変換するためには、３×３成分の射影行列を求める必要がある。射影行列成分は、歪んだ画像と復元する画像のおのおの対応する４点の関係を与えて、線形方程式を解くことになり、計算量が多く、また数値計算的に安定に解を得ることがむずかしい。そこで、計算量を少なくするために、射影幾何学の別の概念、複比の定理(原理)が知られており、それを用いた方法が提案されている（例えば、特許文献１）。
【００４０】
しかし、特許文献１では、距離の複比を利用しているため、被写体の平面部における対象内の画像に対して、距離複比の原理を適用するときに、選び出した直線上において複比の原理が成り立つようにしなければならない。つまり、複比の原理を適用するための前処理およびその描画制御手順の複雑さがある。
【００４１】
（２．２  面積複比の原理の概要）
次に、平行四辺形の一例である長方形を用いて、面積複比の原理の概要について、図３および図４を用いて説明する。
図３（Ａ）は、原画像における対象を示す模式図である。図３（Ｂ）は、正面復元画像における対象を示す模式図である。図４（Ａ）は、原画像における対象の四角形の対角線の交点を示す模式図である。図４（Ｂ）は、正面復元画像における対象の四角形の対角線の交点を示す模式図である。
【００４２】
画像に直接対応しにくい直線距離ではなく、直接対応しやすいと考えられる面積の複比の関係を利用している。図３（Ａ）に示すように、斜め方向から撮影されて四角形に歪んでいる原画像における四角形の頂点Ｑ１、Ｑ２、Ｑ３、Ｑ４と、図３（Ｂ）に示すように、正面復元画像における長方形の頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４との対、および、長方形における復元描画する点Ｐ５と、これに対応する原画像の点Ｑ５との対の５点対を対象に三角形の組み合わせを考える。
【００４３】
ここで、例えば、異なる４個の三角形(分子側に２個、分母側に２個の面積比)を選び、原画像と正面復元画像のそれぞれの面積比が等しい三角形面積の組み合わせを面積複比と定義する。
【００４４】
図４（Ａ）（Ｂ）に示すように、面積複比の原理を満たす頂点の対として、四角形と長方形の各対角線の交点の対（Ｐ０、Ｑ０）を選ぶことにより、長方形側は分子と分母で面積が等しくなるので相殺できる。また、図３（Ａ）（Ｂ）に示すように、三角形の面積は底辺と高さが同じならば変わらないため、描画直線上Ｙの操作において位置を移動しても面積不変であることにより、長方形全体の描画点についてではなく、対角線交点を通る垂直と水平の２本のライン上の面積を計算するだけでよいことを見出したことにより、計算量を大幅に削減できることを利用する。
【００４５】
（２．３  面積複比の原理の詳細）
次に、面積複比の原理の詳細について、図５から図９を用いて説明する。
図５は、三角形の面積の特定の仕方を示す模式図である。図６（Ａ）は、原画像における対象の四角形の対角線の交点および描画点に対応する点を示す模式図である。図６（Ｂ）は、正面復元画像における対象の四角形の対角線の交点および描画点を示す模式図である。図７（Ａ）（Ｂ）、図８（Ａ）（Ｂ）および図９は、実施形態に係る原理を説明するための模式図である。
【００４６】
斜め方向から撮影して歪んだプレート像をもとのかたちに復元するためには、一般に射影幾何学の射影変換と呼ばれる方法によって実現される。射影変換するためには、３×３成分の射影行列Ｈを求める必要がある。射影行列成分は、歪んだ画像と復元する画像のおのおの対応する４点の関係を与えて、線形連立方程式を解くことで求められる。
【００４７】
一方、特許文献１で利用された複比は、直線上の距離比に関する不変量方程式である。そして、本願で利用する複比は面積比に関する不変量方程式である。これらの違いと特徴を説明するために、線形代数の行列(Matrix)と行列式(Determinant)を用いてそれらの関係と性質を説明する。
【００４８】
まず、距離の概念がある距離複比と射影変換の方法の違いを説明するために、実次元は距離であるから１次元であるが、射影変換で扱うために、次のように２次元の同次座標系で表現する。
【数２】
2015114949.tif 000004
【００４９】
ここで、
【数３】
2015114949.tif 000005
である。復元被写体像の座標系がｘ、被写体の斜め撮影像の座標系がｕとする。
【００５０】
そして、2点ｘｉ、ｘｊとそれぞれの射影変換の対応点ｕｉ、ｕｊについて、数式（２）を用いて行列で表すと、
【数４】
2015114949.tif 000006
となる。
【００５１】
そして、数式（２）の行列式を求めると、
【数５】
2015114949.tif 000007
となる。
【００５２】
ここで、行列ＡとＢの行列式の性質において、
【数６】
2015114949.tif 000008
や
【数７】
2015114949.tif 000009
であることに注意する。
【００５３】
【数８】
2015114949.tif 000010
とおいて、数式（３）の行列式を計算すると、
【数９】
2015114949.tif 000011
である。
【００５４】
ここで、１×１行列の行列式｜  ｜は距離を表す。そこで、直線上の４点ｘ１、ｘ２、ｘ３，ｘ４とそれぞれの射影変換の対応点ｕ１、ｕ２、ｕ３、ｕ４について以下のような比の方程式を考える。
【００５５】
【数１０】
2015114949.tif 000012
【００５６】
ここで、｜Ｈ｜については分母と分子で明らかに相殺されるので省略している。さらに、ｈ（ｘｉ）の項も分母と分子で相殺されるので、結果として数式（５）が導かれる。これで距離複比と射影変換法の関係とその違いがはっきりする。つまり、射影変換法の射影行列Ｈは、距離複比において射影行列式｜Ｈ｜にその姿を変え、数式（５）から消えてしまう。
【００５７】
次に、面積の複比について説明する。２×２行列の数式（１）を、３×３行列の数式６に拡張する。
【数１１】
2015114949.tif 000013
【００５８】
そして、３点（ｘｉ、ｙｉ）（ｘｊ、ｙｊ）（ｘｋ、ｙｋ）と、それぞれの射影変換の対応点（ｕｉ、ｖｉ）（ｕｊ、ｖｊ）（ｕｋ、ｖｋ）について、数式（６）を用いて行列で表すと、
【数１２】
2015114949.tif 000014
となる。
【００５９】
さらに、数式（３）のように行列式の表現にして、
【数１３】
2015114949.tif 000015
を得る。
【００６０】
直線上の数式（５）に習って、図３（Ｂ）に示すように、面（正面復元画像の長方形（第１四角形の一例））上の５点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）、Ｐ３（ｘ３、ｙ３）、Ｐ４（ｘ４、ｙ４）、Ｐ５（ｘ５、ｙ５）、と、図３（Ａ）に示すように、それぞれの射影変換（原画像面の四角形（第２四角形の一例））の対応点Ｑ１（ｕ１、ｖ１）、Ｑ２（ｕ２、ｖ２）、Ｑ３（ｕ３、ｖ３）、Ｑ４（ｕ４、ｖ４）、Ｑ５（ｕ５、ｖ５）について数式（８）から以下のような比の方程式を考える。
【００６１】
【数１４】
2015114949.tif 000016
【００６２】
ここで、図５に示すように、行列式に関して三角形の頂点の順番は時計回りに統一する。入れ替えるとその行列式の符号が逆転するからである。
【００６３】
三角形の頂点の行列式は、その三角形の面積の２倍である。それから、点Ｐ０（ｘ０、ｙ０）と、その対応点Ｑ０（ｕ０、ｖ０）が追加されているが、５点の中からどれかを選ぶことを意味する。数式（９）が面積に関する不変量、つまり面積の複比Ｃｒ１の一例である。
【００６４】
図３（Ａ）（Ｂ）に示すように、点Ｐ１、Ｐ２、Ｐ３、Ｐ４、および、それらに対応する点Ｑ１、Ｑ２、Ｑ３、Ｑ４は、四角形の４頂点とすると、それらの座標値は、計測して知ることができる。
【００６５】
次に、被写体の正面復元画像の描画のためのスキャンラインＹ上の描画点（第１点の一例）である点Ｐ５（ｘ５、ｙ５）を指定する。そうすると、撮像素子上の対応スキャンラインＹ’上の描画対応点（第２点の一例）である点Ｑ５の座標値（ｕ５、ｖ５）は、数式（９）の方程式を解くことによって求めることができる。
【００６６】
つまり、数式（９）を座標値（ｕ５、ｖ５）に関して展開して整理すると、
【数１５】
2015114949.tif 000017
の形をした２変数（ｕ５、ｖ５）に関する１次方程式になる。
【００６７】
そこで、２変数（ｕ５、ｖ５）の１次方程式を解くためには、もう一つの方程式が必要である。その候補として、（ｕ５、ｖ５）に関する複比において、数式（９）の複比Ｃｒ１とは異なる別の組み合わせが考えられるので、例えば、次の複比Ｃｒ２を選び、展開して数式（１１）を得る。
【００６８】
【数１６】
2015114949.tif 000018
【００６９】
【数１７】
2015114949.tif 000019
【００７０】
係数（ａｉ、ｂｉ、ｃｉ）(ｉ＝１，２）は、数式（９）と数式（１１）について、それぞれの展開から定まる。数式（１０）と数式（１２）の方程式を連立させて（ｕ５、ｖ５）を求める。
【００７１】
解（ｕ５、ｖ５）は、
【数１８】
2015114949.tif 000020
のかたちである。
【００７２】
展開して各係数に代入する前に、
【数１９】
2015114949.tif 000021
と定義しておくと、数式（９）と数式（１１）は、それぞれ、
【数２０】
2015114949.tif 000022
と表せる。
【００７３】
ここで、図５に示すように、三角形の頂点をナンバリングした場合、原画像の四角形側の第２三角形の面積を（ｉ、ｊ、ｋ）、正面復元画像の長方形側の第１三角形の面積を［ｉ、ｊ、ｋ］と表記する。
【００７４】
面積複比については、数式（８）の定義式において５点の中から３点を選ぶことから、組み合わせの数は、公式を用いて計算すると、５Ｃ３＝５！／｛（５−３）！３！｝＝（５×４）／２＝１０通りある。
【００７５】
符号を無視して列挙すると、次のようになる。
(123)、 (124)、 (125)、 (134)、 (135)、 (145)、 (234)、 (235)、 (245)、 (345)
【００７６】
数式（９）からわかるように、これらに同じ点は分母と分子で相殺するという条件が加わる。
【００７７】
５番目の点（描画対応点の一例）を以下のように固定して、面積複比を考えると、
【数２１】
2015114949.tif 000023
である。
【００７８】
まず、（○○５）の組み合わせについて、残りの４点から２点を選ぶので、４Ｃ２＝４×３／２＝６通りある。残りの（○○○）の組み合わせについては、同じ点が分母と分子で相殺するという条件から制約を受けるので、ｉ、ｊ、ｋ、ｌは４以下の互いに異なる番号として、
【数２２】
2015114949.tif 000024
などの組み合わせがある。
【００７９】
これらは、当該第１四角形の辺と前記第１点とから形成される複数の前記第１三角形、および、前記第２四角形の辺と前記第２点とから形成される複数の前記第２三角形であって、当該形成された各第１三角形および当該各第２三角形の所定の組み合わせの一例である。また、これらは、前記所定の組み合わせにおいて、前記第１四角形が平行四辺形であり、前記第１三角形が当該平行四辺形の平行する２辺を各第１底辺とする三角形であり、前記第２三角形が前記第２四角形の対向する２辺であり当該第１底辺に対応する各第２底辺とする三角形であることの一例である。
【００８０】
分母と分子でおのおの二度現れる番号をｉとしている。５番目の点が分母と分子でおのおの二度現れる場合は、展開すると２次方程式になり解法が難しくなるので、今回は考えないことにするが、考える場合は２次方程式で同じような議論をすればよい。
【００８１】
さて、もう一度、数式（１５）を見直して、できるだけ計算が簡単になる組み合わせを考える。これまでは０番の点は、１〜４番の点のうちのどれかとしてきたが、図６（Ａ）（Ｂ）に示すように、０番の点として改めて対角線の交点Ｐ０（第１点の一例、第１規定点の一例）を選ぶと、第１三角形［３２０］と［１４０］および［４３０］と［２１０］の面積は、互いに等しいことから消去できるので、数式（１５）の方程式は次のように簡単になる。
【００８２】
【数２３】
2015114949.tif 000025
【００８３】
このように、Ｃｒｙ、Ｃｒｘは、当該第１四角形の辺と前記第１点とから形成される複数の前記第１三角形、および、前記第２四角形の辺と前記第２点とから形成される複数の前記第２三角形であって、当該形成された各第１三角形および当該各第２三角形の所定の組み合わせの一例である。また、Ｃｒｙ、Ｃｒｘは、前記所定の組み合わせにおいて、前記第１四角形が平行四辺形であり、前記第１三角形が当該平行四辺形の平行する２辺を各第１底辺とする三角形であり、前記第２三角形が前記第２四角形の対向する２辺であり当該第１底辺に対応する各第２底辺とする三角形であることの一例である。
【００８４】
そこで、数式（１６）を次のように変形して、変数（ｕ５、ｖ５）の連立方程式として展開する。
【数２４】
2015114949.tif 000026
【００８５】
変数（ｕ５、ｖ５）に関する行列式を展開して、さらに左右の項を移項してまとめると、
【数２５】
2015114949.tif 000027
であることから、
【数２６】
2015114949.tif 000028
である。
【００８６】
描画処理において、三角形が縮退して直線になった場合にどうなるか考えた場合、数式（１８）では、分母を乗じて除算を排除しているのでゼロ除算の問題が起こらない。係数式（１９）を数式（１３）に代入して、計算式をまとめると、計算が簡単になる。
【００８７】
【数２７】
2015114949.tif 000029
【００８８】
ここで、
【数２８】
2015114949.tif 000030
【数２９】
2015114949.tif 000031
【００８９】
図７（Ａ）（Ｂ）および図８（Ａ）（Ｂ）に示すように、数式（２２）において、ｙ５（垂直方向）、ｘ５（水平方向）が移動しても面積が変わらないために、それぞれ交点（ｘ０、ｙ０）（第１点の一例、第１規定点の一例）で代表させることができる。その結果、図９に示すように、三角形の面積計算は、垂直ラインｘ０と水平ラインｙ０のラインのみの計算で済ますことができ、計算量が大幅に削減できる。
【００９０】
ここからは、できるだけ計算式が簡単になるように、式の展開や因数分解、約分などを行う。まず、第１四角形の長方形の対角線の交点は、４頂点の真ん中なので計算するまでもなく、計算するのは第２四角形の２本の対角線の交点Ｑ０（ｕ０、ｖ０）である。つまり、第２四角形の４頂点Ｑ１（ｕ１、ｖ１）、Ｑ２（ｕ２、ｖ２）、Ｑ３（ｕ３、ｖ３）、Ｑ４（ｕ４、ｖ４）の対角線から交点（第２点の一例、第２規定点の一例）を求める。それを第２四角形中の以下の第２三角形（３２０）、（１４０）、（２１０）、（４３０）の面積式に直接代入する。結果を因数分解して、まとめると以下のように簡単な式になる。
【００９１】
【数３０】
2015114949.tif 000032
【００９２】
数式（２３）について以下のように整理する。
【数３１】
2015114949.tif 000033
【００９３】
そうすると、
【数３２】
2015114949.tif 000034
となる。
【００９４】
数式（２０）において、共通積項ｈ１ｈ２ｈ３ｈ４が分子と分母に現れるので、これらは相殺できる。
【００９５】
つまり、数式（２５）は、以下のように驚くほど簡単になる。
【数３３】
2015114949.tif 000035
【００９６】
そして、数式（２０）は、数式（２６）によって簡単化されたものに書き換える。変換写像は、
【数３４】
2015114949.tif 000036
となる。
【００９７】
［３．画像処理システムの動作］
次に、本発明の１実施形態に係る画像処理システムの動作について図を用いて説明する。
【００９８】
（３．１  画像処理装置の動作）
画像処理装置の動作にすいて、図１０および図１１を用いて説明する。
図１０は、情報処理システムの動作例を示すフローチャートである。図１１は、原画像における対象の一例を示す模式図である。
【００９９】
まず、カメラ５は、車両等の被写体の平面部における対象Ｔ（例えば、ナンバープレート）を斜め方向から撮像する。
【０１００】
図１０に示すように、画像処理装置１０が、原画像を取得する（ステップＳ１）。具体的には、画像処理装置１０のシステム制御部１６が、図１１に示すように、被写体の平面部における対象Ｔの原画像２０をカメラ５から取得する。
【０１０１】
このように、画像処理装置１０が、被写体の平面部における対象を斜め方向から撮影した原画像を取得する原画像取得手段の一例として機能する。
【０１０２】
次に、画像処理装置１０が、正面復元画像の情報を取得する（ステップＳ２）。具体的には、画像処理装置１０のシステム制御部１６が、記憶部１２から、対象を正面から撮像した場合の４点以上の特徴点の位置関係を示す座標情報等を取得する。そして、システム制御部１６が、面積複比の変換写像に使用する４点を選択する。対象が車両のナンバープレートの場合、図６（Ｂ）に示すように、長方形であるナンバープレートの各頂点の座標情報（Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）、Ｐ３（ｘ３、ｙ３）、Ｐ４（ｘ４、ｙ４））が取得される。
【０１０３】
このように、画像処理装置１０が、前記対象の正面復元画像の情報を取得する正面復元画像情報取得手段の一例として機能する。
【０１０４】
次に、画像処理装置１０が、原画像から、正面復元画像の４点に対応する特徴点を抽出する（ステップＳ３）。具体的には、画像処理装置１０のシステム制御部１６が、取得した原画像２０が、微分処理等をして、エッジを抽出し、エッジから、正面復元画像の選択された４点に対応する特徴点を抽出する。図６（Ａ）に示すように、特徴点の各座標Ｑ１（ｕ１、ｖ１）、Ｑ２（ｕ２、ｖ２）、Ｑ３（ｕ３、ｖ３）、Ｑ４（ｕ４、ｖ４）が算出される。
【０１０５】
ここで、正面復元画像の選択された４点により、第１四角形が形成される。正面復元画像の４点に対応する特徴点Ｑ１（ｕ１、ｖ１）、Ｑ２（ｕ２、ｖ２）、Ｑ３（ｕ３、ｖ３）、Ｑ４（ｕ４、ｖ４）により第２四角形が形成される。
【０１０６】
このように、画像処理装置１０が、前記原画像から、前記正面復元画像において第１四角形を形成する各頂点に対応する各特徴点を抽出する特徴点抽出手段の一例として機能する。
【０１０７】
次に、画像処理装置１０が、正面復元画像の４点と抽出した特徴点とにより、面積複比の変換写像を生成する（ステップＳ４）。具体的には、システム制御部１６が、長方形の対角線の交点Ｐ０（第１点の一例、第１規定点の一例）、すなわち、直線Ｐ１−Ｐ３と、直線Ｐ２−Ｐ４との交点、Ｐ０（ｘ０、ｙ０）を算出する。そして、システム制御部１６が、特徴点の四角形の対角線の交点Ｑ０、すなわち、直線Ｑ１−Ｑ３と、直線Ｑ２−Ｑ４との交点、Ｑ０（ｕ０、ｖ０）を算出する。
【０１０８】
そして、システム制御部１６が、正面復元画像の４つの頂点および交点（第１点の一例、第１規定点の一例）の座標情報、および、抽出した４つの特徴点および交点（第２点の一例、第２規定点の一例）の座標情報とから、数式（２７）の係数を算出して、面積複比の変換写像を生成する。なお、面積複比の変換写像の生成の詳細は、面積複比の写像変換のサブルーチンで説明する。
【０１０９】
このように、画像処理装置１０が、前記第１四角形の各頂点と当該第１四角形を含む平面上の第１点とから形成される複数の第１三角形と、前記抽出した各特徴点と当該各特徴点を頂点とする第２四角形を含む平面上にあって前記第１点に対応する第２点から形成される複数の第２三角形と、における面積複比から、前記原画像から前記正面復元画像に変換する変換写像を生成する変換写像生成手段の一例として機能する。
【０１１０】
次に、画像処理装置１０が、描画点を特定する（ステップＳ５）。具体的には、画像処理装置１０のシステム制御部１６が、図６（Ｂ）に示すように、正面復元画像における対象の描画点Ｐ５（ｘ５、ｙ５）を特定する。描画点Ｐ５（ｘ５、ｙ５）は、例えば、ラスタスキャンのスキャンラインＹを順に走査して描画点を特定していく。なお、原画像においては、スキャンラインＹ’の軌跡をたどる。
【０１１１】
なお、スキャンラインＹが、直線Ｐ１−Ｐ４（直線Ｐ２−Ｐ３）上である場合、三角形［１、４、５］（三角形［３、２、５］）は、潰れて直線になるが、数式（１６）等において、面積複比を割り算の形式でなく、掛け算の形式にしておければ、ゼロによる割り算になることを防止できる。
【０１１２】
次に、画像処理装置１０が、変換写像より描画点の描画対応点の座標を計算する（ステップＳ６）。具体的には、画像処理装置１０のシステム制御部１６が、生成された変換写像（数式（２７））を用いて、描画点Ｐ５（ｘ５、ｙ５）に対応する描画対応点Ｑ５（ｕ５、ｖ５）を計算する。
【０１１３】
次に、画像処理装置１０が、原画像を補間処理して描画点の画素情報を算出する（ステップＳ７）。具体的には、画像処理装置１０のシステム制御部１６が、描画対応点Ｑ５（ｕ５、ｖ５）の周りの原画像２０の画素を求め、求めた画素の画素情報を補間処理して、描画点Ｐ５（ｘ５、ｙ５）の画素情報を算出する。ここで、描画対応点Ｑ５（ｕ５、ｖ５）の座標値が整数でない場合もあるので、描画対応点Ｑ５（ｕ５、ｖ５）に近接する画素の画素情報を平均するなどして画素値の補間処理を行う。
【０１１４】
次に、画像処理装置１０が、画素情報を表示する（ステップＳ８）。具体的には、画像処理装置１０のシステム制御部１６が、表示部１３において、算出した画素情報を描画点Ｐ５（ｘ５、ｙ５）の位置に表示する。
【０１１５】
次に、画像処理装置１０が、最後の描画点である否かを判定する（ステップＳ９）。具体的には、画像処理装置１０のシステム制御部１６が、正面復元画像をラスタスキャンにおける最後の描画点であるか否かを判定する。
【０１１６】
最後の描画点でない場合（ステップＳ９；ＮＯ）、ステップＳ５に戻り、画像処理装置１０は、ラスタスキャンにおける次の描画点Ｐ５を特定する。
【０１１７】
最後の描画点である場合（ステップＳ９；ＹＥＳ）、画像処理装置１０は、処理を終了する。
【０１１８】
（３．２  面積複比の写像変換のサブルーチン）
次に、面積複比の写像変換のサブルーチンについて図１２から図１６を用いてい説明する。
図１２は、面積複比の変換写像生成のサブルーチンの一例を示すフローチャートである。図１３（Ａ）（Ｂ）から図１６（Ａ）（Ｂ）は、変換写像における三角形の組み合わせの一例を示す模式図である。（Ｂ）変換写像における三角形の組み合わせの一例を示す模式図である。
【０１１９】
画像処理装置１０が、第１方向（例えば、ｙ方向）の三角形面積を算出し保存する（ステップＳ１１）。具体的には、画像処理装置１０のシステム制御部１６が、図１３（Ａ）（Ｂ）、図１４（Ａ）（Ｂ）に示すように、数式（１６）のＣｒｙの三角形の面積を算出し、ＲＡＭ１６ｃ等に保存する。例えば、第１三角形の三角形［３、２、０］、三角形［１、４、５］、三角形［１、４、０］、三角形［３、２、５］、および、第２三角形の三角形（３、２、０）、三角形（１、４、０）の面積が、Ｐ０（ｘ０、ｙ０）、Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）、Ｐ３（ｘ３、ｙ３）、Ｐ４（ｘ４、ｙ４）、Ｐ５（ｘ５、ｙ５）、Ｑ０（ｕ０、ｖ０）、Ｑ１（ｕ１、ｖ１）、Ｑ２（ｕ２、ｖ２）、Ｑ３（ｕ３、ｖ３）、Ｑ４（ｕ４、ｖ４）から算出される。
【０１２０】
ここで、図１３（Ａ）（Ｂ）および図１４（Ａ）（Ｂ）は、数式（１６）のＣｒｙの分母分子における第１三角形および第２差角形の組み合わせを示している。
【０１２１】
次に、画像処理装置１０が、第２方向（例えば、ｘ方向）の三角形面積を算出し保存する（ステップＳ１２）。具体的には、画像処理装置１０のシステム制御部１６が、図１５（Ａ）（Ｂ）、図１６（Ａ）（Ｂ）に示すように、式（１６）のＣｒｘの三角形の面積を算出し、ＲＡＭ１６ｃ等に保存する。例えば、第１三角形の三角形［４、３、０］、三角形［２、１、５］、三角形［２、１、０］、三角形［４、３、５］、および、第２三角形の三角形（４、３、０）、三角形（２、１、０）の面積が、Ｐ０（ｘ０、ｙ０）、Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）、Ｐ３（ｘ３、ｙ３）、Ｐ４（ｘ４、ｙ４）、Ｐ５（ｘ５、ｙ５）、Ｑ０（ｕ０、ｖ０）、Ｑ１（ｕ１、ｖ１）、Ｑ２（ｕ２、ｖ２）、Ｑ３（ｕ３、ｖ３）、Ｑ４（ｕ４、ｖ４）から算出される。
【０１２２】
ここで、図１５（Ａ）（Ｂ）および図１６（Ａ）（Ｂ）は、数式（１６）のＣｒｘの分母分子における第１三角形および第２三角形の組み合わせを示している。
【０１２３】
なお、正面復元画像が、平行四辺形の場合、第１方向および第２方向は、平行四辺形の各辺に平行な方向である。
【０１２４】
次に、画像処理装置１０が、平行四辺形領域の変換写像を生成する（ステップＳ１３）。具体的には、画像処理装置１０のシステム制御部１６が、数式（２７）（数式（２４）、数式（２６））における各係数を、第１方向の三角形の面積、第２方向の三角形の面積、および、Ｑ１（ｕ１、ｖ１）、Ｑ２（ｕ２、ｖ２）、Ｑ３（ｕ３、ｖ３）、Ｑ４（ｕ４、ｖ４）から算出して、平行四辺形領域の変換写像を生成する。
【０１２５】
以上、本実施形態によれば、正面復元画像の第１四角形の各頂点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）と第１点Ｐ０とから形成される複数の第１三角形と、原画像２０において対応する第２四角形の各頂点（Ｑ１、Ｑ２、Ｑ３、Ｑ４）と第１点と対応する第２点Ｑ０から形成される複数の第２三角形と、における面積複比から、原画像２０から正面復元画像に変換する変換写像を生成し、生成した変換写像に基づき、正面復元画像の各画素Ｐ５に対応する原画像２０の画素情報（Ｑ５）を算出しているので、斜めから撮像された原画像２０に対して歪みを補正した正面復元画像を簡便に得ることができる。
【０１２６】
数式（２０）または数式（２７）に示すように、射影行列成分の方程式の求解が不要で、計算量が少なくなる。また、計算の対象となる点が描画点Ｐ５以外は固定されているため描画制御が容易である。数式（２０）または数式（２７）に示すように、数式計算式が簡単なことにより、本願は従来法よりも計算簡単と制御容易である。そのため、本願は組み込み機器での応用に向いている。
【０１２７】
また、プログラミングにおいて、簡便な変換写像になるのでコーディングが容易になり、バグが少なくなる。また、対象が車両のナンバープレートの場合、歪みが補正されて、認識率を高くすることができる。
【０１２８】
また、変換写像が、当該第１四角形の辺（例えば、辺Ｐ１Ｐ４等）と第１点（例えば、交点Ｐ０、描画点Ｐ５）とから形成される複数の第１三角形（例えば、三角形Ｐ１Ｐ４Ｐ０等）、および、第２四角形の辺（例えば、辺Ｑ１Ｑ４等）と第２点（例えば、交点Ｑ０、描画対応点Ｑ５）とから形成される複数の第２三角形（例えば、三角形Ｑ１Ｑ４Ｑ０等）であって、当該形成された各第１三角形および当該各第２三角形の所定の組み合わせの結果における写像である場合、各第１三角形と各第２三角形とを組み合わせることにより、変換写像が簡略化される。
【０１２９】
また、所定の組み合わせが、第１四角形が平行四辺形（例えば、長方形Ｐ１Ｐ２Ｐ３Ｐ４）であり、第１三角形が当該平行四辺形の平行する２辺を各第１底辺（例えば、辺Ｐ１Ｐ４、辺Ｐ２Ｐ３）とする三角形（例えば、三角形Ｐ１Ｐ４Ｐ５）であり、第２三角形が第２四角形（例えば、四角形Ｑ１Ｑ２Ｑ３Ｑ４）の対向する２辺であり当該第１底辺に対応する各第２底辺（例えば、辺Ｑ１Ｑ４、辺Ｑ２Ｑ３）とする三角形（例えば、三角形Ｑ１Ｑ４Ｑ５）である場合（例えば、数式（１５）数式（１６）等に示される三角形の組み合わせの場合）、第１四角形が平行四辺形であるので、各辺に平行なスキャンラインＹを設定することにより、スキャンラインにおける第１三角形の面積は等しいことから、面積複比における式が簡単化される。そして、各辺に平行な任意点において、これらの任意点と平行四辺形の横辺または縦辺の２頂点とから作られる三角形の面積は、三角形の面積は底辺と高さが変わらなければ同じであるということから、スキャンライン上の移動においても不変である。
【０１３０】
また、第１点が、正面復元画像おいて描画のための画素情報を求める描画点Ｐ５と、第１四角形の各頂点から規定される第１規定点（例えば、交点Ｐ０）とを含み、第２点が、原画像において描画点に対応する描画対応点Ｑ５と、第１規定点に対応し、第２四角形の各頂点から規定される第２規定点（例えば、交点Ｑ０）とを含む場合、第１規定点から形成される第１三角形と第２規定点から形成される第２三角形との面積複比をベースにして、与えられた描画点から形成される第１三角形と、求める描画対応点から形成される第２三角形との面積複比から、描画対応点を求める代数的な数式が決定し、描画対応点の画素情報から描画点の画素情報を容易に求めることができる。
【０１３１】
また、第１規定点が、第１四角形の対角線の交点Ｐ０であり、第２規定点が、第２四角形の対角線の交点Ｑ０である場合、復元する平行四辺形（長方形を含む）の対角線の交点位置は、その中点でもあることから、平行四辺形の上辺２頂点と交点からできる三角形と底辺２頂点と交点からできる三角形の面積は等しいことから、また、左辺２頂点と交点からできる三角形と右辺２頂点と交点からできる三角形の面積は等しいことから、面積複比における分子と分母の項で相殺され式が簡単化される。
【０１３２】
また、変換写像が数式（２７）の場合、射影行列成分の方程式の求解が不要となり、簡便な変換写像となる。
【０１３３】
平行四辺形が長方形の例で説明すると、長方形内の任意の水平または垂直ライン（平行四辺形の各辺に平行なライン）上の任意点において、横辺または縦辺の２頂点と、この点とから作られる三角形の面積は、底辺と高さが変わらなければ同じであるということから、ライン上の移動においても不変である。つまり、必要な面積計算は、４頂点と交点との関係で作られる三角形の面積計算のみで済ますことができる。
【０１３４】
［４．変形例］
次に、被写体の対象が、非平行四辺形の場合について、図１７および図１８を用いて説明する。
【０１３５】
まず、図１７（Ｂ）に示すように、正面復元画像における特徴となる４点（Ｐ１、Ｐ２、Ｐ３、Ｐ４）を対象に考える。
【０１３６】
特徴点４点によって作られる対象の四辺形に対して、その対角線Ｐ１−Ｐ３と、Ｐ２―Ｐ４およびそれらの交点Ｐ０を設定する。
【０１３７】
図１７（Ｂ）に示すように、被写体の対角線について交点Ｐ０を中心として片側延長（Ｐ４→Ｐ’４、Ｐ３→Ｐ’３）して、交点Ｐ０までの距離Ｐ２Ｐ０とＰ’４Ｐ０が等しくなるようにする。距離Ｐ１Ｐ０とＰ’３Ｐ０も同様に等しくとる。そのようにして作られる四辺形Ｐ１Ｐ２Ｐ’３Ｐ’４は、平行四辺形である。
【０１３８】
そして、図１７（Ａ）に示すように、対応する斜め方向から撮影されて歪んだ四辺形（Ｑ１Ｑ２Ｑ３Ｑ４）に対して、その対角線Ｑ１−Ｑ３とＱ２−Ｑ４およびそれらの交点Ｑ０を設定する。
【０１３９】
一方、原画像側の対角線Ｑ１Ｑ３とＱ２Ｑ４の延長については、距離複比の原理を使う。つまり、正面復元画像側の４点（Ｐ１、Ｐ０、Ｐ４、Ｐ’４）と原画像側の３点（Ｑ２、Ｑ０、Ｑ４）が確定していることから(数式（５）)、拡張点Ｑ’４の座標が求まる。同様に、拡張点Ｑ’３の座標が求まる。
【０１４０】
そうすると、平行四辺形Ｐ１Ｐ２Ｐ’３Ｐ’４の辺Ｐ１Ｐ’４に平行（第１方向の一例）にスキャンラインＹを設けることによって、垂直方向（第２方向の一例）の移動に対しては、辺Ｐ１Ｐ２に平行（第２方向の一例）にすることによって、三角形Ｐ５Ｐ’４Ｐ１について底辺×高さが変わらないなどのために、平行四辺形（長方形）と同様な方法が使える。
【０１４１】
次に、図１８（Ａ）（Ｂ）に示すように、交点Ｐ０、交点Ｑ０が、四角形の内部に存在しない場合でも、同様に、拡張点Ｐ’３、Ｐ’４と、これらに対応する拡張点Ｑ’３、Ｑ’４と平行四辺形Ｐ１Ｐ２Ｐ’３Ｐ’４とが求まる。
【０１４２】
このように、正面復元画像から少なくとも４つの復元画像特徴点を抽出し、抽出された復元画像特徴点から、平行四辺形である前記第１四角形を生成する場合、対象が非平行四辺形でも適用できる。
【０１４３】
なお、ナンバープレート以外にも、縦横比がわかっている名刺、標識、メニュー、看板、免許証などの内容の機械認識、プロジェクターの台形歪み補正等にも適用できる。
【０１４４】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【０１４５】
１：画像処理システム
５：カメラ
１０：画像処理装置
２０：原画像
Ｔ：対象
Ｐ０：第１点、第１規定点
Ｐ５：第１点、描画点
Ｑ０：第２点、第２規定点
Ｑ５：第２点、描画対応点
【図１】
2015114949.tif 000038
【図２】
2015114949.tif 000039
【図３】
2015114949.tif 000040
【図４】
2015114949.tif 000041
【図５】
2015114949.tif 000042
【図６】
2015114949.tif 000043
【図７】
2015114949.tif 000044
【図８】
2015114949.tif 000045
【図９】
2015114949.tif 000046
【図１０】
2015114949.tif 000047
【図１１】
2015114949.tif 000048
【図１２】
2015114949.tif 000049
【図１３】
2015114949.tif 000050
【図１４】
2015114949.tif 000051
【図１５】
2015114949.tif 000052
【図１６】
2015114949.tif 000053
【図１７】
2015114949.tif 000054
【図１８】
2015114949.tif 000055