(57)【要約】【課題】  撮像画像中の対象物の歪みを補正した画像を生成することが可能な撮像装置等を提供すること。【解決手段】  画角調整機能を有し、矩形の対象物を撮像して撮像情報１２２を生成する撮像部１４０と、撮像情報１２２で表される原画像における対象物の画像の歪みを補正する補正部１１０とを含んで撮像装置を構成し、補正部１１０に、撮像時の画角を示す画角情報１２４と、撮像情報１２２に基づく解像度に基づき、原点と、３次元空間における撮像部１４０の撮像領域との光軸上の相対距離を演算する距離演算部１１２と、対象領域情報１２６と、相対距離に基づき、３次元位置情報を生成する３次元位置情報生成部１１４と、３次元位置情報に基づき、対象物の縦横比を演算する縦横比演算部１１６と、撮像情報１２２と、対象領域情報１２６と、縦横比に基づき、対象物が矩形で表される整形画像データ１２８を生成する座標変換処理部１１７および整形画像生成部１１８を設ける。【選択図】      図４
2005339248.tif 000002
【特許請求の範囲】
【請求項１】
画角調整機能を有し、矩形の対象物を撮像して撮像情報を生成する撮像装置から前記撮像情報と、撮像時の画角を示す画角情報と、前記撮像装置の撮像領域における前記対象物の４隅の座標を示す対象領域情報とを入力する入力手段と、
前記撮像情報で表される原画像における前記対象物の画像の歪みを補正する補正手段と、
を含み、
前記補正手段は、
前記撮像情報に基づく撮像時の解像度と、前記画角情報とに基づき、前記撮像領域の２次元平面に前記撮像装置の光軸を３次元目として加えた空間であって、かつ、前記撮像装置の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記原画像を、前記対象物が前記矩形で表される整形画像に補正することを特徴とする画像処理システム。
【請求項２】
請求項１において、
前記補正手段は、前記座標変換処理として、前記原画像における前記対象物の４隅の座標を前記整形画像における前記対象物の４隅の座標に変換する変換式の逆変換式を用いて、前記整形画像における各画素に相当する領域を含む前記原画像における複数の画素の輝度値を重み付け演算することにより、前記整形画像を生成する処理を実行することを特徴とする画像処理システム。
【請求項３】
請求項１において、
前記補正手段は、前記座標変換処理として、前記原画像における前記対象物の４隅の座標を前記整形画像における４隅の座標に変換する変換式の逆変換式を用いて、前記整形画像における各画素に相当する領域を含む前記原画像の複数の画素から当該領域の占有面積が最も大きい画素を選択し、選択した画素の輝度値に基づき、前記整形画像を生成する処理を実行することを特徴とする画像処理システム。
【請求項４】
画角調整機能を有し、矩形の対象物を撮像して撮像情報を生成する撮像手段と、
前記撮像情報と、前記撮像手段の撮像時の画角を示す画角情報と、前記撮像手段の撮像領域における前記対象物の４隅の座標を示す対象領域情報とを含む処理対象情報を記憶する記憶手段と、
当該処理対象情報を画像処理装置に出力する出力手段と、
を有する撮像装置と、
前記処理対象情報を入力する入力手段と、
当該処理対象情報に基づき、前記撮像情報で表される原画像における前記対象物の画像の歪みを補正する補正手段と、
を有する画像処理装置と、
を含む画像処理システムであって、
前記補正手段は、
前記画角情報と、前記撮像情報に基づく撮像時の解像度とに基づき、前記撮像領域の２次元平面に前記撮像手段の光軸を３次元目として加えた空間であって、かつ、前記撮像手段の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記原画像を、前記対象物が前記矩形で表される画像に補正することを特徴とする画像処理システム。
【請求項５】
画角調整機能を有し、矩形の対象物を撮像して撮像情報を生成する撮像手段と、
前記撮像情報で表される原画像における前記対象物の画像の歪みを補正する補正手段と、
を含み、
前記補正手段は、
前記撮像手段の撮像時の画角を示す画角情報と、前記撮像情報に基づく解像度とに基づき、前記撮像手段の撮像領域の２次元平面に前記撮像手段の光軸を３次元目として加えた空間であって、かつ、前記撮像手段の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記撮像領域における前記対象物の４隅の座標を示す対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記撮像情報で表される原画像を、前記対象物が前記矩形で表される画像に補正することを特徴とする撮像装置。
【請求項６】
請求項５において、
ユーザーによって前記原画像における前記対象物の４隅を指定させるために、前記撮像情報に基づき、前記原画像を表示する表示手段と、
前記原画像が表示された状態におけるユーザーによる操作情報を入力する操作情報入力手段と、
当該操作情報に基づき、前記対象領域情報を生成する対象領域情報生成手段と、
を含むことを特徴とする撮像装置。
【請求項７】
コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
画角調整機能を有し、矩形の対象物を撮像して撮像情報を生成する撮像装置から前記撮像情報と、撮像時の画角を示す画角情報と、前記撮像装置の撮像領域における前記対象物の４隅の座標を示す対象領域情報とを入力する入力手段と、
前記撮像情報で表される原画像における前記対象物の画像の歪みを補正する補正手段として機能させ、
前記補正手段は、
前記撮像装置の前記撮像情報に基づく撮像時の解像度と、前記画角情報とに基づき、前記撮像領域の２次元平面に前記撮像装置の光軸を３次元目として加えた空間であって、かつ、前記撮像手段の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記原画像を、前記対象物が前記矩形で表される整形画像に補正することを特徴とするプログラム。
【請求項８】
コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
請求項７に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
【請求項９】
画角調整機能を有し、矩形の対象物を撮像して撮像情報を生成する撮像装置から前記撮像情報と、撮像時の画角を示す画角情報と、前記撮像装置の撮像領域における前記対象物の４隅の座標を示す対象領域情報とを入力し、
前記撮像情報に基づき、撮像時の解像度を示す解像度情報を生成し、
当該解像度情報と、前記画角情報とに基づき、前記撮像領域の２次元平面に前記撮像手段の光軸を３次元目として加えた空間であって、かつ、前記撮像装置の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記撮像情報で表される原画像を、当該原画像内の前記対象物が前記矩形で表される整形画像に補正することを特徴とする画像処理方法。
【請求項１０】
請求項９において、
前記座標変換処理として、前記原画像における前記対象物の４隅の座標を前記整形画像における４隅の座標に変換する変換式の逆変換式を用いて、前記整形画像における各画素に相当する領域を含む前記原画像における複数の画素の輝度値を重み付け演算することにより、前記整形画像を生成する処理を実行することを特徴とする画像処理方法。
【請求項１１】
請求項９において、
前記座標変換処理として、前記原画像における前記対象物の４隅の座標を前記整形画像における４隅の座標に変換する変換式の逆変換式を用いて、前記整形画像における各画素に相当する領域を含む前記原画像の複数の画素から当該領域の占有面積が最も大きい画素を選択し、選択した画素の輝度値に基づき、前記整形画像を生成する処理を実行することを特徴とする画像処理方法。
【請求項１２】
画角調整機能を有する撮像装置を用いて矩形の対象物を撮像して撮像情報を生成し、
前記撮像装置の撮像時の画角を示す画角情報と、前記撮像情報に基づく撮像時の解像度とに基づき、前記撮像装置の撮像領域の２次元平面に前記撮像装置の光軸を３次元目として加えた空間であって、かつ、前記撮像装置の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記撮像領域における前記対象物の４隅の座標を示す対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記撮像情報で表される原画像を、当該原画像内の前記対象物が前記矩形で表される整形画像に補正することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の歪み補正が可能な画像処理システム、撮像装置、プログラム、情報記憶媒体および画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラやカメラ付き携帯電話等の撮像装置の低価格化、小型化、高機能化等により、多くのユーザーが、撮像装置を持ち歩くようになった。これにより、ユーザーが、撮像装置を用いてメモ代わりに名刺等を撮像して電子データとして名刺等を撮像装置等に保存する用途が発生している。
【０００３】
このような電子データを印刷や文字認識等により利用する場合、撮像画像における名刺等の対象物の形状に歪みがないことが好ましい。
【０００４】
このような課題を解決するため、例えば、特許文献１では、対象物を撮像した画像を入力し、入力した画像中の対象物の４頂点から撮像部の対象物に対する相対的な撮像位置姿勢を推定し、撮像位置姿勢に基づいて対象物の３次元空間中の４頂点を推定し、撮像位置姿勢と、３次元空間中の４頂点位置に基づいて入力画像中の対象物の透視変換歪みを補正した画像を出力する画像歪み補正装置が提案されている。
【特許文献１】特開２００４−４０３９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１では、撮像部の画角（ズーム）については考慮されていない。このため、画角調整機能を有するデジタルカメラ等を用いて撮像した画像中の対象物の歪みを適切に補正することは困難である。
【０００６】
また、特許文献１では、所定点の内分比率の値と画像紙面の４頂点の座標に基づいて３次元矩形紙面の４頂点の座標を求め、これによって３次元空間中における３次元矩形紙面の位置を推定する手法が採用されている。
【０００７】
しかし、この手法のように、比率を用いて画素を移動させた場合、元の画像と見た目が異なってしまう。
【０００８】
本発明は、上記の課題に鑑みなされたものであり、その目的は、撮像画像中の対象物の歪みを補正した画像を生成することが可能な画像処理システム、撮像装置、プログラム、情報記憶媒体および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、画像処理システムは、画角調整機能を有し、矩形の対象物を撮像して撮像情報を生成する撮像装置から前記撮像情報と、撮像時の画角を示す画角情報と、前記撮像装置の撮像領域における前記対象物の４隅の座標を示す対象領域情報とを入力する入力手段と、
前記撮像情報で表される原画像における前記対象物の画像の歪みを補正する補正手段と、
を含み、
前記補正手段は、
前記撮像情報に基づく撮像時の解像度と、前記画角情報とに基づき、前記撮像領域の２次元平面に前記撮像装置の光軸を３次元目として加えた空間であって、かつ、前記撮像装置の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記原画像を、前記対象物が前記矩形で表される整形画像に補正することを特徴とする。
【００１０】
また、本発明に係る画像処理装置は、画角調整機能を有し、矩形の対象物を撮像して撮像情報を生成する撮像手段と、
前記撮像情報と、前記撮像手段の撮像時の画角を示す画角情報と、前記撮像手段の撮像領域における前記対象物の４隅の座標を示す対象領域情報とを含む処理対象情報を記憶する記憶手段と、
当該処理対象情報を画像処理装置に出力する出力手段と、
を有する撮像装置と、
前記処理対象情報を入力する入力手段と、
当該処理対象情報に基づき、前記撮像情報で表される原画像における前記対象物の画像の歪みを補正する補正手段と、
を有する画像処理装置と、
を含む画像処理システムであって、
前記補正手段は、
前記画角情報と、前記撮像情報に基づく撮像時の解像度とに基づき、前記撮像領域の２次元平面に前記撮像手段の光軸を３次元目として加えた空間であって、かつ、前記撮像手段の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記原画像を、前記対象物が前記矩形で表される画像に補正することを特徴とする。
【００１１】
また、本発明に係る撮像装置は、画角調整機能を有し、矩形の対象物を撮像して撮像情報を生成する撮像手段と、
前記撮像情報で表される原画像における前記対象物の画像の歪みを補正する補正手段と、
を含み、
前記補正手段は、
前記撮像手段の撮像時の画角を示す画角情報と、前記撮像情報に基づく解像度とに基づき、前記撮像手段の撮像領域の２次元平面に前記撮像手段の光軸を３次元目として加えた空間であって、かつ、前記撮像手段の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記撮像領域における前記対象物の４隅の座標を示す対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記撮像情報で表される原画像を、前記対象物が前記矩形で表される画像に補正することを特徴とする。
【００１２】
また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
画角調整機能を有し、矩形の対象物を撮像して撮像情報を生成する撮像装置から前記撮像情報と、撮像時の画角を示す画角情報と、前記撮像装置の撮像領域における前記対象物の４隅の座標を示す対象領域情報とを入力する入力手段と、
前記撮像情報で表される原画像における前記対象物の画像の歪みを補正する補正手段として機能させ、
前記補正手段は、
前記撮像装置の前記撮像情報に基づく撮像時の解像度と、前記画角情報とに基づき、前記撮像領域の２次元平面に前記撮像装置の光軸を３次元目として加えた空間であって、かつ、前記撮像手段の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記原画像を、前記対象物が前記矩形で表される整形画像に補正することを特徴とする。
【００１３】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。
【００１４】
また、本発明に係る画像処理方法は、画角調整機能を有し、矩形の対象物を撮像して撮像情報を生成する撮像装置から前記撮像情報と、撮像時の画角を示す画角情報と、前記撮像装置の撮像領域における前記対象物の４隅の座標を示す対象領域情報とを入力し、
前記撮像情報に基づき、撮像時の解像度を示す解像度情報を生成し、
当該解像度情報と、前記画角情報とに基づき、前記撮像領域の２次元平面に前記撮像手段の光軸を３次元目として加えた空間であって、かつ、前記撮像装置の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記撮像情報で表される原画像を、当該原画像内の前記対象物が前記矩形で表される整形画像に補正することを特徴とする。
【００１５】
また、本発明に係る画像処理方法は、画角調整機能を有する撮像装置を用いて矩形の対象物を撮像して撮像情報を生成し、
前記撮像装置の撮像時の画角を示す画角情報と、前記撮像情報に基づく撮像時の解像度とに基づき、前記撮像装置の撮像領域の２次元平面に前記撮像装置の光軸を３次元目として加えた空間であって、かつ、前記撮像装置の主点を原点とする３次元空間における前記原点と、前記３次元空間における前記撮像領域との前記光軸上の相対距離を演算し、
前記撮像領域における前記対象物の４隅の座標を示す対象領域情報と、前記相対距離とに基づき、前記３次元空間における前記対象物の位置を示す３次元位置情報を生成し、
当該３次元位置情報に基づき、前記対象物の対向する２辺の長さが等しく平行であるという条件を利用して前記対象物の縦横比を演算し、
前記撮像情報と、前記対象領域情報と、前記縦横比とに基づき、座標変換処理を行うことにより、前記撮像情報で表される原画像を、当該原画像内の前記対象物が前記矩形で表される整形画像に補正することを特徴とする。
【００１６】
また、前記撮像装置は、ユーザーによって前記原画像における前記対象物の４隅を指定させるために、前記撮像情報に基づき、前記原画像を表示する表示手段と、
前記原画像が表示された状態におけるユーザーによる操作情報を入力する操作情報入力手段と、
当該操作情報に基づき、前記対象領域情報を生成する対象領域情報生成手段と、
を含んでもよい。
【００１７】
本発明によれば、画像処理システム等は、撮像時の画角に応じて撮像像画中の対象物の歪みを補正した画像を生成することができる。また、本発明によれば、画像処理システム等は、内分比率を用いない座標変換を行うことにより、原画像の見え方を変更することなく整形画像を生成することができる。
【００１８】
また、前記画像処理システム、前記撮像装置、前記プログラムおよび前記情報記憶媒体において、前記補正手段は、前記座標変換処理として、前記原画像における前記対象物の４隅の座標を前記整形画像における前記対象物の４隅の座標に変換する変換式の逆変換式を用いて、前記整形画像における各画素に相当する領域を含む前記原画像における複数の画素の輝度値を重み付け演算することにより、前記整形画像を生成する処理を実行してもよい。
【００１９】
また、前記画像処理方法は、前記座標変換処理として、前記原画像における前記対象物の４隅の座標を前記整形画像における４隅の座標に変換する変換式の逆変換式を用いて、前記整形画像における各画素に相当する領域を含む前記原画像における複数の画素の輝度値を重み付け演算することにより、前記整形画像を生成する処理を実行してもよい。
【００２０】
これによれば、画像処理システム等は、複数の画素間に隙間を生じさせることなく、かつ、画素同士をなめらかに接続して整形画像を生成することができるため、原画像の見え方を変更することなく整形画像を生成することができる。
【００２１】
また、前記画像処理システム、前記撮像装置、前記プログラムおよび前記情報記憶媒体において、前記補正手段は、前記座標変換処理として、前記原画像における前記対象物の４隅の座標を前記整形画像における４隅の座標に変換する変換式の逆変換式を用いて、前記整形画像における各画素に相当する領域を含む前記原画像の複数の画素から当該領域の占有面積が最も大きい画素を選択し、選択した画素の輝度値に基づき、前記整形画像を生成する処理を実行してもよい。
【００２２】
また、前記画像処理方法は、前記座標変換処理として、前記原画像における前記対象物の４隅の座標を前記整形画像における４隅の座標に変換する変換式の逆変換式を用いて、前記整形画像における各画素に相当する領域を含む前記原画像の複数の画素から当該領域の占有面積が最も大きい画素を選択し、選択した画素の輝度値に基づき、前記整形画像を生成する処理を実行してもよい。
【００２３】
これによれば、画像処理システム等は、複数の画素間に隙間を生じさせることなく整形画像を生成することができるため、原画像の見え方を変更することなく整形画像を生成することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を、撮像画像の歪み補正を行うデジタルカメラに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００２５】
（第１の実施例）
図１は、撮像時の状態を示す模式図である。
【００２６】
本実施例では、図１に示すように、デジタルカメラ１０が黒いシート３０上の矩形の対象物２０（例えば、名刺等）を撮像して撮像画像（原画像）を整形する場合を例に採り説明する。
【００２７】
図２は、第１の実施例におけるデジタルカメラ１０の背面図である。図３は、第１の実施例における原画像１８を示す図である。
【００２８】
ユーザーは、対象物２０が撮像範囲内に入るように、拡大ボタン１２や望遠ボタン１３を押してズーム状態を変更しながら撮像ボタン１１を押して対象物２０を撮像する。
【００２９】
撮像後、ユーザーは、液晶画面１６に表示される原画像１８内の対象物１９の４隅ＡＢＣＤを、画像移動ボタン１４−１〜１４−４を押してポインター画像を移動させて決定ボタン１５を押して指定する。例えば、ユーザーが斜めから対象物２０を撮像した場合、図３に示すように、原画像１８における対象物１９の形状は歪むことになる。
【００３０】
デジタルカメラ１０は、原画像１８内の対象物１９の歪みを補正して対象物１９が元の矩形状になるように整形画像を生成する。
【００３１】
次に、このような機能を実装するためのデジタルカメラ１０の機能ブロックについて説明する。
【００３２】
図４は、第１の実施例におけるデジタルカメラ１０の機能ブロック図である。
【００３３】
デジタルカメラ１０は、撮像ボタン１１等を含む操作部１３０と、画角調整機能を有し、撮像情報１２２を生成する撮像部１４０と、処理対象情報１２１等を記憶する記憶部１２０と、撮像情報で表される原画像１８における対象物１９の画像の歪みを補正する補正部１１０と、原画像１８等を表示する表示部１５０と、必要に応じて処理対象情報１２１を画像処理装置に出力する出力部１６０とを含んで構成されている。
【００３４】
また、処理対象情報１２１は、撮像情報１２２と、撮像部１４０の撮像時の画角を示す画角情報１２４と、撮像部１４０の撮像領域における対象物１９の４隅の座標を示す対象領域情報１２６とを含む。
【００３５】
また、補正部１１０は、画角情報１２４と、撮像情報１２２に基づく解像度に基づき、撮像領域の２次元平面に撮像部１４０の光軸を３次元目として加えた空間であって、かつ、撮像部１４０の主点を原点とする３次元空間における原点と、３次元空間における撮像領域との光軸上の相対距離を演算する距離演算部１１２と、撮像領域における対象物の４隅の座標を示す対象領域情報１２６と、相対距離に基づき、３次元空間における対象物の位置を示す３次元位置情報を生成する３次元位置情報生成部１１４とを含んで構成されている。
【００３６】
また、補正部１１０は、３次元位置情報に基づき、対象物の対向する２辺の長さが等しく平行であるという条件を利用して対象物の縦横比を演算する縦横比演算部１１６と、撮像情報と、対象領域情報と、縦横比に基づき、座標変換処理を行う座標変換処理部１１７と、当該座標変換処理により、原画像１８から対象物が矩形で表される整形画像を生成する整形画像生成部１１８と、原画像１８等を生成する画像生成部１１９とを含んで構成されている。また、記憶部１２０は、整形画像を示す整形画像データ１２８を記憶する。
【００３７】
なお、このような機能をコンピュータに実装するためのハードウェアとしては、例えば、以下のものを適用できる。
【００３８】
図５は、第１の実施例におけるデジタルカメラ１０のハードウェアブロック図である。
【００３９】
例えば、操作部１３０としてはボタン９６０等、撮像部１４０としてはＣＣＤカメラ９３０、画像処理回路９７０等、補正部１１０としてはＣＰＵ９１０、画像処理回路９７０等、記憶部１２０としてはＲＡＭ９５０等、表示部１５０としては液晶パネル９２０等、出力部１６０としては入出力インターフェース９４０等を適用できる。
【００４０】
なお、これらの各部はシステムバス９８０を介して相互に情報をやりとりすることが可能である。
【００４１】
また、これらの各部は、その一部または全部を、回路のようにハードウェア的に実装してもよいし、ドライバのようにソフトウェア的に実装してもよい。
【００４２】
さらに、補正部１１０等としてコンピュータを機能させるためのプログラムを記憶した情報記憶媒体９００からプログラムを読み取って補正部１１０等の機能をコンピュータに実装させてもよい。
【００４３】
このような情報記憶媒体９００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００４４】
また、情報記憶媒体９００に代えて、上述した各機能を実装するためのプログラム等を、伝送路を介してホスト装置等からダウンロードすることによって上述した各機能を実装することも可能である。
【００４５】
次に、これらの各部を用いた画像処理の流れについて説明する。
【００４６】
図６は、第１の実施例における画像処理の流れを示すフローチャートである。
【００４７】
図１を用いて説明したように、ユーザーは、対象物２０を撮像する。撮像部１４０は、操作部１３０からのユーザーによる操作情報に基づき、対象物２０を撮像して撮像情報を生成する（ステップＳ１）。
【００４８】
また、撮像部１４０は、撮像時の水平方向（垂直方向でもよい。）の解像度を示す撮像情報１２２、撮像時の水平方向（垂直方向でもよい。）の画角を示す画角情報１２４、ユーザーによる対象物１９の４隅の指定に基づく対象領域情報１２６を生成する（ステップＳ２）。記憶部１２０は、これらの情報を処理対象情報１２１として記憶する。すなわち、デジタルカメラ１０は、処理対象情報１２１を、１つの画像ファイルとして扱うことが可能であり、外部の画像処理装置に出力しやすい形で扱うことが可能である。
【００４９】
より具体的には、画像生成部１１９は、撮像情報１２２に基づき、原画像１８を表示するための画像情報を生成し、表示部１５０は、当該画像情報に基づき、原画像１８を表示する。ユーザーは、決定ボタン１５を押すことにより、対象物１９の４隅を、例えば、左下、左上、右上、右下の順で指定する。そして、撮像部１４０は、操作部１３０からの操作情報に基づき、撮像領域における各頂点の位置情報を対象領域情報１２６として記憶部１２０に記憶する。
【００５０】
距離演算部１１２は、撮像部１４０の撮像時の画角を示す画角情報と、撮像情報に基づく解像度とに基づき、撮像領域の２次元平面に撮像部１４０の光軸を３次元目として加えた空間であって、かつ、撮像部１４０の主点を原点とする３次元空間における原点と、３次元空間における撮像領域との光軸上の相対距離を演算する（ステップＳ３）。
【００５１】
図７は、第１の実施例におけるデジタルカメラ１０の撮像平面の模式図である。
【００５２】
例えば、撮像部１４０の水平解像度がＷで撮像部１４０の水平画角がθｈの場合、上述した相対距離Ｐｚは、Ｐｚ＝（Ｗ／２）／ｔａｎ（θｈ／２）で求められる。このように、本実施形態では、デジタルカメラ１０は、画角を考慮して画像処理を行っている。なお、ここでは、撮像部１４０の主点が原点Ｏ（０，０，０）であり、原画像１８の中央を撮像平面（撮像領域）の原点と仮定している。
【００５３】
図８は、第１の実施例における撮像平面上の対象物１９と３次元空間に実在する対象物２０を示す模式図である。
【００５４】
図８に示すように、対象物１９と実在の対象物２０との関係は、対象物１９が実在の対象物２０が透視投影された関係にある。したがって、実際に存在する対象物２０の４隅Ａ’Ｂ’Ｃ’Ｄ’の３次元座標は、Ａ’（ｓ＊Ａｘ，ｓ＊Ａｙ，ｓ＊Ｐｚ）、Ｂ’（ｔ＊Ｂｘ，ｔ＊Ｂｙ，ｔ＊Ｐｚ）、Ｃ’（ｕ＊Ｃｘ，ｕ＊Ｃｙ，ｕ＊Ｐｚ）、Ｄ’（ｖ＊Ｄｘ，ｖ＊Ｄｙ，ｖ＊Ｐｚ）で表すことが可能である。
【００５５】
このような手法により、３次元位置情報生成部１１４は、対象領域情報と、相対距離Ｐｚに基づき、撮像領域に透視投影した対象物１９に関する情報から実在の対象物２０の位置を示す３次元位置情報を生成する（ステップＳ４）。
【００５６】
縦横比演算部１１６は、３次元位置情報に基づき、対象物２０の対向する２辺の長さが等しく平行であるという条件を利用して対象物２０の縦横比を演算する（ステップＳ５）。
【００５７】
より具体的には、この条件から、ｔ＝ｓ＊（ｅ＊ｃ−ｂ＊ｆ）／（ｅ＊ａ−ｂ＊ｄ）であり、ｕ＝ｓ＊（ｄ＊ｅ−ａ＊ｆ）／（ｄ＊ｂ−ａ＊ｅ）であり、ｖ＝ｓ−ｔ＊ｕである。なお、ここで、ａ＝（Ｂｘ−Ｄｘ）、ｂ＝（Ｄｘ−Ｃｘ）、ｃ＝（Ａｘ−Ｄｘ）、ｄ＝（Ｂｙ−Ｄｙ）、ｅ＝（Ｄｙ−Ｃｙ）、ｆ＝（Ａｙ−Ｄｙ）である。
【００５８】
また、対象物２０の形状を維持しつつ大きさを変化させた場合でも、対象物２０の縦横比は不変であるため、縦横比演算部１１６は、ｓ＝１と仮定し、３次元空間の大きさを仮決定する。
【００５９】
すなわち、ｓ＝１である場合、ｔ＝（ｅ＊ｃ−ｂ＊ｆ）／（ｅ＊ａ−ｂ＊ｄ）であり、ｕ＝（ｄ＊ｅ−ａ＊ｆ）／（ｄ＊ｂ−ａ＊ｅ）であり、ｖ＝１−ｔ＋ｕである。
【００６０】
縦横比演算部１１６は、このようにして得られた対象物２０の４頂点の座標から対象物２０の縦横比Ｒａ＝縦／横＝｜Ａ’Ｂ’｜／｜Ｂ’Ｃ’｜を求めることができる。例えば、横：縦＝１８：１１であれば、縦横比Ｒａ＝１１／１８＝０．６１である。
【００６１】
そして、座標変換処理部１１７は、撮像情報１２２と、対象領域情報１２６と、縦横比に基づき、座標変換処理を行う（ステップＳ６）。
【００６２】
本実施例では、補正後の整形画像のサイズ（解像度）は、原画像１８のサイズと同じとする。このため、対象物２０の縦横比によっては上下または左右の一部がマスク（黒領域で埋める）される。例えば、Ｒａ＝０．６１の対象物２０を撮像した場合の原画像１８が１６００＊１２００ドットである場合、整形画像も１６００＊１２００ドット（Ｒａ＝０．７５）であり、この整形画像の内側に１６００＊９７８ドット（Ｒａ＝０．６１）の対象物の画像が配置される必要がある。
【００６３】
この場合、整形画像よりも対象物の画像のほうが横長であるため、整形画像の上下は、均等に１６００＊１１１ドットずつマスクされる必要がある。この時の整形画像における対象物の４隅の座標を、Ｅ（Ｅｘ，Ｅｙ）、Ｆ（Ｆｘ，Ｆｙ）、Ｇ（Ｇｘ，Ｇｙ）、Ｈ（Ｈｘ，Ｈｙ）と仮定する。なお、Ｒａ＞１の場合は整形画像の左右がマスクされる必要がある。
【００６４】
原画像１８から整形画像への座標変換は、画像処理で広く用いられている自由変形処理を適用することが可能である。自由変形処理では、変形前における四角形の４隅の座標と、変形後における四角形の４隅の座標を用いてマッピングするための座標変換用パラメータを得ることができる。
【００６５】
図９は、第１の実施例における座標変換用パラメータを求める演算式を示す図である。
【００６６】
この座標変換用パラメータＰａ〜Ｐｈは、図９に示す方程式で得ることができる。
【００６７】
本実施例では、整形画像生成部１１８は、座標変換処理結果に基づき、座標変換用パラメータＰａ〜Ｐｈと、自由変形処理で用いる変換式の逆変換式を用いて整形画像を生成する（ステップＳ７）。
【００６８】
図１０は、従来のマッピング手法を示す図であり、図１０（Ａ）は、従来のマッピング前の原画像を示す図であり、図１０（Ｂ）は、従来のマッピング後の整形画像を示す図である。
【００６９】
例えば、従来のマッピング手法の場合、図１０（Ａ）に４つの隣接した正方形で示す対象物１９の左側にある４画素は、自由変形処理により、図１０（Ｂ）に示す整形画像２１における対象物２２内の４つの離散した正方形の部分に用いられる。
【００７０】
このような手法で生成された整形画像２１は、対象物２２の画素間に隙間が生まれ、見た目が元の画像と変わってしまうこともある。
【００７１】
本実施例では、整形画像生成部１１８は、自由変形処理で用いる変換式の逆変換式を用いて整形画像を生成する。
【００７２】
図１１は、第１の実施例におけるマッピング手法を示す図であり、図１０（Ａ）は、第１の実施例におけるマッピング前の原画像を示す図であり、図１０（Ｂ）は、第１の実施例におけるマッピング後の整形画像を示す図である。
【００７３】
整形画像生成部１１８は、まず、図１１（Ｂ）に４つの隣接した正方形で示す整形画像２３内の対象物２４の４画素に相当する画素の輝度値を、対象物１９の画素の輝度値から生成する。例えば、図１１（Ａ）に示すように、利用される対象物１９の画素は重複した領域となることもある。
【００７４】
整形前の原画像１８の画素の座標（Ｘ，Ｙ）から整形画像２３の画素の座標（ｘ，ｙ）を求める場合、ｘ＝（Ｐａ＊Ｘ＋Ｐｂ＊Ｙ＋Ｐｃ）／（Ｐｇ＊Ｘ＋Ｐｈ＊Ｙ＋１）であり、ｙ＝（Ｐｄ＊Ｘ＋Ｐｅ＊Ｙ＋Ｐｆ）／（Ｐｇ＊Ｘ＋Ｐｈ＊Ｙ＋１）である。
【００７５】
したがって、この逆変換式は、Ｘ＝｛（Ｐｈ＊ｘ−Ｐｂ）＊（ｙ−Ｐｆ）−（Ｐｈ＊ｙ−Ｐｅ）＊（ｘ−Ｐｃ）｝／｛（Ｐｈ＊ｙ−Ｐｅ）＊（Ｐｇ＊ｘ−Ｐａ）−（Ｐｈ＊ｘ−Ｐｂ）＊（Ｐｇ＊ｙ−Ｐｄ）｝であり、Ｙ＝｛（Ｐｇ＊ｘ−Ｐａ）＊（ｙ−Ｐｆ）−（Ｐｇ＊ｙ−Ｐｄ）＊（ｘ−Ｐｃ）｝／｛（Ｐｇ＊ｙ−Ｐｄ）＊（Ｐｈ＊ｘ−Ｐｂ）−（Ｐｇ＊ｘ−Ｐａ）＊（Ｐｈ＊ｙ−Ｐｅ）｝である。
【００７６】
この逆変換式を用いた場合、ＸおよびＹは、整数になるとは限らない。値を丸めることにより、整数値にすることも可能であるが、ギザギザ感をなくし、よりなめらかな整形画像２３を生成するためには、ＸおよびＹを整数値化した画素の近傍にある複数の画素の輝度値を用いることが好ましい。
【００７７】
図１２は、第１の実施例におけるマッピング手法による画素の割り当てを示す模式図である。
【００７８】
例えば、図１２に示すように、逆変換によって求められた画素Ｐ（Ｘ，Ｙ）は、原画像１８の４つの画素Ｑ、Ｒ、Ｓ、Ｔにまたがっているものと仮定する。また、Ｐ（Ｘ，Ｙ）＝（１．７，１．６）であり、Ｑ（１，１）、Ｒ（１，２）、Ｓ（２，２）、Ｔ（２，１）と仮定する。
【００７９】
整形画像生成部５１８は、画素Ｐに含まれる各画素Ｑ、Ｒ、Ｓ、Ｔの領域の割合に基づき、各画素Ｑ、Ｒ、Ｓ、Ｔの輝度値を重み付け演算することにより、画素Ｐの輝度値を求める。例えば、この例の場合、Ｐ＝０．１２Ｑ＋０．１８Ｒ＋０．４２Ｓ＋０．２８Ｔである。
【００８０】
このような手法によって生成される整形画像２３は、図１１（Ｂ）に示すように、画素間に隙間ができず、ギザギザ感がなくなめらかな画像となる。
【００８１】
以上のように、本実施形態によれば、デジタルカメラ１０は、撮像時の画角に応じて撮像像画中の対象物の歪みを補正した画像を生成することができる。また、本実施形態によれば、デジタルカメラ１０は、内分比率を用いない座標変換を行うことにより、原画像の見え方を変更することなく整形画像２３を生成することができる。
【００８２】
また、本実施形態によれば、デジタルカメラ１０は、整形画像２３の複数の画素間に隙間を生じさせることなく、かつ、画素同士をなめらかに接続して整形画像２３を生成することができるため、原画像１８の見え方を変更することなく整形画像２３を生成することができる。
【００８３】
（第２の実施例）
次に、撮像情報等を生成するデジタルカメラと、撮像情報等に基づいて補正処理等を行うＰＣを用いて上述した画像処理を行う場合を例に採り説明する。
【００８４】
図１３は、第２の実施例におけるデジタルカメラ４０とＰＣ５０の機能ブロック図である。
【００８５】
デジタルカメラ４０は、画像生成等を行う処理部４１０と、処理対象情報４２１を一時的に記憶する記憶部４２０と、操作部４３０と、撮像部４４０と、表示部４５０と、処理対象情報４２１をＰＣ５０に出力する出力部４６０とを含んで構成されている。
【００８６】
また、ＰＣ５０は、補正部５１０と、記憶部５２０と、デジタルカメラ４０から処理対象情報４２１を入力する入力部５７０とを含んで構成されている。
【００８７】
また、補正部５１０は、距離演算部５１２と、３次元位置情報生成部５１４と、縦横比演算部５１６と、座標変換処理部５１７と、整形画像生成部５１８と、画像生成部５１９とを含んで構成されている。
【００８８】
また、記憶部５２０には、処理対象情報５２１、整形画像データ５２８等が記憶される。また、処理対象情報５２１は、撮像情報５２２、画角情報５２４、対象領域情報５２６を含む。
【００８９】
なお、操作部４３０は操作部１３０、撮像部４４０は撮像部１４０、記憶部４２０および記憶部５２０は記憶部１２０、表示部４５０は表示部１５０、補正部５１０は補正部１１０と同等の機能を有する。
【００９０】
入力部５７０は、デジタルカメラ４０の出力部４６０からケーブル等を介して出力される処理対象情報４２１を入力する。また、記憶部５２０は、処理対象情報５２１を記憶する。補正部５１０は、処理対象情報５２１に基づき、第１の実施例で説明した画像処理を行うことにより、原画像１８を整形画像２３に補正する。
【００９１】
このように、デジタルカメラ４０とＰＣ５０とで分散処理する場合であっても、撮像時の画角に応じて原画像１８中の対象物１９の歪みを補正し、原画像１８の見え方を変更することなく整形画像２３を生成することができる。
【００９２】
なお、出力部４６０は、コンパクトフラッシュカード等の外部メモリに処理対象情報４２１を出力してもよい。そして、ユーザーが当該外部メモリをＰＣ５０のメモリスロットに挿入することにより、入力部５７０が外部メモリから処理対象情報４２１を読み取ってもよい。
【００９３】
（変形例）
本発明は、上述した実施例に限定されず、種々の変形が可能である。
【００９４】
例えば、デジタルカメラ１０等は、整形画像２３を用いて対象物２４に記載された文字の認識処理、翻訳処理、印刷処理等を実行してもよい。これにより、デジタルカメラ１０等は、画像が整形されていない場合と比べ、より正確に文字認識等を行うことができる。
【００９５】
また、上述した実施例では、ユーザーが対象物１９の４隅を指定したが、例えば、デジタルカメラ１０等にエッジ検出部を設け、エッジ検出によって対象物１９の４隅を検出してもよい。特に、対象物２０とのコントラストが明確なシート３０を用いることにより、エッジ検出部は、対象物１９の４隅を正確に検出できる。
【００９６】
また、液晶画面１６に歪み補正を行うかどうかをユーザーに選択させる文字列（例えば、「歪み補正しますか？」「はい」「いいえ」等）を表示し、ユーザーに選択させてもよい。
【００９７】
また、液晶画面１６に対象物１９を表示する場合、画像生成部１１９は、ユーザーの操作に応じて対象物１９を拡大したり、縮小したりしてもよい。これによれば、原画像１８の解像度と液晶画面１６の解像度が異なっている場合であっても、ユーザーは、対象物１９の４隅を指定しやすい。
【００９８】
また、例えば、対象物２０としては、名刺以外にも、ホワイトボードの板書、バス等の時刻表、写真等の様々な矩形の対象物を用いることが可能である。
【００９９】
また、上述した実施例では、撮像装置としてデジタルカメラ１０を用いたが、本発明は、デジタルカメラ１０以外にも例えば、デジタルビデオカメラ、カメラ付き携帯電話等の種々の撮像装置に適用可能である。
【０１００】
また、画像処理システムとしては、ＰＣ５０以外にも例えば、プロジェクタ、ゲーム装置、ＨＤＤレコーダー等を用いてもよい。画像処理システムは、複数の処理装置で分散して（例えば、プロジェクタとＰＣとで分散処理）実装してもよい。
【図面の簡単な説明】
【０１０１】
【図１】撮像時の状態を示す模式図である。
【図２】第１の実施例におけるデジタルカメラの背面図である。
【図３】第１の実施例における原画像を示す図である。
【図４】第１の実施例におけるデジタルカメラの機能ブロック図である。
【図５】第１の実施例におけるデジタルカメラのハードウェアブロック図である。
【図６】第１の実施例における画像処理の流れを示すフローチャートである。
【図７】第１の実施例におけるデジタルカメラの撮像平面の模式図である。
【図８】第１の実施例における撮像平面上の対象物と３次元空間に実在する対象物を示す模式図である。
【図９】第１の実施例における座標変換用パラメータを求める演算式を示す図である。
【図１０】従来のマッピング手法を示す図であり、図１０（Ａ）は、従来のマッピング前の原画像を示す図であり、図１０（Ｂ）は、従来のマッピング後の整形画像を示す図である。
【図１１】第１の実施例におけるマッピング手法を示す図であり、図１０（Ａ）は、第１の実施例におけるマッピング前の原画像を示す図であり、図１０（Ｂ）は、第１の実施例におけるマッピング後の整形画像を示す図である。
【図１２】第１の実施例におけるマッピング手法による画素の割り当てを示す模式図である。
【図１３】第２の実施例におけるデジタルカメラとＰＣの機能ブロック図である。
【符号の説明】
【０１０２】
１０、４０  デジタルカメラ（撮像装置）、１１  撮像ボタン、１２  拡大ボタン、１３  望遠ボタン、１４−１〜１４−４  画像移動ボタン、１５  決定ボタン、１６  液晶画面、１８  原画像、１９、２０、２２、２４  対象物、２１、２３  整形画像、３０  シート、５０  ＰＣ（画像処理装置）、１１０、５１０  補正部、１１２、５１２  距離演算部、１１４、５１４  ３次元位置情報生成部、１１６、５１６  縦横比演算部、１１７、５１７  座標変換処理部、１１８、５１８  整形画像生成部、１１９、５１９  画像生成部、１２０、５２０  記憶部、１２１、４２１、５２１  処理対象情報、１２２、５２２  撮像情報、１２４、５２４  画角情報、１２６、５２６  対象領域情報、１２８、５２８  整形画像データ、１３０、４３０  操作部、１４０、４４０  撮像部、１５０、４５０  表示部、１６０、４６０  出力部、４１０  処理部、５７０  入力部、９００  情報記憶媒体
【図１】
2005339248.tif 000003
【図２】
2005339248.tif 000004
【図３】
2005339248.tif 000005
【図４】
2005339248.tif 000006
【図５】
2005339248.tif 000007
【図６】
2005339248.tif 000008
【図７】
2005339248.tif 000009
【図８】
2005339248.tif 000010
【図９】
2005339248.tif 000011
【図１０】
2005339248.tif 000012
【図１１】
2005339248.tif 000013
【図１２】
2005339248.tif 000014
【図１３】
2005339248.tif 000015