(57)【要約】【課題】多様な図形情報が含まれる矩形被写体でも、誤検出を少なくして、台形補正を行うことができるようにする。【解決手段】（ａ）に例示するように、点Ａ，Ｂ，Ｃ，Ｄを仮頂点として設定するが、点Ｂと点Ｃは同一点であり、仮頂点は３つである。仮頂点数が「１」「２」「３」の何れかである場合、「１」である場合には、これを用いても矩形を設定することは不可能であると判断して、ステップＳ１にリターンする。本例の場合、（ｂ）に示すように、点Ａ，点Ｂ，Ｃ、点Ｄの３点が仮頂点として設定されるので、これらの仮頂点Ａ，点Ｂ，Ｃ、点Ｄに外接し、切り出した画像２０５の四辺に平行な線分を四辺とした矩形は、（ｂ）に示す矩形３００となる。しかる後に、前記設定された矩形内で各辺（四辺）から当該辺に直交する４方向から順次走査し、頂点を検出する処理を実行する。【選択図】図５
2016001823.tif 000002
【特許請求の範囲】
【請求項１】
取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出する第１の検出手段と、
この第１の検出手段よる検出を少なくとも三辺に対して行い、三つの頂点を検出したか否かを判断する判断手段と、
この判断手段により肯定と判断すると、これら頂点が外接する矩形を生成する生成手段と、
この生成手段によって生成された矩形に囲まれた領域について、この矩形を構成する各辺から領域内部へ向かって走査し、残りの頂点を検出する第２の検出手段と、
この第２の検出手段によって残りの頂点が検出されると、前記第１の検出手段によって検出された頂点と合わせた四つを頂点とした四辺形領域を求め、当該領域を矩形になるよう画像補正する補正手段と、
を備えたことを特徴とする画像補正装置。
【請求項２】
前記第１の検出手段は、前記四辺よりこれらの辺が有する方向に対し垂直方向に走査して最も距離が近い点を頂点として検出することを特徴とする請求項１記載の画像補正装置。
【請求項３】
前記第１の検出手段は、他の辺が有する方向から垂直に走査して頂点が検出されている場合は、この頂点を候補から除く他の頂点を検出することを特徴とする請求項２記載の画像補正装置。
【請求項４】
前記取得画像には四辺形のオブジェクトの少なくとも一部の像が含まれるとともに、前記補正対象矩形画像はその像の中において最も大きな領域であり、
前記取得画像を二値化して、前記四辺形のオブジェクトの少なくとも一部の像と前記領域とを分ける二値化手段と、
この二値化手段によって二値化された取得画像から、前記最も大きな領域を検出する第３の検出手段を更に備えたことを特徴とする請求項１乃至３の何れかに記載の画像補正装置。
【請求項５】
前記二値化手段は、前記四辺形のオブジェクトの少なくとも一部の像よりも外側にある領域も、当該像として二値化することを特徴とする請求項４記載の画像補正装置。
【請求項６】
被写体を順次撮像する撮像手段と、
この撮像手段により撮像された画像を順次表示する表示手段と、を備え、
前記第１の検出手段は、前記撮像手段により順次撮像された画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して頂点を検出し、
前記表示手段は、前記補正手段により補正された画像を順次表示することを特徴とする請求項１記載の画像補正装置。
【請求項７】
前記撮像手段により撮像された時間的に相前後する画像同士に変化が無いか否かを判断する画像判断手段を更に備え、
前記第１の検出手段は、前記画像判断手段により前記画像同士に変化が無いと判断された場合に、前記取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出することを特徴とする請求項６記載の画像補正装置。
【請求項８】
取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出する第１の検出ステップと、
この第１の検出ステップでの検出を少なくとも三辺に対して行い、三つの頂点を検出したか否かを判断する判断ステップと、
この判断ステップにて肯定と判断すると、これら頂点が外接する矩形を生成する生成ステップと、
この生成ステップにて生成された矩形に囲まれた領域について、この矩形を構成する各辺から領域内部へ向かって走査し、残りの頂点を検出する第２の検出ステップと、
この第２の検出ステップにて残りの頂点が検出されると、前記第１の検出ステップにて検出された頂点と合わせた四つを頂点とした四辺形領域を求め、当該領域を矩形になるよう画像補正する補正ステップと、
を含むことを特徴とする画像補正方法。
【請求項９】
装置が有するコンピュータを、
取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出する第１の検出手段、
この第１の検出手段よる検出を少なくとも三辺に対して行い、三つの頂点を検出したか否かを判断する判断手段、
この判断手段により肯定と判断すると、これら頂点が外接する矩形を生成する生成手段、
この生成手段によって生成された矩形に囲まれた領域について、この矩形を構成する各辺から領域内部へ向かって走査し、残りの頂点を検出する第２の検出手段、
この第２の検出手段によって残りの頂点が検出されると、前記第１の検出手段によって検出された頂点と合わせた四つを頂点とした四辺形領域を求め、当該領域を矩形になるよう画像補正する補正手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、矩形状の平面体からなる被写体（以下、矩形被写体という）を補正する画像補正装置、画像補正方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来より、名刺、会議資料、教科書の特定ページ等の矩形被写体に印刷された表示情報を電子化するために、当該矩形被写体をデジタルカメラにより撮影し、撮影により得られた画像データを保存することが行われている。このとき、矩形被写体をある方向から撮影すると、カメラから遠い辺は短く、近い辺は長く撮影され、全体として矩形被写体が台形の被写体となる歪みのある撮影がなされてしまう。
【０００３】
このため、撮影される画像中に含まれる台形の被写体を矩形状に補正する技術である台形補正（台形歪み補正）が創案されている。この技術は、歪み補正を行う被写体が含まれる画像を読み込み、読み込んだ画像から色差の大きな領域を抽出する。抽出した色差の大きい領域の中から、所定値より長い線分を抽出し、抽出した線分で構成される最大の矩形を矩形被写体として、補正を行う（例えば下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−５８８７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影保存する被写体が会議資料や教科書の特定ページ等である場合、純粋な文字列で構成されがちな名刺とは異なり、認識対象となる画像に含まれる情報が文章や画像等多様で、且つこれらが自由自在にレイアウトされているケースが多い場合がある。このような場合において、前述の台形補正技術のように、抽出した色差の大きい線分を抽出し、これを一辺として補正対象の台形とすると、画像内にある印刷された線分を一辺とした台形が誤検出されてしまう。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、多様な図形情報が含まれる矩形被写体でも、誤検出を少なくして、台形補正を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため本発明は、取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出する第１の検出手段と、この第１の検出手段よる検出を少なくとも三辺に対して行い、三つの頂点を検出したか否かを判断する判断手段と、この判断手段により肯定と判断すると、これら頂点が外接する矩形を生成する生成手段と、この生成手段によって生成された矩形に囲まれた領域について、この矩形を構成する各辺から領域内部へ向かって走査し、残りの頂点を検出する第２の検出手段と、この第２の検出手段によって残りの頂点が検出されると、前記第１の検出手段によって検出された頂点と合わせた四つを頂点とした四辺形領域を求め、当該領域を矩形になるよう画像補正する補正手段と、を備えた画像補正装置を提供する。
【０００８】
また、本発明は、取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出する第１の検出ステップと、この第１の検出ステップでの検出を少なくとも三辺に対して行い、三つの頂点を検出したか否かを判断する判断ステップと、この判断ステップにて肯定と判断すると、これら頂点が外接する矩形を生成する生成ステップと、この生成ステップにて生成された矩形に囲まれた領域について、この矩形を構成する各辺から領域内部へ向かって走査し、残りの頂点を検出する第２の検出ステップと、この第２の検出ステップにて残りの頂点が検出されると、前記第１の検出ステップにて検出された頂点と合わせた四つを頂点とした四辺形領域を求め、当該領域を矩形になるよう画像補正する補正ステップと、を含む画像補正方法を提供する。
【０００９】
また、本発明は、装置が有するコンピュータを、取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出する第１の検出手段、この第１の検出手段よる検出を少なくとも三辺に対して行い、三つの頂点を検出したか否かを判断する判断手段、この判断手段により肯定と判断すると、これら頂点が外接する矩形を生成する生成手段、この生成手段によって生成された矩形に囲まれた領域について、この矩形を構成する各辺から領域内部へ向かって走査し、残りの頂点を検出する第２の検出手段、この第２の検出手段によって残りの頂点が検出されると、前記第１の検出手段によって検出された頂点と合わせた四つを頂点とした四辺形領域を求め、当該領域を矩形になるよう画像補正する補正手段、として機能させるプログラムを提供する。
【発明の効果】
【００１０】
本発明によれば、多様な図形情報が含まれる矩形被写体でも、誤検出を少なくして、台形補正を行うことができるようになる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施の形態における撮像状態を示す斜視図である。
【図２】同実施の形態に係るデジタルカメラの回路構成を示すブロック図である。
【図３】同デジタルカメラが有する制御部の処理手順を示すフローチャートである。
【図４】処理手順を示す遷移図である。
【図５】図４に続く遷移図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について説明する。
図１は、本実施の形態に係るデジタルカメラ１の使用時の状態を示す図である。このデジタルカメラ１は、一般的な外観構造を有するものであり、正面側に撮像レンズ２を備え、表示部１６を備える。したがって、台紙１００上に載置された矩形状の印刷物であるオブジェクト１０１を撮像し、ライブビュー画像として表示部１６に表示することが可能である。また、このデジタルカメラ１は、オブジェクト１０１をライブビュー画像として表示部１６に表示するに際し、台形補正を行う機能を有するものである。
なお、この台形補正を伴って、オブジェクト１０１のライブビュー画像を表示部１６に表示させる（以下、台形補正モードという）に際しては、図示のように、このデジタルカメラ１を三脚１０３により、固定させておくことが好ましい。
【００１３】
図２は、本実施の形態に係るデジタルカメラ１の電気的構成を示す回路ブロック図である。このデジタルカメラ１は、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）、ＡＦ（Auto Focus）等の一般的な機能を有するものであり、デジタルカメラ１全体を制御するＣＰＵ（Central Processing Unit）１３を備えている。また、撮像素子としてＣＣＤ（Charge Coupled Device）１８を有しており、ＣＣＤ１８は撮像レンズ２の光軸上に配置されている。被写体は、撮像レンズ２によってＣＣＤ１８の受光面に結像される。
【００１４】
また、ＣＰＵ１３には、バス１４を介してタイミング発生器（ＴＧ：Timing Generator）１５が接続されている。ＣＣＤ１８は、ＣＰＵ１３の命令に従いタイミング発生器１５が生成するタイミング信号に基づき垂直及び水平ドライバ１９によって駆動され、被写体の光学像に応じたアナログの撮像信号をユニット回路２０に出力する。ユニット回路２０は、ＣＣＤ１８の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ（Correllated Double Sampling）回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換器等から構成され、デジタル信号をＤＳＰ（Digital Signal Processor）２１へ出力する。
【００１５】
ＤＳＰ２１は、ユニット回路２０から出力されたデジタル信号に対しペデスタルクランプやオートホワイトバランス等の各種画像処理を施すことにより、輝度（Ｙ）信号及び色差（ＵＶ）信号からなる画像データを生成する。ＤＳＰ２１で変換された画像データは順次ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２２に格納されるとともに、ＲＥＣ（Record）ライブビュー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、液晶の表示部１６へ送られてライブビュー画像として画面表示される。
【００１６】
また、静止画撮影モードにおいては、レリーズ釦操作をトリガとして、ＣＰＵ１３は、ＣＣＤ１８、垂直及び水平ドライバ１９、ユニット回路２０、及びＤＳＰ２１に対してＲＥＣライブビュー・モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られＳＤＲＡＭ２２に一時記憶された画像データは、ＣＰＵ１３により圧縮され、最終的には所定のフォーマットの静止画ファイルとして外部メモリ２５に記録される。この外部メモリ２５に記録された静止画ファイルは、ＰＬＡＹ（再生）モードにおいてユーザの選択操作に応じてＣＰＵ１３に読み出されるとともに伸張され、画像データとしてＳＤＲＡＭ２２に展開された後、画像データに基づく画像が表示部１６に表示される。
【００１７】
フラッシュメモリ２６には、ＣＰＵ１３に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラムが格納されている。キー入力部２７は、ユーザによっていずれかの操作キーが操作されると、その操作内容に応じた操作信号をＣＰＵ１３へ供給する。
【００１８】
図３は、制御部７の処理手順を示すフローチャートである。ユーザが、キー入力部２７に設けられているモード設定キーを操作することにより、予め台形補正モードを設定しておくと、制御部７は、フラッシュメモリ２６に記憶されているプログラムに従って、このフローチャートに示す手順で処理を実行する。
【００１９】
先ず、タイミング発生器１５が生成するタイミング信号に応答して、ＣＣＤ１８、ユニット回路２０、ＤＳＰ２１を介して入力されるライブビュー画像を表すライブビュー画像データを取り込む（ステップＳ１）。そして、この取り込んだライブビュー画像データを順次ＳＤＲＡＭ２２に格納し、一時的に保存する（ステップＳ２）。
【００２０】
引き続き、今回ＳＤＲＡＭ２２に保存した今回フレームのライブビュー画像データと、その直前に取り込んだライブビュー画像データとを比較する（ステップＳ３）。そして、これらのライブビュー画像データにおいて変化が無くなったか否かを判断する（ステップＳ４）。ライブビュー画像データに変化がある場合には、未だデジタルカメラ１が固定されていないと推測され、台形補正すべきオブジェクト１０１を撮像すべき準備が完了していない。したがって、最初のステップＳ１に戻る。
【００２１】
そして、ステップＳ１〜ステップＳ４の処理を繰り返して待機状態を維持する。その結果、ステップＳ４の繰り返された際に、ライブビュー画像データ同士に変化が無と判断されると、台形補正すべきオブジェクト１０１を撮像すべき準備が完了したものと推定する。したがって、台形補正処理を行うべく、その予備段階の処理として、前記ステップＳ１で取り込んだライブビュー画像データを二値化処理する（ステップＳ５）。
【００２２】
したがって、図４（ａ）に示すように、台紙１００上におかれた紙１０２を台形補正すべきオブジェクト１０１であるとすると、この台紙１００上に紙１０２がおかれたものであって、ステップＳ１で取り込んだライブビュー画像データが二値化処理される。この二値化処理により、紙１０２がカラーであったとしても、台紙１００とともに二値化され、図４（ｂ）に示すように、二値化画像１０４が生成されることとなる。
【００２３】
このとき、オブジェクト１０１のみならず、オブジェクト１０１の外側の領域である台紙１００の一部の画像データも含んで二値化する。これにより、オブジェクト１０１全体を確実に二値化することが可能となる
【００２４】
しかる後に、この二値化画像１０４の周辺部から線分を検出する処理を実行する（ステップＳ６）。このステップＳ６における線分の検出に際しては、二値化画像１０４が有する上下左右の各辺である四辺から垂直方向、内側にスキャンし、二値化画像１０４が有する各辺毎に線分を検出する。つまり、図４（ｃ）に示すように、二値化画像１０４が有する上辺１０４Ｕから内側にスキャンを行うと、上部線分Ｕと、左線分Ｌ、右線分Ｒが検出される。また、図示しないが、左辺１０４Ｌから内側にスキャンを行った場合は左線分Ｌが、右辺１０４Ｒから内側にスキャンを行った場合は右線分Ｒが、及び下辺１０４Ｄから内側にスキャンを行った場合も、線分が検出される。
【００２５】
次に、オブジェクト１０１を矩形状態で検出可能であるか否かを判断する（ステップＳ７）。この判断は、ステップＳ６で検出された線分により矩形形状が形成されているか否かにより行う。この判断の結果、矩形形状で検出可能である場合には、ＣＰＵ１３はステップＳ９に処理を進める。したがって、二値化画像１０４内において、最も大きな領域をオブジェクト１０１として得ることができ、オブジェクト１０１を確実に台形補正処理することが可能となる。
【００２６】
しかし、矩形形状で検出不可能である場合には、ステップＳ８の処理を実行する。このステップＳ８においては、更に中心方向に沿って線分とこれらによる矩形領域が検出されたか否かを判断する。矩形領域が検出された場合には、ステップＳ９に処理を進める。しかし、矩形領域も検出されない場合には、オブジェクト１０１を撮像可能な状態にないものと見なして、ステップＳ１に戻る。
【００２７】
ステップＳ９に処理を進めた場合は、検出された矩形領域を中心として所定範囲を切り出す処理を実行する。このステップＳ９で切り出された所定範囲内には、矩形領域であり台形補正すべきオブジェクト１０１である紙１０２に相当する画像部分が含まれている。
【００２８】
次に、ステップＳ９で切り出された所定範囲の一方向から順次走査し、最も近い特徴点を検出し、仮頂点として設定する（ステップＳ１０）。すなわち、図５（ａ）に矢印で示すように、上から下方向２０１に順次走査した場合は点Ａが最も近い特徴点として検出され、仮頂点として設定される。また、下から上方向２０２に順次走査した場合は点Ｂが最も近い特徴点として検出され、仮頂点として設定され、かつ、左から右方向２０３に順次走査した場合も点Ｂと同一点である点Ｃが最も近い特徴点として検出され、仮頂点として設定される。更に、右から左方向２０４に順次走査した場合は点Ｄが最も近い特徴点として検出され、仮頂点として設定される。したがって、本実施の形態においては、ステップＳ１０での処理により、４方向からの走査という簡単な処理により、頂点Ａ，Ｂ，Ｃ，Ｄを確実に検出することができる。
【００２９】
なお、例えば上から下方向２０１に順次走査した場合は頂点Ａの検出は行うがもう１つの頂点Ｘの検出は行わない。したがって、ある方向への走査毎に、１つの頂点を検出することにより、走査方向毎に確実な頂点検出を行うことができる。
【００３０】
引き続き、予めユーザにより設定されている現在の検出モードが「精度重視」と「スピード重視」のいずれであるかを判断する（ステップＳ１１）。「精度重視」であった場合には、後述するステップＳ１４に処理を進める。
【００３１】
「スピード重視」であった場合には、検出した仮頂点数は４つであるか否かを判断し（ステップＳ１２）、４つである場合には後述するステップＳ１７に処理を進める。しかし、本例の場合、図５（ａ）に例示するように、点Ａ，Ｂ，Ｃ，Ｄが仮頂点として設定されるが、点Ｂと点Ｃは同一点であるので、設定される仮頂点は３つである。したがって、ステップＳ１２の判断は、ＮＯとなってステップＳ１３に処理を進める。そして、仮頂点数が２つ以上であるか否かを判断し、２つ以上でない場合にはリターンし、２つ以上である場合にはステップＳ１４に処理を進める。
【００３２】
つまり、ステップＳ１２の判断がＮＯとなる場合は、仮頂点数が「１」「２」「３」の何れかである。そして、仮頂点数が「１」である場合には、これを用いても矩形を設定することは不可能であると判断して、リターン（ステップＳ１に復帰）する。
【００３３】
これに対し、仮頂点数が「２」又は「３」である場合には、ステップＳ１２の判断がＹＥＳとなる。よって、ステップＳ１３からステップＳ１４に処理を進め、仮頂点の２つ以上に外接し、切り出した画像の四辺に平行な線分を四辺とした矩形を設定する。
【００３４】
ここで、図５（ａ）（ｂ）に示すように、本例の場合、点Ａ，点Ｂ，Ｃ（同一点）、点Ｄの３点が仮頂点として設定されているので、これらの仮頂点Ａ，点Ｂ，Ｃ（同一点）、点Ｄに外接し、切り出した画像２０５の四辺に平行な線分を四辺とした矩形は、図５（ｂ）に示す矩形３００となり、この矩形３００を設定する。
【００３５】
しかる後に、前記設定された矩形内で各辺（四辺）から当該辺に直交する４方向から順次走査し、頂点を検出する処理を実行する（ステップＳ１５）。より具体的には、前記四辺よりこれらの辺が有する方向に対し垂直方向に走査して、距離が最も近い点を頂点として検出する。つまり、図５（ｃ）に示すように、設定した矩形３００の上辺から下方向３０１に順次走査した場合は点Ａが頂点として検出され、下辺から上方向３０１に順次走査した場合は点Ｂが頂点として検出される。また、左辺から右方向３０３に順次走査した場合は点Ｃが頂点として検出され、右辺から左方向３０４に順次走査した場合は点Ｄが頂点として検出される。
【００３６】
なお、図５（ｃ）においては、矢印Ａ，Ｂ，Ｃ，Ｄを明瞭に図示するために、仮頂点Ａ，点Ｂ，Ｃ（同一点）、点Ｄに外接し、画像２０５の四辺に平行な線分を四辺とした矩形３００を、仮頂点Ａ，点Ｂ，Ｃ（同一点）、点Ｄに外接させることなく、離間させ大きく描いてある。
【００３７】
次に、検出した頂点数が４つであるか否か判断する。４つでない場合には、台形補正を対象とする矩形のオブジェクト１０１は今回のライブビュー画像データに含まれていないものとして、リターンする。
【００３８】
また、検出した頂点数が４つである場合には、台形補正を対象とする矩形のオブジェクト１０１は今回のライブビュー画像データに含まれていると判断することができる。したがって、検出した頂点数が４つあるライブビュー画像データの頂点Ａ，Ｂ，Ｃ，Ｄを有するオブジェクト１０１に台形補正処理を施す（ステップＳ１７）。この台形補正処理には、公知の処理技術を適宜用いる。
【００３９】
次に、ライブビュー画像データに台形補正された結果を表示する（ステップＳ１８）したがって、本実施の形態に係るデジタルカメラ１によれば、シャッター操作を行わずとも、表示部１６に台形補正したオブジェクト１０１を表示し、視認することができる。
【００４０】
なお、本実施の形態においては、台紙１００上に載置置された紙１０２を台形補正すべきオブジェクト１０１としたが、これに限ることなく、矩形状である物体であればオブジェクト１０１とすることができる。よって、矩形被写体の種別に左右されることなく、台形補正を行うことができるようにすることができる。
また、実施の形態では台形補正した画像を、ライブビュー画像データとして表示するようにしたが、シャッター操作に応答して、外部メモリ２５に記録保存させるようにしてもよい。
【００４１】
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
【００４２】
以下に、本出願の特許請求の範囲に記載された発明を付記する。
【００４３】
［請求項１］
取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出する第１の検出手段と、
この第１の検出手段よる検出を少なくとも三辺に対して行い、三つの頂点を検出したか否かを判断する判断手段と、
この判断手段により肯定と判断すると、これら頂点が外接する矩形を生成する生成手段と、
この生成手段によって生成された矩形に囲まれた領域について、この矩形を構成する各辺から領域内部へ向かって走査し、残りの頂点を検出する第２の検出手段と、
この第２の検出手段によって残りの頂点が検出されると、前記第１の検出手段によって検出された頂点と合わせた四つを頂点とした四辺形領域を求め、当該領域を矩形になるよう画像補正する補正手段と、
を備えたことを特徴とする画像補正装置。
【００４４】
［請求項２］
前記第１の検出手段は、前記四辺よりこれらの辺が有する方向に対し垂直方向に走査して最も距離が近い点を頂点として検出することを特徴とする請求項１記載の画像補正装置。
【００４５】
［請求項３］
前記第１の検出手段は、他の辺が有する方向から垂直に走査して頂点が検出されている場合は、この頂点を候補から除く他の頂点を検出することを特徴とする請求項２記載の画像補正装置。
【００４６】
［請求項４］
前記取得画像には四辺形のオブジェクトの少なくとも一部の像が含まれるとともに、前記補正対象矩形画像はその像の中において最も大きな領域であり、
前記取得画像を二値化して、前記四辺形のオブジェクトの少なくとも一部の像と前記領域とを分ける二値化手段と、
この二値化手段によって二値化された取得画像から、前記最も大きな領域を検出する第３の検出手段を更に備えたことを特徴とする請求項１乃至３の何れかに記載の画像補正装置。
【００４７】
［請求項５］
前記二値化手段は、前記四辺形のオブジェクトの少なくとも一部の像よりも外側にある領域も、当該像として二値化することを特徴とする請求項４記載の画像補正装置。
【００４８】
［請求項６］
被写体を順次撮像する撮像手段と、
この撮像手段により撮像された画像を順次表示する表示手段と、を備え、
前記第１の検出手段は、前記撮像手段により順次撮像された画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して頂点を検出し、
前記表示手段は、前記補正手段により補正された画像を順次表示することを特徴とする請求項１記載の画像補正装置。
【００４９】
［請求項７］
前記撮像手段により撮像された時間的に相前後する画像同士に変化が無いか否かを判断する画像判断手段を更に備え、
前記第１の検出手段は、前記画像判断手段により前記画像同士に変化が無いと判断された場合に、前記取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出することを特徴とする請求項６記載の画像補正装置。
【００５０】
［請求項８］
取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出する第１の検出ステップと、
この第１の検出ステップでの検出を少なくとも三辺に対して行い、三つの頂点を検出したか否かを判断する判断ステップと、
この判断ステップにて肯定と判断すると、これら頂点が外接する矩形を生成する生成ステップと、
この生成ステップにて生成された矩形に囲まれた領域について、この矩形を構成する各辺から領域内部へ向かって走査し、残りの頂点を検出する第２の検出ステップと、
この第２の検出ステップにて残りの頂点が検出されると、前記第１の検出ステップにて検出された頂点と合わせた四つを頂点とした四辺形領域を求め、当該領域を矩形になるよう画像補正する補正ステップと、
を含むことを特徴とする画像補正方法。
【００５１】
［請求項９］
装置が有するコンピュータを、
取得画像における四辺よりこれらの辺が有する方向に対し垂直方向に走査して補正対象矩形画像の頂点を検出する第１の検出手段、
この第１の検出手段よる検出を少なくとも三辺に対して行い、三つの頂点を検出したか否かを判断する判断手段、
この判断手段により肯定と判断すると、これら頂点が外接する矩形を生成する生成手段、
この生成手段によって生成された矩形に囲まれた領域について、この矩形を構成する各辺から領域内部へ向かって走査し、残りの頂点を検出する第２の検出手段、
この第２の検出手段によって残りの頂点が検出されると、前記第１の検出手段によって検出された頂点と合わせた四つを頂点とした四辺形領域を求め、当該領域を矩形になるよう画像補正する補正手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５２】
１    デジタルカメラ
７    制御部
１２    プログラムメモリ
１３    ＣＰＵ
１６    表示部
１８    ＣＣＤ
１９    水平ドライバ
２０    ユニット回路
２１    ＤＳＰ
２２    ＳＤＲＡＭ
２５    外部メモリ
２６    フラッシュメモリ
２７    キー入力部
１００    台紙
１０１    オブジェクト
１０２    紙
１０３    三脚
１０４    二値化画像
１０４Ｄ    下辺
１０４Ｌ    左辺
１０４Ｒ    右辺
１０４Ｕ    上辺
２０１    上方向
２０１    下方向
２０３    右方向
２０４    左方向
２０５    画像
３００    矩形
３０１    上方向
３０１    下方向
３０３    右方向
３０４    左方向
Ａ    仮頂点
Ｂ    仮頂点
Ｃ    仮頂点
Ｄ    仮頂点
【図１】
2016001823.tif 000003
【図２】
2016001823.tif 000004
【図３】
2016001823.tif 000005
【図４】
2016001823.tif 000006
【図５】
2016001823.tif 000007