(57)【要約】【課題】  より使い易い、より精度よく歪んだ画像を補正することのできる画像補正装置を提供する。【解決手段】  カメラ６から画像取り込み部１０が画像データを取り込む。画像データは、輪郭決定部１１に渡され、ユーザがポインティングデバイス７を使って、撮影された黒板や看板の輪郭を指定する。パラメータ抽出部１２は、歪んだ黒板や看板の画像を補正するために使用されるパラメータを抽出する。パラメータ変更部１３は、表示されている画像のパラメータを変更し、画像補正部１４が補正した画像を生成する。補正された画像は、表示選択部１５で選択され、表示部５によってユーザに提示される。【選択図】        図５
2005115711.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
該画像が斜めに撮影されている場合、該画像の輪郭の複数点を指定することにより、該画像の歪みを示す、パラメータを算出するパラメータ算出手段と、
該ユーザの指示により、該パラメータを変更するパラメータ変更手段と、
該パラメータを元に、該画像の歪みを補正して、斜めに傾いた画像を正面から見た画像に変更する画像補正手段と、
該補正された画像を表示する表示手段と、
を備えることを特徴とする画像補正装置。
【請求項２】
前記画像補正手段によって補正される対象は、正方形あるいは長方形をしていることを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記パラメータは、画像の上下左右方向への補正の変更を示すことを特徴とする請求項１に記載の画像補正装置。
【請求項４】
前記複数点の指定は、ユーザがポンティングデバイスで表示されている画面上の表示面にタッチすることによって指定されることを特徴とする請求項１に記載の画像補正装置。
【請求項５】
前記表示手段は、切り替えにより、補正された画像と補正されていない画像とを表示可能であることを特徴とする請求項１に記載の画像補正装置。
【請求項６】
画像を取得する画像取得ステップと、
該画像が斜めに撮影されている場合、該画像の輪郭の複数点を指定することにより、該画像の歪みを示す、パラメータを算出するパラメータ算出ステップと、
該ユーザの指示により、該パラメータを変更するパラメータ変更ステップと、
該パラメータを元に、該画像の歪みを補正して、斜めに傾いた画像を正面から見た画像に変更する画像補正ステップと、
該補正された画像を表示する表示ステップと、
を備えることを特徴とする画像補正方法。
【請求項７】
画像を取得する画像取得ステップと、
該画像が斜めに撮影されている場合、該画像の輪郭の複数点を指定することにより、該画像の歪みを示す、パラメータを算出するパラメータ算出ステップと、
該ユーザの指示により、該パラメータを変更するパラメータ変更ステップと、
該パラメータを元に、該画像の歪みを補正して、斜めに傾いた画像を正面から見た画像に変更する画像補正ステップと、
該補正された画像を表示する表示ステップと、
を備えることを特徴とする画像補正方法をコンピュータに実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歪んだ撮影画像を補正する画像補正装置に関する。
【背景技術】
【０００２】
今日の電子カメラ等の機能の小型化、高性能化により、電子カメラを使って、仕事や勉強の資料を撮影して保管し、後に参照するということが行われるようになってきている。例えば、仕事での会議や授業で黒板に書かれた内容を、従来は人がノートと鉛筆で書き写していたのであるが、上記のような事情により、電子カメラで撮影して保管するようになってきている。このような場合、電子カメラは通常人が手に持って使用するため、また、会議室や授業での撮影者の位置により、黒板が正面から撮影できず、黒板に書かれた文字等が撮影画像において歪んでしまって、判別しづらいという問題がある。また、黒板だけではなく、会議や授業で配布された資料なども電子カメラで撮影して保管する場合、必ずしも真正面から撮影できるとは限らない。
【０００３】
このような事情を考慮して、歪んだ画像を補正する機能を有する電子カメラが製造されている。
特許文献１においては、黒板の画像を撮影するＣＣＤカメラを有する黒板に、黒板の周囲を示す寸法情報を有した基準テープを貼り，寸法情報に基づいて、歪んだ黒板の画像を補正する画像入力装置が開示されている。
【特許文献１】特開平１０−１３６２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の画像補正方法は、概略以下の通りである。
原画Ｐ（ｘ，ｙ）、補正画像をＰ’（ｘ，ｙ）としたとき、単純な伸張による補正による場合は、補正画像は次式にて計算されていた。
Ｐ’（ｘ，ｙ）＝Ｐ（ａｘ＋ｂ、ｃｙ＋ｄ）        （１）
ここで、ａ、ｂ、ｃ、ｄは伸張の係数値。
【０００５】
このように単純な伸張で補正を行った場合には、若干の改善がみられるものの正面から撮影した条件とはならないために歪みは完全には解消できなかった。
本発明の課題は、より使い易い、より精度よく歪んだ画像を補正することのできる画像補正装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の画像補正装置は、画像を取得する画像取得手段と、該画像が斜めに撮影されている場合、該画像の輪郭の複数点を指定することにより、該画像の歪みを示す、ユーザが直感的に理解し易いパラメータを算出するパラメータ算出手段と、該ユーザの指示により、該パラメータを変更するパラメータ変更手段と、該パラメータを元に、該画像の歪みを補正して、斜めに傾いた画像を正面から見たような画像に変更する画像補正手段と、該補正された画像を表示する表示手段とを備えることを特徴とする。
【０００７】
本発明によれば、ユーザが補正すべき画像の輪郭上の点を指定し、直感的にわかり易いパラメータを変更しながら、最適な補正画像を探すことができる。従って、ユーザが使用しやすく、しかも、最適な補正画像を得ることができる。
【発明の効果】
【０００８】
本発明によれば、より使いやすく、かつ、より精度良く、歪んだ画像を補正することができる。
【発明を実施するための最良の形態】
【０００９】
本発明の実施形態の概略を説明する。
本発明の実施形態においては、斜めから撮影された黒板や看板の画像を補正する場合を説明する。本発明の実施形態においては、斜めに撮影された黒板の輪郭から、画像の補正歪パラメータを導出し、そのパラメータに基づき、もとにオリジナル画像を正面から見た画像に近づけるようにする。特に、抽出されたパラメータは、ユーザが直感的に調整を行いやすいパラメータを選び、そのパラメータを調整できる手段を設け、補正された画像を見ながらユーザに調整させることで最適な歪補正を容易に可能とする。
【００１０】
図１〜図３は、本発明の実施形態に従った画像補正装置による画像変換の様子を説明する図である。
図１においては、プレビュー画面に、長方形の看板が斜めに映し出されている。ここで、撮影ボタンであるEnterキーを押して、撮影を行う。次に、図２に示されるように、ユーザがタッチペンなどを使って、画像上の長方形の看板の４隅の点を指定する。すると、図３に示されるように、看板が表面から見たような画像に変換されて表示される。矢印カーソル（→、←、↑、↓）を押すことによって、画像変換パラメータが修正され、補正画像の微調整を行うことができるようになっている。
【００１１】
図４は、本発明の実施形態の画像補正装置の構成図である。
本発明の実施形態の画像補正装置は、黒板、看板などの撮影を行うカメラ６と、取り込んだ画像から黒板の輪郭の指定を行うポインティングデバイス７、その輪郭情報から後述する黒板の画像補正を行うためのパラメータの抽出を行い、パラメータに従って、黒板画像の補正を演算するＣＰＵ１と、このパラメータを必要に応じて微調整する場合に、ユーザの指示を入力し、補正画像と元画像のどちらかを選択するスイッチ部２と、画像の表示を行う表示部５と、画像補正プログラムや他のプログラムを格納するROM３と、撮影された画像を格納するRAM４とからなる。
【００１２】
図５は、画像補正部分のより詳細な構成図である。
以下、図５を参照しながら、本発明の実施形態の処理の流れを説明する。
いま、カメラ６にて、黒板の撮影を行ったとする。画像取り込み部１０はメモリなどの記憶装置から構成されており、カメラにて入力された画像は一旦、この装置内のメモリ保存がされ、撮影後も引き続き同じ画像を読み出しが可能になっている。この読み出された画像は表示選択部１５に送りだされる。表示選択部１５は初期状態では、この画像取り込み部１０から送られてくる原画信号が選択されるようになっており、結果として表示部５では撮影中の原画画像が表示されることになる。ユーザは、このプレビューされる画像を表示部５で見ることができる。
【００１３】
ユーザは、プレビューされた画像を見ながら最適な画像の撮影を行う。ユーザは取り込みたい画像になったときに、撮影ボタンなどで撮影の指示を画像取り込み部１０に行う（指示部は不図示）。その後撮影保存された画像を読み出し、撮影終了後も撮影した画像を引き続き読み出し、送り出されるようになる。読み出された画像はプレビュー時と同様に表示選択部１５を経由して表示部５にて表示が可能である。
【００１４】
輪郭決定部１１は、撮影された看板や黒板などの四隅を、ペンやマウスなどのポインティングデバイス７でユーザに指定させる。この輪郭指定により、撮影された黒板あるいは看板の四隅の座標点ｐ１、ｐ２、ｐ３、ｐ４が得られる。
パラメータ抽出部１２は輪郭決定部１１で指定された４点の座標ｐ１、ｐ２、ｐ３、ｐ４よりパラメータａ、ｂを計算する。このパラメータａ、ｂは画像の歪成分を示すパラメータになっている。このパラメータの算出の仕方は後述する。
【００１５】
抽出されたパラメータａ、ｂ及び輪郭の四隅の座標ｐ１、ｐ２、ｐ３、ｐ４は、パラメータ変更部１３に入力されるが、初期状態ではパラメータは特に変更されることなく画像補正部１４に送り出される。
画像補正部１４は、入力されるパラメータにより、補正画像が計算される。補正された画像が表示選択部１５に送り出される。表示選択部１５では、補正された画像が送り出された場合には、優先的に表示部５に送り出し、補正画像を表示するように行う。このような動作により、ユーザは斜めから撮影した看板や黒板画像をあたかも正面から撮影したかのような修正した画像を見ることができる。
【００１６】
表示選択部１５が、補正された画像が選択されている場合には、メッセージウィンドウ（図３中一番下に位置するボックス内に表示される領域）に、ユーザにカーソル操作ができる旨を表示する。これは、カーソルによって画像補正パラメータが編集できることをユーザに示している。
【００１７】
パラメータ変更部１３では、前段で得られた対象物の四隅の座標を調整することは行わない。これは４点の座標調整によって、画像補正パラメータを調整する方法はユーザにとって直感的にわかりにくいからである。すなわち四隅をどのように移動させたら、補正される画像がどのように変化するかがわかりにくいためである。そのため、ユーザに調整させるパラメータは、得られた座標から導出される２つのパラメータを調整させる。パラメータａは横手方向の歪を補正するパラメータ成分である、他方ｂは縦方向の歪を補正するパラメータ成分である（後述のパラメータ算出方法の説明参照）。
【００１８】
本実施形態では、上下カーソルにて縦方向の歪パラメータを調整させ、左右カーソルにて横手方向歪パラメータを調整するようにしたので、これにより、補正された画像を見せながら、ユーザの直感にわかりやすいパラメータを調整させることが可能になる。これにより、ユーザは画像を最適に調整することができる。
【００１９】
画像を最適に調整する場合には、最初はパラメータ抽出部１２から送り出されたパラメータが初期値として記憶され、それらのパラメータがパラメータ変更部１３から画像補正部１４へ出力されるが、カーソルキーが押されたことの検出を行うと、それぞれのパラメータ値が増減、変更される。この変更されたパラメータ値が新たにパラメータ変更部１３から画像補正部１４へ送り出される。画像補正部１４は、修正されたパラメータにより、再度補正画像を計算する。補正された画像が表示部５にて表示されることになる。結果、ユーザは修正された画像をみながら、カーソルを用いて、見栄えが良い画像の最適な位置を調整することができる。
【００２０】
本発明の実施形態では、画像に投影された黒板や看板の輪郭から射影変換の補正により画像の補正を行っているために、看板や黒板上の文字が正面から撮影した画像に近い画像に補正されるために、斜めに撮影された看板や黒板より読みやすく、また文字だけでなく画像も認識しやすくなる。
【００２１】
また、本発明の実施形態では、一度計算された補正パラメータをユーザに認識しやすい形で再度微調整が可能な手段を設けたために、補正パラメータが良好に計算できない場合でもユーザが画像を見ながら、もっとも認識しやすい画像に補正することが可能である。
上記実施形態では、輪郭決定部１１は撮影した画像を表示させた状態でユーザに黒板の四隅を指定させる方法を用いたが、ラプラシアンフィルタなどを用いて、画像処理をして、黒板の輪郭を抽出した後に、その四隅を自動的に計測する手法も可能である。
【００２２】
図６は、表示選択部のメモリに格納される画像データのイメージを示した図である。
図６に示されるように、画像データは、メモリ領域に連続して格納されており、カメラからのプレビュー画像である非固定画像（動画像）用のメモリ領域と、本発明の実施形態に従った補正を受けていない固定画像（撮影画像）、補正後の固定画像（撮影画像）のメモリ領域が設けられている。
【００２３】
図７は、本発明の実施形態の画像補正装置の全体の処理の流れを示すフローチャートである。
まず、ステップＳ１において、初期化処理を行い、ステップＳ２において、画像表示処理を行う。ステップＳ３において、輪郭指定処理を行い、ステップＳ４において、パラメータ変更処理を行い、ステップＳ５においては、電子カメラとしての他の機能の処理を行い、ステップＳ２に戻る。
【００２４】
図８は、画像表示処理の処理の詳細を示すフローチャートである。
まず、ステップＳ１０において、撮像スイッチがオンされているか否かを判断する。ステップＳ１０の判断がＮｏの場合には、ステップＳ1４に進む。ステップＳ１０における判断がＹｅｓの場合には、ステップＳ１１において、非固定画像、固定画像、補正後固定画像のいずれを表示するかを示す変数dispが０か否かを判断する。dispが０でない場合には、ステップＳ１３において、dispを０に設定し、ステップＳ1４に進む。ステップＳ１１の判断がＹｅｓの場合には、ステップＳ１２において、固定画像（非補正）を取り込み、dispを１に、tapを０に設定して、ステップＳ1４に進む。
【００２５】
ステップＳ1４においては、表示選択スイッチがオンされているか否かを判断する。ステップＳ1４における判断がＮｏの場合には、ステップＳ１９に進む。ステップＳ1４における判断がＹｅｓの場合には、ステップＳ１５において、変数dispが、０、１、２のいずれかを判断する。dispが０の場合には、ステップＳ１９に進み、１の場合には、ステップＳ1６に進み、２の場合には、ステップＳ1８に進む。ステップＳ1８では、dispを１に設定して、ステップＳ１９に進む。ステップＳ１５において、dispが１と判断された場合には、ステップＳ1６に進み、補正したか否かを示す変数tapが１か否かを判断する。ステップＳ1６の判断がＮｏの場合には、ステップＳ１９に進む。ステップＳ1６の判断がＹｅｓの場合には、ステップＳ17において、dispを２に設定し、ステップＳ１９に進む。ステップＳ１９においては、dispの値を判定する。ステップＳ１９において、dispが０と判断された場合には、ステップＳ２０において、非固定画像の取り込み、及び、表示をし、サブルーチンを抜ける。ステップＳ１９において、dispが１と判断された場合には、ステップＳ２１において、固定画像（非補正）の表示を行い、サブルーチンを抜ける。ステップＳ１９において、dispが２と判断された場合には、ステップＳ２２において、固定画像（補正後）の表示を行い、サブルーチンを抜ける。
【００２６】
図９は、輪郭指定処理の処理の詳細を示すフローチャートである。
ステップＳ３０において、dispが１、かつ、輪郭指定のスイッチがオンされているか否かを判断する。ステップＳ３０の判断がＮｏの場合には、サブルーチンを抜ける。ステップＳ３０の判断がＹｅｓの場合には、ステップＳ３1において、変数ｉに１を設定し、ステップＳ３２において、ｉ点目を指定するよう、ユーザに対しメッセージを表示する。ステップＳ３３において、入力タップがあるまで待つ。入力タップがあると、ステップＳ３４において、タップ位置から座標ｐ［ｉ］（ｕｉ、ｖｉ）を計算し、ステップＳ３５において、ｉを１つ増加し、ステップＳ３６において、ｉが４より大きいか否かを判断する。ステップＳ３６の判断がＮｏの場合には、ステップＳ３２に戻る。ステップＳ３６の判断がＹｅｓの場合には、ステップＳ３7において、歪パラメータａ、ｂを算出し、ステップＳ３８において、画像補正処理を行い、ステップＳ３9において、tapを１に、dispを２に設定して、サブルーチンを抜ける。
【００２７】
図１０は、画像補正処理の処理の詳細を示すフローチャートである。
ステップＳ４０において、タップ座標ｐ［ｉ］（ｕｉ、ｖｉ）から補正画像サイズＸ、Ｙを算出し、ｘとｙに０を設定する。ステップＳ４1において、ｍにｘ／Ｘ、ｎにｙ／Ｙを設定し、ステップＳ４２において、ｕ、ｖ（後述）を算出する。ステップＳ４３において、ｕ、ｖはともに整数か否かを判断する。ステップＳ４３の判断がＹｅｓの場合には、ステップＳ４４において、補正データ（ｘ、ｙ）に非補正データ（ｕ、ｖ）を設定し、ステップＳ４６に進む。ステップＳ４３における判断がＮｏの場合には、ステップＳ４５において、ｕ、ｖの小数部切り捨てをし、補正データ（ｘ、ｙ）に非補正データ（（ｕ、ｖ）＋（ｕ、ｖ＋１）＋（ｕ＋１、ｖ）＋（ｕ＋１、ｖ＋１））／４を設定して、ステップＳ４６に進む。ステップＳ４６においては、ｘを１つ増加し、ステップＳ４7において、Ｘとｘが等しいか否かを判断する。ステップＳ４7の判断がＮｏの場合には、ステップＳ４1に戻り、判断がＹｅｓの場合には、ステップＳ４８に進む。ステップＳ４８においては、ｘに０を設定し、ｙを１つ増加し、ステップＳ４9において、ｙがＹに等しいか否かを判断する。ステップＳ４9の判断がＮｏの場合には、ステップＳ４1に進み、ステップＳ４9の判断がＹｅｓの場合には、サブルーチンを抜ける。
【００２８】
図１１は、パラメータ変更処理の処理の詳細を示すフローチャートである。
ステップＳ５０において、dispが２であるか否かを判断する。ステップＳ５0の判断がＮｏの時には、サブルーチンを抜ける。ステップＳ５0の判断がＹｅｓの場合には、ステップＳ５1において、矢印キーのうち↑キーがオンされているか否かを判断する。ステップＳ５1の判断がＹｅｓの場合には、ｄｂを適当な数値として、ｂをｂ＋ｄｂに変更する。そして、ステップＳ５9において、画像補正処理を行い、サブルーチンを抜ける。ステップＳ５1の判断がＮｏの場合には，ステップＳ５３において、↓キーがオンか否かを判断する。ステップＳ５３の判断がＹｅｓの場合には、ステップＳ５４において、ｂをｂ−ｄｂとしてステップＳ５9の画像補正処理を行い、サブルーチンを抜ける。ステップＳ５３の判断がＮｏの場合には、ステップＳ５５において、→キーがオンされているか否かを判断する。ステップＳ５５の判断がＹｅｓの場合には、ｄａを適当な数値として、ステップＳ５６において、ａ＋ｄａをａに設定して、ステップＳ５9で画像補正処理を行って、サブルーチンを抜ける。ステップＳ５５の判断がＮｏの場合には，ステップＳ５7において、←キーがオンされているか否かを判断する。ステップＳ５7の判断がＹｅｓの場合には、ステップＳ５８において、ａ−ｄａをaに設定して、ステップＳ５9で画像補正処理を行って、サブルーチンを抜ける。ステップＳ５7の判断がＮｏの場合には，特に処理をしないでサブルーチンを抜ける。
【００２９】
図１２は、黒板や看板などの画像の補正処理に使用される射影変換について説明する図である。
図１２のような黒板が仮想スクリーン上に射影されているとする。ここで、仮想スクリーンは、表示部の表示画面に相当する。
【００３０】
射影変換より座標ｐ１は、
【００３１】
【数１】
2005115711.tif 000003
【００３２】
座標ｐ２、ｐ３は、それぞれＳ＋Ｂ、Ｓ＋Ａとして、その射影変換は、
【００３３】
【数２】
2005115711.tif 000004
【００３４】
同様に座標ｐ４は、Ｓ＋Ａ＋Ｂとして
【００３５】
【数３】
2005115711.tif 000005
【００３６】
これらから、奥行きＺ軸側を基準にＡ、Ｂベクトルを求める。
（２）より
【００３７】
【数４】
2005115711.tif 000006
【００３８】
更に、（３）、（４）より
【００３９】
【数５】
2005115711.tif 000007
【００４０】
（５）式より
【００４１】
【数６】
2005115711.tif 000008
【００４２】
（１２）式より次の関係が得られる。
【００４３】
【数７】
2005115711.tif 000009
【００４４】
これが、輪郭指定処理（図９）のステップＳ３7において算出される歪みパラメータa、ｂである。（７）、（９）よりa＝Ｂｚ／Ｓｚであり、ａはＢベクトルのｚ軸方向の傾きによる影響を反映している。また、（７）、（１１）より、ｂ＝Ａｚ／Ｓｚであり、ｂはＡベクトルのｚ軸方向の傾きによる影響を反映している。
【００４５】
次に、画像補正処理（図１０）のステップＳ４２において算出されるｕ、ｖについて述べる。
黒板上の任意の点Ｐ（ｘ、ｙ、ｚ）の射影面上の座標をｐ（ｕ、ｖ）とすると、射影変換の関係から次の式が成り立つ。
【００４６】
【数８】
2005115711.tif 000010
【００４７】
Ｐ（ｘ、ｙ、ｚ）をＳ、Ａ、Ｂベクトルで次式のように表す。
Ｐ＝Ｓ＋ｍ・Ａ＋ｎ・Ｂ  （０≦ｍ≦１、０≦ｎ≦１）
これと（６）〜（１１）、（１５）式より、
【００４８】
【数９】
2005115711.tif 000011
【００４９】
また、ステップＳ４０において算出される補正画像サイズＸ、Ｙは、任意のサイズにできる。一例として、座標ｐ４、ｐ３間のベクトルｐ４３、座標ｐ４、ｐ２間のベクトルｐ４２のそれぞれ絶対値である｜ｐ４３｜、｜ｐ４２｜（仮想スクリーン上）の比を縦横の比とすることができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施形態に従った画像補正装置による画像変換の様子を説明する図（その１）である。
【図２】本発明の実施形態に従った画像補正装置による画像変換の様子を説明する図（その２）である。
【図３】本発明の実施形態に従った画像補正装置による画像変換の様子を説明する図（その３）である。
【図４】本発明の実施形態の画像補正装置の構成図である。
【図５】画像補正部分のより詳細な構成図である。
【図６】表示選択部のメモリに格納される画像データのイメージを示した図である。
【図７】本発明の実施形態の画像補正装置の全体の処理の流れを示すフローチャートである。
【図８】画像表示処理の処理の詳細を示すフローチャートである。
【図９】輪郭指定処理の処理の詳細を示すフローチャートである。
【図１０】画像補正処理の処理の詳細を示すフローチャートである。
【図１１】パラメータ変更処理の処理の詳細を示すフローチャートである。
【図１２】黒板や看板などの画像の補正処理に使用される射影変換について説明する図である。
【符号の説明】
【００５１】
１      ＣＰＵ
２      スイッチ部
３      ROM
４      RAM
５      表示部
６      カメラ
７      ポインティングデバイス
１０      画像取り込み部
１１      輪郭決定部
１２      パラメータ抽出部
１３      パラメータ変更部
１４      画像補正部
１５      表示選択部
【図１】
2005115711.tif 000012
【図２】
2005115711.tif 000013
【図３】
2005115711.tif 000014
【図４】
2005115711.tif 000015
【図５】
2005115711.tif 000016
【図６】
2005115711.tif 000017
【図７】
2005115711.tif 000018
【図８】
2005115711.tif 000019
【図９】
2005115711.tif 000020
【図１０】
2005115711.tif 000021
【図１１】
2005115711.tif 000022
【図１２】
2005115711.tif 000023