(57)【要約】【課題】平面上の任意の方向の画像歪みを補正する【解決手段】被写体の実像、および該被写体を走査方向に反転させた鏡像が撮像された画像から、実像領域および該実像領域に対応する鏡像領域を抽出する領域抽出部（２２）と、実像領域および鏡像領域から、実像特徴点および鏡像特徴点を抽出する特徴点抽出部（２３）と、実像特徴点と、該実像特徴点に対応する鏡像特徴点とのペアを決定する特徴点ペア決定部（２４）と、特徴点ペアの実像特徴点および鏡像特徴点の各領域上の位置に基づいて、実像特徴点または鏡像特徴点における歪み指数および歪み方向を特定する歪み特定部（２５）と、歪み指数および歪み方向に基づいて、上記画像を補正する画像補正部（２６）と、を備える。【選択図】図１
2015082301.tif 000002
【特許請求の範囲】
【請求項１】
被写体の実像、および、行列状に配置されている撮像素子の列方向である走査方向に該被写体を反転させた鏡像を撮像するカメラが撮像した画像から、上記被写体の実像が撮像されている実像領域、および、該実像領域に対応する、上記被写体の鏡像が撮像されている鏡像領域を抽出する領域抽出手段と、
上記領域抽出手段が抽出した実像領域および鏡像領域から、実像領域の特徴点である実像特徴点および鏡像領域の特徴点である鏡像特徴点をそれぞれ１または複数抽出する特徴点抽出手段と、
上記特徴点抽出手段が抽出した実像特徴点と、該実像特徴点に対応する鏡像特徴点とのペアを１または複数決定する特徴点ペア決定手段と、
上記特徴点ペア決定手段が決定した特徴点ペアの実像特徴点および鏡像特徴点の各領域上の位置に基づいて、１または複数の実像特徴点または鏡像特徴点における、真の位置または近似的な真の位置からの歪みの程度を示す歪み指数と、上記真の位置または近似的な真の位置からの歪み方向とを特定する歪み特定手段と、
上記歪み特定手段が特定した歪み指数および歪み方向に基づいて、上記画像を補正する補正手段と、を備えたこと
を特徴とする画像処理装置。
【請求項２】
上記歪み特定手段は、１または複数の実像特徴点または鏡像特徴点の上記真の位置または近似的な真の位置からの変位量である歪み量を上記歪み指数として算出すること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記特徴点ペア決定手段は、少なくとも２つの特徴点ペアを決定し、
上記歪み特定手段は、上記特徴点ペア決定手段が決定した特徴点ペアのうちの２つの特徴点ペアの実像特徴点および鏡像特徴点の各領域上の位置に基づいて、真の距離または近似的な真の距離に対する、２つの実像特徴点間距離もしくは２つの鏡像特徴点間距離の変化の割合である歪み率を上記歪み指数として算出すること
を特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記歪み特定手段が特定した歪み率および歪み方向に基づいて、上記カメラと上記被写体との相対速度ベクトルを算出する速度算出手段をさらに備えたこと
を特徴とする請求項３に記載の画像処理装置。
【請求項５】
被写体の実像、および、行列状に配置されている撮像素子の列方向である走査方向に反転させた鏡像を撮像するカメラが撮像した画像から、上記被写体の実像が撮像されている実像領域、および、該実像領域に対応する、上記被写体の鏡像が撮像されている鏡像領域を抽出する領域抽出ステップと、
上記領域抽出ステップにおいて抽出された実像領域および鏡像領域から、実像領域の特徴点である実像特徴点および鏡像領域の特徴点である鏡像特徴点をそれぞれ１または複数抽出する特徴点抽出ステップと、
上記特徴点抽出ステップにおいて抽出された実像特徴点と、該実像特徴点に対応する鏡像特徴点とのペアを１または複数決定する特徴点ペア決定ステップと、
上記特徴点ペア決定ステップにおいて決定された特徴点ペアの実像特徴点および鏡像特徴点の各領域上の位置に基づいて、１または複数の実像特徴点または鏡像特徴点における、真の位置または近似的な真の位置からの歪みの程度を示す歪み指数と、上記真の位置または近似的な真の位置からの歪み方向とを特定する歪み特定ステップと、
上記歪み特定ステップにおいて特定された歪み指数および歪み方向に基づいて、上記画像を補正する補正ステップと、を含むこと
を特徴とする画像処理方法。
【請求項６】
筆記具のペンとして機能し、ペン型の筐体を具備したペン構成部を備えたデジタルペンであって、
鏡と、
実像と該実像を上記鏡で上記走査方向に反転させた鏡像とを同時に撮像する１つのカメラと、
上記カメラで撮像された画像を補正する請求項１〜４の何れか１項に記載の画像処理装置と、
ユーザが上記デジタルペンを使用した筆跡を表す筆跡データを、上記画像処理装置が補正した画像に基づいて生成する生成手段と、を備えたこと
を特徴とするデジタルペン。
【請求項７】
請求項１〜４の何れか１項に記載の画像処理装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項８】
請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する画像処理装置、画像処理方法、該画像処理装置の制御プログラムおよび該制御プログラムが記録された記録媒体、並びに、上記画像処理装置を備えたデジタルペンに関するものであり、特にＣＭＯＳカメラで撮像された画像を処理する画像処理装置、画像処理方法、該画像処理装置の制御プログラムおよび該制御プログラムが記録された記録媒体、並びに、上記画像処理装置を備えたデジタルペンに関する。
【背景技術】
【０００２】
近年、ペン等の筆跡をデジタルデータ化するデジタルペンが開発されている。例えば、特許文献１には、デジタルペンに搭載されたカメラで紙面上の凹凸模様を撮影し、凹凸模様の特徴点の移動を検出して、筆跡を再現する技術が記載されている。
【０００３】
ここで、デジタルペンに搭載するカメラにＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラを採用した場合、筆記によりカメラを搭載したデジタルペンが移動するため、カメラが撮像した画像に画像歪みが生じる。正確な筆跡を再現するためには、このような画像歪みを補正する必要がある。
【０００４】
従来、ＣＭＯＳ型のデジタルカメラにおいて生じる画像歪みを補正する技術が種々開発されている。例えば、特許文献２には、第１撮像素子が撮像した画像と、第１撮像素子と逆方向から読み出す第２撮像素子が撮像した画像とからエッジを検出して、被写体が水平方向に移動する場合に生じる画像歪みを補正する撮像装置が記載されている。また、特許文献３には、奇数列の撮像素子と、偶数列の撮像素子とを互いに逆方向から読み出し、隣接する２個の素子列から出力された画像信号を比較してＸ軸方向のずれ量を算出し、ローリングシャッタ歪みを補正する撮像装置が記載されている。また、特許文献４には、角速度センサ等で検出した手ぶれ速度に基づいて、水平方向および垂直方向の画像歪みを補正する補正装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−３４５４８号公報（２０１１年２月１７日公開）
【特許文献２】特開２０１２−１６９９９０号公報（２０１２年９月６日公開）
【特許文献３】特開２０１２−８０４９０号公報（２０１２年４月１９日公開）
【特許文献４】特開２００６−１８６８８５号公報（２００６年７月１３日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献２および３に記載の技術は、平面上の予め定めた方向の画像歪みしか補正できないという問題がある。また、特許文献４に記載の技術は、角速度センサ等を必要とするため、装置の高コスト、大型化、高消費電力等の問題が生じる。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、平面上の任意の方向の画像歪みを補正する画像処理装置、画像処理方法、該画像処理装置の制御プログラムおよび該制御プログラムが記録された記録媒体、並びに、上記画像処理装置を備えたデジタルペンを実現することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る画像処理装置は、被写体の実像および鏡像を撮像するカメラと、上記カメラが撮像した画像から、上記被写体の実像が撮像されている実像領域、および、該実像領域に対応する、上記被写体の鏡像が撮像されている鏡像領域を抽出する領域抽出手段と、上記領域抽出手段が抽出した実像領域および鏡像領域から、実像領域の特徴点である実像特徴点および鏡像領域の特徴点である鏡像特徴点をそれぞれ１または複数抽出する特徴点抽出手段と、上記特徴点抽出手段が抽出した実像特徴点と、該実像特徴点に対応する鏡像特徴点とのペアを１または複数決定する特徴点ペア決定手段と、上記特徴点ペア決定手段が決定した特徴点ペアの実像特徴点および鏡像特徴点の各領域上の位置に基づいて、１または複数の実像特徴点または鏡像特徴点における、真の位置または近似的な真の位置からの歪みの程度を示す歪み指数と、上記真の位置または近似的な真の位置からの歪み方向とを特定する歪み特定手段と、上記歪み特定手段が特定した歪み指数および歪み方向に基づいて、上記画像を補正する補正手段と、を備えている。
【０００９】
上記の課題を解決するために、本発明の一態様に係る画像処理方法は、被写体の実像および鏡像を撮像するカメラが撮像した画像から、上記被写体の実像が撮像されている実像領域、および、該実像領域に対応する、上記被写体の鏡像が撮像されている鏡像領域を抽出する領域抽出ステップと、上記領域抽出ステップにおいて抽出された実像領域および鏡像領域から、実像領域の特徴点である実像特徴点および鏡像領域の特徴点である鏡像特徴点をそれぞれ１または複数抽出する特徴点抽出ステップと、上記特徴点抽出ステップにおいて抽出された実像特徴点と、該実像特徴点に対応する鏡像特徴点とのペアを１または複数決定する特徴点ペア決定ステップと、上記特徴点ペア決定ステップにおいて決定された特徴点ペアの実像特徴点および鏡像特徴点の各領域上の位置に基づいて、１または複数の実像特徴点または鏡像特徴点における、真の位置または近似的な真の位置からの歪みの程度を示す歪み指数と、上記真の位置または近似的な真の位置からの歪み方向とを特定する歪み特定ステップと、上記歪み特定ステップにおいて特定された歪み指数および歪み方向に基づいて、上記画像を補正する補正ステップと、を含む。
【発明の効果】
【００１０】
本発明の一態様によれば、平面上の任意の方向の画像歪みを補正することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態を示すものであり、画像処理装置の要部構成を示すブロック図である。
【図２】図１に示した画像処理装置を搭載するデジタルペンの外観図である。
【図３】（ａ）は紙繊維模様の一例を示す説明図であり、（ｂ）は（ａ）に示した紙繊維模様に基づいて抽出される特徴点の一例を示す説明図である。
【図４】図２に示したデジタルペンにおける筆跡データ生成処理の流れを示す説明図である。
【図５】（ａ）は、図２に示したデジタルペンを用いて文字を記入する際のペン先の軌跡の一例を示す説明図であり、（ｂ）は図２に示したデジタルペンにおける連続する２フレームの撮像結果の関係を示す説明図である。
【図６】従来技術を示すものであり、デジタルペンの移動方向に応じて生じる画像歪みを示す説明図である。
【図７】本発明に係るデジタルペンの要部構成を示す説明図である。
【図８】図７に示したデジタルペンが静止時に、該デジタルペンのカメラが撮像した撮像画像の一例を示す図である。
【図９】図７に示したデジタルペンが移動時に、該デジタルペンのカメラが撮像した撮像画像の一例を示す図である。
【図１０】図７に示したデジタルペンが移動時に、該デジタルペンのカメラが撮像した撮像画像の他の一例を示す図である。
【図１１】図１に示した画像処理装置における歪み特定処理を示す説明図であり、（ａ）は移動により生じる画像歪みを示し、（ｂ）は実像が撮像されている実像領域から抽出された特徴点を示し、（ｃ）は鏡像が撮像されている鏡像領域であって、上下が反転された鏡像領域から抽出された特徴点を示し、（ｄ）は実像の特徴点と鏡像の特徴点との中点を示す。
【図１２】図１に示した画像処理装置における画像補正処理の流れを示す説明図である。
【図１３】図１に示した画像処理装置における移動速度算出処理の流れを示す説明図である。
【図１４】図１に示した画像処理装置を搭載するデジタルペンにおいて、筆跡データの生成に関わる構成を示す機能ブロック図である。
【発明を実施するための形態】
【００１２】
〔デジタルペンへの応用〕
（１．デジタルペンの特徴）
本発明に係る画像処理装置の応用例の１つは、ボールペンに類似した形状を持ち、ボールペンのように筆記具として使用できるデジタルペンへの搭載である。このデジタルペンのメインコンセプトは、「従来のペンと同様に、普通紙にインクで書くという利便性を有している上に、ユーザが書いた文字または絵などの筆跡をデジタルデータに変換するペン」というものである。
【００１３】
さらに、上記デジタルペンの具体的な特徴として、以下の４点を挙げることができる。
（１）デジタイザを構成するタブレットのようなセンシング機器が不要、あるいはデジタルペン専用紙が不要であり、ペン先からインクが出るので、デジタルペン１本だけで、いつでも、どこでも文字などを書くことができる。
（２）文字などを書く紙の種類にも、紙のサイズにも制約が無い。
（３）ユーザが紙に書いた文字または絵などの筆跡を実際に視認することができ、それと同時にそのときの筆跡が、ユーザの癖も含めて、そのままデジタルデータに変換され、デジタルペンに保存される。
（４）筆跡のデジタルデータは、さらにＪＰＥＧ方式などの画像データにも変換され、デジタルペンに保存される。したがって、ユーザが書いた文字または絵などの筆跡をディスプレイに表示するために、専用ソフトウェアを必要としないので、パーソナルコンピュータまたはスマートフォンを表示機器として使用できる。デジタルペンから表示機器へ、ユーザが確認したい画像データが選択的に転送され、表示機器の画面において、ユーザが書いた文字または絵などを簡単に確認することができる。
【００１４】
なお、筆跡のデジタルデータからテキストデータを生成し、テキストデータを表示機器へ送り、文字の確認のみならず、文字の編集を行えるようにしてもよい。また、デジタルペンのペン機能は、ボールペンによって実現される構成に限るものではなく、例えば、ボールペンに代えて、あるいはボールペンに加えて、万年筆、メカニカルペンシルなどを備えていてもよい。
【００１５】
（２．デジタルペンの外観）
図２は、デジタルペンの外観図である。図２に示すように、デジタルペン１は、先端部２、本体部３、クリップ部４、キャップ部５を備えている。
【００１６】
本体部（ペン構成部）３には、通常のボールペンと同様のインクカートリッジが収納され、先端部２から、インクカートリッジと一体になったペン先が進退する。ペン先の進退は、クリップ部４またはキャップ部５に対するユーザのノック操作と連動している。さらに、ペン先を進退させるユーザのノック操作は、デジタルペン１の電源をオンオフさせるスイッチ操作にもなっている。なお、インクカートリッジは交換可能である。
【００１７】
また、先端部２は開口しているので、上述のようにペン先の進退を可能にするとともに、被写体からの光Ｌを取り込むことができる。
【００１８】
本体部３には、さらに、光学系および撮像素子を含む近接カメラと、当該撮像素子の出力から後述のように筆跡データを生成するデータ処理部７０（図１４参照）と、生成された筆跡データを保存するメモリと、電源としての充電式電池とが内蔵されている。
【００１９】
キャップ部５には、例えばマイクロＵＳＢコネクタが設けられ、上記メモリに保存された筆跡データを、マイクロＵＳＢコネクタを介して、外部の表示機器へ出力することができる。なお、マイクロＵＳＢコネクタの代わりに、あるいはマイクロＵＳＢコネクタに加えて、外部の表示機器とデジタルペン１との間で筆跡データを送受信する通信部が、デジタルペン１に内蔵されていてもよい。
【００２０】
（３．デジタルペンの被写体）
ここで、デジタルペン１にとって、被写体とは、図３の（ａ）に示すように、文字または絵などが書かれる紙の繊維が織りなす模様である。この模様のことを、以下、紙繊維模様と呼ぶ。
【００２１】
紙は、木材パルプを原料とした細かい繊維（一般に、太さ４〜７０μｍ、長さ０．２５〜５０ｍｍ程度の繊維）がランダムに絡み合って作られている。太さも長さも様々な紙の繊維が絡み合うパターンの数は、無限といってもよい。したがって、紙繊維模様は、１枚の紙であっても、紙面上の位置によって変化し、紙が変われば、また別の模様となるといったように、同じ紙繊維模様が出現することは無きに等しい。
【００２２】
デジタルペン１は、このような微細な紙繊維模様を接写し、図３の（ｂ）に丸印を付して示すように、紙繊維模様の画像から特徴点を抽出するので、性能として高精細な撮像および高解像度を必要とする。
【００２３】
（４．筆跡データを生成する処理の概要）
図４は、紙繊維模様の画像から筆跡データを生成する処理（筆跡データ生成処理）の概要を示すフローチャートである。当該筆跡データ生成処理は、具体的には、下記のＳ１〜Ｓ５の処理を含んでいる。
Ｓ１：１／３０秒の周期（フレームレート）で、近接カメラによって紙繊維模様を撮影する。
Ｓ２：取得した紙繊維模様の画像から、特徴点を検出し抽出する。この処理のアルゴリズムとして、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ−ＢＲＩＥＦ）等が知られている。
Ｓ３：前フレームと現フレームとの間で、紙繊維模様の特徴点のマッチングを検証する。
Ｓ４：一致した特徴点の動きから、近接カメラ（デジタルペン１）の移動方向および移動距離を算出する。
Ｓ５：算出した移動方向および移動距離をデジタルペン１のストローク情報として保存したあと、Ｓ１の処理へ戻る。
【００２４】
以上の処理を繰り返すことにより、ストローク情報が蓄積される結果、ユーザが書いた文字または絵などに対応した筆跡データを生成することができる。
【００２５】
（５．筆跡データを生成する処理の補足）
図５の（ａ）は、文字「あ」を書くときのデジタルペン１の軌跡を示す説明図であり、図５の（ｂ）は、近接カメラで撮影した隣接する２つのフレーム画像を示す説明図である。
【００２６】
図５の（ａ）に示すように、ユーザが１つの文字を紙に書こうとする場合、ある画（ストローク）から次の画（ストローク）へデジタルペン１を移動させるときに、デジタルペン１は紙面から浮き上がった状態になる。浮き上がった状態のデジタルペン１の軌跡を、図５の（ａ）では点線で示している。
【００２７】
デジタルペン１が浮き上がった状態で移動している間にも、近接カメラは、デジタルペン１の軌跡に沿って、紙繊維模様の撮影を継続している。なぜなら、浮き上がった状態のデジタルペン１の軌跡も軌跡データとして取得しておかなければ、１つの文字全体の筆跡データを生成することはできないからである。言い換えると、浮き上がった状態のデジタルペン１の軌跡を軌跡データとして取得しないとすると、紙繊維模様の特徴点のマッチングが途切れるため、ある画（ストローク）と次の画（ストローク）との位置関係を生成手段７３が認識できなくなる。こうなると、例えば文字「あ」を表すひとまとまりの筆跡データを生成することができなくなり、上記次の画（ストローク）は、別の文字の別の筆跡データとして出力されてしまう。
【００２８】
また、デジタルペン１を速く動かし過ぎた場合にも、１つの文字を表すひとまとまりの筆跡データを生成することができなくなる。なぜなら、デジタルペン１が紙面から浮いているかいないかにかかわらず、デジタルペン１の軌跡を追跡するためには、図５の（ｂ）に示すように、隣接する２つのフレーム画像Ｆ１およびＦ２同士に、１フレームの画像面積に対する比率として、ある閾値（例えば７５％程度）以上の重なりが必要だからである。つまり、隣接する２つのフレーム画像Ｆ１およびＦ２の重なりが閾値未満になると、一連の筆跡に対する認識が途切れ、新たな筆跡（例えば、新たな文字）の認識が開始されることになる。
【００２９】
なお、図５の（ｂ）に示すように、１つのフレーム画像を取得するにあたって、近接カメラが撮影する紙面上の範囲は、およそ４ｍｍ角である。
【００３０】
〔デジタルペンの構成〕
上述のように、デジタルペン１は、カメラを備え、カメラで撮像された撮像画像に基づいて、筆跡データを生成する。ここで、デジタルペン１が備えるカメラには、低コスト、低消費電力等の理由により、ＣＭＯＳカメラが使用される。
【００３１】
ＣＭＯＳカメラは、行列状に配置されている撮像素子を１ラインずつ列方向に走査して、撮像素子からの情報を読み出すため、カメラ（デジタルペン１）を動かしながら撮像した場合、被写体が歪んで撮像される。例えば、図６に示すように、正方形の筆跡を撮像する場合を考える。なお、図６に示す例では、図の上から下に（Ｙ軸の負方向に）撮像素子を走査するものとする。すなわち、本実施形態では、走査方向はＹ軸の負方向である。また、ここでは、説明の便宜のため、被写体を筆跡とする（実際には、被写体は紙繊維模様である）。
【００３２】
図６に示すように、デジタルペン１を右方向（Ｘ軸の正方向）に動かした場合、ＣＭＯＳカメラによって撮像された筆跡は、右方向に傾いた平行四辺形となる。一方、デジタルペン１を左方向（Ｘ軸の負方向）に動かした場合、ＣＭＯＳカメラによって撮像された筆跡は、左方向に傾いた平行四辺形となる。また、デジタルペン１を上方向（Ｙ軸の正方向）に動かした場合、ＣＭＯＳカメラによって撮像された筆跡は、Ｙ軸の辺が長くなった長方形となる。一方、デジタルペン１を下方向（Ｙ軸の負方向）に動かした場合、ＣＭＯＳカメラによって撮像された筆跡は、Ｙ軸の辺が短くなった長方形となる。また、デジタルペン１を斜め右上方向に動かした場合、ＣＭＯＳカメラによって撮像された筆跡は、Ｙ軸方向に延伸した右方向に傾いた平行四辺形となる。
【００３３】
このように、ＣＭＯＳカメラを用いた場合、カメラ（デジタルペン１）と被写体とが相対的に移動すると、画像歪み（いわゆるローリングシャッタ歪み）が生じる。本発明に係る画像処理装置は、この画像歪みを補正する装置である。
【００３４】
具体的には、本発明では、図７に示すように、デジタルペン１のペン先に鏡８を配置し、カメラ７で撮像された実像画像および鏡像画像に基づいて、画像歪みを補正する。図７に示すように、１つのカメラ７の撮像範囲にペン先周辺の紙面９の実像および鏡像が含まれるように、カメラ７および鏡８をデジタルペン１に配置している。
【００３５】
ここで、画像歪みを補正するために、カメラ７が被写体の実像と、当該実像として撮像された被写体が走査方向に反転している鏡像とを撮像するように、カメラ７および鏡８の配置が定められている。
【００３６】
なお、本発明をわかりやすく説明するために、図７に示す例では、カメラ７および鏡８をデジタルペン１の筐体外側部分に配置しているが、カメラ７および鏡８の配置はこれに限るものではない。例えば、図２に示すデジタルペン１のように、カメラ７をデジタルペン１の筐体内部に配置し、実像画像および鏡像画像が得られるように、鏡８をデジタルペン１の筐体内部に配置してもよい。また、鏡８の反射面は、平面でも曲面でもよい。
【００３７】
このように、１つのカメラ７で実像および鏡像を撮像するため、デジタルペン１のコストを低減させることができる。また、本発明では、ハーフミラーを使用して鏡像を撮像する場合と異なり、実像および鏡像の画質を劣化させることがない。
【００３８】
〔画像処理装置の構成〕
次に、本発明の一実施形態に係る画像処理装置の構成について、図１に基づいて説明する。図１は、画像処理装置６の要部構成の一例を示すブロック図である。図１に示すように、画像処理装置６は、制御部１１、記憶部１２および画像入力部１３を備えている。
【００３９】
画像入力部１３は、カメラ７が撮像した画像（撮像画像）を取得するためのインターフェースである。画像入力部１３とカメラ７とは有線通信または無線通信により接続されている。
【００４０】
制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、画像処理装置６が備える各部を統括的に制御するものである。
【００４１】
本実施形態では、制御部１１は、機能ブロックとして、画像取得部２１、領域抽出部（領域抽出手段）２２、特徴点抽出部（特徴点抽出手段）２３、特徴点ペア決定部（特徴点ペア決定手段）２４、歪み特定部（歪み特定手段）２５、画像補正部（補正手段）２６および移動速度算出部（速度算出手段）２７を備える構成である。これらの制御部１１の各機能ブロック（２１〜２７）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。
【００４２】
画像取得部２１は、画像入力部１３を介して、カメラ７が撮像した撮像画像を取得するものである。画像取得部２１は、取得した撮像画像を領域抽出部２２に出力する。
【００４３】
領域抽出部２２は、画像取得部２１が取得した撮影画像から、実像が撮像された領域である実像領域と、該実像領域に対応する、鏡像が撮像された領域である鏡像領域と、を抽出するものである。
【００４４】
ここで、実像領域および鏡像領域に撮像されている被写体（筆跡）の形状について、図８〜図１０に基づいて説明する。なお、被写体（筆跡）の形状は、実際は正方形であり、その正方形の頂点をＡＢＣＤとする。図８〜図１０は、撮像画像、並びに、該撮像画像に含まれる実像領域および鏡像領域に撮像されている被写体の形状を示す図である。
【００４５】
まず、デジタルペン１を移動させずに被写体を撮像した場合について、図８に基づいて説明する。図８に示すように、デジタルペン１が移動していないため、画像歪みが発生せず、実像領域４１および鏡像領域４２に撮像されている被写体の形状は、共に正方形である。ただし、鏡像領域４２に撮像されている被写体は、走査方向に反転している（上下に反転している）。
【００４６】
次に、デジタルペン１を図の上方向（Ｙ軸の正方向）に移動させた場合の撮像画像について図９に基づいて説明する。図９に示すように、デジタルペン１がＹ軸の正方向に移動したため、実像領域４１に撮像されている被写体の形状は、Ｙ軸の辺ＡＤおよび辺ＢＣが長くなった長方形となる。一方、鏡像領域４２に撮像されている被写体の形状は、上下に反転している被写体を上から走査するため、実像とは逆方向の動体歪みが発生して、Ｙ軸の辺ＡＤおよび辺ＢＣが短くなった長方形となる。
【００４７】
また、デジタルペン１を図の右方向（Ｘ軸の正方向）に移動させた場合の撮像画像について図１０に基づいて説明する。図１０に示すように、デジタルペン１がＸ軸の正方向に移動したため、実像領域４１に撮像されている被写体の形状は、上辺ＡＢに対して下辺ＤＣがＸ軸の負方向にずれたように傾いた平行四辺形となる。同様に、鏡像領域４２に撮像されている被写体の形状も、鏡像は実像に対して上下に反転していることにより、上辺ＤＣに対して下辺ＡＢがＸ軸の負方向にずれたように傾いた平行四辺形となる。ただし、鏡像領域４２に撮像されている被写体を上下に反転させたものと、実像領域４１に撮像されている被写体とを比較すると、各頂点ＡＢＣＤの位置が逆に歪んでいることがわかる。このように、実像領域４１に撮像された被写体と、鏡像領域４２に撮像された被写体とでは、左右方向の動体歪みも逆になる。
【００４８】
すなわち、実像領域４１に撮像された被写体と、鏡像領域４２に撮像された被写体とは、上下方向および左右方向の画像歪みが逆になる。
【００４９】
なお、鏡像領域４２の位置および大きさは、鏡８の位置および大きさに依存するため、領域抽出部２２は、鏡像領域４２に基づいて、抽出する実像領域４１を決定してもよい。また、撮像画像４０における鏡像領域４２の位置および大きさは、デジタルペン１の傾斜によらず一定である。一方、撮像画像４０における実像領域４１の位置および大きさは、デジタルペン１の傾斜により変化するため、予め傾斜時の角度と、実像領域４１の位置および大きさとの関係を調査して、鏡像領域４２と同じサイズに変換する変換行列を設定しておく。そして、領域抽出部２２は、デジタルペン１の傾斜角度を検知する角度取得手段（不図示）で取得した角度に応じて、撮像画像４０を変換して、実像領域４１を抽出する。
【００５０】
また、鏡像領域４２は上下反転させて実像と同じ向きに戻したもので以降の処理を行う。
【００５１】
特徴点抽出部２３は、実像領域４１および鏡像領域４２から、それぞれ、紙繊維模様の特徴点を検出し、抽出するものである。具体的には、特徴点抽出部２３は、例えば、ＳＩＦＴ、ＳＵＲＦ、ＯＲＢ等のアルゴリズムを用いて、実像領域４１および鏡像領域４２の中から特徴点を検出する。そして、特徴点抽出部２３は、検出した特徴点について特徴量を算出する。
【００５２】
特徴点抽出部２３が、実像領域４１から抽出した特徴点を実像特徴点と称し、鏡像領域４２から抽出した特徴点を鏡像特徴点と称する。特徴点抽出部２３は、実像特徴点および鏡像特徴点を、それぞれ、１または複数抽出する。
【００５３】
特徴点ペア決定部２４は、特徴点抽出部２３が抽出した実像特徴点および鏡像特徴点の中から、実像特徴点と、該実像特徴点と特徴量が一致または近似する鏡像特徴点とを一組とした特徴点ペアを決定するものである。例えば、特徴点ペア決定部２４は、実像特徴点と、該実像特徴点と特徴量が最も近似する鏡像特徴点とを一組として特徴点ペアを決定してもよい。また、特徴点ペア決定部２４は、実像特徴点と、該実像特徴点との特徴量の差分値が所定値以下である鏡像特徴点とを一組として特徴点ペアを決定してもよい。
【００５４】
ここで、実像特徴点および鏡像特徴点の特徴量が一致または近似する場合、両者の点の位置が同じであると考えられる。すなわち、特徴点ペア決定部２４は、実像特徴点と、該実像特徴点の位置に対応する鏡像特徴点との組み合わせを決定する。特徴点ペア決定部２４は、特徴点ペアを１または複数決定する。
【００５５】
歪み特定部２５は、特徴点ペア決定部２４が決定した特徴点ペアの実像特徴点および鏡像特徴点の各領域上の位置に基づいて、１または複数の実像特徴点または鏡像特徴点における、真の位置または近似的な真の位置からの歪みの程度を示す歪み指数と、上記真の位置または近似的な真の位置からの歪み方向とを特定するものである。
【００５６】
ここで、歪み指数とは、実像特徴点もしくは鏡像特徴点の真の位置もしくは近似的な真の位置からの変位量を示す歪み量、または、真の距離もしくは近似的な真の距離に対する、２つの実像特徴点間距離もしくは２つの鏡像特徴点間距離の変化の割合を示す歪み率である。また、近似的な真の位置とは、真の位置と考えられる（近似的に真の位置とみなせる）位置である。また、真の距離とは、真の位置と考えられる２点間の距離である。
【００５７】
歪み特定部２５の歪み指数および歪み方向の具体的な特定方法について、図１１に基づいて説明する。図１１では、図１１の（ａ）に示すように、デジタルペン１を図の左斜め下方向に移動させながら、正方形の被写体を撮像した場合について説明する。図１１の（ｂ）は実像領域４１を示し、図１１の（ｃ）は、鏡像領域４２を上下に反転させたものを示す。
【００５８】
このとき、図１１の（ｂ）および（ｃ）に示すように、特徴点抽出部２３が実像領域４１から４つの実像特徴点（第１実像特徴点５１ｒ、第２実像特徴点５２ｒ，第３実像特徴点５３ｒおよび第４実像特徴点５４ｒ）を抽出し、鏡像領域４２から４つの鏡像特徴点（第１鏡像特徴点５１ｍ、第２鏡像特徴点５２ｍ，第３鏡像特徴点５３ｍおよび第４鏡像特徴点５４ｍ）を抽出したとする。そして、特徴点ペア決定部２４が、第１実像特徴点５１ｒと第１鏡像特徴点５１ｍとを第１特徴点ペアとし、第２実像特徴点５２ｒと第２鏡像特徴点５２ｍとを第２特徴点ペアとし、第３実像特徴点５３ｒと第３鏡像特徴点５３ｍとを第３特徴点ペアとし、第４実像特徴点５４ｒと第４鏡像特徴点５４ｍとを第４特徴点ペアとしたとする。
【００５９】
なお、以下では、実像特徴点の位置を、実像領域４１の任意の点を原点とするＸＹ座標系で示す。同様に、鏡像特徴点の位置を、鏡像領域４２の任意の点を原点とするＸＹ座標系で示す。本実施形態では、実像領域４１および鏡像領域４２の左下の端点を原点とする。
【００６０】
（実施例１）
まず、歪み量および歪み方向の特定方法の一例について説明する。歪み特定部２５は、特徴点ペア毎に、実像特徴点と鏡像特徴点との間の中点を求める。例えば、第１実像特徴点５１ｒの位置座標を（ｘ１ｒ，ｙ１ｒ）とし、第１鏡像特徴点５１ｍの位置座標を（ｘ１ｍ，ｙ１ｍ）とし、第１実像特徴点５１ｒと第１鏡像特徴点５１ｍとの中点５１ｃの位置座標を（ｘ１ｃ，ｙ１ｃ）とすると、歪み特定部２５は、例えば、
ｘ１ｃ＝ｘ１ｒ−（ｘ１ｒ−ｘ１ｍ）／２
ｙ１ｃ＝ｙ１ｒ−（ｙ１ｒ−ｙ１ｍ）／２
として算出する。
【００６１】
このようにして、歪み特定部２５は各特徴点ペアの中点を求める。ここで、実像と鏡像とは、上述のように画像歪みが上下左右逆に撮像されるため、互いに対応する実像特徴点と鏡像特徴点との中点は、歪みが相殺された真の位置または近似的な真の位置であると考えられる。
【００６２】
そして、歪み特定部２５は、特徴点ペア毎に、求めた中点から実像特徴点または鏡像特徴点までの距離および求めた中点から実像特徴点または鏡像特徴点への方向を特定する。ここでは、歪み特定部２５は、中点と実像特徴点とのＸ軸方向およびＹ軸方向の距離を算出するものとする。具体的には、歪み特定部２５は、第１特徴点ペアの中点５１ｃから第１実像特徴点５１ｒに向かうベクトル（ｄｘ１ｃｒ，ｄｙ１ｃｒ）を
ｄｘ１ｃｒ＝ｘ１ｒ−ｘ１ｃ
ｄｙ１ｃｒ＝ｙ１ｒ−ｙ１ｃ
として算出する。
【００６３】
このベクトル（ｄｘ１ｃｒ，ｄｙ１ｃｒ）を歪み量ベクトルと称し、歪み量ベクトルのＸ成分およびＹ成分の絶対値が歪み量を示し、Ｘ成分およびＹ成分の符号（正または負）が歪み方向を示す。なお、歪み特定部２５は、歪み量ベクトルを、中点から実像特徴点もしくは鏡像特徴点までのユークリッド距離（歪み量）、および、中点から実像特徴点もしくは鏡像特徴点までの直線と、Ｘ軸もしくはＹ軸との角度（歪み方向）で表してもよい。また、歪み特定部２５は、１または複数の特徴点ペアの歪み量および歪み方向を特定する。
【００６４】
（実施例２）
次に、上記歪み量と異なる別の歪み指数としての歪み率および歪み方向の特定方法について説明する。歪み特定部２５は、上記と同様に、特徴点ペア毎に、実像特徴点と鏡像特徴点との間の中点を求める。そして、歪み特定部２５は、任意の２つの特徴点ペアを選択する。ここでは、歪み特定部２５が第１特徴点ペアおよび第２特徴点ペアを選択したとする。また、第１特徴点ペアの各点の位置座標は上記のとおりであり、第２特徴点ペアの第２実像特徴点５２ｒの位置座標を（ｘ２ｒ，ｙ２ｒ）とし、第２鏡像特徴点５２ｍの位置座標を（ｘ２ｍ，ｙ２ｍ）とし、第２実像特徴点５２ｒと第２鏡像特徴点５２ｍとの中点５２ｃの位置座標を（ｘ２ｃ，ｙ２ｃ）とする。そして、歪み特定部２５は、歪み率ベクトル（Ｄｘ，Ｄｙ）を、第１実像特徴点５１ｒと第２実像特徴点５２ｒとの距離に基づいて、
Ｄｘ＝（ｄｘ１２ｒ−ｄｘ１２ｃ）／ｄｙ１２ｃ
Ｄｙ＝（ｄｙ１２ｒ−ｄｙ１２ｃ）／ｄｙ１２ｃ
として算出する。なお、ｄｘ１２ｒ＝ｘ２ｒ−ｘ１ｒであり、ｄｘ１２ｃ＝ｘ２ｃ−ｘ１ｃであり、ｄｙ１２ｒ＝ｙ２ｒ−ｙ１ｒであり、ｄｙ１２ｃ＝ｙ２ｃ−ｙ１ｃである。また、本実施形態では、真の距離とは、真の位置と考えられる２点間のＹ成分（走査方向成分）の距離とする。
【００６５】
歪み率ベクトル（Ｄｘ，Ｄｙ）のＸ成分およびＹ成分の絶対値が歪み率を示し、Ｘ成分およびＹ成分の符号（正または負）が歪み方向を示す。歪み特定部２５は、少なくとも１つの歪み率ベクトルを特定する。なお、歪み特定部２５は、２つの実像特徴点間距離ではなく、２つの鏡像特徴点間距離（例えば、第１鏡像特徴点５１ｍと第２鏡像特徴点５２ｍ）に基づいて、歪み率ベクトルを算出してもよい。
【００６６】
なお、歪み特定部２５は、Ｘ軸方向およびＹ軸方向の歪み率を確実に算出するために、ＤｘおよびＤｙの算出式において、ｄｙ≠０である２つの特徴点ペアを選択する必要がある。これは、ｄｙ＝０では２点間に走査時間差がなく動体歪み量も２点間に生じないため算出不可能になるためである。なお、ｄｙは、２つの特徴点ペアの実像特徴点または鏡像特徴点のＹ座標の差分値である。
【００６７】
また、歪み特定部２５は、ｄｙ（走査方向の２点間距離、つまり走査時間差）が最も長い２つの特徴点ペアを選択することが好ましい。このように選択することで、高精度な歪み率を算出することができる。
【００６８】
歪み特定部２５は、このように歪み指数（歪み量または歪み率）および歪み方向を特定し、特定した歪み指数および歪み方向を画像補正部２６に出力する。また、歪み特定部２５は、歪み率および歪み方向を特定した場合、特定した歪み率および歪み方向を移動速度算出部２７に出力してもよい。
【００６９】
画像補正部２６は、歪み特定部２５が特定した歪み指数（歪み量または歪み率）および歪み方向に基づいて、実像領域４１または鏡像領域４２の画像を補正するものである。
【００７０】
まず、画像補正部２６が歪み量および歪み方向に基づいて画像を補正する場合を説明する。例えば、画像補正部２６は、４つの実像特徴点の歪み量および歪み方向から、所定のアルゴリズムに基づいて推定される平面変換行列（画像補正係数）を特定し、特定した平面変換行列に基づいて、実像領域４１の画像を補正する。
【００７１】
また、画像補正部２６は以下の方法で画像を補正してもよい。例えば、記憶部１２には、（１）実像特徴点または鏡像特徴点の位置並びに該実像特徴点または該鏡像特徴点の歪み量および歪み方向と、（２）実像領域４１または鏡像領域４２の画像の所定の画像歪みを補正するための平面変換行列とが対応付けられた平面変換行列データ３１が予め格納されているものとする。
【００７２】
このとき、画像補正部２６は、記憶部１２から平面変換行列データ３１を読み出し、平面変換行列データ３１の示す平面変換行列の中から、４つの実像特徴点の位置並びに歪み量および歪み方向に対応する平面変換行列を特定し、実像領域４１の画像に対して、選択した平面変換行列を演算して、実像領域４１の画像を補正してもよい。
【００７３】
このように、画像補正部２６は、記憶部１２に予め格納されている平面変換行列データ３１から、所定の位置の特徴点の歪み量および歪み方向に応じた最適な平面変換行列を特定する。
【００７４】
すなわち、画像補正部２６は、少なくとも４つの特徴点の歪み量および歪み方向があれば、所定の画像歪みを補正する平面変換行列を特定することができる。すなわち、本発明に係る画像処理装置６は、少なくとも４つの特徴点における歪み量および歪み方向を特定することにより、画像を補正することができる。
【００７５】
なお、画像補正部２６は、より高精度に補正するために、ペン傾斜時の傾斜角度に応じて、推定する（または使用する）平面変換行列を変更してもよい。この場合、傾斜角度と平面変換行列との関係を示すデータが記憶部１２に予め格納されている。
【００７６】
次に、画像補正部２６が歪み率および歪み方向に基づいて画像を補正する場合を説明する。
【００７７】
ここで、カメラ７が撮像する１フレームの期間（例えば、１／３０秒、１／６０秒等）において、カメラ７と被写体との相対速度および移動方向は一定であるとみなすことができる。そのため、実像領域４１上または鏡像領域４２上で歪み率および歪み方向は一定であると考えられる。
【００７８】
画像補正部２６は、この知見に基づき、歪み特定部２５が特定した歪み率および歪み方向を逆算して、画像を補正する。なお、画像補正部２６は、歪み特定部２５が特定した少なくとも１つの歪み率および歪み方向（２つの特徴点ペアから求まる歪み率および歪み方向）に基づいて補正することができる。なお、画像補正部２６は、複数の歪み率および歪み方向に基づいて（例えば、複数の歪み率および歪み方向を平均して）、画像を補正してもよい。
【００７９】
このように、画像補正部２６が実像領域４１または鏡像領域４２の画像を補正することにより、正確な筆跡データを取得することができる。
【００８０】
移動速度算出部２７は、歪み特定部２５が特定した歪み率および歪み方向に基づいて、カメラ７と被写体の相対速度ベクトル（すなわち、デジタルペン１の移動速度ベクトル）を算出するものである。ここで、デジタルペン１のＸ軸方向の移動速度成分をＶｘとし、Ｙ軸方向の移動速度成分をＶｙとする。移動速度算出部２７は、具体的には、デジタルペン１の移動速度ベクトル（Ｖｘ，Ｖｙ）を
Ｖｘ＝Ｄｘ＊ｋ
Ｖｙ＝Ｄｙ＊ｋ
として算出する。ここで、ｋは、速度変換係数である。速度変換係数は、歪み率から移動速度を算出するための係数であって、予め定められるカメラ固有のものである。
【００８１】
デジタルペン１の移動速度は、デジタルペン１の筆記速度に相当すると考えられ、移動速度（筆記速度）を積分することによって、デジタルペン１の筆跡を再現することができる。このように、本発明に係る画像処理装置６は、カメラ７が撮像した撮像画像を処理することにより、デジタルペン１の移動速度を算出することができる。
【００８２】
記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、上記の平面変換行列データ３１、速度変換係数３２等を格納している。
【００８３】
〔画像処理装置の処理〕
次に、画像処理装置６が実行する画像処理について図１２および図１３に基づいて説明する。
【００８４】
まず、画像処理装置６が実行する画像補正処理について図１２に基づいて説明する。図１２は、画像処理装置６が実行する画像補正処理の一例を示すフローチャートである。
【００８５】
図１２に示すように、画像取得部２１が、カメラ７が撮像した撮像画像を取得する（Ｓ１１）。次に、領域抽出部２２が、撮像画像から実像領域４１および鏡像領域４２を抽出する（Ｓ１２：領域抽出ステップ）。そして、特徴点抽出部２３が、実像領域４１および鏡像領域４２から、それぞれ、実像特徴点および鏡像特徴点を抽出する（Ｓ１３：特徴点抽出ステップ）。特徴点ペア決定部２４は、特徴点抽出部２３が抽出した実像特徴点および鏡像特徴点から、特徴点ペアを決定する（Ｓ１４：特徴点ペア決定ステップ）。歪み特定部２５は、実像特徴点または鏡像特徴点における歪み指数および歪み方向を特定する（Ｓ１５：歪み特定ステップ）。そして、画像補正部２６は、歪み特定部２５が特定した実像特徴点または鏡像特徴点における歪み指数および歪み方向に基づいて、実像領域４１または鏡像領域４２の画像を補正する（Ｓ１６：補正ステップ）。
【００８６】
次に、画像処理装置６が実行する移動速度算出処理について図１３に基づいて説明する。図１３は、画像処理装置６が実行する移動速度算出処理の一例を示すフローチャートである。
【００８７】
図１３に示すように、画像取得部２１が、カメラ７が撮像した撮像画像を取得する（Ｓ２１）。次に、領域抽出部２２が、撮像画像から実像領域４１および鏡像領域４２を抽出する（Ｓ２２）。そして、特徴点抽出部２３が、実像領域４１および鏡像領域４２から、それぞれ、実像特徴点および鏡像特徴点を抽出する（Ｓ２３）。特徴点ペア決定部２４は、特徴点抽出部２３が抽出した実像特徴点および鏡像特徴点から、少なくとも２つの特徴点ペアを決定する（Ｓ２４）。歪み特定部２５は、特徴点ペア決定部２４が決定した特徴点ペアから、２つの特徴点ペアを選択し、選択した２つの特徴点ペアの位置から歪み率および歪み方向を特定する（Ｓ２５）。そして、画像補正部２６は、歪み特定部２５が特定した歪み率および歪み方向に基づいて、デジタルペン１の移動速度および移動方向を特定する（Ｓ２６）。
【００８８】
〔筆跡データを生成する構成〕
図１４は、本発明に係る画像処理装置６を搭載するデジタルペン１において、筆跡データの生成に関わる構成を示す機能ブロック図である。
【００８９】
画像処理装置６が、カメラ７が撮像した撮影画像を取得し、撮影画像を補正した画像（補正画像）をデータ処理部７０に出力する。データ処理部７０は、生成手段７３を備えている。
【００９０】
生成手段７３は、画像処理装置６から補正画像を受け取り、補正画像から紙繊維模様の特徴点を抽出する。生成手段７３は、抽出した特徴点から、上述のように、筆跡データを生成して出力する。
【００９１】
〔ソフトウェアによる実現例〕
画像処理装置６の制御ブロック（特に制御部１１）およびデータ処理部７０は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００９２】
後者の場合、画像処理装置６およびデータ処理部７０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００９３】
〔まとめ〕
本発明の態様１に係る画像処理装置（画像処理装置６）は、被写体（紙繊維模様）の実像、および、行列状に配置されている撮像素子の列方向である走査方向に反転させた鏡像を撮像するカメラが撮像した画像（撮像画像）から、上記被写体の実像が撮像されている実像領域、および、該実像領域に対応する、上記被写体の鏡像が撮像されている鏡像領域を抽出する領域抽出手段（領域抽出部２２）と、上記領域抽出手段が抽出した実像領域および鏡像領域から、実像領域の特徴点である実像特徴点および鏡像領域の特徴点である鏡像特徴点をそれぞれ１または複数抽出する特徴点抽出手段（特徴点抽出部２３）と、上記特徴点抽出手段が抽出した実像特徴点と、該実像特徴点に対応する鏡像特徴点とのペアを１または複数決定する特徴点ペア決定手段（特徴点ペア決定部２４）と、上記特徴点ペア決定手段が決定した特徴点ペアの実像特徴点および鏡像特徴点の各領域上の位置に基づいて、１または複数の実像特徴点または鏡像特徴点における、真の位置または近似的な真の位置からの歪みの程度を示す歪み指数と、上記真の位置または近似的な真の位置からの歪み方向とを特定する歪み特定手段（歪み特定部２５）と、上記歪み特定手段が特定した歪み指数および歪み方向に基づいて、上記画像を補正する補正手段（画像補正部２６）と、を備えている。
【００９４】
上記の構成によれば、上記領域抽出手段が抽出する実像領域および該実像領域に対応する鏡像領域は、被写体の同じ領域が撮像されている領域であると考えられる。また、上記特徴点ペア決定手段が決定した特徴点ペアの実像特徴点および鏡像特徴点は、被写体の同じ位置を示すものであると考えられる。また、実像と鏡像とは、被写体が走査方向に反転しているため、見かけ上、走査方向が逆になる。そのため、実像と鏡像とは、その画像歪みが上下左右逆に撮像される。それゆえ、歪み特定手段は、被写体の同じ位置を示す実像特徴点および鏡像特徴点から、該実像特徴点および鏡像特徴点の真の位置または近似的な真の位置を特定することができる。そして、上記歪み特定手段が、或る点における真の位置または近似的な真の位置からの歪みの程度および歪み方向を特定するため、上記補正手段は、上記画像が任意の方向に歪んでいたとしても、その歪みを補正することができる。すなわち、上記画像処理装置は、平面上の任意の方向の画像歪みを補正することができるという効果を奏する。
【００９５】
本発明の態様２に係る画像処理装置は、上記態様１において、上記歪み特定手段は、１または複数の実像特徴点または鏡像特徴点の上記真の位置または近似的な真の位置からの変位量である歪み量を上記歪み指数として算出してもよい。
【００９６】
本発明の態様３に係る画像処理装置は、上記態様１において、上記特徴点ペア決定手段は、少なくとも２つの特徴点ペアを決定し、上記歪み特定手段は、上記特徴点ペア決定手段が決定した特徴点ペアのうちの２つの特徴点ペアの実像特徴点および鏡像特徴点の各領域上の位置に基づいて、真の距離または近似的な真の距離に対する、２つの実像特徴点間距離もしくは２つの鏡像特徴点間距離の変化の割合である歪み率を上記歪み指数として算出してもよい。
【００９７】
ここで、カメラが撮像する１フレームの期間（例えば、１／３０秒、１／６０秒等）において、上記カメラと上記被写体との相対速度および移動方向は一定であるとみなすことができる。そのため、上記画像上で歪み率および歪み方向は一定であると考えられる。
【００９８】
上記の構成によれば、上記歪み特定手段が歪み率および歪み方向を特定することにより、上記画像全体の歪み率および歪み方向を特定することができる。よって、上記画像を容易に補正することができる。
【００９９】
本発明の態様４に係る画像処理装置は、上記態様３において、上記歪み特定手段が特定した歪み率および歪み方向に基づいて、上記カメラと上記被写体との相対速度ベクトルを算出する速度算出手段をさらに備えていてもよい。
【０１００】
上記の構成によれば、上記速度算出手段が上記カメラと上記被写体との相対速度ベクトルを算出するため、上記画像処理装置がデジタルペンに搭載されている場合、上記相対速度ベクトルは、デジタルペンの移動速度ベクトルを示す。よって、デジタルペンの移動方向に向かって、移動速度を積分することにより、デジタルペンの筆跡を再現することができる。すなわち、上記速度算出手段が上記相対速度ベクトルを算出することにより、デジタルペンの筆跡を再現することができる。
【０１０１】
本発明の態様５に係る画像処理装置は、上記態様３において、上記歪み特定手段は、上記特徴点ペア決定手段が決定した特徴点ペアから、２つの実像特徴点間距離もしくは２つの鏡像特徴点間距離の走査方向成分が最も大きい２つの特徴点ペアを選択してもよい。
【０１０２】
上記の構成によれば、上記歪み特定手段は、走査方向成分の距離が最も大きい２つの実像特徴点もしくは２つの鏡像特徴点に基づいて歪み率を算出するため、歪み率の誤差を最小にすることができる。よって、上記歪み特定手段は、歪み率を高精度に算出することができる。
【０１０３】
本発明の態様６に係る画像処理装置は、上記態様１〜５の何れかにおいて、上記歪み特定手段は、上記特徴点ペアの実像特徴点と走査方向に反転させた鏡像特徴点との中点を該実像特徴点および鏡像特徴点の上記真の位置または近似的な真の位置としてもよい。
【０１０４】
実像と鏡像とは、画像歪みが上下左右逆に撮像されるため、実像特徴点と走査方向に反転させた鏡像特徴点との中点は、歪みが相殺された真の位置または近似的な真の位置であると考えられる。よって、上記歪み特定手段は、歪み指数および歪み方向を高精度に特定することができる。
【０１０５】
本発明の態様７に係る画像処理方法は、被写体の実像、および、行列状に配置されている撮像素子の列方向である走査方向に反転させた鏡像を撮像するカメラが撮像した画像から、上記被写体の実像が撮像されている実像領域、および、該実像領域に対応する、上記被写体の鏡像が撮像されている鏡像領域を抽出する領域抽出ステップ（Ｓ１２）と、上記領域抽出ステップにおいて抽出された実像領域および鏡像領域から、実像領域の特徴点である実像特徴点および鏡像領域の特徴点である鏡像特徴点をそれぞれ１または複数抽出する特徴点抽出ステップ（Ｓ１３）と、上記特徴点抽出ステップにおいて抽出された実像特徴点と、該実像特徴点に対応する鏡像特徴点とのペアを１または複数決定する特徴点ペア決定ステップ（Ｓ１４）と、上記特徴点ペア決定ステップにおいて決定された特徴点ペアの実像特徴点および鏡像特徴点の各領域上の位置に基づいて、１または複数の実像特徴点または鏡像特徴点における、真の位置または近似的な真の位置からの歪みの程度を示す歪み指数と、上記真の位置または近似的な真の位置からの歪み方向とを特定する歪み特定ステップ（Ｓ１５）と、上記歪み特定ステップにおいて特定された歪み指数および歪み方向に基づいて、上記画像を補正する補正ステップ（Ｓ１６）と、を含む。
【０１０６】
上記の構成によれば、上記画像処理装置と同様の効果を奏する。
【０１０７】
本発明の態様８に係るデジタルペンは、筆記具のペンとして機能し、ペン型の筐体を具備したペン構成部を備えたデジタルペンであって、鏡と、実像と該実像を上記鏡で上記走査方向に反転させた鏡像とを同時に撮像する１つのカメラと、上記カメラで撮像された画像を補正する上記態様１〜６の何れかの画像処理装置（画像処理装置６）と、ユーザが上記デジタルペンを使用した筆跡を表す筆跡データを、上記画像処理装置が補正した画像に基づいて生成する生成手段（生成手段７３）と、を備えている。
【０１０８】
上記の構成によれば、上記画像処理装置が平面上の任意の方向の画像歪みを補正することができるため、デジタルペンは、歪みが補正された画像に基づいて、筆跡データを生成することができる。すなわち、デジタルペンは、より正確な筆跡データを生成することができる。
【０１０９】
また、デジタルペンは、鏡を用いて、１つのカメラで実像と鏡像とを同時に撮像するため、２つのカメラで実像と鏡像とを撮像する場合に比べて、デジタルペンのコストを低減させることができる。
【０１１０】
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１１１】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１１２】
本発明は、ＣＭＯＳカメラで撮像された画像を処理する画像処理装置に利用することができる。
【符号の説明】
【０１１３】
１    デジタルペン
６    画像処理装置
７    カメラ
８    鏡
２２    領域抽出部（領域抽出手段）
２３    特徴点抽出部（特徴点抽出手段）
２４    特徴点ペア決定部（特徴点ペア決定手段）
２５    歪み特定部（歪み特定手段）
２６    画像補正部（補正手段）
２７    移動速度算出部（速度算出手段）
７３    生成手段
【図１】
2015082301.tif 000003
【図２】
2015082301.tif 000004
【図３】
2015082301.tif 000005
【図４】
2015082301.tif 000006
【図５】
2015082301.tif 000007
【図６】
2015082301.tif 000008
【図７】
2015082301.tif 000009
【図８】
2015082301.tif 000010
【図９】
2015082301.tif 000011
【図１０】
2015082301.tif 000012
【図１１】
2015082301.tif 000013
【図１２】
2015082301.tif 000014
【図１３】
2015082301.tif 000015
【図１４】
2015082301.tif 000016