(57)【要約】【課題】目障りにならないないシンボルを用いて画像データの情報処理を行う。【解決手段】画像処理方法は、複数の微細パターンが所定の領域に印刷された撮影用紙Ｐの上に撮影対象Ｏを配置した状態で、撮影用紙Ｐを背景として撮影対象Ｏを撮影することで撮影画像Ｉを得るステップと、複数の微細パターンを用いて、撮影画像Ｉの歪みを補正するステップと、複数の微細パターンを用いて、歪み補正された撮影画像Ｉ’から、撮影対象Ｏの輪郭を切り出すことで、撮影対象Ｏの画像を抽出するステップと、を備える。【選択図】図２
2018005263.tif 000002
【特許請求の範囲】
【請求項１】
複数の微細パターンが所定の領域に印刷された撮影用紙の上に撮影対象を配置した状態で、前記撮影用紙を背景として前記撮影対象を撮影することで撮影画像を得るステップと、
前記複数の微細パターンを用いて、前記撮影画像の歪みを補正するステップと、
前記複数の微細パターンを用いて、歪み補正された前記撮影画像から、前記撮影対象の輪郭を切り出すことで、前記撮影対象の画像を抽出するステップと、
を備える画像処理方法。
【請求項２】
前記複数の微細パターンは、第１色が付された第１パターンと、前記第１色とは異なる第２色が付された第２パターンと、を含み、
前記第１パターンと前記第２パターンとを所定の周期にて交互に配置することにより、高周波パターンが形成される、請求項１に記載の画像処理方法。
【請求項３】
前記歪みを補正するステップでは、前記撮影画像内の前記高周波パターンを、前記撮影用紙に印刷された前記高周波パターンと一致させることで、前記撮影画像の歪みを補正する、請求項２に記載の画像処理方法。
【請求項４】
前記歪みを補正するステップでは、前記撮影対象の近傍に存在する前記複数の微細パターンを用いて、前記撮影画像の歪みを補正する、請求項１〜３のいずれかに記載の画像処理方法。
【請求項５】
請求項１〜４のいずれかに記載の画像処理方法をコンピュータに実行させるプログラム。
【請求項６】
撮影対象を撮影するために用いられる撮影用紙であって、
前記撮影用紙に配置された前記撮影対象を撮影した撮影画像の歪みを補正し、歪み補正後の撮影画像から前記撮影対象の輪郭を切り出して前記撮影対象の画像を抽出するために用いられる複数の微細パターンが配置された、撮影用紙。
【請求項７】
前記複数の微細パターンは、第１色が付された第１パターンと、前記第１色とは異なる第２色が付された第２パターンと、を含み、
前記第１パターンと前記第２パターンとを所定の周期にて交互に配置することにより、高周波パターンが形成される、請求項６に記載の撮影用紙。
【請求項８】
前記高周波パターンは、前記第１色の正方形である前記第１パターンと、前記第２色の正方形である前記第２パターンとを交互に配置して形成される矩形市松パターンである、請求項７に記載の撮影用紙。
【請求項９】
前記高周波パターンは、前記第１色の菱形である前記第１パターンと、前記第２色の菱形である前記第２パターンとを交互に配置して形成される菱形市松パターンである、請求項７に記載の撮影用紙。
【請求項１０】
複数の微細パターンが所定の領域に印刷された撮影用紙の上に配置された撮影対象を撮影した撮影画像を記憶する記憶部と、
前記複数の微細パターンを用いて、前記撮影画像の歪みを補正する歪み補正部と、
前記複数の微細パターンを用いて、歪み補正された前記撮影画像から、前記撮影対象の輪郭を切り出すことで、前記撮影対象の画像を抽出する画像抽出部と、
を備える画像処理装置。
【請求項１１】
前記複数の微細パターンは、第１色が付された第１パターンと、前記第１色とは異なる第２色が付された第２パターンと、を含み、
前記第１パターンと前記第２パターンとを所定の周期にて交互に配置することにより、前記撮影用紙上に高周波パターンが形成される、請求項１０に記載の画像処理装置。
【請求項１２】
前記歪み補正部は、前記撮影画像内の前記高周波パターンを、前記撮影用紙に印刷された前記高周波パターンと一致させることで、前記撮影画像の歪みを補正する、請求項１１に記載の画像処理装置。
【請求項１３】
前記歪み補正部は、前記撮影対象の近傍に存在する前記複数の微細パターンを用いて、前記撮影画像の歪みを補正する、請求項１０〜１２のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影対象物を撮影して得られた撮影画像に対して所定の処理を行う画像処理方法、当該画像処理方法を実行するプログラム、撮影画像を撮影する際に用いられる撮影用紙、及び、当該撮影画像の画像処理装置に関する。
【背景技術】
【０００２】
従来、物体及び／又は描画などの撮影対象を配置した撮影用紙を背景として、当該物体及び／又は描画などが含まれる画像を撮影し、当該画像に対して各種情報処理を行うことが知られている。例えば、特許文献１には、少なくとも２箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮影用紙に配置された撮影対象を撮影した画像データに対して情報処理を実行することが開示されている。
この情報処理では、得られた画像データから位置決めシンボルを検出し、当該位置決めシンボルを基準にした処理が実行される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−６８７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の位置決め用シンボルを基準とした情報処理では、位置決め用シンボルにて定められた領域を画像データから抽出できる一方、画像データに含まれた各撮影対象のみを抽出する処理はできない。
また、上記の位置決め用シンボルは、ユーザに視認可能な大きさにて撮影用紙などに印刷されている。なぜなら、カメラなどで撮影対象を撮影する際に、位置決め用シンボルをカメラが正しく認識するよう、ユーザは、カメラに写る位置決め用シンボルを確認しながら、カメラの位置を調節する必要があるからである。そのため、ユーザが当該ノートを使用する際に、大きな位置決め用シンボルが視野に入ってきて目障りとなる。
【０００５】
本発明の課題は、使用に際して目障りにならないシンボルを用いて画像データの情報処理を行うことにある。
【課題を解決するための手段】
【０００６】
本発明の一見地に係る画像処理方法は、以下のステップを備える。
◎複数の微細パターンが所定の領域に印刷された撮影用紙の上に撮影対象を配置した状態で、撮影用紙を背景として撮影対象を撮影することで撮影画像を得るステップ。
◎複数の微細パターンを用いて、撮影画像の歪みを補正するステップ。
◎複数の微細パターンを用いて、歪み補正された撮影画像から、撮影対象の輪郭を切り出すことで、撮影対象の画像を抽出するステップ。
【０００７】
この画像処理方法において、撮影画像を撮影する際に撮影対象を配置する撮影用紙には、複数の微細パターンが印刷されている。当該複数の微細パターンは微細であり視認しにくいので、撮影対象を配置するときなどに、当該複数の微細パターンがユーザにとって目障りにならない。
【０００８】
複数の微細パターンは、第１色が付された第１パターンと、第２色が付された第２パターンと、を含んでいてもよい。第２色は、第１色とは異なる色である。この場合、第１パターンと第２パターンとを所定の周期にて交互に配置することにより、高周波パターンが撮影用紙上に形成されてもよい。
これにより、第１色と第２色とが所定の周期にて交互に現れる高周波パターンを用いて、撮影画像の歪み補正と、撮影画像から撮影対象を抽出する処理とを精度よく実行できる。
【０００９】
歪みを補正するステップでは、撮影画像内の高周波パターンを、撮影用紙に印刷された高周波パターンと一致させることで、撮影画像の歪みを補正してもよい。これにより、より簡単な計算により、撮影画像の歪みを補正できる。
【００１０】
歪みを補正するステップでは、撮影対象の近傍に存在する複数の微細パターンを用いて、撮影画像の歪みを補正してもよい。これにより、撮影画像に対して実行する情報処理の計算量を低減できる。
【００１１】
本発明の他の見地に係るプログラムは、上記の画像処理方法をコンピュータに実行させるためのプログラムである。
【００１２】
本発明のさらに他の見地に係る撮影用紙は、撮影対象を撮影するために用いられる。撮影用紙には、当該撮影用紙に配置された撮影対象を撮影した撮影画像の歪みを補正し、歪み補正後の撮影画像から撮影対象の輪郭を切り出して撮影対象の画像を抽出するために用いられる複数の微細パターンが配置される。
【００１３】
撮影対象を撮影するために用いられる撮影用紙の複数の微細パターンを、微細とすることにより、当該複数の微細パターンを視認しにくくして、撮影対象を配置するときなどに、当該複数の微細パターンがユーザにとって目障りにならないようできる。
【００１４】
複数の微細パターンは、第１色が付された第１パターンと、第１色とは異なる第２色が付された第２パターンと、を含んでいてもよい。このとき、第１パターンと第２パターンとを所定の周期にて交互に配置することにより、高周波パターンが形成される。
これにより、第１色と第２色とが所定の周期にて交互に現れる高周波パターンを用いて、撮影画像の歪み補正と、撮影画像から撮影対象を抽出する処理とを精度よく実行できる。
【００１５】
高周波パターンは、第１色の正方形である第１パターンと、第２色の正方形である第２パターンとを交互に配置して形成される矩形市松パターンであってもよい。
これにより、撮影用紙の所定の方向に、第１色と第２色とが所定の周期にて変化するパターンを形成できる。その結果、撮影画像の歪み補正、及び、補正後の撮影画像からの画像の抽出を精度よく実行できる。
【００１６】
高周波パターンは、第１色の菱形である第１パターンと、第２色の菱形である第２パターンとを交互に配置して形成される菱形市松パターンであってもよい。
これにより、撮影用紙の所定の方向に、第１色と第２色とが所定の周期にて変化するパターンを形成できる。その結果、撮影画像の歪み補正、及び、補正後の撮影画像からの画像の抽出を精度よく実行できる。
【００１７】
本発明のさらに他の見地に係る画像処理装置は、記憶部と、歪み補正部と、画像抽出部と、を備える。記憶部は、撮影画像を記憶する。撮影画像は、複数の微細パターンが所定の領域に印刷された撮影用紙の上に配置された撮影対象を撮影した画像である。
歪み補正部は、複数の微細パターンを用いて、撮影画像の歪みを補正する。画像抽出部は、複数の微細パターンを用いて、歪み補正された撮影画像から撮影対象の輪郭を切り出すことで、撮影対象の画像を抽出する。
【００１８】
この画像処理装置において、撮影画像を撮影する際に撮影対象を配置する撮影用紙には、複数の微細パターンが印刷されている。当該複数の微細パターンは微細であり視認しにくいので、撮影対象を配置するときなどに、当該複数の微細パターンがユーザにとって目障りにならない。
【００１９】
複数の微細パターンは、第１色が付された第１パターンと、第２色が付された第２パターンと、を含んでいてもよい。第２色は、第１色とは異なる色である。この場合、第１パターンと第２パターンとを所定の周期にて交互に配置することにより、高周波パターンが撮影用紙上に形成されてもよい。
これにより、画像処理装置は、第１色と第２色とが所定の周期にて交互に現れる高周波パターンを用いて、撮影画像の歪み補正と、撮影画像から撮影対象を抽出する処理とを精度よく実行できる。
【００２０】
歪み補正部は、撮影画像内の高周波パターンを、撮影用紙に印刷された高周波パターンと一致させることで、撮影画像の歪みを補正してもよい。これにより、より簡単な計算により、撮影画像の歪みを補正できる。
【００２１】
歪み補正部は、撮影対象の近傍に存在する複数の微細パターンを用いて、撮影画像の歪みを補正してもよい。これにより、撮影画像に対して実行する情報処理の計算量を低減できる。
【発明の効果】
【００２２】
使用に際して目障りとならないパターンを用いて、撮影画像を情報処理できる。
【図面の簡単な説明】
【００２３】
【図１】画像処理装置の構成を示す図。
【図２】撮影用紙の構成を示す図。
【図３】撮影用紙を用いて撮影された撮影画像の処理方法を示すフローチャート。
【図４】撮影対象の撮影用紙への配置の一例を示す図。
【図５】撮影画像の一例を示す図。
【図６】第１パターンの選択された特徴点の一例を示す図。
【図７】高周波パターンが設けられた領域の選択された４隅の座標値の算出方法の一例を示す図。
【図８】歪み補正を模式的に示す図。
【図９】歪み補正後の撮影画像の一例を示す図。
【図１０】撮影画像から撮影対象の画像を抽出する方法の一例を模式的に示す図。
【発明を実施するための形態】
【００２４】
１．第１実施形態
（１）画像処理装置
以下、第１実施形態に係る画像処理装置１００について説明する。
最初に、第１実施形態に係る画像処理装置１００の構成について、図１を用いて説明する。図１は、画像処理装置の構成を示す図である。画像処理装置１００は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、大容量記憶装置（例えば、ＳＳＤ、ハードディスクなど）、入出力インターフェース（例えば、ＵＳＢインターフェース、キーボード、タッチパネルなど）、通信インターフェース（例えば、イーサネット（登録商標）コントローラ、無線ＬＡＮコントローラ、Ｂｌｕｅｔｏｏｔｈ（登録商標）コントローラなど）などを備えた汎用コンピュータ、スマートフォン、又はタブレット端末などのコンピュータシステムである。画像処理装置１００は、ＣＣＤセンサーなどの画像センサーを備えていてもよい。
以下の説明する画像処理装置１００の各構成の機能の一部又は全部は、画像処理装置１００を構成する汎用コンピュータ、スマートフォン、又はタブレット端末にて実行可能なプログラム（アプリケーション）として実現されていてもよい。当該プログラムは、画像処理装置１００を構成するコンピュータシステムの大容量記憶装置に記憶されていてもよい。
【００２５】
画像処理装置１００は、記憶部１を備える。記憶部１は、画像処理装置１００を構成するコンピュータシステムの記憶装置の記憶領域の一部又は全部である。記憶部１は、各種データを記憶する。
画像処理装置１００は、撮影画像取得部３を備える。撮影画像取得部３は、高周波パターンＦＰ（後述）が印刷された撮影用紙Ｐに撮影対象Ｏを配置した状態にて撮影された撮影画像Ｉを取得し、記憶部１に記憶する。
【００２６】
上記の「撮影対象Ｏを配置する」とは、撮影対象Ｏである物体を撮影用紙Ｐに載置すること、及び／又は、撮影用紙Ｐ上に撮影対象Ｏである絵を描画及び／又は印刷することを言う。また、撮影用紙Ｐに絵を描画及び／又は印刷して、さらに物体を当該撮影用紙Ｐに載置することも「撮影対象Ｏを配置する」に含まれる。この場合は、描画された絵と載置された物体とが撮影対象Ｏになる。また、撮影用紙Ｐに配置される撮影対象Ｏの数は任意である。
【００２７】
撮影画像取得部３は、画像処理装置１００に備わるＵＳＢインターフェースなどの入出力インターフェースに接続されたカメラ又はイメージスキャナなどから撮影画像Ｉを入力し、記憶部１に記憶する。また、撮影画像取得部３は、画像処理装置１００の通信インターフェースを介して、外部のコンピュータシステムなどから通信により、撮影画像Ｉを入力し、記憶部１に記憶してもよい。
【００２８】
さらに、画像処理装置１００がＣＣＤセンサーなどの画像センサーを備えている場合には、撮影画像取得部３は、画像センサーにて得られたデータを用いて撮影画像Ｉを生成し、記憶部１に記憶してもよい。
【００２９】
画像処理装置１００は、歪み補正部５を備える。歪み補正部５は、撮影画像Ｉの歪みを補正する。具体的には、歪み補正部５は、撮影用紙Ｐを背景として撮影対象Ｏを撮影することにより撮影画像Ｉに含まれることとなった高周波パターンＦＰを用いて、撮影画像Ｉの歪みを補正する。
【００３０】
歪み補正部５は、例えば、撮影画像Ｉ内に写った高周波パターンＦＰを表す座標系を、撮影用紙Ｐに印刷された高周波パターンを表す座標系に変換する行列（ホモグラフィ行列（後述））を用いて、撮影画像Ｉの歪みを補正する。上記の行列を用いた歪みの補正方法については、後ほど詳細に説明する。
【００３１】
画像処理装置１００は、画像抽出部７を備える。画像抽出部７は、歪み補正部５により歪み補正された撮影画像Ｉ'から、撮影対象Ｏを表す輪郭を切り出すことで、撮影対象Ｏの画像（抽出画像Ｅ）を抽出し、記憶部１に記憶する。本実施形態において、画像抽出部７は、歪み補正された撮影画像Ｉ'に対してローパスフィルタを適用することにより、当該撮影画像Ｉ'中から、撮影対象Ｏに対応する抽出画像Ｅを抽出する。画像抽出部７における抽出画像Ｅの抽出方法については、後ほど詳細に説明する。
【００３２】
上記の構成を有することにより、画像処理装置１００は、カメラ、イメージスキャナ、通信を介して他のコンピュータなどの外部装置にて取得した撮影画像Ｉ、又は、自身にて撮影した撮影画像Ｉ（画像処理装置１００が画像センサーを有する場合）に対して、歪み補正処理と抽出画像Ｅの抽出処理とを実行できる。
【００３３】
（２）撮影用紙
次に、撮影画像Ｉを撮影する際に撮影対象Ｏを配置する撮影用紙Ｐについて、図２を用いて説明する。図２は、撮影用紙の構成を示す図である。
撮影用紙Ｐは、当該撮影用紙Ｐの所定の領域に印刷された高周波パターンＦＰを有する。本実施形態において、高周波パターンＦＰは、第１色（図２の例では黒）が付された微細パターンである第１パターンＳＰ１と、第２色（図２の例では白）が付された微細パターンである第２パターンＳＰ２と、により形成される。
【００３４】
具体的には、高周波パターンＦＰは、例えば図２の（ａ）に示すように、撮影用紙Ｐの幅方向（Ｘ方向）及び長さ方向（Ｙ方向）に、第１色の正方形である第１パターンＳＰ１と、第２色の正方形である第２パターンＳＰ２とを交互に配置（印刷）することにより、形成される（矩形市松パターン）。この場合、高周波パターンＦＰは、Ｘ方向及びＹ方向に第１色と第２色とが所定の周期にて交互に変化するパターンとなる。
【００３５】
または、例えば図２の（ｂ）に示すように、撮影用紙Ｐの幅方向及び長さ方向に、第１色の菱形である第１パターンＳＰ１と、第２色の菱形である第２パターンＳＰ２とを交互に配置することによっても、高周波パターンＦＰを形成できる（菱形市松パターン）。
この場合、高周波パターンＦＰは、Ｘ方向（又はＹ方向）に対して４５°の角度を有する方向において、第１色と第２色とが所定の周期にて交互に変化するパターンとなる。
【００３６】
上記の矩形市松パターン又は菱形市松パターンを高周波パターンＦＰとすることにより、撮影用紙Ｐの所定の方向に、第１色と第２色とが所定の周期にて変化するパターンを形成できる。その結果、後述する撮影画像Ｉの歪み補正、及び、補正後の撮影画像Ｉ'からの抽出画像Ｅの抽出を精度よく実行できる。
【００３７】
高周波パターンＦＰにおける第１色と第２色との間の変化の周期としては、例えば、撮影画像Ｉの１画素あたり０．２Ｈｚ（すなわち、５画素中で第１色から第２色へと、又はその逆に色が１回変化）〜２Ｈｚ（すなわち、１画素中で第１色から第２色へと、又はその逆に色が２回変化）の範囲内から選択できる。
高周波パターンＦＰの第１色と第２色との間の変化の周期は、例えば、第１パターンＳＰ１及び第２パターンＳＰ２の大きさを調節することにより、任意の値とできる。
【００３８】
微細パターンの印刷色としては、撮影用紙Ｐのユーザの視覚に影響を与えない程度の色として、例えば、第１パターンＳＰ１の第１色を灰色又は水色などの淡色とし、第２パターンＳＰ２の第２色を白（または第２パターンＳＰ２を印刷しない）とできる。
撮影用紙Ｐに絵を描画する場合には、絵の色彩により第１パターンＳＰ１及び第２パターンＳＰ２を塗りつぶせるよう、上記の第１色と第２色とを薄色及び／又は淡色とすることが好ましい。
【００３９】
画像処理装置１００において、撮影画像Ｉに含まれる第１パターンＳＰ１と第２パターンＳＰ２とを明確に識別できるよう、第１色と第２色との間の明度差は、ある所定の値以上あることが好ましい。具体的には、第１色と第２色との間の明度差は、１０以上であればよく、好適なのは５０以上であり、さらに好適なのは１００以上である。
【００４０】
撮影画像Ｉを撮影する際に撮影対象Ｏを配置する撮影用紙Ｐが、上記の構成を有することにより、撮影画像Ｉに高周波パターンＦＰを含ませることができる。その結果、画像処理装置１００は、撮影画像Ｉに含まれる高周波パターンＦＰを用いて、当該撮影画像Ｉに対して各種情報処理（歪み補正処理及び画像の抽出処理）を実行できる。
【００４１】
高周波パターンＦＰにおける第１色と第２色との間の変化の周期を、撮影画像Ｉの１画素あたり０．２Ｈｚ〜２Ｈｚとしているので、第１パターンＳＰ１及び第２パターンＳＰ２を小さくできる。その結果、撮影用紙Ｐに撮影対象Ｏを配置する際などに、撮影用紙Ｐに印刷された第１パターンＳＰ１及び第２パターンＳＰ２（高周波パターンＦＰ）が、ユーザにとって目障りにならない。
【００４２】
（３）画像処理装置の動作
次に、画像処理装置１００において実行される、撮影用紙Ｐを用いて撮影された撮影画像Ｉの処理方法について、図３を用いて説明する。図３は、撮影用紙を用いて撮影された撮影画像の処理方法を示すフローチャートである。
最初に、処理対象となる撮影画像Ｉを取得する。具体的には、まず、撮影対象Ｏとなる物体を撮影用紙Ｐ上に載置するか、及び／又は、撮影対象Ｏとなる絵を撮影用紙Ｐ上に描画する（ステップＳ１）。
例えば、図４に示すように、円筒状の物体である撮影対象Ｏ１が撮影用紙Ｐの高周波パターンＦＰが設けられた領域上に載置され、三角形の絵である撮影対象Ｏ２が当該領域状に描画されたとする。図４は、撮影対象の撮影用紙への配置の一例を示す図である。
【００４３】
撮影対象Ｏを撮影用紙Ｐに配置後、カメラなどの撮影機器、又は、画像処理装置１００に備わる撮影アプリケーション（画像処理装置１００が画像センサーを備える場合）を用いて、撮影用紙Ｐを背景として撮影対象Ｏを撮影し、撮影画像Ｉを取得する（ステップＳ２）。
撮影画像Ｉを取得後、撮影機器を画像処理装置１００の入出力インターフェースに接続し、画像処理装置１００の撮影画像取得部３が、当該撮影機器で撮影した撮影画像Ｉを画像処理装置１００内に取り込んで、記憶部１に記憶する。または、撮影画像取得部３である撮影アプリケーションが、取得した撮影画像Ｉを記憶部１に記憶する。
【００４４】
図４に示す撮影用紙Ｐに配置された撮影対象Ｏ１、Ｏ２を撮影機器又は撮影アプリケーションなどで撮影した結果、例えば、図５に示すような撮影画像Ｉが得られたとする。図５は、撮影画像の一例を示す図である。図５に示す例においては、カメラなどの撮影機器の視野が、撮影用紙Ｐの高周波パターンＦＰが設けられた面と平行となっていなかったため、方形であった撮影用紙Ｐが歪んだ四角形となった撮影画像Ｉが得られている。
【００４５】
撮影画像Ｉを取得後、歪み補正部５が、記憶部１に記憶された撮影画像Ｉを読み出して、当該読み出した撮影画像Ｉに対して歪み補正を実行する（ステップＳ３）。本実施形態において、歪み補正部５は、撮影画像Ｉ内の高周波パターンＦＰを、撮影用紙Ｐに印刷された高周波パターンＦＰと一致させることで、撮影画像Ｉの歪みを補正する。
具体的には、歪み補正部５は、以下のようにして、撮影画像Ｉ内の高周波パターンＦＰを、撮影用紙Ｐに印刷された高周波パターンＦＰと一致させる演算を行う行列（ホモグラフィ行列Ｈと呼ぶ）を算出し、当該ホモグラフィ行列Ｈを撮影画像Ｉ内の各画素の座標値に対して適用することにより、撮影画像Ｉの歪みを補正する。
【００４６】
まず、ホモグラフィ行列Ｈを算出するために、撮影画像Ｉにおける高周波パターンＦＰの（変換前の）特徴点を抽出する。
撮影画像Ｉにおける高周波パターンＦＰの（変換前の）特徴点は、以下のようにして抽出する。図２の（ａ）に示すような矩形市松パターンが高周波パターンＦＰとして撮影用紙Ｐに設けられている場合には、例えば、撮影画像Ｉ中の高周波パターンＦＰの最も左上端に存在する第１パターンＳＰ１の４隅を抽出する。
例えば、図６に示すように、撮影画像Ｉ中の高周波パターンＦＰが設けられた領域の最も左上端の第１パターンＳＰ１の４隅の座標（ｐｘ１，ｐｙ１）（左上端の座標）、（ｐｘ２，ｐｙ２）（右上端の座標）、（ｐｘ３，ｐｙ３）（左下端の座標）、（ｐｘ４，ｐｙ４）（右下端の座標）を、特徴点として抽出する。図６は、第１パターンの選択された特徴点の一例を示す図である。
【００４７】
次に、上記の第１パターンＳＰ１の４隅の座標を延長して、撮影画像Ｉにおける高周波パターンＦＰが設けられた領域の４隅の座標値を算出する。上記のように第１パターンＳＰ１の４隅の特徴点が決定された場合、例えば、図７に示すようにして、撮影画像Ｉにおける高周波パターンＦＰが設けられた領域の４隅の座標値を算出できる。図７は、高周波パターンが設けられた領域の選択された４隅の座標値の算出方法の一例を示す図である。
【００４８】
具体的には、高周波パターンＦＰが設けられた領域の左上端の座標値（ｘ１，ｙ１）は、例えば、高周波パターンＦＰが設けられた領域の左上端に存在する第１パターンＳＰ１の左上端の座標と一致するとして、ｘ１＝ｐｘ１、ｙ１＝ｐｙ１と決定できる。
【００４９】
右上端の座標値（ｘ２，ｘ２）は、例えば、左上端の座標（ｘ１，ｙ１）から、ｗ１＊（ｐｘ２−ｐｘ１，ｐｙ２−ｐｙ１）（ｗ１：スカラー量）と表されるベクトルを伸ばしたときの当該ベクトルの終点の座標、すなわち、ｘ２＝ｐｘ１＋ｗ１＊（ｐｘ２−ｐｘ１）、ｙ２＝ｐｙ１＋ｗ１＊（ｐｙ２−ｐｙ１）と算出できる。
【００５０】
左下端の座標値（ｘ３，ｘ３）は、例えば、左上端の座標（ｘ１，ｙ１）から、ｗ２＊（ｐｘ３−ｐｘ１，ｐｙ３−ｐｙ１）（ｗ２：スカラー量）と表されるベクトルを伸ばしたときの当該ベクトルの終点の座標、すなわち、ｘ３＝ｐｘ１＋ｗ２＊（ｐｘ３−ｐｘ１）、ｙ３＝ｐｙ１＋ｗ２＊（ｐｙ３−ｐｙ１）と算出できる。
【００５１】
右下端（高周波パターンＦＰが設けられた領域の右端又は下端ではあるが、右下端に対応するとは限らない）の座標値（ｘ４，ｘ４）は、例えば、左上端の座標（ｘ１，ｙ１）から、ｗ３＊（ｐｘ４−ｐｘ１，ｐｙ４−ｐｙ１）（ｗ３：スカラー量）と表されるベクトルを伸ばしたときの当該ベクトルの終点の座標、すなわち、ｘ４＝ｐｘ１＋ｗ３＊（ｐｘ４−ｐｘ１）、ｙ４＝ｐｙ１＋ｗ３＊（ｐｙ４−ｐｙ１）と算出できる。
【００５２】
上記のスカラー量ｗ１、ｗ２、ｗ３は、それぞれ、撮影用紙Ｐの幅方向（Ｘ方向）における第１パターンＳＰ１及び第２パターンＳＰ２の配置数の合計、長さ方向（Ｙ方向）における第１パターンＳＰ１及び第２パターンＳＰ２の配置数の合計、及び、斜め４５度方向（Ｙ＝Ｘが成り立つ方向）における第１パターンＳＰ１及び第２パターンＳＰ２の配置数の合計である。したがって、スカラー量ｗ１、ｗ２、ｗ３は、第１パターンＳＰ１及び第２パターンＳＰ２の配置によりあらかじめ決められた、一定の正の整数である。
【００５３】
その後、撮影画像Ｉにおける高周波パターンＦＰが設けられた領域の４隅の座標値と、撮影用紙Ｐにおける高周波パターンＦＰが設けられた領域の対応する４隅の座標値とを用いて、以下のようにしてホモグラフィ行列Ｈを算出する。
例えば、撮影画像Ｉにおける上記の座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）は、それぞれ、撮影用紙Ｐにおける高周波パターンＦＰが設けられた領域の対応する４隅の座標値（Ｘ１'，Ｙ１'）、（Ｘ２'，Ｙ２'）、（Ｘ３'，Ｙ３'）、（Ｘ４'，Ｙ４'）に対応するものとする。
【００５４】
なお、上記の４隅の座標値（Ｘ１'，Ｙ１'）、（Ｘ２'，Ｙ２'）、（Ｘ３'，Ｙ３'）、（Ｘ４'，Ｙ４'）は、撮影用紙Ｐにおける第１パターンＳＰ１及び第２パターンＳＰ２の配置関係に基づいて、あらかじめ一義的に定められている。
【００５５】
この場合、撮影画像Ｉにおける４隅の座標値のそれぞれと、対応する撮影用紙Ｐにおける４隅の座標のそれぞれとの関係は、ホモグラフィ行列Ｈを用いて、以下の数１で示されるように表現できる。以下の数式において、ｗは任意のスカラー量（定数）である。
【数１】
2018005263.tif 000003
【００５６】
上記の場合、ホモグラフィ行列Ｈは、３行３列の行列となり、以下の数２のように表現できる。
【数２】
2018005263.tif 000004
【００５７】
上記の数１は、撮影用紙Ｐにおける原点と４隅の座標値（Ｘ１'，Ｙ１'）、（Ｘ２'，Ｙ２'）、（Ｘ３'，Ｙ３'）、（Ｘ４'，Ｙ４'）とを結ぶことにより算出されるベクトルが、当該原点と撮影画像Ｉにおける４隅の座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）をホモグラフィ行列Ｈにて座標変換した座標値とを結ぶベクトルと平行であることを示している。
【００５８】
したがって、互いに平行な２つのベクトルの外積は０（ベクトル）となることを利用して、撮影用紙Ｐにおける座標値（Ｘ１'，Ｙ１'）、（Ｘ２'，Ｙ２'）、（Ｘ３'，Ｙ３'）、（Ｘ４'，Ｙ４'）と、撮影画像Ｉにおける座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）との間には、以下の数３が成立する。以下の数３において、「×」は外積を意味する。
【数３】
2018005263.tif 000005
【００５９】
上記の数３をさらに整理すると、以下の数４のように書き直すことができる。すなわち、ホモグラフィ行列Ｈの各要素ｈ１１〜ｈ３３について、ｈ３３＝１とし、８のｈ１１〜ｈ３２についての方程式からなる連立方程式が成立する。当該連立方程式からホモグラフィ行列Ｈの各要素ｈ１１〜ｈ３３の具体的な数値を算出できる。
【数４】
2018005263.tif 000006
【００６０】
ホモグラフィ行列Ｈを具体的に算出後、歪み補正部５が、撮影画像Ｉに含まれる各画素に対してホモグラフィ行列Ｈ（の各要素をスカラー量ｗにて除算した行列）を適用（すなわち、撮影画像Ｉの各画素の座標値（ｘ，ｙ，１）に対して、Ｈ（ｘ／ｗ，ｙ／ｗ，１／ｗ）T（上付きの「Ｔ」は行列の転置を意味する）を算出）することにより、図８に示すように、丸印にて示した撮影画像Ｉにおける４隅の座標値（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）のそれぞれを、三角印にて示した撮影用紙Ｐにおける対応する４隅の座標値（Ｘ１'，Ｙ１'）、（Ｘ２'，Ｙ２'）、（Ｘ３'，Ｙ３'）、（Ｘ４'，Ｙ４'）へと移動できる。図８は、歪み補正を模式的に示す図である。
【００６１】
上記の座標移動の結果、歪み補正部５は、歪みが生じている撮影画像Ｉにおける高周波パターンＦＰが設けられた領域を、歪みのない撮影用紙Ｐにおける高周波パターンＦＰが設けられた領域と一致させると同時に、撮影画像Ｉの歪みを補正できる。
【００６２】
上記の高周波パターンＦＰを用いて撮影画像Ｉの歪み補正を行うことにより、ホモグラフィ行列Ｈを用いるといった、比較的簡単な計算により、かつ、精度よく撮影画像Ｉの歪みを補正できる。
【００６３】
上記のようにして撮影画像Ｉの歪み補正を実行後、画像抽出部７が、高周波パターンＦＰ（微細パターン）を用いて、歪み補正された撮影画像Ｉ'から撮影対象Ｏ１、Ｏ２の輪郭を切り出すことで、撮影対象Ｏ１、Ｏ２の画像を抽出画像Ｅとして抽出する（ステップＳ４）。画像抽出部７は、抽出した抽出画像Ｅを、記憶部１に記憶する。
上記のように、画像抽出部７は、撮影画像Ｉ'に対してローパスフィルタを適用することにより、撮影画像Ｉ'において高周波パターンＦＰが現れている領域のデータを削除する（透明とする）一方、高周波パターンＦＰが撮影対象Ｏ１、Ｏ２により隠されている領域のデータを保持する。
【００６４】
具体的には、例えば、図２の（ａ）に示すような矩形市松パターンが高周波パターンＦＰとして用いられている場合には、画像抽出部７は、撮影画像Ｉ'のＸ方向又はＹ方向に各画素を走査して、各画素の色値を取得する。例えば、図９に示す撮影画像Ｉ'において、図９の一点鎖線にて示すＡ〜Ａ'間に存在する画素をＸ方向に走査したときに、図１０の（ａ）に示すような色の変化が得られたとする。
図９は、歪み補正後の撮影画像の一例を示す図である。図１０は、撮影画像から撮影対象の画像を抽出する方法の一例を模式的に示す図である。
【００６５】
図１０の（ａ）において、Ｘ方向のある領域においては、画素の色が、所定の周期にて第１色と第２色との間で変化している。当該色の変化は、第１パターンＳＰ１と第２パターンＳＰ２とがＸ方向に交互に配置されて、矩形市松パターンである高周波パターンＦＰが形成されていることにより発生する。
一方、図１０の（ａ）において、Ｘ方向の他の領域においては、色が一定であるか又はゆっくりと変化（ノイズのような小さな高周波の色の変化が含まれている場合もある）している。当該色の変化は、当該他の領域に撮影対象Ｏ１が存在することを意味している（一般的に、撮影対象Ｏの色は、高周波パターンＦＰほど頻繁に変化しない）。
【００６６】
画像抽出部７は、色が高周波パターンＦＰにおける第１パターンＳＰ１と第２パターンＳＰ２の配置周期以上で変化しており、かつ、当該色の変化が第１色と第２色との間の変化以上の変化をしている領域に存在する画素データを撮影画像Ｉ'から削除する（又は色を透明とする）。一方、それ以外の領域に存在する画素データは撮影画像Ｉ'に保持する。
その結果、例えば、図１０の（ｂ）に示すように、撮影対象Ｏ１に対応する画素のデータのみが保持された撮影画像Ｉ'（すなわち、抽出画像Ｅ）が得られる。
【００６７】
なお、図９に示すように、撮影画像Ｉ'中に複数の撮影対象Ｏ１、Ｏ２が含まれている場合には、画像抽出部７は、複数の撮影対象Ｏ１、Ｏ２を（例えば、色の違いなどにより）認識して、当該複数の撮影対象Ｏ１、Ｏ２のそれぞれの画像を、個別の抽出画像として抽出する。
または、画像処理装置１００のユーザが、複数の撮影対象Ｏ１、Ｏ２が含まれる領域をそれぞれ指定して、画像抽出部７が、当該指定された領域毎に上記の画像の抽出を実行することにより、複数の撮影対象Ｏ１、Ｏ２のそれぞれの画像を、個別の抽出画像として抽出してもよい。
【００６８】
上記のように、第１色と第２色とが所定の周期にて交互に変化する高周波パターンＦＰを形成した撮影用紙Ｐを背景とした画像を撮影画像Ｉとして撮影することにより、当該撮影画像Ｉに含まれる高周波パターンＦＰを用いて、上記のようにして、撮影画像Ｉの歪み補正と、特定の画像（各撮影対象Ｏの画像）の抽出処理とを実行できる。
【００６９】
高周波パターンＦＰを構成する第１パターンＳＰ１及び第２パターンＳＰ２を微細なもの（微細パターン）とすることにより、第１パターンＳＰ１及び第２パターンＳＰ２を視認しにくくできる。その結果、ユーザが撮影用紙Ｐに撮影対象Ｏを配置するときなどに、第１パターンＳＰ１及び第２パターンＳＰ２がユーザにとって目障りにならない。
【００７０】
２．他の実施形態
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。特に、本明細書に書かれた複数の実施形態及び変形例は必要に応じて任意に組み合せ可能である。
（Ａ）撮影画像の情報処理に用いる複数の微細パターンについての他の実施形態（その１）
上記の第１実施形態において、歪み補正及び撮影対象Ｏの画像の抽出処理は、高周波パターンＦＰが設けられた領域の４隅の第１パターンＳＰ１（又は第２パターンＳＰ２）を基準として、当該領域に含まれる全ての第１パターンＳＰ１及び第２パターンＳＰ２を用いて実行されていた。これにより、高周波パターンＦＰが設けられた領域の全域にわたり、撮影画像Ｉの歪み補正及び撮影対象Ｏの抽出処理を一度の計算にて実行できる。
【００７１】
第１実施形態において示したように、撮影画像Ｉ（又は歪み補正後の撮影画像Ｉ'）から必要な撮影対象Ｏの画像を抽出する場合には、必ずしも高周波パターンＦＰが設けられた全領域に対して歪み補正を実行する必要はない。
すなわち、歪み補正部５は、撮影画像Ｉにおいて抽出する撮影対象Ｏの近傍に存在する複数の微細パターン（第１パターンＳＰ１、第２パターンＳＰ２）を用いて、撮影画像Ｉの歪みを補正してもよい。
【００７２】
例えば、以下のようにして、撮影対象Ｏの近傍に存在する第１パターンＳＰ１及び第２パターンＳＰ２を用いて、撮影画像Ｉの歪みを補正できる。
まず、画像抽出部７が、撮影画像Ｉ中の撮影対象Ｏを自動的に認識して、当該認識した撮影対象Ｏが撮影画像Ｉ中で占める面積よりも若干大きな面積を有し、かつ、撮影対象Ｏを全て含むような領域を撮影画像Ｉから抽出する。これにより、撮影対象Ｏを含み、かつ、少なくとも端部に第１パターンＳＰ１及び第２パターンＳＰ２が存在する画像を抽出できる。
なお、画像抽出部７が撮影対象Ｏを自動的に認識することなく、ユーザが上記の条件に合う領域を撮影画像Ｉから抽出してもよい。
【００７３】
次に、歪み補正部５が、例えば、当該抽出した領域の４隅に存在する第１パターンＳＰ１及び／又は第２パターンＳＰ２を選択し、第１実施形態において説明したのと同様にして、当該抽出した領域に対して歪み補正を実行する。
上記のように、撮影対象Ｏと、少なくとも端部に第１パターンＳＰ１及び第２パターンＳＰ２とを含む画像を撮影画像Ｉから抽出し、当該抽出した画像に対して歪み補正を実行することにより、歪み補正部５における歪み補正のための計算量を低減できる。
【００７４】
また、上記のようにして抽出した画像の歪みを補正後、画像抽出部７が、歪み補正後の抽出した画像に対してローパスフィルタを適用して、当該抽出した画像に含まれる高周波パターンＦＰ（第１パターンＳＰ１及び第２パターンＳＰ２）を削除し、当該画像から撮影対象Ｏの画像を抽出する。
上記の抽出した画像に対してローパスフィルタを適用する場合の計算量は、高周波パターンＦＰが設けられた全領域に対してローパスフィルタを適用する場合の計算量よりも小さくなる。
【００７５】
したがって、上記のようにして撮影画像Ｉから抽出した画像に対して歪み補正及び撮影対象Ｏの抽出処理を実行することにより、画像に対する情報処理の計算量を低減できる。
【００７６】
（Ｂ）撮影画像の情報処理に用いる複数の微細パターンについての他の実施形態（その２）
上記の第１実施形態において、撮影画像Ｉには高周波パターンＦＰが設けられた全領域が含まれていた。すなわち、撮影用紙Ｐ（の高周波パターンＦＰ）を背景として撮影対象Ｏを撮影する際に、撮影機器の視野に、高周波パターンＦＰが設けられた領域が全て入るように撮影機器と撮影用紙Ｐとの位置関係を調整していた。
【００７７】
第１実施形態において示したように、撮影画像Ｉ内に高周波パターンＦＰが含まれていれば、撮影画像Ｉに対して情報処理（歪み補正及び撮影対象Ｏの抽出処理）は実行できるので、撮影対象Ｏと高周波パターンＦＰが設けられた領域の一部とが含まれる画像を撮影画像Ｉとして取得してもよい。
この場合には、例えば、撮影画像Ｉの４つの端部（又はその近傍）に存在する第１パターンＳＰ１及び第２パターンＳＰ２を用いて、第１実施形態において説明したのと同様にして、撮影画像Ｉに対して歪み補正及び撮影対象Ｏの画像の抽出を実行する。
【００７８】
上記のように、撮影対象Ｏと高周波パターンＦＰが設けられた領域の一部とが含まれる画像を撮影画像Ｉとしても歪み補正及び撮影対象Ｏの抽出処理とを実行可能とすることにより、例えば、高周波パターンＦＰが設けられた全領域を含めるといった撮影画像Ｉが有する必要がある条件を緩和できる。その結果、撮影画像Ｉの取得時に撮影機器の位置合わせをするといった、ユーザにとっては負担となる作業が不要となる。
【産業上の利用可能性】
【００７９】
本発明は、撮影対象物を撮影して得られた撮影画像に対して所定の処理を行う画像処理装置、及び、画像処理方法に広く適用できる。
【符号の説明】
【００８０】
１００  画像処理装置
１      記憶部
３      撮影画像取得部
５      歪み補正部
７      画像抽出部
Ｏ、Ｏ１、Ｏ２  撮影対象
Ｐ      撮影用紙
ＦＰ    高周波パターン
ＳＰ１  第１パターン
ＳＰ２  第２パターン
Ｉ、Ｉ'         撮影画像
Ｅ      抽出画像
【図１】
2018005263.tif 000007
【図２】
2018005263.tif 000008
【図３】
2018005263.tif 000009
【図４】
2018005263.tif 000010
【図５】
2018005263.tif 000011
【図６】
2018005263.tif 000012
【図７】
2018005263.tif 000013
【図８】
2018005263.tif 000014
【図９】
2018005263.tif 000015
【図１０】
2018005263.tif 000016