(57)【要約】【課題】撮影画像内の被写体に配置されている複数の指標の位置に基づいて行われる各種処理を、より安定的に行うことができるようにする。【解決手段】タブレット端末装置１は、複数の指標（マークＭ）が所定の並びで配置されている被写体（第１の筐体２ａ）が書画カメラによって撮影された場合に、パターンマッチング用のテンプレートを使用して、撮影画像内の複数のマークＭを認識することによりその個々の位置をそれぞれ検出すると共に、各検出点の中から複数のマークＭの並びに近似した配置関係にある各検出点の個々をそれぞれ特定し、その特定に基づいて被写体の状態あるいは撮影画像の状態を判定する。【選択図】  図１
2014053738.tif 000002
【特許請求の範囲】
【請求項１】
複数の指標が所定の並びで配置されている被写体を撮影した場合にその撮影画像を取得する取得手段と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得手段により取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する検出手段と、
前記検出手段により検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する特定手段と、
前記検出手段により検出された複数の検出点のうち、前記特定手段により特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う処理手段と、
を備えるようにしたことを特徴とする画像処理装置。
【請求項２】
前記処理手段は、複数の指標位置に基づいて前記被写体の状態あるいは前記撮影画像の状態を判定する判定処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定手段により前記複数の指標の並びに近似した配置関係にある各検出点が特定された場合に、前記処理手段による前記所定の処理を行わせる処理制御手段を更に備える、
ようにしたことを特徴とする請求項１あるいは請求項２に記載の画像処理装置。
【請求項４】
前記特定手段は、前記複数の指標が直線状に所定間隔毎に並んで被写体に配置されている状態において、前記検出手段により検出された各検出点の中から直線状の所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する、
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記特定手段は、前記複数の指標が所定の規則性を持った並びで被写体を囲むようにその周辺部に配置されている状態において、前記検出手段により検出された各検出点の中から被写体を囲むように前記所定の規則性を持った並びに近似した配置関係にある各検出点の個々をそれぞれ特定する、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記特定手段は、前記複数の指標が所定の間隔毎に並んで被写体を囲むように第１の方向及び第２の方向に配置されている状態において、前記検出手段により検出された各検出点の中から前記第１の方向及に配置されている各検出点を認識してその方向に延びる直線を特定すると共に、前記第２の方向に配置されている各検出点を認識してその方向に延びる直線を特定した後、前記第１の方向の直線と前記第２の方向の直線との交点を基準として、その交点から前記所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する、
ようにしたことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記特定手段は、前記複数の指標が所定間隔毎に並んで被写体を囲むように第１の方向、第２の方向に配置されている状態において、前記検出手段により検出された各検出点の中から前記第１の方向に配置されている各検出点を認識してその方向に延びる直線を特定することができたが、前記第２の方向に配置されている各検出点を認識することができなかった場合に、前記第２の方向上の複数の所定位置に仮の固定点をそれぞれ設定し、前記仮の各固定点と前記第１の方向の複数の検出点を、前記撮影画像の状態判定用として特定する、
ようにしたことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
当該画像処理装置は、前記複数の指標が配置されている第１の筐体と、前記第１の筐体に装着されている被写体を撮影する撮像部を備えた第２の筐体と、前記第１の筐体と前記第２の筐体とを見開き状に開閉可能に連結する連結部とを備える、
ようにしたことを特徴とする請求項１〜請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記判定手段は、前記被写体に対する撮影距離又は撮影角度が所定の範囲内に収まった状態を、前記被写体の状態として判定する、
ようにしたことを特徴とする請求項１〜請求項８のいずれかに記載の画像処理装置。
【請求項１０】
前記判定手段は、前記撮影画像の全部あるいはその一部が歪んでいる画像の幾何学的な歪状態を、前記撮影画像の状態として判定する、
ようにしたことを特徴とする請求項１〜請求項９のいずれかに記載の画像処理装置。
【請求項１１】
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得するステップと、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出するステップと、
前記検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定するステップと、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行うステップと、
を含むことを特徴とする画像処理方法。
【請求項１２】
コンピュータに対して、
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得する機能と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する機能と、
前記検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する機能と、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を処理する画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
一般に、紙媒体（例えば、ノートブックや書籍）に記載されている情報（文字、図形など）を画像として読み取って記録保存する画像処理装置としては、その紙媒体をスキャナで走査することによってそのイメージデータとして読み取ったり、紙媒体をデジタルカメラで撮影することによって撮影画像として読み取ったりするようにしている。
このように紙媒体をデジタルカメラによって読み取る技術としては、従来、例えば、第１の筐体と第２の筐体とがヒンジ部を介して回動可能（開閉可能）に取り付けられているノートパソコンにおいて、第１の筐体と第２の筐体とを開いた状態で、第１の筐体の近傍に置かれた資料（紙媒体）が、第２の筐体側に配設されているデジタルカメラによって撮影されと、その撮影画像に対して台形歪補正を施すようにした技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３０１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の技術にあっては、パソコン筐体の輪郭の映り具合（傾き具合）に応じて撮影画像に対して台形歪補正を行う補正パラメータ（傾き角）を求めるようにしているが、輪郭の映り具合から補正パラメータを正確に求めることは困難であるという問題があった。
【０００５】
そこで、パソコン筐体に複数のマークを配置し、そのマークを撮影した撮影画像の中からパターンマッチングによってそのマークを検出するようにすれば、撮影画像内から筐体の輪郭を検出するものに比べて個々のマークの位置特定を容易かつ正確に行うことが可能となるが、例えば、パターンマッチング時に誤検出が多い場合などには、それだけ検出された複数のマーク位置に基づいて行われる各種処理を正確に行うことが困難なものとなる。
【０００６】
本発明の課題は、撮影画像内の被写体に配置されている複数の指標の位置に基づいて行われる各種処理を、より安定的に行うことができるようにする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために本発明の画像処理装置は、
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得する取得手段と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得手段により取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する検出手段と、
前記検出手段により検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する特定手段と、
前記検出手段により検出された複数の検出点のうち、前記特定手段により特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う処理手段と、  を備えるようにしたことを特徴とする画像処理装置である。
【０００８】
上述した課題を解決するために本発明の画像処理方法は、
複数の指標が所定の並びで配置されている被写体を撮像した撮影画像を取得するステップと、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出するステップと、
前記検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定するステップと、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行うステップと、
を含むことを特徴とする画像処理方法である。
【０００９】
上述した課題を解決するために本発明のプログラムは、
コンピュータに対して、
複数の指標が所定の並びで配置されている被写体を撮像した撮影画像を取得する機能と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する機能と、
前記検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する機能と、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う機能と、
を実現させるためのプログラムである。
【発明の効果】
【００１０】
本発明によれば、撮影画像内の被写体に配置されている複数の指標をパターンマッチングにより検出する際に誤検出が発生したとしても、その複数の指標の位置に基づいて行われる各種処理をより確実に行うことができ、撮影状態などが悪条件であってもより安定的で妥当性のある処理結果を得ることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】開閉式の画像処理装置を開いた状態を示した概観斜視図。
【図２】画像処理装置を開いて被写体を撮影する際の様子を説明するための図。
【図３】第１の筐体（被写体）２ａの表面に印刷形成された複数のマークＭを説明するための図。
【図４】タブレット端末装置１の基本的な構成要素を示したブロック図。
【図５】書画カメラＣの動作開始に応じて実行開始される画像処理装置の動作（本実施形態の特徴的な動作）を説明するためのフローチャート。
【図６】上マーク列検出処理（簡易検出処理、図５のステップＡ３）を詳述するためのフローチャート。
【図７】上マーク・左右マーク列検出処理（射影変換のための検出処理、図５のステップＡ７）を詳述するためのフローチャート。
【図８】図７の動作に続くフローチャート。
【図９】図６のステップＢ１（テンプレートマッチング）で使用されるテンプレートＴを説明するための図。
【図１０】図６のステップＢ６を説明するための図。
【図１１】図５のステップＡ４を説明するための図。
【図１２】図７のステップＣ１１及びステップＣ１２を説明するための図。
【図１３】図７のステップＣ１７を説明するための図
【発明を実施するための形態】
【００１２】
以下、図１〜図１３を参照して本発明の実施形態を説明する。
図１は、開閉式（見開き形式）の画像処理装置を開いた状態を示した概観斜視図である。図２は、この画像処理装置を見開いた状態において、その一側面から見た概略外観図で、画像処理装置を開いて被写体を撮影する際の様子を説明するための図ある。
画像処理装置は、撮像機能（デジタルカメラ）を備えたタブレット端末装置１と、このタブレット端末装置１が取り付けられているバインダ２を有する構成で、その筺体全体は、開閉可能（見開き可能）なバインダ構造となっている。タブレット端末装置１は、開閉可能なバインダ２に一体的に取り付けられているが、この場合、バンドなどの固定具（図示省略）を使用してバインダ２に着脱自在に取り付けるようにしてもよい。
【００１３】
タブレット端末装置１は、その全体が薄型の直方体で、例えば、Ａ５サイズの携帯型情報端末装置であり、タッチ入力機能、無線通信機能などの基本機能のほか、このタブレット端末装置１に接近配置されている紙媒体（例えば、ノート、リポート用紙、書籍など）３を被写体として撮影することによりその紙媒体３に記載されている情報（文字、図表、画像など）を光学的に読み取る画像読取機能が備えられている。なお、本実施形態において、紙媒体３とは、撮影すべき情報が記載されている媒体を示すものであり、素材が紙であることを特定するものではなく、例えば、情報を電子的に表示可能な電子ペーパーも含まれることを意味している。
【００１４】
バインダ２は、第１の筐体２ａと第２の筐体２ｂとをヒンジ部（連結部）２ｃを介して見開き状に開閉可能とする構成で、図示の例では、右側に第１の筐体２ａが配置され、左側に第２の筐体２ｂが配置されている場合を例示しているが、第１の筐体２ａと第２の筐体２ｂとは、図示の場合とは逆の関係であってもよい。第１の筐体２ａ及び第２の筐体２ｂは、厚い平板状長方形（同形同大）の板部材（例えば、厚紙）に合成樹脂シートを貼り合せた構成で、ヒンジ部２ｃを回転軸として開閉可能に連結されている。
【００１５】
第１の筐体２ａと第２の筐体２ｂとは、図示のように１８０°見開いた状態から第１の筐体２ａと第２の筐体２ｂとが重なり合う状態（完全に閉じた状態）まで開閉可能なもので、ユーザにあってはバインダ２を１８０°見開いた状態においてタブレット端末装置１を使用したり、紙媒体３に文字や図表などを書き入れたりするようにしている。また、タブレット端末装置１及び紙媒体３を使用しないときには、第１の筐体２ａと第２の筐体２ｂとを留め部２ｄで固定してバインダ２の開きを防ぐようにしている。また、第１の筐体２ａ上には紙媒体３が配置され、第２の筐体２ｂ上にはタブレット端末装置１が配置されている。また、タブレット端末装置１の表面側においてヒンジ部２ｃの反対側端部の中央部分には、第１の筐体２ａを被写体としてその全体を撮影することによりその紙媒体３に記載されている情報（文字、図表、画像など）を光学的に読み取る書画カメラＣが備えられている。
【００１６】
書画カメラＣは、その光軸がタブレット端末装置１の表面（平面）に対して所定の角度（例えば、仰角２７°）となるように取り付けられ、また、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲となったときに、対面する第１の筐体（被写体）２ａの全体が撮影範囲内に含まれるようにその画角が設定されている。更に、書画カメラＣのフォーカス位置は、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲となったときに、第１の筐体２ａの平面中央部（被写体中央部）よりも遠端部側に設定されている。なお、書画カメラＣの取り付け角度（仰角２７°）、画角及びフォーカス位置は、第１の筐体（被写体）２ａの全体が撮影範囲に含まれ、その遠端部側から近端部側までの被写体の解像度（例えば、文字認識を行う場合などで必要な被写体部分の画素密度やコントラスト）が所定以上となるように設定されたものであるが、その値は、仰角２７°に限らず、書画カメラＣの撮影画素数、被写界深度、その他の条件に応じて適宜変更可能であることは勿論である。
【００１７】
タブレット端末装置１は、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲となったとき、第１の筐体（被写体）２ａの全体を撮影した撮影画像を保存対象の画像として書画カメラＣから取得するようにしている。例えば、図２に示すように、第２の筐体２ｂを机面などに載置した状態（タブレット端末装置１を水平に載置した状態）において、第１の筐体２ａが斜めに立ち上がっているときの角度（第１の筐体２ａの立ち上げ角度）が所定の角度範囲となったとき、つまり、紙媒体１２を撮影するのに適した最適角度を、例えば、７０°とすると、その最適角度を中心としてその前後の所定角度（例えば、±５°）の角度範囲（６５°〜７５°）になったときに、第１の筐体２ａの全体を撮影した撮影画像を保存対象の画像として書画カメラＣから取得するようにしている。
【００１８】
また、上記とは逆に、第１の筐体２ａを机面などに載置した状態で第２の筐体２ｂを斜めに立ち上げるように設置して利用することも可能である。ここで、第２の筐体２ｂに対する第１の筐体２ａの角度範囲（６５°〜７５°）は、上記いずれの利用形態であっても、（紙媒体１２を撮影するための操作画面や、書画カメラＣの撮影画像がライブビュー表示される）タブレット端末装置１の画面（後述するが、タブレット端末装置１の表面側のタッチ表示部）を見ながらユーザが紙媒体１２を撮影するための操作を行うのに適した角度範囲である。そして、書画カメラＣの取り付け角度（仰角２７°）は、第２の筐体２ｂに対する第１の筐体２ａの角度範囲（６５°〜７５°）に合わせて設定されたものである。なお、バインダ２が開いている状態から閉じる際に、第１の筐体２ａの立ち上げ角度が所定の角度範囲（６５°〜７５°）になると、ヒンジ部２ｃ内の係止機構（図示省略）の働きによって引っかかり感と共にクリック音が発生するようになっているが、この引っかかりに抗して更に第１の筐体２ａを動かすことによって完全に閉じることか可能となっている。
【００１９】
第１の筐体２ａ上の紙媒体３は、一枚のシート状の用紙であってもよいし、書籍のように冊子の状態（製本状態）であってもよいが、第１の筐体２ａ上に着脱自在に装着されたもので、交換可能となっている。なお、所定サイズの用紙であれば、第１の筐体２ａとの位置関係が所定状態となるような位置決め機構を備えているが、位置関係を所定状態とすることができれば、紙媒体３の装着の仕方は、第１の筐体２ａの表面に紙媒体３の四隅を留めるなど、任意である。また、第１の筐体２ａの表面上には紙媒体３を囲むようにその外側に複数のマーク（指標）Ｍが配置されている。すなわち、複数のマークＭが所定の規則性を持った並びで紙媒体３を囲むようにその周辺部に配置（印刷形成）されている。複数のマークＭは、後述するが、第１の筐体（被写体）２ａの状態を判定したり、撮影画像の状態を判定したりする際に用いられる状態判定用の指標である。
【００２０】
図３は、第１の筐体２ａの表面に印刷形成された複数のマークＭを説明するための図である。
第１の筐体２ａの表面上（見開き平面上）においてヒンジ部２ｃの反対側端部には、その端辺に沿って直線的に複数のマークＭが印刷形成されている。なお、図示の例では、この複数のマークＭが第１の筐体２ａの上部領域に配置されているため、便宜上、上マーク列（第１の指標）Ｍ−１と総称する。また、第１の筐体２ａの見開き平面上においてその両側端部には、その端辺に沿って直線的に配列された複数のマークＭが印刷形成されている。なお、図示の例では、この複数のマークＭが第１の筐体２ａの左部領域及び右部領域に配置されているため、便宜上、左マーク列（第２の指標）Ｍ−２及び右マーク列（第２の指標）Ｍ−３と総称する。
【００２１】
各マークＭは、二色（白黒）の正方形を交互に配置した市松模様を例示したもので、二色（白黒）の正方形を２×２のマトリックス状に配置した構成となっている。また、上マーク列Ｍ１−１は、同一同大の１０個のマークＭを等間隔に直線配列した構成となっており、左マーク列Ｍ−２、右マーク列Ｍ−３は、同一同大の８個のマークＭを等間隔に直線配列した構成となっている。このように第１の筐体２ａの表面上（見開き平面上）には、例えば、Ａ５サイズの紙媒体３の周辺部（３辺）を囲むように、上マーク列Ｍ１−１、左マーク列Ｍ−２、右マーク列Ｍ−３がそれぞれ配置されている。なお、各列のマーク数は、上述の例に限らず、紙媒体３のサイズやマークＭの大きさなどに応じて任意であるが、第１の筐体２ａに反射光が当たったり、第１の筐体２ａの全体が捻じれたりするなどの要因で、一部のマークＭが映らなくなることを防ぐために適し、かつデザイン的にも優れたマーク数となっている。
【００２２】
タブレット端末装置１は、その書画カメラＣによって第１の筐体２ａを被写体として撮影した撮影画像を取得しながらその撮影画像を解析することにより撮影画像内のマークＭを認識してその位置を検出し、そのマークＭの位置に基づいて、第１の筐体（被写体）２ａの状態を判定するようにしている。すなわち、撮影画像内の上マーク列（第１の指標）Ｍ−１を認識してそのマークＭの位置を検出すると共に、この上マーク列Ｍ−１の各マーク位置に基づいて、第１の筐体２ａ（被写体）と書画カメラＣとの角度が所定の角度範囲となる状態第１の筐体（被写体）２ａの状態として判定するようにしている。この実施形態では、第１の筐体２ａの立ち上げ角度が所定の角度範囲（例えば、６５°〜７５°）となる状態を被写体の状態として判定するようにしている。
【００２３】
なお、第１の筐体（被写体）２ａの状態を示す角度を、第１の筐体２ａの立ち上げ角度としているが、これに限らず、その立ち上げ角度に相当する角度として、書画カメラＣの光軸が第１の筐体（被写体）２ａの表面（見開き平面）に交差する角度であってもよく、第１の筐体２ａと第１の筐体２ａとの見開き角度であってもよいが、本実施形態においては、第１の筐体２ａの立ち上げ角度をその状態を示す角度としている。
【００２４】
そして、タブレット端末装置１は、上述のように第１の筐体２ａの立ち上げ角度が所定の角度範囲となる状態を判定すると、更に、撮影画像内における複数のマークＭの位置関係に基づいて、撮影画像の状態を判定するようにしている。すなわち、撮影画像内の上マーク列（第１の指標）Ｍ−１、左マーク列（第２の指標）Ｍ−２、右マーク列（第２の指標）Ｍ−３を検出すると共に、検出した上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３の位置関係に基づいて撮影画像の歪状態、つまり、撮影角度や捻じれに応じて変化する幾何学的な画像歪の状態を判定するようにしている。これによって判定した画像の歪状態に基づいて撮影画像に対して射影変換処理（捻じれが無ければ台形歪補正処理でも可）を行い、その変換後の画像を記録保存の対象として指定するようにしている。ここで、上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３を検出した検出結果の中に多少の誤検出が含まれていたとしても、正しい結果だけを残すことによって正しい幾何変換パラメータを推測して、射影変換処理（台形歪補正処理）を行うようにしている。
【００２５】
図４は、タブレット端末装置１の基本的な構成要素を示したブロック図である。
制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこのタブレット端末装置１の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、図５〜図８に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ１３ａと、このタブレット端末装置１が動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリ１３ｂなどを有している。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
【００２６】
操作部１４は、押しボタン式のキーとして、図示省略したが、電源をオン／オフさせる電源キー、書画カメラＣを動作させて書画モード（動作モード）に切り替えるモードキーなどを備えている。タッチ表示部１５は、表示パネル１５ａにタッチパネル１５ｂを積層配設した構成で、表示パネル１５ａは、縦横比（例えば、横４：縦３）の異なる画面を有した高精細液晶ディスプレイであり、タッチパネル１５ｂは、撮影者の指などでタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗膜方式を採用しているが、その他の方式であってもよい。
【００２７】
書画カメラＣは、画像読取機能を構成するもので、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なデジタルカメラ部で、撮影レンズ、撮像素子、各種のセンサ、アナログ処理部、デジタル処理部を有している。書画カメラＣは、オートフォーカス機能などを備え、そのフォーカス位置は、図２に示すように、第１の筐体２ａが立ち上がっている状態において、第１の筐体２ａの表面（見開き平面）の中央部よりも、やや遠端部側に設定するようにしているが、これは次の理由による。すなわち、近端側については遠端側よりも文字などが大きく写るので多少ボケていても相対的に文字を認識しやすいが、遠端側についてはボケてしまうと文字を認識しづらくなるため、近端側と遠端側の文字の認識しやすさを合わせる関係で見開き平面の中央部（被写体中央部）より遠端側にフォーカス位置を設定するようにしている。無線ＬＡＮ（Local  Area  Network）通信部１６は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線ＬＡＮルータ（図示省略）を介してインターネットに接続可能となっている。
【００２８】
次に、本実施形態における画像処理装置（タブレット端末装置１）の動作概念を図５〜図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図５〜図８は、画像処理装置（タブレット端末装置１）の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図５〜図８のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。
【００２９】
図５は、モードキー操作により書画モードに切り替えられた際に実行開始される画像処理装置（タブレット端末装置１）の動作（本実施形態の特徴的な動作）を説明するためのフローチャートである。
先ず、タブレット端末装置１の制御部１１は、書画モードに切り替えられている状態においてモードキーが操作されて書画モードが解除されたか（書画モードの終了か）を調べる（ステップＡ１）。いま、書画モードであれば（ステップＡ１でＮＯ）、この書画カメラＣから画像（スルー画像あるいはライブビュー画像）を取得（ステップＡ２）した後、その取得画像を解析することにより上マーク列Ｍ−１を検出する上マーク列検出処理を行う（ステップＡ３）。なお、上マーク列検出処理は、後述する射影変換のための検出に比べて簡易な検出であるために簡易検出処理と呼称する場合がある。
【００３０】
図６は、上マーク列検出処理（簡易検出処理、図５のステップＡ３を詳述するためのフローチャートである。
先ず、制御部１１は、書画カメラＣから取得した撮影画像（入力画像）を解析することによりその中からテンプレート（予め用意されているマークＭの比較基準画像）に近似した画像部分が含まれているかを探し出す処理（テンプレートマッチング：パターンマッチング）を行うことによって撮影画像内の上マーク列Ｍ−１に対する個々のマークＭを検出する（ステップＢ１）。その際、テンプレートに対して許容範囲内の変化（近似）であれば、マークＭとして検出（認識）するようにしている。
【００３１】
図９は、本実施形態のテンプレートマッチングの特徴を説明するための図である。
マークＭの個々は、複数の図形を交互にマトリックス状に配置した模様、つまり、二色（白黒）の正方形を２×２のマトリックス状に交互に配置した市松模様の指標であるが、このマークＭのテンプレート（比較基準画像）Ｔは、この実際のマークＭの全体形状とは異なり、実際のマークＭの中心部分に近似した部分画像であり、実際のマークＭの全体に対して模様的に自己相似となっている。
【００３２】
すなわち、テンプレートＴは、実際のマークＭの中心部分に相当する部分画像である。ここで、第１の筐体２ａの立ち上げ角度として、紙媒体３を撮影するのに適した角度範囲を、最大角度７５°から最小角度６５°の範囲とすると、この最大角度７５°で撮影された画像内のマークＭの形状は、正方形の実際のマークＭと比べると、図９（１）に示すように、左右両辺が斜めで上辺が短く、底辺が長く、全体形状がやや台形となり、更にはその上下方向がつぶれた（縮んだ）状態となる。また、最適角度７０°、最小角度６５°で撮影された画像内のマークＭの形状は、図９（２）、（３）に示すように、その角度が小さくなるにしたがって、更に台形の度合いが大きくなって上下方向へのつぶれ具合が大きくなる。この場合、実際のマークＭの全体形状が正方形であるのに対して、テンプレートＴの全体形状は、実際のマークＭの大きさよりも小さく、その縦方向がつぶれた形状の長方形となっている。
【００３３】
このように第１の筐体２ａの立ち上げ角度に応じて撮影画像内のマークＭの形状は、幾何学的な歪によって大きく変化するようになるが、その中心部分の模様に関しては、その立ち上げ角度が変化したとしても、それらは近似した模様となっているので、最大角度７５°、最適角度７０°、最小角度６５°で撮影された画像の中心部分、つまり、図９（１）〜（３）に示した破線の矩形（横長の長方形）を本実施形態のテンプレートＴとして使用するようにしている。この画像中心部分の横長の長方形は、最小角度６５°で撮影された画像内のマークＭよりも若干小さ目で、二色（白黒）の長方形を２×２のマトリックス状に交互に配置した市松模様となっている。すなわち、テンプレートＴのサイズは、最小角度６５°で撮影された画像内のマークＭよりもその横幅及び縦幅が小さくなっている。
【００３４】
なお、最大角度７５°、最適角度７０°、最小角度６５°で撮影された画像の中心部分から横長の長方形を切り出し、それらを平準化した模様（幾何学的歪を含んでいる模様）を本実施形態のテンプレートＴとして使用するようにしてもよい。この場合、最大角度７５°〜最小角度６５°の角度範囲であれば、現在の立ち上げ角度が何度であるかに関わらず、例えば、最適角度７０°、最小角度６５°毎のように、撮影角度毎に別々のテンプレートを使用せず、同じテンプレートＴを共通に使用してテンプレートマッチングを行うようにしている。
【００３５】
このようなテンプレートマッチングによって各マークＭが検出されるが、その検出結果には誤検出（不検出、過剰検出）も含まれることが多い。このような場合、各検出点（マーク候補点）の中から正しい点（マークＭ）を選び出すようにしているが、その際、上マーク列Ｍ−１を構成する各マークＭは、直線上に配列されていること及び等間隔で配列されていることを利用し、ＲＡＮＳＡＣ（Random  Sample  Consensus）法のアルゴリズムによって各検出点（マーク候補点）の中から直線を検出すると共に、その直線上の等間隔点を検出することにより上マーク列Ｍ−１を検出（認識）するようにしている。
【００３６】
すなわち、上述のテンプレートマッチングにより検出した各検出点（マーク候補点）からランダムに２点を選択して（ステップＢ２）、その２点を通る直線を算出し（ステップＢ３）、その直線上に並んでいる検出点の数を計数する（ステップＢ４）。そして、このような処理を指定回数（処理速度と処理精度との兼ね合いで決められた回数）行ったかを調べ（ステップＢ５）、指定回数行うまで上述のステップＢ２に戻り、２点を通る直線を求めて、この直線上に並んでいる検出点の数を計数する処理を繰り返す（ステップＢ２〜Ｂ４）。ここで、指定回数分の処理が終わると（ステップＢ５でＹＥＳ）、ランダムに求めた各直線の中から最も多く検出点が並んでいる直線を選択して（ステップＢ６）、そのカウント値（検出点数）を取得し（ステップＢ７）、その検出点数は、所定の閾値以上であるか、例えば、上マーク列Ｍ−１のマーク数の２／３以上であるかを調べる（ステップＢ８）。
【００３７】
いま、検出点数が閾値未満であれば（ステップＢ８でＮＯ）、上マーク列Ｍ−１を検出することができなかったものとして検出ＮＧ終了となり、図５のフローから抜けるが、検出点数が閾値以上であれば（ステップＢ８でＹＥＳ）、上マーク列Ｍ−１を正常に検出することができた可能性が高い場合であるから次のステップＢ９に移る。この場合、マークＭが配置されている第１の筐体（被写体）２ａは、例えば、厚紙などの板部材に合成樹脂シートを貼り合せた構成であり、その一部が僅かにでも撓んだり、捻じれたりするなどして、書画カメラＣに対して第１の筐体（被写体）２ａが正対していないこともある。
【００３８】
このような状態でも対応可能とするために、検出点の数だけで上マーク列Ｍ−１を検出するのではなく、各検出点が並んでいる状態をも考慮して上マーク列Ｍ−１を検出するようにしているが、その際、上述のようにして検出した各検出点の中から等間隔に並んでいる検出点を選択する処理を行う。この場合、どの位置を基準として、その基準位置からどの位の間隔に並んでいる検出点を選択するかは不明であるため、その選択処理に先だって、上マーク列Ｍ−１に相応しい基準位置と間隔を探す探索処理を行うようにしている（ステップＢ９〜Ｂ１４）。
【００３９】
すなわち、基準位置及び間隔の初期値として任意の値を設定（ステップＢ９）した後、その基準位置から等間隔に点を打ち（ステップＢ１０）、その打った点と検出点とが一致する点の数をカウントする（ステップＢ１１）。そして、このような処理を指定回（例えば、３回）行ったかを調べ（ステップＢ１２）、指定回数行われなければ（ステップＢ１２でＮＯ）、基準位置及び間隔の設定値を変更（ステップＢ１３）した後、上述のステップＢ１０に戻り、以下、変更後の基準位置から等間隔に点を打ち、その打った点と検出点とが一致する点の数をカウントする処理を繰り返す（ステップＢ１０〜Ｂ１３）。
【００４０】
図１０は、基準位置及び間隔の設定値を変更しながら打った点と検出点との一致数をカウントした場合を例示した図である。
図中、「黒丸」は、直線上の各検出点を示し、「白丸」は、直線上の基準位置から等間隔に打った点を示し、更に、図示の例では、直線的に８個の検出点（黒丸）が並んでいる状態を示し、各検出点の列は、その一部が等間隔に並んでいない場合、つまり、誤検出（不検出）が発生している場合を例示している。図中、一行目の白丸列（打った点列）は、撮影画像の中心位置を基準位置ｂ０とし、この基準位置ｂ０から間隔ｄ０毎に点を打った状態を示している。
【００４１】
なお、上マーク列Ｍ−１が存在している可能性のある箇所は、撮影画像の中心部であると想定して、その中心部を基準位置ｂ０としたが、基準位置ｂ０は、それに限らず、例えば、検出点の列の中心点、検出点の列の右端あるいは左端であってもよい。また、間隔ｄ０は、紙媒体３の撮影に適した第１の筐体（被写体）２ａの状態として、第１の筐体２ａの立ち上げ角度が所定角度（最適角度７０°）でのマークＭの間隔である。二行目の白丸列（打った点列）は、一行目に対して基準位置ｂ０を変更せず、間隔ｄ０を間隔ｄ１に変更した場合であり、基準位置ｂ０から間隔ｄ１毎に点を打った状態を示している。三行目の白丸列（打った点列）は、一行目に対して間隔ｄ０を変更せず、基準位置ｂ０を基準位置ｂ１に変更した場合であり、基準位置ｂ１から間隔ｄ０毎に点を打った状態を示している。
【００４２】
このような、基準位置と間隔との組み合わせを所定範囲内で変更しながら指定回数分の処理が終わると（ステップＢ１２でＹＥＳ）、打った点と検出点とが一致する点の数が最も多いときの基準位置及び間隔を選択する（ステップＢ１４）。図１０の例では、一行目の間隔ｄ０、基準位置ｂ０で点を打った点列では８点が一致し、二行目の間隔ｄ１、基準位置ｂ０で点を打った点列では２点が一致し、三行目の間隔ｄ０、基準位置ｂ１で点を打った点列では０点が一致しているため、その中で一致する点の数が最も多いときの間隔ｄ０、基準位置ｂ０を選択する。
【００４３】
そして、選択した間隔ｄ０、基準位置ｂ０のときの一致する検出点数を取得し（ステップＢ１５）、その検出点数は閾値以上であるか、例えば、上マーク列Ｍ−１のマーク数の２／３以上であるかを調べ（ステップＢ１６）、閾値以上であれば（ステップＢ１６でＹＥＳ）、上マーク列Ｍ−１を正常に検出することができたものとして検出ＯＫ終了となり、図６のフローから抜けるが、検出点数が閾値未満であれば（ステップＢ１６でＮＯ）、上マーク列Ｍ−１を検出することができなかったものとして検出ＮＧ終了となり、図６のフローから抜ける。なお、上記の検出処理では、ステップＢ２からステップＢ６までの直線の検出処理と、ステップＢ９からステップＢ１４までの間隔と基準位置の検出処理とを別々に行うことで、一度に変化させるパラメータの数を制限してＲＡＮＳＡＣのアルゴリズムにおける処理効率を向上させるようにしたが、直線、間隔、基準位置の３つのパラメータを同時に変化させて検出処理を行うようにしてもよい。上記の処理により、誤検出（不検出、過剰検出）を含んで検出される複数のマークＭの中から、上マーク列に対応するマークＭだけが選択される。
【００４４】
このようにして上マーク列検出処理（簡易検出：図５のステップＡ３）が終わると、上マーク列Ｍ−１が撮影画像内において所定の検出エリア内に位置しているかに応じて、所定の状態（第１の筐体２ａの立ち上げ角度が６５°〜７５°の角度範囲内となった状態）であるかを判別する（ステップＡ４）。
図１１は、第１の筐体２ａの立ち上げ角度に応じて撮影画像内の上マーク列Ｍ−１の映り具合が変化している様子を説明するための図で、その一部拡大図を含む。
【００４５】
第１の筐体２ａの立ち上げ角度が大きくなるに応じて撮影画像内の上マーク列Ｍ−１の位置が変化し、図中、撮影画像内において上方向へ移動するようになる。制御部１１は、上マーク列Ｍ−１の位置変化を認識することによってその位置から所定の状態（立ち上げ角度が６５°〜７５°の範囲内となった状態）であるか否かを判別する。この場合、撮影画像内の固定的に決められている位置にマーク検出エリアＤを設け、このマーク検出エリアＤ内に上マーク列Ｍ−１が収まったか否かに基づいて所定の状態（所定の角度範囲）になったか否かを判別するようにしている。
【００４６】
いま、マーク検出エリアＤ内に上マーク列Ｍ−１が収まっていないときには、つまり、第１の筐体２ａの立ち上げ角度の範囲が６５°〜７５°から外れているときには（ステップＡ４でＮＯ）、上述のステップＡ１に戻るが、マーク検出エリアＤ内に上マーク列Ｍ−１が収まり、第１の筐体２ａの立ち上げ角度の範囲が６５°〜７５°になったときには（ステップＡ４でＹＥＳ）、第１の筐体２ａが静止したかを調べる（ステップＡ５）。この場合、マーク検出エリアＤ内の上マーク列Ｍ−１の収まり状態から第１の筐体２ａが静止したかを調べ、静止するまで待機状態となる。いま、第１の筐体２ａの静止を検出したときには（ステップＡ５でＹＥＳ）、書画カメラＣに対して撮影指示を与え、それに応答して書画カメラＣによって撮影された画像を取得する（ステップＡ６）。この場合、書画カメラＣのフォーカス位置は、第１の筐体２ａの見開き平面の中央部よりも遠端部側に設定されている。その後、上マーク・左右マーク列検出処理（射影変換のための検出処理）に移る（ステップＡ７）。
【００４７】
図７は、上マーク・左右マーク列検出処理（射影変換のための検出処理：図５のステップＡ７）を詳述するためのフローチャートである。なお、上述した上マーク列検出処理（ステップＡ３）は、第１の筐体２ａの立ち上げ角度が所定角度範囲となるタイミングを判定するために上マーク列Ｍ−１を検出するようにしたが、この上マーク・左右マーク列検出処理（ステップＡ７）は、射影変換処理（台形歪補正処理）用として撮影画像の歪状態を判定するために上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３を検出する処理（射影変換のための検出処理）である。
【００４８】
先ず、制御部１１は、上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３のいずれかを処理対象として指定する（ステップＣ１）。最初は、上マーク列Ｍ−１を処理対象として指定する。そして、テンプレートマッチングにより上マーク列Ｍ−１を構成する各マークＭをそれぞれ検出（ステップＣ２）した後、この各検出点（マーク候補点）からランダムに２点を選択すると共に（ステップＣ３）、その２点を通る直線を算出し（ステップＣ４）、その直線上に並んでいる検出点の数を計数する（ステップＣ５）。そして、このような処理を指定回数分行うと（ステップＣ６でＹＥＳ）、最も多く検出点が並んでいる直線を選択し（ステップＣ７）、そのカウント値（検出点数）を取得する（ステップＣ８）。
【００４９】
このようにして一つの処理対象に対する処理が終わると、全ての処理対象を指定し終わったかを調べるが（ステップＣ９）、いま、最初に上マーク列Ｍ−１を指定した場合であるから、上述のステップＣ１に戻り、次の処理対象として左マーク列Ｍ−２を指定した後、上述と同様の処理を左マーク列Ｍ−２に対して行う（ステップＣ２〜Ｃ８）。これによって左マーク列Ｍ−２に対する処理が終わると、次に、右マーク列Ｍ−３を処理対象として指定した後（ステップＣ１）、上述と同様の処理を右マーク列Ｍ−３に対して行う（ステップＣ２〜Ｃ８）。
【００５０】
これによって撮影画像内において、上マーク列Ｍ−１、左マーク列Ｍ−２、右マーク列Ｍ−３をそれぞれ検出した場合、つまり、全ての処理対象を指定し終わった場合には（ステップＣ９でＹＥＳ）、左マーク列Ｍ−２及び右マーク列Ｍ−３のカウント値（検出点数）は、閾値以上であるか、例えば、対応する左マーク列Ｍ−２、右マーク列Ｍ−３のマーク数の２／３以上であるかを調べる（ステップＣ１０）。ここで、各検出点数が閾値未満であれば（ステップＣ１０でＮＯ）、左マーク列Ｍ−２及び右マーク列Ｍ−３が存在していない場合、あるいは存在していてもそれらを正常に認識することができずに検出不能となった場合である。
【００５１】
いま、左マーク列Ｍ−２、右マーク列Ｍ−３のマーク数（検出点数）が閾値以上であれば（ステップＣ１０でＹＥＳ）、検出した上マーク列Ｍ−１の直線と左マーク列Ｍ−２の直線が交差する交点と、上マーク列Ｍ−１の直線と右マーク列Ｍ−３の直線が交差する交点をそれぞれ求める（ステップＣ１１）。そして、この二つの交点を直線で結び、そのいずれかの交点を基準位置として、その直線上に基準位置（交点）から所定間隔（初期値）毎に点を打つ（ステップＣ１２）。図１２は、上マーク列Ｍ−１の直線と左マーク列Ｍ−２の直線とが交差する交点（黒丸）を示すと共に、上マーク列Ｍ−１の直線と右マーク列Ｍ−３の直線とが交差する交点（黒丸）を示し、更に、いずれかの交点（黒丸）から所定間隔（初期値）毎に打った各点（白丸）を示した図であり、これら二つの交点（黒丸）の間に８個の点を等間隔毎に打った場合を示している。
【００５２】
そして、各検出点が打った点の何番目に当たるかを決めることによって、各検出点の中から誤検出（不検出、過剰検出）を全て除外する（ステップＣ１３）。すなわち、各検出点の中から複数のマークＭの並びに近似した配置関係にある各検出点の個々をそれぞれ特定することによってその他の検出点を全て除外する。これによって特定した各検出点と射影変換（台形歪補正）後の座標とを対応させることにより射影変換（台形歪補正）処理のパラメータ（幾何学変換パラメータ）を得る（ステップＣ１４）。
【００５３】
上記のように、上マーク列Ｍ−１に対応する複数のマークＭの決定においては、上マーク列Ｍ−１の直線に対する左マーク列Ｍ−２及び右マーク列Ｍ−３の各々の直線との交点を基準位置として一意に決定することができ、この２つの基準位置に挟まれるマークＭの個数も予めわかっているので、間隔についても一意に決定することが可能となるため、間隔と基準位置の探索処理は不要となる。なお、上マーク列Ｍ−１に対応する複数のマークＭの決定において、上記交点の位置情報を用いずに間隔と基準位置の探索処理を行うようにしてもよい。
このようにして上マーク列Ｍ−１に対する処理が終わると、図８のフローに移り、左マーク列Ｍ−２、右マーク列Ｍ−３に対する処理（射影変換のための検出処理）を行う。
【００５４】
先ず、左マーク列Ｍ−２、右マーク列Ｍ−３のいずれかを処理対象として指定する（ステップＣ２０）。いま、左マーク列Ｍ−２を指定した場合には、この左マーク列Ｍ−２に相応しい基準位置と間隔を探す探索処理（ステップＣ２１〜Ｃ２６）を行う。この探索処理は、上述した図５のステップＢ９〜Ｂ１４と基本的には同様であり、基準位置及び間隔の初期値を設定（ステップＣ２１）した後、その基準位置から等間隔に点を打ち（ステップＣ２２）、その打った点と検出点とが一致する点の数をカウントする（ステップＣ２３）。そして、基準位置及び間隔の設定値を変更しながら（ステップＣ２５）、上述の処理を指定回数分繰り返す（ステップＣ２２〜Ｃ２５）。この場合、処理対象として指定された側の交点を基準位置として設定することで、間隔のみを変更するようにしてもよい。次に、打った点と検出点とが一致する点の数が最も多いときの基準位置及び間隔を選択する（ステップＣ２６）。
【００５５】
次に、選択した間隔、基準位置のときの一致する検出点数を取得する（ステップＣ２７）。そして、次に、各検出点が打った点の何番目に当たるかを決めることによって、各検出点の中から誤検出（不検出、過剰検出）を全て除外（ステップＣ２８）した後、この何番目に当たる点かによって、各検出点と射影変換（台形歪補正）後の座標とを対応させることにより射影変換（台形歪補正）処理の幾何変換パラメータを得る（ステップＣ２９）。このようにして左マーク列Ｍ−２に対する処理が終わると、全処理対象を指定し終わったかを調べるが（ステップＣ２８）、いま、右マーク列Ｍ−３に対しては未処理であるので（ステップＣ３０でＮＯ）、上述のステップＣ２０に戻り、右マーク列Ｍ−３を処理対象として指定した後、上述のステップＣ２１〜Ｃ２９を繰り返す。その後、図８のフローの終了となる。
【００５６】
一方、左マーク列Ｍ−２及び右マーク列Ｍ−３のカウント値（検出点数）が閾値未満であれば（図７のステップＣ１０でＮＯ）、左マーク列Ｍ−２及び右マーク列Ｍ−３が存在していない場合、あるいは存在していてもそれらを正常に認識することができずに検出不能となった場合であるから、次のステップＣ１５に移り、上マーク列Ｍ−１に相応しい基準位置と間隔を探しながらそのときの検出点数を取得する処理を行う。この処理は、上述した図５のステップＢ９〜Ｂ１５と同様であり、基準位置及び間隔の初期値を設定した後、その基準位置から等間隔に点を打ち、その打った点と検出点とが一致する点の数をカウントする。そして、基準位置及び間隔の設定値を変更しながら、上述の処理を指定回数分繰り返した後、打った点と検出点とが一致する点の数が最も多いときの基準位置及び間隔を選択する。
【００５７】
そして、選択した間隔、基準位置のときの一致する検出点数を取得（ステップＣ１６）した後、各検出点が打った点の何番目に当たるかを決めることによって、各検出点の中から誤検出（不検出、過剰検出）を全て除外する（ステップＣ１７）。その後、この何番目に当たる点かによって、各検出点と射影変換（台形歪補正）後の座標とを対応させることにより射影変換（台形歪補正）処理の幾何変換パラメータを得る（ステップＣ１８）。そして、上述のようにして検出した上マーク列Ｍ−１だけを使用して射影変換を行うが、射影変換には、少なくとも４点が必要であり、それらの点は同一直線上に存在していないことが条件とされるため、左マーク列Ｍ−２及び右マーク列Ｍ−３が存在していない場合やそれを正しく認識することができなかった場合には、ヒンジ部２ｃに複数（２つ以上）の仮の固定点（仮想マーク）を設定することにより（ステップＣ１９）、上マーク列Ｍ−１の検出点も含めて、同一直線上に存在していない４点以上の点を確保するようにしている。
【００５８】
図１３は、ヒンジ部２ｃに仮の固定点（仮想マーク）Ｆを設定した状態を説明するための図である。
仮の固定点（仮想マーク）Ｆは、第１の筐体２ａの立ち上げ角度がどのように変化しても常に同じ位置に存在している必要があるために、ヒンジ部２ｃの軸上に仮の固定点（仮想マーク）Ｆを設定するようにしているが、その際、ヒンジ軸の両端部に仮の固定点Ｆを一つずつ配置するようにしている。なお、ズーム機能に対応するためには、ズーム段毎に仮の固定点Ｆの座標を決めておき、現在のズーム段に対応する座標値を設定するようにしている。このようにヒンジ軸の両端部に仮の固定点Ｆを一つずつ配置することにより上マーク列Ｍ−１の検出点も含めて、４点以上の点が確保されることになる。
【００５９】
このようにして上マーク・左右マーク列検出処理（射影変換のための検出処理：図５のステップＡ７）が終わると、上述の射影変換（台形歪補正）処理用のパラメータに基づいて射影変換（台形歪補正）処理を行い（図５のステップＡ８）、その変換後（補正後）の撮影画像を圧縮処理して、ＳＤカードなどに記録保存させる処理に移る（ステップＡ９）。そして、第１の筐体２ａが動かされてその立ち上げ角度が変化することにより、上マーク列Ｍ−１がマーク検出エリアＤから外れたかを調べ（ステップＡ１０）、マーク検出エリアＤ内のままであれば（ステップＡ１０でＮＯ）、外れるまで待機状態となる。ここで、上マーク列Ｍ−１がマーク検出エリアＤから外れると（ステップＡ１０でＹＥＳ）、上述のステップＡ１に戻り、書画モードが解除されたかを調べ、モード解除により書画モードが終了したときには（ステップＡ１でＹＥＳ）、図５のフローから抜ける。
【００６０】
以上のように、本実施形態において画像処理装置（タブレット端末装置１）は、複数の指標（マークＭ）が所定の並びで配置されている被写体（第１の筐体２ａ）が書画カメラによって撮影された場合に、パターンマッチング用のテンプレートＴを使用して、撮影画像内よりテンプレート（比較基準画像）Ｔと一致する部分を認識することによりその個々の位置をそれぞれ検出すると共に、各検出点の中から所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定し、その特定に基づいて所定の処理を行うようにしたので、例えば、パターンマッチング時に誤検出（不検出、過剰検出）が発生したり、複数のマークＭの一部が反射光や画角などによって撮影されなかったり、撮影状態が悪くなったりしても撮影画像内より検出された複数のマークＭの位置に基づいた被写体の状態判定や撮影画像の状態判定をより確実に行うことができ、複数の指標の位置に基づいて行われる各種処理において、撮影状態などが悪条件であってもより安定的で妥当性のある処理結果を得ることが可能となる。
【００６１】
複数のマークＭが直線状に所定間隔毎に並んで被写体に配置されている状態において各検出点の中から直線状の所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定するようにしたので、並びの規則性（直線及び間隔）から複数のマークＭを容易かつ確実に特定することが可能となる。上記のことを言い換えると、個々のマークＭの検出精度が悪くても、所定の位置関係で並んだ複数のマークＭを特定できるので、個々のマークＭの形状をより単純なものとして、個々のマークＭの検出処理をより簡易化（高速化）したり、検出精度を低下させたりすることなく、個々のマークＭの検出状態（撮影状態）の自由度を向上させることが可能になる。
【００６２】
複数のマークＭが所定の規則性を持った並びのマーク列Ｍ−１、Ｍ−２、Ｍ−３が被写体（第１の筐体２ａ）を囲むようにその周辺部（上左右の各辺部）に配置されている状態において、各検出点の中からマーク列Ｍ−１、Ｍ−２、Ｍ−３の並びに近似した配置関係にある各検出点の個々をそれぞれ特定するようにしたので、複数のマークＭの規則性としてマーク列Ｍ−１、Ｍ−２、Ｍ−３の配置関係も考慮することができ、マークＭの特定が更に容易かつ確実なものとなる。
【００６３】
複数のマークＭが所定の間隔毎に並んで被写体（第１の筐体２ａ）を囲むように第１の方向（水平方向）及び第２の方向（垂直方向）に配置されている状態において、各検出点の中から水平方向及に垂直方向に配置されている各検出点を認識してその方向に延びる直線の交点を基準として、その交点から所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定するようにしたので、台形歪補正に必要な各検出点を容易かつ確実に特定することができる。
【００６４】
複数のマークＭが所定の間隔毎に並んで被写体（第１の筐体２ａ）を囲むように第１の方向（水平方向）及び第２の方向（垂直方向）に配置されている状態において、各検出点の中から水平方向に配置されている各検出点を認識してその方向に延びる直線を特定することができたが、垂直方向に配置されている各検出点を認識することができなかった場合に、垂直方向上の複数の所定位置に仮の固定点（仮想マーク）Ｆをそれぞれ設定し、仮の各固定点Ｆと水平方向の複数の検出点を、撮影画像の状態判定用として特定するようにしたので、左マーク列Ｍ−２及び右マーク列Ｍ−３が存在していない場合、あるいは存在していても正常に認識することができずに検出不能となった場合でも台形歪補正に必要な各検出点を特定することができる。
【００６５】
画像処理装置は、複数のマークＭが配置されている第１の筐体２ａと、第１の筐体２ａに装着されている被写体（紙媒体３）を撮影する書画カメラＣを備えた第２の筐体２ｂと、第１の筐体２ａと第２の筐体２ｂとを見開き状に開閉可能に連結する連結部（ヒンジ部２ｃ）を備えるようにしたので、例えば、第２の筐体２ｂが水平に載置されている状態において第１の筐体２ａの立ち上げ角度が所定の角度範囲になったときに、第１の筐体２ａ上の紙媒体３を撮影することができると共に、第１の筐体２ａと第２の筐体２ｂとの開閉を検出するのに開閉センサなどを使用しなくても、マークＭの検出のみでその開閉を正確に行うことが可能となる。
【００６６】
被写体と書画カメラＣとの角度が所定の範囲内に収まった状態を、被写体の状態として判定するようにしたので、例えば、角度センサなどを搭載しなくても撮影画像内のマークＭを検出するだけで撮影タイミングを精度良く判定することができる。
【００６７】
撮影画像の全部あるいはその一部が歪んでいる画像の幾何学的な歪状態を、撮影画像の状態として判定するようにしたので、書画カメラＣと被写体との角度が所定の角度範囲となったときに撮影された撮影画像の歪状態を精度良く判定することができ、その画像の状態に応じた画像処理（射影変換処理）をより正確に行うことが可能となる。
【００６８】
なお、上述した実施形態においては、第１の筐体２ａ上に紙媒体３を装着するようにしたが、第１の筐体２ａに紙媒体３を一体的に装着したものであってもよい。この場合、第１の筐体２ａを第２の筐体２ｂから取り外し可能（着脱可能）な構成とすればよい。
【００６９】
上述した実施形態においては、第１の筐体２ａの端部にマークＭを印刷するようにしたが、マークＭを第１の筐体２ａに貼り付けるようにしてもよく、また、紙媒体３の端部にマークＭを印刷するようにしてもよい。
【００７０】
上述した実施形態において各マークＭは、二色（白黒）の四角形を交互に配置した市松模様を２×２のマトリックス状に配置したが、マークの色、模様などは任意である。各マーク列Ｍ１−１、Ｍ１−２、Ｍ１−３は、複数のマークＭを等間隔に直線配列したが、その所定の規則性を持ったものであれば、その間隔及び配列も任意である。
【００７１】
上記実施形態では、筐体側に配置される側のマークＭのパターン形状を正方形とし、パターンマッチング用のテンプレート（比較基準画像）Ｔの方を、斜めから撮影した場合を考慮して長方形に変形したが、その逆に、パターンマッチング用のテンプレート（比較基準画像）Ｔを正方形とし、筐体側に配置される側のマークＭのパターン形状の方を、所定の角度で斜めから撮影した場合に正方形となるように予め歪ませたパターン形状としてもよい。また、この場合において更に、筐体側に配置される複数のマークＭの大きさを、所定の距離と角度で撮影された場合に全てのマークＭの大きさが均一となるように、予め調整して配置するようにしてもよい（撮影時にカメラ部から遠くに配置されているマークＭほど大きくなるように調整する）。
【００７２】
また、上記実施形態では、マークＭの市松模様の向きを全てのマークＭで共通するように配置したが、マークＭの市松模様の向きを所定部分で変化させるようにしてもよい。例えば上部に並んだ複数のマークＭの中央部でマークＭの向きを左右逆転するように配置しておけば、マークＭの向きが逆転する位置を複数のマークＭの並びの中央部分であると認識することが可能となる。
【００７３】
上述した実施形態の画像処理装置は、書画カメラＣと被写体との角度が所定の角度範囲であるか、つまり、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲内に収まったかを判定するようにしたが、書画カメラＣと被写体との距離が所定の範囲内に収まったかを判定するようにしてもよい。これによって被写体との距離（遠近法）に応じて例えば、正円が楕円となり、正方形が台形となる幾何学的な歪を精度良く補正することが可能となる。
【００７４】
上述した実施形態の画像処理装置は、その筺体全体を開閉可能なバインダ形式としたが、バインダ形式に限らず、例えば、スライド形式などであってもよい。また、上述した実施形態においては、画像処理として射影変換（台形歪補正）を行うようにしたが、台形歪補正に限らないことは勿論である。
【００７５】
上述した実施形態においては、第２の筐体２ｂに対する第１の筐体２ａの角度が所定の角度範囲が収まった際に、書画カメラＣが第１の筐体（被写体）２ａを撮影するようにしたが、例えば、連続撮影（高速撮影）が可能な書画カメラＣを使用し、所定の角度範囲が収まった際に、例えば、フレームレートが秒１５コマ（１５ｆｐｓ）で連続撮影し、その中から最適な画像を選択するようにしてもよい。この場合の選択は、ユーザ操作による選択のほか、画像解析などによる自動選択であってもよい。
【００７６】
また、画像処理装置は、第２の筐体２ｂを机面などに載置した状態において、第１の筐体２ａを斜めに立ち上げて撮影するようにしたが、これとは逆に、第１の筐体２ａを机面などに載置した状態において、第２の筐体２ｂを斜めに立ち上げて撮影するようにしてもよい。また、画像処理装置は、タブレット端末装置１とバインダ２とを一体化したものであってもよい。また、画像処理装置としてタブレット端末装置１を使用する場合を示したが、タブレット端末装置１に限らず、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・音楽プレイヤーなどであってもよい。
【００７７】
また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【００７８】
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得する取得手段と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得手段により取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する検出手段と、
前記検出手段により検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する特定手段と、
前記検出手段により検出された複数の検出点のうち、前記特定手段により特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う処理手段と、
を備えるようにしたことを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記処理手段は、複数の指標位置に基づいて前記被写体の状態あるいは前記撮影画像の状態を判定する判定処理を行う
ことを特徴とする画像処理装置である。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の画像処理装置において、
前記特定手段により前記複数の指標の並びに近似した配置関係にある各検出点が特定された場合に、前記処理手段による前記所定の処理を行わせる処理制御手段を更に備える、
ようにしたことを特徴とする画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の画像処理装置において、
前記特定手段は、前記複数の指標が直線状に所定間隔毎に並んで被写体に配置されている状態において、前記検出手段により検出された各検出点の中から直線状の所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する、
ようにしたことを特徴とする画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項４のいずれかに記載の画像処理装置において、
前記特定手段は、前記複数の指標が所定の規則性を持った並びで被写体を囲むようにその周辺部に配置されている状態において、前記検出手段により検出された各検出点の中から被写体を囲むように前記所定の規則性を持った並びに近似した配置関係にある各検出点の個々をそれぞれ特定する、
ようにしたことを特徴とする画像処理装置である。
（請求項６）
請求項６に記載の発明は、請求項５に記載の画像処理装置において、
前記特定手段は、前記複数の指標が所定の間隔毎に並んで被写体を囲むように第１の方向及び第２の方向に配置されている状態において、前記検出手段により検出された各検出点の中から前記第１の方向及に配置されている各検出点を認識してその方向に延びる直線を特定すると共に、前記第２の方向に配置されている各検出点を認識してその方向に延びる直線を特定した後、前記第１の方向の直線と前記第２の方向の直線との交点を基準として、その交点から前記所定間隔毎の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する、
ようにしたことを特徴とする画像処理装置である。
（請求項７）
請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記特定手段は、前記複数の指標が所定間隔毎に並んで被写体を囲むように第１の方向、第２の方向に配置されている状態において、前記検出手段により検出された各検出点の中から前記第１の方向に配置されている各検出点を認識してその方向に延びる直線を特定することができたが、前記第２の方向に配置されている各検出点を認識することができなかった場合に、前記第２の方向上の複数の所定位置に仮の固定点をそれぞれ設定し、前記仮の各固定点と前記第１の方向の複数の検出点を、前記撮影画像の状態判定用として特定する、
ようにしたことを特徴とする画像処理装置である。
（請求項８）
請求項８に記載の発明は、請求項１〜請求項７のいずれかに記載の画像処理装置において、
当該画像処理装置は、前記複数の指標が配置されている第１の筐体と、前記第１の筐体に装着されている被写体を撮影する撮像部を備えた第２の筐体と、前記第１の筐体と前記第２の筐体とを見開き状に開閉可能に連結する連結部とを備える、
ようにしたことを特徴とする画像処理装置である。
（請求項９）
請求項９に記載の発明は、請求項１〜請求項８のいずれかに記載の画像処理装置において、
前記判定手段は、前記被写体に対する撮影距離又は撮影角度が所定の範囲内に収まった状態を、前記被写体の状態として判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項１０）
請求項１０に記載の発明は、請求項１〜請求項９のいずれかに記載の画像処理装置において、
前記判定手段は、前記撮影画像の全部あるいはその一部が歪んでいる画像の幾何学的な歪状態を、前記撮影画像の状態として判定する、
ようにしたことを特徴とする画像処理装置である。
（請求項１１）
請求項１１に記載の発明は、
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得するステップと、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出するステップと、
前記検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定するステップと、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行うステップと、
を含むことを特徴とする画像処理方法である。
（請求項１２）
請求項１２に記載の発明は、
コンピュータに対して、
複数の指標が所定の並びで配置されている被写体を撮影した撮影画像を取得する機能と、
予め用意されているパターンマッチング用の比較基準画像を使用して、前記取得された撮影画像内より当該比較基準画像と一致する部分を認識することによりその個々の位置をそれぞれ検出する機能と、
前記検出された各検出点の中から前記所定の並びに近似した配置関係にある各検出点の個々をそれぞれ特定する機能と、
前記検出された複数の検出点のうち、前記特定された複数の検出点を前記被写体に配置された複数の指標の位置として、複数の指標位置に基づく所定の処理を行う機能と、
を実現させるためのプログラムである。
【符号の説明】
【００７９】
１  タブレット端末装置
２  バインダ
２ａ  第１の筐体
２ｂ  第２の筐体
２ｃ  ヒンジ部
３  紙媒体
１１  制御部
１３  記憶部
Ｃ  書画カメラ
Ｍ  マーク
Ｍ−１  上マーク列
Ｍ−２  左マーク列
Ｍ−３  右マーク列
【図１】
2014053738.tif 000003
【図２】
2014053738.tif 000004
【図３】
2014053738.tif 000005
【図４】
2014053738.tif 000006
【図５】
2014053738.tif 000007
【図６】
2014053738.tif 000008
【図７】
2014053738.tif 000009
【図８】
2014053738.tif 000010
【図９】
2014053738.tif 000011
【図１０】
2014053738.tif 000012
【図１１】
2014053738.tif 000013
【図１２】
2014053738.tif 000014
【図１３】
2014053738.tif 000015