(57)【要約】【課題】筆記者が手で書いている文字や絵などを、手などに装着したカメラを用いて連続的に撮像した複数の部分画像について、重複領域を検知し、その重複領域を重ね合わせることにより全体画像に再構成する場合に、特別な装置を装着したり特別な操作を行うことなく、重複領域の検出の妨げとなる要素を排除し、かつ、特徴量が少ない画像でも重複領域を精度よく検知可能とする。【解決手段】撮像した複数の部分画像の重複領域の検出の妨げとなる、手ぶれのある画像や画像内の手やペンが写りこんでいる部分を検出して除去し、かつ、特徴点として手書き線分のコーナー（交差点、端点、屈曲点）を利用する。【選択図】図２
2011248494.tif 000002
【特許請求の範囲】
【請求項１】
装着者が筆記する側の所定の部位に取り付けられたカメラから、その部位の動きに応じて連続的に撮像された複数の画像から大きな連結画像を合成する画像合成装置であって、
前記所定の部位の動きの激しさや位置を検出する信号入力手段を備えることを特徴とする画像合成装置。
【請求項２】
請求項１に記載の画像合成装置において、
前記信号入力手段は加速度センサであることを特徴とする画像合成装置。
【請求項３】
請求項１又は２に記載の画像合成装置において、
前記撮像された画像の背景が紙面やホワイトボードである場合に、当該紙面やホワイトボードの色を検出し、それと異なる色彩の画素を写り込み画像とみなして除去する前景除去手段を備えることを特徴とする画像合成装置。
【請求項４】
請求項３に記載の画像合成装置において、
画像を合成する手掛かりとなる特徴点として、輝度勾配ベースの局所特徴に加え、白黒２値図形に特徴的な、線の交差点、屈曲点、及び端点を抽出する特徴抽出手段と、
前記特徴点を用いて２つの画像間で重複する領域を検出することにより画像を合成する画像合成手段と、
を備えることを特徴とする画像合成装置。
【請求項５】
装着者が筆記する側の所定の部位に取り付けられたカメラから、その部位の動きに応じて連続的に画像を撮像する画像入力ステップと、
前記所定の部位の動きの激しさや位置を検出する信号入力ステップと、
信号入力ステップでの検出情報に基づき、画像入力ステップにて撮像された複数の画像から所望の画質の画像を選択する画像選択ステップと、
画像選択ステップにて選択された各画像の背景が紙面やホワイトボードである場合に、当該紙面やホワイトボードの色を検出し、それと異なる色彩の画素を写り込み画像とみなして除去する前景除去ステップと、
前景除去ステップで得られた各画像について特徴点を抽出する特徴抽出ステップと、
前記特徴点を用いて２つの画像間で重複する領域を検出し、当該領域が重なり合うように各画像を合成する画像合成ステップと、
を実行する画像合成方法。
【請求項６】
請求項５に記載の画像合成方法において、
特徴抽出ステップで抽出する特徴点は、輝度勾配ベースの局所特徴に加え、白黒２値図形に特徴的な、線の交差点、屈曲点、及び端点を含む
ことを特徴とする画像合成方法。
【請求項７】
請求項１乃至４のいずれかに記載の画像合成装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から全景画像を構成する技術に属し、特に手書き文書、図形を対象とし、画像を記録する技術に関する。また、複数の連続する撮像画像を組み合わせて全景画像を得る画像モザイキングと呼ばれる技術体系に属する。
【背景技術】
【０００２】
手書きの文書や図形（以下、これらをまとめて手書き文書と呼ぶ）の記録、電子化、認識は、文書情報処理や個々人の情報の記録などの観点から重要な研究課題と認識されており、様々な研究開発が行われ、製品化されてきた。
【０００３】
既にイメージスキャナ、タブレット、マウスなどを用いて手書き文書を電子化することは日常的に行われている。また、ペン先に搭載したカメラと特殊な模様を印刷した用紙により手書き文書を電子化する製品もある(非特許文献1)。
【０００４】
また、紙面上と同程度に重要な、ホワイトボードや黒板上の手書き文書を記録するため、ホワイトボードや黒板を撮像するように設置したカメラ画像から写り込んでいる人の姿を除去することにより、手書き文書を記録することも提案されている(非特許文献２、３)。
【０００５】
また、ホワイトボードにタブレット機能を持たせることで手書き文書の記録と認識を実現している例もある(非特許文献４)。
【０００６】
一方で、身体に装着した小型センサを用いて装着者の日常を自動的に記録し、ライフログとして利用する研究が数多く行われている(非特許文献５、６)。これらの研究では人生を充実させるため、一つ又は複数のセンサを身体に装着することが日常的である社会を想定しており、実際、将来的にはこうしたセンサは特別のものではなくなるはずである。
【０００７】
本発明で想定しているのはそのような未来であり、図１に示すように身体に装着したカメラやセンサを用いて情報を取得し記録することは、何ら特別なことではなくなっているものとする。
【０００８】
しかし、カメラを図１に示すように身体に装着して筆記中の手書き文書の全景を得ようとするとき、個々のカメラ画像は筆記中の手書き文書のごく一部しか撮影できないという問題がある。こうした問題は航空写真からの地図作成、風景写真の撮影など、一回の撮影では全景の一部しか撮影できない場合において普遍的な問題である。そこで、これを解決するため、画像モザイキングと呼ばれる部分画像を組み合わせて全景画像を得る技術が研究され、実用に供されつつある。モザイキングの技術は一般的には部分画像の類似性に着目し、類似する小部分（重複部分）を検知して、これらを重ねる合わせることで全景画像を得る。近年は部分画像の類似性を評価するために、ＳＩＦＴ(Scale invariant faeture trancate、非特許文献７)やＳＵＲＦ(Speeded up robust feature、非特許文献８)などの輝度勾配ベースの局所特徴を複数採取し、特徴の存在する点(以下、特徴点)の類似性をベースに画像の重ね合わせを行うことで全景画像を得る方法が一般的である。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Anoto, "Anoto", [online], [平成22年4月26日検索], インターネット<URL : http://www.anoto.com/>
【非特許文献２】L. He and Z. Zhang, "Real-Time Whiteboard Capture and Processing Using a Video Camera for Remote Collaboration", IEEE Transactions on Multimedia, 2007, Vol.9, No.1, p.198-206
【非特許文献３】P.E. Dickson, W.R. Adrion, and A.R. Hanson, "Whiteboard Content Extraction and Analysis for the Classroom Environment", IEEE International Symposium on Multimedia, 2008, p.702-707
【非特許文献４】Marcus Liwicki and Horst Bunke，"Recognition of Whiteboard Notes - Online, Offline and Combination"，World Scientific Publishing，2008, p.1-11
【非特許文献５】L. Bao and S.S. Intille, "Activity Recognition from User-Annotated Acceleration Data", Proceedings of PERVASIVE 2004, 2004, p.1-17
【非特許文献６】T. Maekawa, Y. Yanagisawa, Y. Kishino, K. Kamei, Y. Sakurai, and T. Okadome, "Wristband Type Sensor Device for Recognizing Activities that Involve Object Use", Proceedings of European Conference on Ambient Intelligence, 2009, Poster paper
【非特許文献７】M. Brown and D.G. Lowe, "Recognizing Panoramas", International Conference on Computer Vision - Volume 2, 2003, p.1218-1225
【非特許文献８】H. Bay, T. Tuytelaars, and L. Van Gool, "SURF: Speeded Up Robust Features", European Conference on Computer Vision, 2006, p.404-417
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１〜４の技術では、特別に用意されたペンや用紙、タブレット、スキャナ等の装置が必要となるためコストがかかる。また、ユーザもそれらの特殊な装置の操作方法を習得していなければならない。
【００１１】
非特許文献５、６のような技術によれば、手首に装着したカメラ、センサを用いて手書き文書を自動的に記録することができる。しかし、手首に装着できる程度のカメラでは視野角が小さく、描画中の手書き文書全てにわたって撮影することができない。そのため、カメラの移動に伴ってカバーされる広範囲の画像の部分画像を統合して全景画像を得る必要がある。また、カメラを手首などに装着した場合、紙面とカメラの間に、描画する手、ペンなどが写りこんでしまう。更に、筆記動作は必ずしも安定したものではなく、手首などに装着可能なカメラの動画性能では追跡できないような高速動作をすることもあり、このような場合には、適切な部分画像を撮像することが困難である。加えて、白い紙にシンプルな手描き図形を描くことを考えると、自然画像などの複雑な画像の場合と比べ、自然な勾配を得ることが難しい。そのため、現在主流となっている非特許文献７（ＳＩＦＴ）や非特許文献８（ＳＵＲＦ）のような特徴抽出系では安定した特徴点を得ることが難しく、適切な合成画像が得られないという問題があった。特に、離れた位置から撮影されたストローク画像同士から類似した特徴点を発見することは困難である。
【００１２】
本発明の目的は、筆記者が手で書いている文字や絵などを、手などに装着したカメラを用いて連続的に撮像した複数の部分画像について、重複領域を検知し、その重複領域を重ね合わせることにより全体画像に再構成する場合に、特別な装置を装着したり特別な操作を行うことなく、重複領域の検出の妨げとなる要素を排除でき、かつ、特徴量が少ない画像でも重複領域を精度よく検知可能な、画像合成装置、画像合成方法、及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１３】
第１の本発明は、装着者が筆記する側の所定の部位に取り付けられたカメラから、その部位の動きに応じて連続的に撮像された複数の画像から大きな連結画像を合成する画像合成装置であって、前記所定の部位の動きの激しさや位置を検出する信号入力手段を備えることを特徴とする画像合成装置である。
【００１４】
第２の本発明は、第１に係る本発明の画像合成装置において、信号入力手段が加速度センサであることを特徴とする画像合成装置である。
【００１５】
第３の本発明は、第１又は第２の本発明に係る画像合成装置において、前記撮像された画像の背景が紙面やホワイトボードである場合に、当該紙面やホワイトボードの色を検出し、それと異なる色彩の画素を写り込み画像とみなして除去する前景除去手段を備えることを特徴とする画像合成装置である。
【００１６】
第４の本発明は、第３の本発明に係る画像合成装置において、画像を合成する手掛かりとなる特徴点として、輝度勾配ベースの局所特徴に加え、白黒２値図形に特徴的な、線の交差点、屈曲点、及び端点を抽出する特徴抽出手段と、前記特徴点を用いて２つの画像間で重複する領域を検出することにより画像を合成する画像合成手段と、を備えることを特徴とする画像合成装置である。
【００１７】
第５の本発明は、装着者が筆記する側の所定の部位に取り付けられたカメラから、その部位の動きに応じて連続的に画像を撮像する画像入力ステップと、前記所定の部位の動きの激しさや位置を検出する信号入力ステップと、信号入力ステップでの検出情報に基づき、画像入力ステップにて撮像された複数の画像から所望の画質の画像を選択する画像選択ステップと、画像選択ステップにて選択された各画像の背景が紙面やホワイトボードである場合に、当該紙面やホワイトボードの色を検出し、それと異なる色彩の画素を写り込み画像とみなして除去する前景除去ステップと、前景除去ステップで得られた各画像について特徴点を抽出する特徴抽出ステップと、前記特徴点を用いて２つの画像間で重複する領域を検出し、当該領域が重なり合うように各画像を合成する画像合成ステップと、を実行する画像合成方法である。
【００１８】
第６の本発明は、第５の本発明に係る画像合成方法において、特徴抽出ステップで抽出する特徴点は、輝度勾配ベースの局所特徴に加え、白黒２値図形に特徴的な、線の交差点、屈曲点、及び端点を含むことを特徴とする画像合成方法である。
【００１９】
第７の本発明は、第１乃至第４のいずれかの本発明の画像合成装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００２０】
本発明の画像合成装置、画像合成方法、及びそのプログラムによれば、撮像した複数の部分画像の重複領域の検出の妨げとなる、手ぶれのある画像や画像内の手やペンが写りこんでいる部分を検出して除去することで重複領域の検出の妨げとなる要素を排除することができ、かつ、特徴点として手書き線分のコーナー（交差点、端点、屈曲点）を利用することで特徴量が少ない画像でも重複領域を精度よく検知することができる。そのため、特別な装置を装着したり特別な操作を行うことなく、高精度に全体画像を再構成することができる。
【図面の簡単な説明】
【００２１】
【図１】カメラやセンサを身体に装着したイメージを示す図。
【図２】画像構成装置１００の構成例を示すブロック図。
【図３】画像構成装置１００の処理フロー例を示す図。
【図４】手書きストロークを連続して撮像するイメージを示す図。
【図５】部分画像の重複領域を重ね合わせて全体画像を再構成するイメージを示す図。
【図６】画像から特徴として抽出するコーナー（交差点、端点、屈曲点など）の例を示す図。
【発明を実施するための形態】
【００２２】
図２は本発明の画像構成装置１００の構成例を示すブロック図、図３はその処理フロー例である。画像構成装置１００は、画像入力部２１、信号入力部２２、画像選択部２３、前景除去部２４、特徴抽出部２５、画像合成部２６、及び画像出力部２７を備える。
【００２３】
画像入力部２１は、筆記者の手や手首や下腕などの所定の自然な部位に装着されるカメラであり、筆記者が手で紙面等に描いているストロークを例えば図４に示すように連続的に撮像する（Ｓ１）。例えば、手首に装着すれば、紙面の位置によらず紙面を撮影することができ、かつ、紙面の近くから撮影するため、細かな模様や文字などを捉えることが可能である。なお、撮像した画像データはヒストグラムなどに変換することでデータ量を削減することができる。信号入力部２２は例えば加速度センサであり、画像入力部２１とほぼ同じ位置に装着されて、カメラが装着された部位の動きの激しさや位置を検出する（Ｓ２）。加速度センサの代わりに、位置センサ、三次元マウス、赤外線受光部を備えたデバイス、ドップラーレーダなど、動作の激しさを検出できる他のデバイスを用いても構わない。なお、加速度データなどの波形データに高速フーリエ変換を適用してそのフーリエ係数のみを抽出することでデータ量を削減することができる。
【００２４】
従来のタブレットやスキャナなどの入力デバイスは、筆記図形を電子的に記録するための特別な装置であるのに対し、こうしたカメラやセンサは他の目的にも自然に利用できる。一つ又は複数のカメラやセンサを身体に装着することは、将来的に筆記動作のみならず日常生活の記録のために特別なことでなくなると考えられ、本発明はそのような将来に特に親和性が高い。
【００２５】
画像選択部２３は、画像入力部２１より入力された画像がブレなどを含まない合成に適した画像であるかどうかを判定し、適した画像であると判定された画像を出力する（Ｓ３）。具体的には、まず、信号入力部２２にて検知された動作情報に基づきブレている画像を抽出し、破棄する。信号入力部２２として加速度センサを用いた場合、加速度データの移動平均からの変化量から手が動いている時間を検知し、その変化量が任意に設定した閾値より大きい時間に撮影された画像をブレ画像として破棄する。移動平均は加速度データ系列から求めることができる。加速度センサを用いたブレ画像の抽出は、既にデジタルカメラなどで用いられている技術である（例えば、参考文献１）。このように、カメラ装着部の動作情報により大まかに良質画像を選定した後、更に、画像処理によりブレのある画像を検出して破棄する。画像処理によるブレの検出に関しても多くの既存手法がある（例えば、参考文献２）。画像選択部２３は、以上のようにして選択した画像を出力する。なお、本発明においては特徴抽出部２５で各画像から複数の特徴点を抽出し、それらを用いて合成するが、特徴点が少ない画像は、ブレ画像やストロークを捉えていない画像であることが多いため、そのような画像については画像選択部２３において予め破棄してしまってもよい。
【００２６】
〔参考文献１〕米国特許第４６７３２７６号明細書
〔参考文献２〕H. Tong, M. Li, H. Zhang and C. Zhang, "Blur Detection for Digital Images Using Wavelet Transform", Proceedings of IEEE International Conference on Multimedia and Expo, 2004, p.17-20
【００２７】
前景除去部２４は、画像選択部２３で選択された各画像の手前に映りこんだ手やペンなどの像を除去する（Ｓ４）。具体的には、背景となっている紙の色とは大きく異なる色の前景画像（領域）や、肌の色に近い色の前景画像（領域）を破棄することにより実現できる。より具体的には、各画像を格子状の小領域に分割し、小領域ごとに、その色との類似度合いから前景画像か否かを判別する。類似度は、例えばＨＳＶ色空間におけるユークリッド距離とし、任意の閾値を設定して判別する。なお、紙の色については、例えば画像入力部２１で取得した連続する画像系列の先頭の画像において最も多く使われている色を探すことにより検出することができる。また、肌の色については予め設定しておく。
【００２８】
特徴抽出部２５は、前景除去部２４で前景が除去された各画像について、各画像の対応点をとるための特徴点を抽出する（Ｓ５）。ここでいう特徴とは、輝度勾配ベースの局所特徴であるＳＵＲＦ、ＳＩＦＴ等の特徴のほか、特に手書き文書などの白黒２値図形に多く見られる特徴である、線分のコーナー（交差点、端点、屈曲点など）も含む。線分の交差点、端点、屈曲点などの抽出は、前景抽出部２４において前景画像であると判断された小領域以外の小領域について抽出処理を行えばよい。
【００２９】
画像合成部２６は、特徴抽出部２５で抽出した特徴のうち、画像間で一致する特徴点を計算することにより画像の重複している領域を発見し、これらが重なり合うように各画像を合成する（Ｓ６）。具体的には、画像間の投影変換を求める。つまり、図５に示すような、重複領域のある画像１、２について、画像２に変換を適用し、画像１との重複領域と重なるような変換パラメータ（ホモグラフィ行列）を求める。その変換により、図５右部に示す再構成（合成）画像が作成される。以下、より具体的に説明する。
【００３０】
１つの画像を木のノード、２画像間の投影変換をエッジと考える。得られた全ての画像を用いて再構成画像を作成するためには、それらの画像からスパニング木を作成する必要がある。スパニング木を作成できれば、任意の画像間の投影変換は、画像（ノード）間の投影変換（エッジ）を順次適用することにより求めることができる。そこで、画像合成部２６ではスパニング木を作成するため、まず、高速処理が可能な、特徴点を用いた画像の比較を行う。そして、特徴点を用いた比較のみでスパニング木を作成できなかった部分については、画像から抽出したコーナーを用いて重複領域を発見する。前述のとおり、特徴点を用いた比較では、離れた位置から撮影されたストローク画像同士から類似した特徴点を発見することが難しく、それ故、画像同士の重複領域を発見することが難しい。しかし、画像から抽出したコーナーを用いることで、離れた位置から撮影されたストローク画像同士についても重複領域を発見することができる。以下、特徴点を用いた比較手法とコーナーを用いた重複領域の発見手法について説明する。
【００３１】
＜特徴点を用いた比較手法＞
比較は、ＳＵＲＦなどの高速な特徴抽出手法を用いて行う。また、特徴抽出・記述手法は、ＳＵＲＦなどの回転や明るさの変化に対してある程度不変なものが望ましい。そして、それぞれの画像から得られた類似した特徴点のペアから投影変換を求める。得られた特徴点のペアにはエラーが多く含まれるため、投影変換の導出にはロバスト推定を用いる（参考文献３、４参照）。
【００３２】
〔参考文献３〕M.A. Fischler and R.C. Bolles, "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography", Communications of the ACM, 1981, Vol.24, p.381-395
〔参考文献４〕R. Hartley and A.Zisserman, "Multiple view geometry in computer vision", Cambridge University Press, 2003
【００３３】
＜コーナーを用いた重複領域の発見手法＞
図６に示す２つの画像(a),(b)を例にとると、それぞれ○印で示す部分がコーナーである。画像間でコーナー同士の対応を見つけ、変換パラメータ（ホモグラフィ行列）を計算する。例えば、(a)の画像と(b)の画像との間で４つの対応するコーナーのペア (p1,p1')、(p2,p2')、(p3,p3')、(p4,p4')を見つければ、連立方程式を解くことでホモグラフィ行列を計算できる（参考文献５、６参照）。
【００３４】
〔参考文献５〕J. Shi and C. Tomasi, "Good features to track", IEEE Conference on Computer Vision and Pattern Recognition, 1994, p.593-600
〔参考文献６〕C.E. Springer, "Geometry and analysis of projective spaces", Freeman, 1964
【００３５】
そして、画像合成部２６で合成された画像が画像出力部２７から出力される（Ｓ７）。
【００３６】
以上のように本発明によれば、筆記者が手で書いている文字や絵などを、手などに装着したカメラを用いて連続的に撮像した複数の部分画像について、重複領域を検知し、その重複領域を重ね合わせることにより全体画像に再構成する場合に、撮像した複数の部分画像の重複領域の検出の妨げとなる、手ぶれのある画像や画像内の手やペンが写りこんでいる部分を検出して除去することで重複領域の検出の妨げとなる要素を排除することができ、かつ、特徴点として手書き線分のコーナー（交差点、端点、屈曲点）を利用することで特徴量が少ない画像でも重複領域を精度よく検知することができる。そのため、特別な装置な装着したり特別な操作を行うことなく、高精度に全体画像を再構成することができる。
【００３７】
上記の各処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００３８】
また、上記の各装置をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そのプログラムは、例えば、ハードディスク装置に格納されており、実行時には必要なプログラムやデータがＲＡＭ(Random Access Memory)に読み込まれる。その読み込まれたプログラムがＣＰＵにより実行される。このようにして、コンピュータ上で各処理内容が実現される。なお、処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図２】
2011248494.tif 000003
【図３】
2011248494.tif 000004
【図５】
2011248494.tif 000005
【図１】
2011248494.tif 000006
【図４】
2011248494.tif 000007
【図６】
2011248494.tif 000008