(57)【要約】【課題】近年普及したデジタルカメラや携帯端末についているカメラでホワイトボードや黒板を撮像し、撮像したデジタル画像を画像形成装置に送信し印刷する場合には、ユーザーが印刷時のレイアウトまで考慮し、重複なくかつ必要な情報のみが撮像されるように配慮してデジタル画像を撮像する必要があった。【解決手段】複数画像データを受信し、画像データに付加された撮像情報を元に画像を適切に回転し、複数の画像間で重複している情報を除去した後に、複数の画像間の一致箇所を抽出することで更新情報、非更新情報を生成する。生成した更新情報を元に印刷データのレイアウト処理方法を切り替えることで、複数画像データから必要な情報のみを抽出して適切にレイアウトした印刷データを生成する。【選択図】図3
2014115896.tif 000002
【特許請求の範囲】
【請求項１】
画像に付加された撮像情報から複数の画像間の一致箇所を抽出し、一致しない箇所を示す更新情報および前記一致箇所を示す非更新情報を生成する撮像情報解析手段と、
前記更新情報および前記非更新情報に基づいてレイアウト方法を切り替えるレイアウト手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数の画像が、レイアウト処理の必要な画像であるレイアウト画像か否かを判定する画像判定手段と
前記レイアウト画像であると判定した場合には、前記レイアウト画像に付加された撮像情報を取得する撮像情報取得手段とをさらに備え、
前記撮像情報解析手段は、前記撮像情報を元に処理された前記複数の画像の重複領域を検出して、前記複数の画像間の前記一致箇所を抽出する一致箇所抽出手段と、前記複数の画像間で前記撮像情報が一致しない箇所を示す更新情報を生成する更新情報生成手段と、前記一致箇所を示す非更新情報を生成する非更新情報生成手段とを有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像判定手段は、前記複数の画像に付加された画像の各画素の色情報がホワイトボード、または黒板の色に近いか否かを判定し、画像に付加されたホワイトボードまたは黒板の色に近い閾値以上の画素が存在する場合には、ホワイトボード画像であると判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記レイアウト手段は、更新情報を示す箇所の画像が縦長と横長の画像の混在であるか否かを判定し、縦長と横長の混在である場合には、前記更新情報を示す箇所の画像が縦長の形状であるか否かを判定してレイアウト処理を行い、縦長と横長が混在していない場合には、印刷用紙の方向と前記更新情報の縦横情報とを比較してレイアウト処理を行うことを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
【請求項５】
前記レイアウト手段は、更新情報を示す箇所の画像における縦と横の長さの値から縦横比を導出して、更新情報を示す箇所の複数の画像が縦長と横長の画像の混在であるか否かを判定することを特徴とする請求項１ないし４のいずれか１項に記載の画像処理装置。
【請求項６】
前記撮像情報は、画像の撮像日時、画像の撮像時の回転情報、またはEXIF情報であることを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮像情報解析手段は、重複量の大きさを導出する重複領域検出手段と、予め決めた閾値よりも重複量が大きい場合には画像間においてつながりがあると判定する重複量判定手段と、複数の前記レイアウト画像の領域を結合するレイアウト画像結合手段とを含むことを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
【請求項８】
前記撮像情報解析手段は、既に生成した更新情報の中に、生成する非更新情報と一致する箇所が存在するか否かを判定し、一致する箇所が存在する場合には前記レイアウト画像に付加された前記撮像情報につながりがないと判定し、前記更新情報を一致箇所の領域と非一致箇所の領域とに分割する更新領域分割手段を含むことを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
【請求項９】
画像に付加された撮像情報から複数の画像間の一致箇所を抽出し、一致しない箇所を示す更新情報および前記一致箇所を示す非更新情報を生成する撮像情報解析ステップと、
前記更新情報および前記非更新情報に基づいてレイアウト方法を切り替えるレイアウトステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
コンピュータを請求項１ないし８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する技術に関し、より詳細には、画像に付加された撮像情報を解析してレイアウト処理した印刷データを生成する方法に関する。
【背景技術】
【０００２】
従来から写真を撮像する機器としてカメラが普及しているが、近年デジタルカメラの普及や、携帯電話、スマートフォンの普及により、これらの機器を用いてデジタル画像を撮像する機会が年々増加している。また、ホワイトボードや黒板等に記載されたアナログデータの情報を保存するための手段として、携帯電話や、スマートフォンを用いたデジタル画像を取得することも増えている。
【０００３】
ここで、パノラマ撮像に関する技術としては、撮像された複数のデジタル画像を解析して、時系列的に保存し、それらのデジタル画像をパノラマ合成する方法等が知られている（例えば、特許文献1参照）。しかし、これらの手法においては、撮像時にカメラの縦横の向きは固定であることが前提で、撮像時にカメラの縦横の向きが変化することは想定されていない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2006-162692号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
デジタルカメラや、スマートフォン等に代表される携帯端末を用いて、ホワイトボードや黒板等を撮像する際に、ユーザーは、印刷時のレイアウトに関して特に意識をせずにデジタル画像を撮像する。例えば、カメラを縦方向にして撮像する場合や、横方向にして撮像する可能性も考えられる。
【０００６】
しかし、特許文献１の技術では、複数台のカメラから撮像した画像を元にパノラマ合成し、板書の追加された領域や、消去された領域を抽出しているが、撮像するカメラの縦横方向が異なることは想定されていない。そのため撮像されたデジタル画像の向きは意識せずにパノラマ画像の合成処理を行ってしまうという問題がある。
【０００７】
一方、通常デジタルカメラ等で撮像された画像は、カメラの方向を縦にした場合と横にした場合とで生成される画像の縦と横のサイズには変化がない。つまり、カメラを90°回転させた場合には、デジタル画像も90°回転された画像が生成されることになる。そのため、カメラの回転を考慮しないでパノラマ画像の合成を行うと、正しく合成処理が行えないという問題がある。
【０００８】
また、通常のパノラマ合成処理では、複数枚の画像から１枚のパノラマ画像を生成することになる。このとき、ホワイトボードや黒板等を撮像した複数枚の画像を印刷する際には、ホワイトボード上の情報が追加、もしくは消去されたことを検知して更新された情報を判定することが必要である。また、更新された情報を印刷するためには、取得した更新情報を元に適切にレイアウトした印刷データを作成する必要がある。
【０００９】
本発明は、このような問題に鑑みてなされたもので、その目的は、撮像者が印刷時のレイアウトを意識しなくても、撮像した複数の画像を適切にレイアウトした印刷用紙等の印刷物を得ることができる画像処理技術を提供することにある。
【課題を解決するための手段】
【００１０】
このような目的を達成するために、本発明の画像処理装置は、画像に付加された撮像情報から複数の画像間の一致箇所を抽出し、一致しない箇所を示す更新情報および一致箇所を示す非更新情報を生成する撮像情報解析手段と、更新情報および非更新情報に基づいてレイアウト方法を切り替えるレイアウト手段とを備えることを特徴とする。
【００１１】
また、本発明の画像処理方法は、画像に付加された撮像情報から複数の画像間の一致箇所を抽出し、一致しない箇所を示す更新情報および一致箇所を示す非更新情報を生成する撮像情報解析ステップと、更新情報および非更新情報に基づいてレイアウト方法を切り替えるレイアウトステップとを含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像者が印刷時のレイアウトを意識しなくても、撮像した複数の画像を適切にレイアウトした印刷用紙等の印刷物を得ることが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態１における機器の構成を示す構成図である。
【図２】本発明の実施形態１における画像処理部の機能を示す機能ブロック図である。
【図３】本発明の実施形態１における複数の画像の印刷処理方法を示すフローチャートである。
【図４】本発明の実施形態１におけるホワイトボードと撮像画像を示す図である。
【図５】本発明の実施形態１における画像判定ステップを示すフローチャートである。
【図６】本発明の実施形態１における撮像情報取得ステップを示すフローチャートである。
【図７】本発明の実施形態１における撮像情報解析ステップを示すフローチャートである。
【図８】本発明の実施形態１におけるレイアウトステップを示すフローチャートである。
【図９】本発明の実施形態２におけるホワイトボードと撮像画像を示す図である。
【図１０】本発明の実施形態２における撮像情報解析ステップを示すフローチャートである。
【図１１】本発明の実施形態３におけるホワイトボードと撮像画像を示す図である。
【図１２】本発明の実施形態３における撮像情報解析ステップを示すフローチャートである。
【発明を実施するための形態】
【００１４】
[第１の実施形態]
以下、本発明の実施形態について図面を用いて詳細に説明する。
【００１５】
図1は、本実施形態における画像形成装置100と画像形成装置100を含むシステムの構成を示す構成図である。
【００１６】
画像形成装置100は、LAN（Local Area Network)101等のネットワークを経由して、複数のPC102に接続されている。LAN101には、タブレット端末103、スマートフォン104、または、携帯電話105等の携帯端末がWi-fiアクセスポイント106（無線LAN機能をもつルーターや無線LANのアクセスポイント）を経由して接続されている。タブレット端末103、スマートフォン104、または、携帯電話105は、LAN101を経由して画像形成装置100と通信が可能である。画像形成装置100は、例えば、MFP（Multi Function Printer）、SFP（Single Function Printer）又はLBP（Laser Beam Printer）を用いてもよい。また、他のプリント方式のプリンタを用いてもよい。
【００１７】
画像形成装置100は、画像読み取り部であるスキャナ107、画像出力デバイスであるプリント部108、操作部109、表示部110、記憶装置111、および、これらを制御するコントローラ112を備えている。コントローラ112には、CPU113、ROM114、およびRAM115等が設けられており、CPU113がROM114又は記憶装置111に格納されたプログラムに基づいて、画像形成装置100全体を統括制御する。また、RAM115は、例えばCPU113の作業領域として用いられる。スキャナ107は、画像データの読み取りを行う。プリント部108は、プリンタエンジン等を用いて画像データの出力を行う。操作部109は、ユーザーの入力を受け付けるキーボードを備え、表示部110は、画像データ及び各種機能の表示する液晶パネルが設けられている。記憶装置111は、画像データ及び印刷装置制御言語（例えば、ESCコード、PDL（Page Description Language））で記述されたデータ等の格納及び保存ができる他、中間生成データの一時的な保管場所としても使用される。
【００１８】
PC102およびタブレット端末103等の携帯端末は、その内部のアプリケーションからOSを介して依頼された印刷命令を元に、印刷に必要な印刷データを生成する。ここでの印刷データとは、プリンタが解釈できるページ記述言語で記載された印刷データや、JPEG/TIFF等の画像データ、または、その他のプリンタが解釈できるデータを表わす。生成された印刷データは、Wi-fiアクセスポイント106を経由し、LAN101を介して画像形成装置100へ送信される。
【００１９】
図2は、本実施形態における画像処理部200の機能を示す機能ブロック図である。
【００２０】
画像処理部200は、画像判定部201、撮像情報取得部202、撮像情報解析部203、レイアウト部204、および通常印刷データ生成部205を備えている。画像判定部201は、画像処理部200に入力された画像データからレイアウト処理の必要な画像（以下、レイアウト画像と呼ぶ。）であるか否かを判定する。
【００２１】
撮像情報取得部202は、レイアウト画像から、撮影時に付加された情報（以下、撮像情報と呼ぶ。）を読み込む。ここで撮像情報とは、例えば撮像時のカメラの向きを表わす回転情報や撮像日時を表す撮像日時情報のことである。撮像情報解析部203は、撮像情報取得部202で読み込んだ撮像情報を解析する。レイアウト部204は、撮像情報解析部203で解析した情報に基づいて複数の画像のレイアウトを決定し、印刷データを生成する。通常印刷データ生成部205は、レイアウト処理が必要でない画像から通常の印刷データを生成する。
【００２２】
図3は、本実施形態における複数画像データの受信処理からレイアウト処理済みの印刷データの生成を行い、印刷するまでの画像形成装置100内のフローを表わした図である。
【００２３】
なお、図3以降の図に関するフローチャートにおける各ステップの処理は、図１の画像形成装置100内のCPU113がROM114や記憶装置111に格納されたプログラムをRAM115に展開して実行される。また、画像データから印刷データを生成する処理については、図2の画像処理部200の各機能により実行される。
【００２４】
複数画像データ受信ステップS301において、画像読み取り部であるスキャナ107は、LAN101を通して複数画像データのファイルを受信する。そしてスキャナ107は、受信した複数画像データをRAM115、または記憶装置111のHDD等の記憶装置に保持する。ステップS301の処理後に、画像判定ステップS302に進む。
【００２５】
画像判定ステップS302において、画像判定部201は、受信した複数画像データを解析し、複数画像データ内の画像がレイアウト画像（ここでは、ホワイトボードを撮影したホワイトボード画像のことをいう。）であるか否かの判定処理を実施する。画像判定ステップS302における処理の詳細については後述する。
【００２６】
この判定処理では、受信した複数画像データについて、画像１枚ごとにホワイトボード画像か否かを判定する。判定の結果、全ての画像がホワイトボード画像であると判定された場合には、ホワイトボード画像フラグをYESに設定する。ホワイトボード画像ではない画像がある場合には、ホワイトボード画像フラグをNOに設定する。ここで、ホワイトボード画像フラグとは、全データがホワイトボード画像か否かを判定した結果であり、全画像がホワイトボード画像であると判定された場合にはYESに設定され、そうでない場合にはNOに設定される。全画像がホワイトボード画像であると判定された場合には、ホワイトボード画像の処理としてステップS303ないしS305の処理に進み、ホワイトボード画像ではない画像がある場合には、ステップS307の処理に進む。
【００２７】
撮像情報取得ステップS303 において、撮像情報取得部202は、RAM115や記憶装置111上に保持された画像データから撮像情報を取得する。撮像情報取得ステップS303における処理の詳細については後述する。
【００２８】
撮像情報解析ステップS304において、撮像情報解析部203は、撮像情報取得部202で取得した撮像情報を解析し、複数の画像間の一致箇所を抽出する。このとき、撮像情報取得ステップS302で取得した撮像情報を元に画像が撮像された順番や撮像時の向きを考慮して一致箇所を抽出する。一致箇所は、複数の画像間で更新されていない箇所なので非更新情報とし、一致しない箇所は、情報が更新された箇所なので更新情報とする。撮像情報解析ステップS304における処理の詳細については後述する。
【００２９】
レイアウトステップS305 において、レイアウト部204は、撮像情報解析ステップS304にて生成された更新情報、および非更新情報を元にレイアウトを決定し印刷データを生成する。レイアウトステップS305における処理の詳細については後述する。
【００３０】
出力ステップS306 において、プリント部108は、レイアウトステップS305 にて生成された印刷データを出力して、レイアウト処理した印刷用紙等の印刷物をプリントする。
【００３１】
一方、通常印刷データ生成ステップS307 において、通常印刷データ生成部205は、まずホワイトボード画像ではない画像のデータのPDL（ページ記述言語）部分を解釈し、中間言語データを生成する。次に、中間言語データが持つデバイス依存の色値をプリンタで再現するための色変換処理を行う。その後、レンダリング処理を行って画像形成に適した通常印刷データを生成する。
【００３２】
図4は、本実施形態の説明に使用する撮像したデジタル画像と、実際にホワイトボードに記載された内容を示す図である。図3における各ステップを説明するにあたり、本実施形態の説明に使用する撮像したデジタル画像と、実際にホワイトボードに記載された内容に関して図4を用いて説明する。
【００３３】
図4(a)、(b)、(c)、および(d)は、本実施形態に用いるホワイトボードに記載された情報を表わしており、実線部401はホワイトボードの外形を表わしている。ここで実線部401は、ホワイトボードに限定されずに、黒板等であってもよい。また図4(b')および図4(d')は、それぞれ図4(b)および図4(d)と同じホワイトボードの状態でカメラの向きを変えて拡大して撮像した場合を表わしている。
【００３４】
図4(b)、(b')、(ｄ)、および(d')の破線領域402、403、404、405、および406は、撮像したデジタル画像の撮像領域を表わしている。例えば、図1におけるデジタルカメラ（図示せず）、タブレット端末103、スマートフォン104、または、携帯電話105等による撮像領域のことである。
【００３５】
破線領域402および403は、カメラを横向きに撮像したデジタル画像を表わし、破線領域404ないし406は、カメラを縦向きにし、拡大して撮像したデジタル画像を表わしている。図4では、ホワイトボードのサイズを基準に表わしたため、破線領域402および403と、破線領域404ないし406とは、異なるサイズで表記しているがデジタル画像としては同じサイズとなっている。
【００３６】
さらに、図4(a)、図4(b)、図4(c)、図4(d)の各図面の詳細について説明する。図4(a)は、文書等の情報がホワイトボードに何も記載されていない初期の状態を表わしている。図4(b)は、図4(a)の状態からホワイトボード全面に情報が記載された状態を表している。図4(c)は、図4(b)の状態からホワイトボードの左側半面の情報を消去した状態を表わしている。図4(d)は、図4(c)の状態からホワイトボードの左側半面に情報を記載した状態を表わしている。
【００３７】
ここで、図4において、ホワイトボードに記載した全ての情報を撮像する複数のデジタル画像の組み合わせとしては以下のパターンが考えられる。
１．全てカメラを横方向で撮像した破線領域402および403の２枚の画像が撮像されるパターン。
２．全てカメラを縦方向で撮像した破線領域404ないし406の３枚の画像が撮像されるパターン。
３．必要最小限の情報を撮像した破線領域402および406の２枚の画像が撮像されるパターン。
４．最初にカメラを縦方向で撮像した破線領域404および405 と、その後カメラを横方向にして撮像した破線領域403の３枚の画像が撮像されるパターン。
【００３８】
次に、図3におけるステップS302、S303、S304、およびS305の処理の詳細について図5から図8を用いて説明する。
【００３９】
図5は、本実施形態における画像判定ステップS302の詳細を示すフローチャートである。図5を用いて、画像判定ステップS302の詳細を説明する。
【００４０】
始めに、複数画像データ受信ステップS301 において、スキャナ107は、LAN101に接続されたネットワークを経由し、PC102やタブレット端末103、スマートフォン104等から送信された複数画像データを受信する。複数画像データは、JPEG、TIFF等の画像フォーマットのファイルとして受信するか、もしくは複数のファイルを内部に含めたページ記述言語（PDL）を用いて記述されたデータとして受信することが可能である。
【００４１】
画像判定ステップS302において、画像判定部201は、受信した複数画像データを解析し、ホワイトボードや黒板等を撮像したホワイトボード画像であるか否かを判定する。ここでは受信した複数画像データを順次読み込み、画像数に合わせて画像の判定処理を繰り返す。
【００４２】
まず、ステップS501において、撮像した複数の画像のうち、何番目の画像であるかを表わすための内部変数iを初期化して（例えば、内部変数iを1にして）、ステップS502に進む。
【００４３】
ステップS502 において、内部変数iが受信した画像数以下であるか否かを判定する。内部変数iが受信した画像数以下である場合には、受信した複数画像データ内に、読み込んでいない画像データがあるので画像データ読み込みステップS503へ進む。
【００４４】
画像データ読み込みステップS503 において、内部変数iが受信した画像数以下である場合には、受信した画像のうち、i番目の画像の画像データをRAM115から読み込む。
【００４５】
次に、色成分判定ステップS504において、RAM115から読み込んだ画像データ内の色成分を解析し、画像データ内においてホワイトボードを撮像したホワイトボード画像の可能性がある画素数を導出する。
【００４６】
例えば、画像内の各画素の色成分を参照し、白もしくは緑（黒板の色）の画素であるか否かを判定し、１画像内におけるホワイトボードの色相当の画素数を導出する。このときには各PixelのRGB値を参照し、ホワイトボードや黒板等の基準となる色に対してRGB値のそれぞれについて誤差許容値を設定し、その設定した誤差許容値の範囲内か否かを判定する。誤差許容値には、照明の明るさや、色温度、フラッシュ撮像による色の変化等も考慮した許容値を適切に選択する必要がある。
【００４７】
ステップS505において、色成分判定ステップS504 の処理結果である、画像データ内における、ホワイトボード色の画素数と閾値とを比較する。比較の結果、閾値以上又はそれよりもホワイトボード色の画素数が多い場合には、ホワイトボード画像であると判定してステップS506へ進む。
【００４８】
ステップS506において、ホワイトボード画像の候補数をカウントアップする。閾値以下又はそれよりもホワイトボード色の画素数が小さい場合には、非ホワイトボード画像であると判定してステップS507へ進む。ステップS507において、非ホワイトボード画像の候補であると判定し非ホワイトボード画像の候補数をカウントアップする。ステップS506またはS507の処理後に、ステップS508 へ進む。
【００４９】
ステップS508において、処理中の画像の数を表わす内部変数iを１つカウントアップし、ステップS502 へ戻る。以上の処理を受信した画像数に合わせて繰り繰り返し、全画像データの処理が終了したらステップS509 へ進む。
【００５０】
ステップS509において、ステップS506またはステップS507でカウントアップしたホワイトボード画像の候補数と非ホワイトボード画像の候補数を確認する。非ホワイトボード画像の候補数が0である場合には、全ての画像がホワイトボード画像であると判定してステップS510 へ進み、ホワイトボード画像データのフラグをYESに設定する。また、非ホワイトボード画像の候補数が0ではない場合には、ホワイトボード画像と判定されない画像があるためステップS511 へ進み、ホワイトボード画像データのフラグをNOに設定する。
【００５１】
以上のステップにより、画像判定ステップS302を終了して、ステップS303に進む。ステップS303において、このホワイトボード画像データのフラグを用いて、受信した複数の画像内にホワイトボード画像がある場合とホワイトボード画像がない場合とで処理を切り替えている。
【００５２】
図6は、本実施形態における撮像情報取得ステップS303の詳細を示すフローチャートである。図6を用いて、撮像情報取得ステップS303の処理について詳細に説明する。
【００５３】
まず、ステップS601において、図6のフローチャートで使用する処理中の画像の番号を表わす内部変数iを初期化して（例えば、内部変数iを1にして）、ステップS602に進む。
【００５４】
ステップS602において、内部変数iが受信した画像数以下であるか否かを判定する。内部変数iが受信した画像数以下である場合には、画像情報読み込みステップS603 へ進む。画像情報読み込みステップS603からステップS606の処理を繰り返し、受信した画像データを全て処理した後で内部変数iが受信した画像数より大きい場合には、撮像情報取得ステップS303を終了する。
【００５５】
撮像情報読み込みステップS603において、画像に含まれる撮像情報をRAM上の画像データから読み込む。ここで撮像情報とは、画像に付加されている情報を意味し、例えばEXIF情報等のことをいう。EXIF情報とは、Exchangeable Image File Formatの略称であり、JPEGやTIFF形式の画像についての情報や、撮像日時等の付加情報を記録するための情報のことをいう。一般に、デジタルカメラで撮像された画像やスマートフォン等の携帯端末で撮像された画像には、このEXIF情報が付加されており、PCや携帯端末で画像を閲覧するためのビューアではそのEXIF情報を利用した表示が行われていることが多い。
【００５６】
撮像日時情報保存ステップS604において、撮像情報読み込みステップS603 で読み込んだ撮像情報の中から撮像日時情報を取得し、複数画像データを撮像順にソートするための情報としてメモリ上に保存する。
【００５７】
次に、画像回転情報保存ステップS605において、撮像情報読み込みステップS603で読み込んだ撮像情報、例えばEXIF情報から画像方向（Orientation）情報を取得する。また、EXIF情報で定義される画像方向としては、回転無し、90度回転、180度回転、270度回転等の方向が存在する。そのため、撮像時にカメラをどのような方向にして撮像したかをEXIF情報の画像方向を参照して判定することが可能となる。
【００５８】
次に、ステップS606において、処理中の画像の番号を表わす内部変数iを１つカウントアップしてステップS602 へ戻り、受信した画像数に合わせてステップS602からステップS606の処理を繰り返す。
【００５９】
図7は、本実施形態における撮像情報解析ステップS304の詳細を示すフローチャートである。図7を用いて、撮像情報解析ステップS304 の処理について詳細に説明する。
【００６０】
まず、ステップS701において、図7のフローチャートで使用する処理中の画像の番号を表わす内部変数iを初期化して（例えば、内部変数iを1にして）、ステップS702へ進む。
【００６１】
ステップS702において、内部変数iが受信した画像数以下であるか否かを判定する。内部変数iが受信した画像数以下である場合には、撮像情報読み込みステップS703 へ進む。ステップS703からステップS714の処理を繰り返し、受信した複数画像データを全て処理した後で内部変数iが受信した画像数より大きい場合には、撮像情報解析ステップS304を終了する。
【００６２】
撮像情報読み込みステップS703において、撮像日時情報取得ステップS604で取得した撮像日時情報により、撮像日時が古いものから順に撮像情報の読み込みを行う。撮像情報の読み込みを行うと、画像回転ステップS704へ進む。
【００６３】
画像回転ステップS704において、画像回転情報取得ステップS605で取得した画像回転情報に合わせて画像を回転させ、レイアウト処理する複数の画像の向きを合わせる処理を実施する。画像の向きを合わせる処理を実施すると、ホワイトボード領域導出ステップS705に進む。
【００６４】
ホワイトボード領域導出ステップS705 において、エッジ抽出処理等の処理によってホワイトボード401の外形形状を抽出することで、ホワイトボード領域を特定する。このときエッジ抽出処理で得たエッジ情報と、ホワイトボード401や黒板等の色情報を用いることで、精度良くホワイトボード領域の導出が可能となる。
【００６５】
ホワイトボード領域の判定方法としては、以下のような方法が考えられる。まず、初めにエッジ抽出処理により画像内のエッジ領域を抽出する。このときエッジ情報は、ホワイトボード401内の記載内容や、ホワイトボード401外の背景部分にも検出され、正しくホワイトボード401のエッジのみを導出できない可能性がある。そのため、ホワイトボード401の色情報を利用して、エッジに囲まれた領域内で色がホワイトボード色である領域をホワイトボード領域として導出する。このときホワイトボード401のどの辺のエッジ情報が導出できたかもRAM115上に保持しておく。
【００６６】
次に、ステップS706 において、ホワイトボード領域導出ステップS705 で導出したホワイトボード401のエッジ情報を用いて、ホワイトボード401の４辺が撮像されているか否かを判定する。ホワイトボード401の４辺が撮像されていると判定した場合には、ホワイトボード縦横比導出ステップS707 に進み、ホワイトボードの縦横比を導出してRAM115 上に保存する。ホワイトボード401の４辺が撮像されていないと判定した場合または、ホワイトボード縦横比導出ステップS707の処理が終了した場合は、形状補正ステップS708に進む。
【００６７】
形状補正ステップS708 において、特定したホワイトボード領域の形状を元に、撮像時の基本的な歪みの補正を行う。ホワイトボードの４辺全てが撮像されている場合には、ホワイトボード401の外形が長方形となるように形状の補正を行う。このとき、パンやチルトの補正を行い、画像の向きを上下方向や左右方向に動かして、ホワイトボード領域の画像を生成する。ホワイトボード領域の画像を生成すると、スケール補正ステップS709に進む。
【００６８】
スケール補正ステップS709において、形状補正ステップS708で形状補正が施されたホワイトボード領域の画像に対して、スケール補正を実施する。スケール補正とは、図4における破線領域402および404の画像のサイズを合わせる処理を意味する。破線領域402および404 の画像のようにホワイトボードの外形が撮像されている場合には、両画像のホワイトボード形状の縦方向のサイズが合うような形で、ホワイトボードの縦横の比率を維持したままスケールの補正を実施する。
【００６９】
スケールの補正後に、重複領域検出ステップS710において、レイアウト処理する画像の重複領域の検出を行う。重複領域とは、複数の画像の端部が重なることにより発生する部分のことを意味している。図4(b')のような状態でカメラを縦向きにして、２枚の画像を撮像した場合には、ホワイトボードの中心付近で重複して撮像された領域を重複領域と定義する。図3では、破線領域404および405の一部の重複した領域が重複領域となり、ここでは破線領域405の左端の情報が不要な部分となる。このとき、破線領域404および405のどちらから重複した領域を取り除くかが問題となる。図4(b')のように記載された情報が左側と右側で別れている場合には、情報が記載されている画像の連続性を考慮して、破線領域404および405のどちらから重複領域を削除するかを決定する。図4(b')において、破線領域404および405の両方の画像に含まれている情報は破線領域404の文字列であるため、破線領域405から重複領域として検出された内容を削除する。重複領域の検出では、各ホワイトボード画像の両端を予め定義したサイズ分だけ取得して、パターンマッチング処理を行う。パターンマッチング処理後に、その処理結果の画像のシフト量や、スケール等のパラメータを取得する。
【００７０】
また、パターンマッチングを行わなくても重複量を導出可能な場合がある。これは、ホワイトボード縦横比導出ステップS707 でホワイトボードの縦横比を導出済みで、破線領域404および405において上下枠が撮像され、破線領域404においては左辺が、破線領域405においては右辺が、画像に含まれている場合である。これはホワイトボード縦横比導出ステップS707 にて導出したホワイトボードの縦横比を利用し、ホワイトボードの縦のサイズからホワイトボードの横方向のサイズが導出可能だからである。
【００７１】
以下にステップS711ないしS713の処理について、受信した複数画像データが図4の破線領域402および403である場合を例に説明する。
【００７２】
一致箇所抽出ステップS711において、一致箇所の抽出を行う。ここでは直前の画像と現在対象の画像との一致箇所をパターンマッチング等の手法を用いて抽出する。このとき、現在対象の画像が１枚目の画像である破線領域402の場合には、直前の画像は存在しないため、一致箇所は存在しないこととなる。現在対象の画像が２枚目の画像である破線領域403の処理時には、直前の画像である破線領域402のホワイトボード領域との一致箇所を抽出する。
【００７３】
パターンマッチングの結果抽出される一致箇所は、破線領域403の画像内のホワイトボード上の右側の文字列が存在する部分となる。ここでは処理の簡略化のため１本の直線で一致箇所と、それ以外の非一致箇所の領域を分割することとする。この場合にはホワイトボードの中心付近で左右の領域に分割し、左側を非一致箇所とし、右側を一致箇所とする。
【００７４】
次に、更新情報生成ステップS712において、一致箇所抽出ステップS711で抽出した非一致箇所のうち、現在対象の画像の情報が記載されている部分を更新情報とする。つまり、現在対象の画像が２枚目の画像である破線領域403の場合は、破線領域403内のホワイトボード領域の左側を更新情報とする。ただし、現在対象の画像が１枚目の画像である破線領域402の場合には、左右の全面を更新情報とする。このとき、更新情報として生成される可能性があるのは、情報が消去された領域か、情報が追加された領域のどちらかである。しかし、更新情報として採用する必要があるのは情報が追加された場合のみである。そのため情報が消去された領域、つまり、現在対象の画像の情報が消去された箇所に関しては、その領域は更新情報として利用しない。
【００７５】
また、生成した更新情報は、実際の画像を表わす情報と合わせて、画像の縦横サイズについてもレイアウトステップS305 で利用するためにRAM115 に保存しておく。
【００７６】
次に、非更新情報生成ステップS713において、一致箇所抽出ステップS711で抽出した一致箇所を非更新情報とする。つまり、破線領域403内のホワイトボード領域の右側を非更新情報とする。
【００７７】
非更新情報の生成後にステップS714において、処理中の画像の番号を表わす内部変数iを１つカウントアップしてステップS702 へ戻り、受信した画像数に合わせてステップS703からステップS714の処理を繰り返す。
【００７８】
図8は、本実施形態におけるレイアウトステップS305の詳細を示すフローチャートである。図8を用いて、撮像情報解析ステップS304で生成した更新情報画像データを元に印刷データを生成するための処理であるレイアウトステップS305 の処理について詳細に説明する。
【００７９】
まず、更新情報サイズ取得ステップS801において、複数のレイアウト画像の中から、更新情報生成ステップS712で生成した更新情報を示す箇所の画像の縦と横のサイズを読み込む。その読み込んだ縦と横のサイズを元に更新情報を示す箇所の画像の縦横比を導出する。ここで、縦横比とは、対象となる画像の横幅を縦の高さで割った値とする。つまり、１よりも縦横比が大きい倍には横長の画像となり、１よりも小さい場合には縦長の画像となる。縦横比を導出すると、ステップS802に進む。
【００８０】
ステップS802において、更新情報サイズ取得ステップS801で導出した縦横比の情報を元に、複数のレイアウト画像の中に更新情報を示す箇所の画像が縦長のものと横長のものが混在しているか否かを判定する。判定の結果、縦長と横長の画像が混在している場合には、ステップS803 へ進み縦横混在情報としてYESを設定する。縦長または横長のどちらか一方の画像しかない場合には、ステップS804 へ進み縦横混在情報をNOに設定する。ステップS803またはステップS804において、縦横混在情報を設定すると、ステップS805に進む。
【００８１】
ステップS805において、全ての更新情報を示す箇所の画像についてレイアウト処理を行う必要があるため、処理対象の更新情報の番号を表わす内部変数としてjを初期化して（例えば、内部変数ｊを1にして）、ステップS806へ進む。
【００８２】
ステップS806において、jの値と更新情報数とを比較する。jの値が更新情報数以下である場合にはS807へ進み、jの値が更新情報数よりも大きい場合には全ての更新情報を示す箇所の画像のレイアウト処理が終わったと判定して、レイアウトステップS305の処理を終了する。
【００８３】
ステップS807において、ステップS804で設定した縦横混在情報を元に、縦横混在情報がYESの場合にはステップS808へ進み、NOの場合にはステップS809 へ進む。これにより、縦横非混在時の処理か、縦横混在時の処理かを切り替える。
【００８４】
ステップS809において(NOの場合)、用紙の方向と更新情報を示す箇所の画像の縦横情報とを比較する。両者に違いがある場合には、ステップS810 へ進んで更新情報を示す箇所の画像を回転させ、その後ステップS811 へ進んで１ページにレイアウトする。用紙方向と更新情報を示す箇所の画像の縦横情報とに違いがない場合には、直接ステップS811へ進んで１ページにレイアウトする。
【００８５】
ステップS808において(YESの場合)、ステップS801 の処理で導出した縦横比の情報を元に、処理対象の更新情報を示す箇所の画像が縦長であるか否かを判定する。縦長の場合にはステップS812 へ進み2in1にレイアウトし、横長の場合にはステップS811でそのまま１ページにレイアウトする。
【００８６】
その後、ステップS813において、処理対象の更新情報を表わす内部変数iを１つカウントアップし、ステップS806 の処理へ戻る。以上の処理を、全ての更新情報を示す箇所の画像についてのレイアウトが決定するまで繰り返す。
【００８７】
図3の印刷処理のフローチャートにおいて、レイアウトステップS305の処理が終了すると、ステップS306に進む。ステップS306において、プリント部108は、レイアウトステップS305で生成された印刷データを出力して、レイアウト処理した印刷用紙等の印刷物をプリントする。これにより、画像方向の異なる複数のホワイトボード画像からも適切にレイアウトした印刷物を得ることが可能となる。
【００８８】
ここで、図4に示した破線領域402ないし406の５枚の撮像画像から考えられる第１の実施形態の効果を示す図4(e)について説明する。このとき、前述の通り図4の撮像画像から考えられる組み合わせのパターンは以下の４種類である。
【００８９】
１つ目のパターンとしては、全てカメラを横方向で撮像した破線領域402および403の２枚の画像が撮像された場合に、ホワイトボード画像407および408の２ページの印刷データが生成されることが考えられる。
【００９０】
２つ目のパターンとしては、全てカメラを縦方向で撮像した破線領域404ないし406の３枚の画像が撮像された場合に、ホワイトボード画像409ないし411の３ページの印刷データが生成されることが考えられる。
【００９１】
３つ目のパターンとしては、必要最小限の情報を撮像した破線領域402および406の２枚の画像が撮像された場合に、ホワイトボード画像407および408の２ページの印刷データが生成されることが考えられる。
【００９２】
４つ目のパターンとして、最初はカメラを縦方向で破線領域404および405の画像を撮像し、その後カメラを横方向にして破線領域403の画像を撮像した場合に、ホワイトボード画像409ないし411の３ページの印刷データが生成されることが考えられる。
【００９３】
以上の４パターン全てにおいて、受信した複数画像データから撮像情報を取得し、撮像時の向きも考慮した処理を行うことが可能となる。また、受信した複数画像データに含まれるホワイトボード領域を抽出し、更新された情報のみを抽出して適切にレイアウトした印刷用紙等の印刷物を得ることが可能となる。
【００９４】
[第２の実施形態]
以下、本発明を実施するための第２の実施形態について図9および図10を用いて説明する。なお、第１の実施形態と同様の部分についての説明は省略する。
【００９５】
図9は、本実施形態におけるホワイトボード900、ホワイトボード900に記載された情報、および撮像した画像を示す図である。図9における実線部はホワイトボード900の形状を表わし、破線領域901ないし904は撮像した画像の領域を表している。
【００９６】
図9(a)は、情報が何も記載されていないホワイトボード900を示す図である。図9(b)は、ホワイトボード900の左側と右側とに記載された情報の内容につながりがない場合を示す図である。図9(c)は、ホワイトボード900の左側と右側とに記載された情報の内容につながりがある場合を示す図である。
【００９７】
例えば、ホワイトボード900と撮像者との距離が短くてホワイトボード900の全面を１画像で撮像できない場合や、カメラの解像度が低く、ホワイトボード900の全体を写すと文字が読み取れなくなる場合等がある。このような場合には、ホワイトボード900の画像を分割して撮像される。このような場合に画像を印刷するときは、図9(c)のように画像間でつながりがあるときは結合し破線領域903および904の画像を結合して１ページとして印刷されることが望ましい。このような処理を実現するための方法を図10のフローチャートを用いて説明する。なお、図10のフローチャートは図2のステップS304 に相当する撮像情報解析処理を表わした本実施形態におけるフローチャートである。ただし、図2のステップS304以外のフローに関しては実施形態１と同様である。
【００９８】
図10を用いて、撮像情報解析ステップS304 の処理について詳細に説明する。
【００９９】
まず、ステップS1001において、図10のフローチャートで使用する処理中の画像の番号を表わす内部変数iを初期化して（例えば、内部変数iを1にして）、ステップS1002へ進む。
【０１００】
ステップS1002において、内部変数iが受信した画像数以下であるか否かを判定する。内部変数iが受信した画像数以下である場合には、撮像情報読み込みステップS1003 へ進む。ステップS1003からステップS1016の処理を繰り返し、受信した複数画像データを全て処理した後で内部変数iが受信した画像数より大きい場合には、撮像情報解析ステップS304を終了する。
【０１０１】
撮像情報読み込みステップS1003において、撮像日時情報取得ステップS604で取得した撮像日時情報により、撮像日時が古いものから順に撮像情報の読み込みを行う。撮像情報の読み込みを行うと、画像回転ステップS1004へ進む。
【０１０２】
画像回転ステップS1004において、画像回転情報取得ステップS605で取得した画像回転情報に合わせて画像を回転させ、レイアウト処理する複数の画像の向きを合わせる処理を実施する。画像の向きを合わせる処理を実施すると、ホワイトボード領域導出ステップS1005に進む。
【０１０３】
ホワイトボード領域導出ステップS1005において、エッジ抽出処理等の処理によってホワイトボード900の外形形状を抽出することで、ホワイトボード領域を特定する。このときエッジ抽出処理で得たエッジ情報と、ホワイトボード900や黒板等の色情報を用いることで、精度良くホワイトボード領域の導出が可能となる。
【０１０４】
次に、ステップS1006において、ホワイトボード領域導出ステップS1005で導出したホワイトボード900のエッジ情報を用いて、ホワイトボード900の４辺が撮像されているか否かを判定する。また本処理によりホワイトボード900の４辺が抽出できた場合には、ステップS1007において、ホワイトボード900の縦横比を導出しRAM115 上に保存する。ホワイトボード900の４辺が撮像されていると判定できない場合または、ホワイトボード縦横比導出ステップS1007の処理が終了した場合は、形状補正ステップS1008に進む。
【０１０５】
形状補正ステップS1008において、特定したホワイトボード領域の形状を元に、撮像時の基本的な歪みの補正を行う。ホワイトボードの４辺全てが撮像されている場合には、ホワイトボード900の外形が長方形となるように形状の補正を行う。このとき、パンやチルトの補正を行い、画像の向きを上下方向や左右方向に動かして、ホワイトボード領域の画像を生成する。ホワイトボード領域の画像を生成すると、スケール補正ステップS1009に進む。
【０１０６】
スケール補正ステップS1009において、形状補正ステップS1008で形状補正が施されたホワイトボード領域の画像に対して、スケール補正を実施する。
【０１０７】
スケールの補正後に、重複領域検出ステップS1010において、合成する画像の重複領域の検出を行う。図9では、破線領域903および904の重複した領域が重複領域となり、この重複領域から、破線領域903および804の重複する領域の幅を検出する。
【０１０８】
次に、ステップS1011において、破線領域903および904の重複する領域の幅である重複量と予め定義した閾値との大きさを判定する重複量判定を行う。重複量が閾値以上又はそれよりも大きいときには、レイアウト画像結合であるホワイトボード領域結合ステップS1012へ進み、重複量が閾値以下又はそれよりも小さいときには、一致箇所抽出ステップS1013へ進む。
【０１０９】
ホワイトボード領域結合ステップS1012において、重複領域を中心に破線領域903および904のホワイトボード領域の画像を合成する。逆に、重複の量が予め定義した閾値以下又はそれよりも小さい図9(b)の場合には、破線領域901および902の画像間のつながりはないと判定し、左右の画像を別々の画像として扱う。このとき破線領域901および902の重複した領域の重複領域は、破線領域901または902のどちらかから削除する必要がある。例えば、破線領域903および904のどちらかの重複領域を削除した際に破線領域903および904におけるホワイトボード領域の横幅が極力等しくなるように、破線領域903から重複領域の削除を行う等と決定する。また重複量が非常に小さい場合には、ゴミが検知されたと判定し、どちらの領域の画像からも重複領域を削除するとすることが可能である。
【０１１０】
このように重複量に応じて画像の連続性を判定するのは、ホワイトボード900を撮像する人は通常欲しい情報に着目して撮像を行うことを利用している。例えば、図9(b)のような情報の場合には、破線領域901の撮像領域と、破線領域902の撮像領域が重複しないように撮像される場合が多い。また、重複が発生してもその量は小さい場合が多いと考えられる。一方、図9(c)のような場合には、２枚の撮像した画像内で欠落する情報がないように重複を多くして撮像することが多いと考えられる。そのため本実施形態では、この点に着目し、重複量に応じてレイアウト処理を切り替えることとした。つまり、撮像した画像間において重複量が一定量以上であれば画像間でつながりがある情報であるとして、情報を結合する。逆に、画像間において重複量が一定量以下であれば画像間のつながりはないと判定してレイアウトすることとする。
【０１１１】
以下にステップS1013ないしS1015の処理について、図9を用いて説明する。
【０１１２】
一致箇所抽出ステップS1013において、一致箇所の抽出を行う。実施形態1のステップS711と同様に、直前の画像と現在対象の画像との一致箇所をパターンマッチング等の手法を用いて抽出する。
【０１１３】
次に、実施形態1のステップS712およびS713と同様に、ステップS1014およびS1015 において、それぞれ更新情報および非更新情報の領域を生成する。これらは、一致箇所抽出ステップS1013で抽出した一致箇所を非更新情報とし、一致しなかった箇所のうち、現在対象の画像の情報が記載されている部分を更新情報とする。つまり、更新情報として採用する必要があるのは情報が記載されている場合のみなので、情報が消去された箇所に関してはその領域は更新情報としては利用しない。
【０１１４】
図9(b)において、更新情報は、ホワイトボード900の左側と、右側の情報の２情報となり図9(d)の２つの情報となる。また図9(c)においては、ステップS1012 にて結合したホワイトボード領域が更新情報となるため、図9（e）の情報が更新情報となる。また、本実施形態において非更新情報は生成されていないこととなる。
【０１１５】
ステップS1014およびS1015の処理後に、ステップS1016において、処理中の画像の番号を表わす内部変数iを１つカウントアップしてステップS1002 へ戻る。受信した画像数に合わせてステップS1003からステップS1016の処理を繰り返す。
【０１１６】
本実施形態のように、複数枚の画像間の重複量に応じて画像から抽出したホワイトボード領域を結合するかを切り替えることにより、重複量に応じた印刷が可能となる。ホワイトボードへは人間が情報を記載するため、マーカーの消し忘れ等によるゴミ情報（図示せず）が存在する場合がある。このような場合には図9(b)における重複量が閾値以下又はそれよりも小さいことを利用し図9(d)のように左側と右側で分割した画像の印刷データを得ることが可能となる。
【０１１７】
[第３の実施形態]
以下、本発明を実施するための第３の実施形態について図11および図12を用いて説明する。なお、第１の実施形態と同様の部分についての説明は省略する。
【０１１８】
図11は、本実施形態におけるホワイトボード1100、ホワイトボード1100に記載された情報、および撮像した画像を示す図である。図11における実線部はホワイトボード1100の形状を表わし、破線領域1101ないし1103は撮像した画像の領域を表している。
【０１１９】
図11(a)、 図11 (b)、および 図11 (c)は、情報が記載されたホワイトボード1100が撮像された３枚の画像を表わしている。図11(a)は、何も記載されていないホワイトボード1100に対して全面に情報が記載された例である。図11(b)は、図11(a)の状態から左側が消去され、消去した領域に新しい情報が記載されたものを撮像した図である。図11(c)は、図11(b)の右側の情報を消去し、その領域に新しい情報が記載されたものを撮像した図である。
【０１２０】
この図からもわかるように図11の場合には、ホワイトボード1100を半面ずつ利用している。ホワイトボード1100の情報を反面ずつ消去し、情報を更新しているような利用方法の場合には、ホワイトボード1100の左側と、右側を１面にレイアウトする必要性はない。このような場合を検知するためには、ホワイトボード1100の情報の全面が消去されたか、それとも部分的に消去されたかを検知する必要がある。本実施形態では、前画像と比較した際に情報が変化していない非更新情報が、それ以前の更新情報に含まれ、更新情報と一致しない場合に部分的に消去されたと判定する。そして部分的に消去されたと判定された場合には、更新情報を消去された領域とその他の領域として分割することとした。
【０１２１】
図12は、本実施形態における撮像情報解析ステップS304の詳細を示すフローチャートである。このフローは図3の撮像情報解析ステップS304の処理に該当し、それ以外のフローに関しては実施形態1と同様のため説明は省略する。
【０１２２】
まず、ステップS1201において、図12のフローチャートで使用する処理中の画像の番号を表わす内部変数iを初期化して（例えば、内部変数iを1にして）、ステップS1202へ進む。
【０１２３】
ステップS1202において、内部変数iが受信した画像数以下であるか否かを判定する。内部変数iが受信した画像数以下である場合には、撮像情報読み込みステップS1203 へ進む。ステップS1203からステップS1215の処理を繰り返し、受信した複数画像データを全て処理した後で内部変数iが受信した画像数より大きい場合には、撮像情報解析ステップS304を終了する。
【０１２４】
撮像情報読み込みステップS1203において、撮像日時情報取得ステップS604で取得した撮像日時の情報により、撮像日時が古いものから順に撮像情報の読み込みを行う。撮像情報の読み込みを行うと、画像回転ステップS1204へ進む。
【０１２５】
画像回転ステップS1204において、画像回転情報取得ステップS605で取得した画像回転情報に合わせて画像を回転させ、レイアウト処理する複数画像の向きを合わせる処理を実施する。画像の向きを合わせる処理を実施すると、ホワイトボード領域導出ステップS1205に進む。
【０１２６】
ホワイトボード領域導出ステップS1205において、エッジ抽出処理等の処理によってホワイトボード1100の外形形状を抽出することで、ホワイトボード領域を特定する。このときエッジ抽出処理で得たエッジ情報と、ホワイトボード1100や黒板等の色情報を用いることで、精度良くホワイトボード領域の導出が可能となる。
【０１２７】
次に、ステップS1206において、ホワイトボード領域導出ステップS1205で導出したホワイトボード1100のエッジ情報を用いて、ホワイトボード1100の４辺が撮像されているか否かを判定する。また本処理によりホワイトボード1100の４辺が抽出できた場合には、ステップS1207において、ホワイトボード1100の縦横比を導出しRAM115 上に保存する。ホワイトボード1100の４辺が撮像されていると判定できない場合または、ホワイトボード縦横比導出ステップS1207の処理が終了した場合は、形状補正ステップS1208に進む。
【０１２８】
形状補正ステップS1208において、特定したホワイトボード領域の形状を元に、撮像時の基本的な歪みの補正を行う。ホワイトボードの４辺全てが撮像されている場合には、ホワイトボード1100の外形が長方形となるように形状の補正を行う。このとき、パンやチルトの補正を行い、画像の向きを上下方向や左右方向に動かして、ホワイトボード領域の画像を生成する。ホワイトボード領域の画像を生成すると、スケール補正ステップS1209に進む。
【０１２９】
スケール補正ステップS1209において、形状補正ステップS1208で形状補正が施されたホワイトボード領域の画像に対して、スケール補正を実施する。
【０１３０】
スケールの補正後に、重複領域検出ステップS1210において、レイアウト処理する画像の重複領域の検出を行う。
【０１３１】
以下にステップS1211ないしS1213の処理について説明する。
【０１３２】
一致箇所抽出ステップS1211において、一致箇所の抽出を行う。実施形態1のステップS711と同様に、直前の画像と現在対象の画像との一致箇所をパターンマッチング等の手法を用いて抽出する。
【０１３３】
次に、実施形態1のステップS712およびS713と同様に、ステップS1212およびS1213において、それぞれ更新情報および非更新情報の領域を生成する。これらは、一致箇所抽出ステップS1211で抽出した一致箇所を非更新情報とし、一致しなかった箇所のうち、現在対象の画像の情報が記載されている部分を更新情報とする。つまり、更新情報として採用する必要があるのは情報が記載されている場合のみなので、情報が消去された箇所に関してはその領域は更新情報としては利用しない。ステップS1212およびS1213の処理後に、更新領域分割ステップS1214に進む。
【０１３４】
更新領域分割S1214ステップにおいて、更新情報の領域と非更新情報の領域とを分割する処理を行う。ここでは図11を用いて具体的な更新情報の領域と非更新情報の領域との分割について説明する。
【０１３５】
まず、破線領域1101に関しては、１枚目の画像なのでホワイトボードの全領域に相当する図11(d)の画像が更新情報となる。次に、２枚目の画像である破線領域1102と1枚目の画像である破線領域1101との差分情報を導出すると、更新情報は図11(e)の画像となり、非更新情報は図11(g)の画像となる。３枚目の画像である破線領域1103と２枚目の画像である破線領域1102との差分情報の導出により、更新情報は図11(f)の画像となり、非更新情報は図11(h)の画像となる。このとき、非更新情報が存在しているので前更新情報との比較処理を実施する。図11(g)の画像に関して、１つ目の更新情報となる図11(d)の画像との比較を行う。比較の結果、図11(d)の画像内に図11(g)の画像の情報が含まれていて、なおかつ図11(d)の画像と図11(g)の画像は異なるものである。このとき、更新情報となる図11(d)の画像を、非更新情報の図11(g)の画像に相当する部分とそれ以外の部分に分割し、２つの更新情報として図11(i)の画像と図11(j)の画像に分割する。
【０１３６】
次に、非更新情報として図11(h)の画像が存在している。これ以前の更新情報として図11(e)の画像が図11(h)の画像と一致することがわかる。一致した場合には、更新情報の領域の分割は行わずにそのまま図11(e)の画像を利用する。
【０１３７】
更新領域分割ステップS1214の処理後に、ステップS1215において、処理中の画像の番号を表わす内部変数iを１つカウントアップしてステップS1202 へ戻り、受信した画像数に合わせてステップS1203からステップS1215の処理を繰り返す。
【０１３８】
以上の処理により更新情報は、図11(i)、図11(j)、図11(e)、および図11(f)の画像の４つの情報となる。この４つの更新情報に基づいてステップS305で印刷データを生成し、その印刷データをステップS306の出力処理で印刷する。これにより、図11(i)、図11(j)、図11(e)、および図11(f)の画像が、それぞれ１ページに割り当てられた印刷用紙等の印刷物を得ることができる。
【０１３９】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１４０】
S301 複数画像データ受信ステップを示す図である。
S303 撮像情報取得ステップを示す図である。
S304 撮像情報解析ステップを示す図である。
S305 レイアウトステップを示す図である。
301 ホワイトボード形状を示す図である。
302 デジタル画像の撮像領域を示す図である。
S704 画像回転ステップを示す図である。
S705 ホワイトボード領域導出ステップを示す図である。
【図１】
2014115896.tif 000003
【図２】
2014115896.tif 000004
【図３】
2014115896.tif 000005
【図４】
2014115896.tif 000006
【図５】
2014115896.tif 000007
【図６】
2014115896.tif 000008
【図７】
2014115896.tif 000009
【図８】
2014115896.tif 000010
【図９】
2014115896.tif 000011
【図１０】
2014115896.tif 000012
【図１１】
2014115896.tif 000013
【図１２】
2014115896.tif 000014