(57)【要約】  書面等の撮像対象物に記載されている情報を高画質或いは広範囲、高解像度で、更に簡易に画像化することが可能な情報処理装置等を提供する。  携帯可能なスマートフォンＳにおいて、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレームデータを出力するカメラ９と、携帯されたスマートフォンＳの移動に伴って連続して撮像された複数のフレーム画像同士の位置合わせを行う位置合わせ処理を、各フレーム画像を用いて、フレーム画像の連続撮像に対応して逐次行うＣＰＵ１と、位置合わせされた各フレーム画像を用いて、撮像対象物に対応する合成画像であってカメラ９により撮像された各フレーム画像よりも高画質或いは広範囲の合成画像を合成するＣＰＵ１と、を備える。
2013099025.tif 000002
【特許請求の範囲】
【請求項１】
携帯可能な情報処理装置において、
撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段と、
携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段と、
位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記位置合わせ手段は、前記撮像対象物の全体に対応する全体フレーム画像に相当する全体フレーム画像情報と、前記一部にそれぞれ対応する各前記フレーム画像に相当する複数の前記フレーム画像情報と、を用いて、前記位置合わせ処理を前記連続撮像に対応して逐次行うことを特徴とする情報処理装置。
【請求項３】
請求項１又は請求項２に記載の情報処理装置において、
前記位置合わせ手段は、複数の前記フレーム画像情報を用いて、非剛体の前記位置合わせ処理を逐次行うことを特徴とする情報処理装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載の情報処理装置において、
前記位置合わせ処理後の前記フレーム画像に対応する前記一部が占める前記撮像対象物内の位置又は範囲を示す撮像済位置範囲情報に基づいて、前記連続撮像されるべき前記一部の前記撮像対象物上における位置又は範囲を示す位置範囲情報を生成する位置範囲情報生成手段と、
前記生成された位置範囲情報に基づいて、前記位置範囲情報に対応する位置への前記情報処理装置の移動を案内するための案内情報を生成する案内情報生成手段と、
前記生成された案内情報を前記情報処理装置の外部に告知する告知手段と、
を備えることを特徴とする情報処理装置。
【請求項５】
請求項１から請求項３のいずれか一項に記載の情報処理装置において、
前記連続撮像されるべき前記一部の前記撮像対象物上における位置又は範囲を示す位置範囲情報を、撮像済みの前記フレーム画像に基づいて生成する位置範囲情報生成手段と、
前記生成された位置範囲情報に基づいて、前記位置範囲情報に対応する位置への前記情報処理装置の移動を案内するための案内情報を生成する案内情報生成手段と、
前記生成された案内情報を前記情報処理装置の外部に告知する告知手段と、
を備えることを特徴とする情報処理装置。
【請求項６】
請求項４又は請求項５に記載の情報処理装置において、
前記合成手段は、撮像済みの前記フレーム画像に相当する前記フレーム画像情報に基づいた前記合成処理を前記フレーム画像の連続撮像に対応して逐次行い、
前記位置範囲情報生成手段は、
前記合成された合成画像に相当する合成画像情報を外部の画質評価手段に出力する外部出力手段と、
前記出力された合成画像情報に対する前記画質評価手段による評価結果を示す評価結果情報を取得する取得手段と、
を備え、
前記取得された評価結果情報を更に用いて前記位置範囲情報を生成することを特徴とする情報処理装置。
【請求項７】
請求項５に記載の情報処理装置において、
前記位置範囲情報生成手段は、前記位置合わせ処理後の前記フレーム画像に基づいて前記位置範囲情報を生成することを特徴とする情報処理装置。
【請求項８】
請求項４又は請求項７に記載の情報処理装置において、
前記位置範囲情報生成手段は、少なくとも前記位置合わせ処理に用いられた前記フレーム画像の数を、当該位置合わせ処理後の前記フレーム画像の画素ごとに積算する積算手段を備え、
前記位置範囲情報生成手段は、前記積算された数に基づいて前記位置範囲情報を生成することを特徴とする情報処理装置。
【請求項９】
請求項４から請求項８のいずれか一項に記載の情報処理装置において、
前記案内情報は前記情報処理装置の携帯者により視認される案内情報であり、
前記案内情報を表示する表示手段を更に備えることを特徴とする情報処理装置。
【請求項１０】
請求項９に記載の情報処理装置において、
前記案内情報は、前記合成処理後の前記合成画像における画質を、当該画質ごとに識別可能な態様により表示される案内情報であることを特徴とする情報処理装置。
【請求項１１】
請求項９又は請求項１０に記載の情報処理装置において、
前記案内情報は、前記合成処理後の前記合成画像における画質に対応した色により表示される案内情報であることを特徴とする情報処理装置。
【請求項１２】
請求項９から請求項１１のいずれか一項に記載の情報処理装置において、
前記表示手段は、前記フレーム画像を表示すると共に、表示されている当該フレーム画像に重ねて前記案内情報を表示することを特徴とする情報処理装置。
【請求項１３】
請求項９から請求項１１のいずれか一項に記載の情報処理装置において、
前記表示手段は、前記撮像対象物の全体に対応する全体フレーム画像を表示すると共に、当該全体フレーム画像に重ねて前記案内情報を表示することを特徴とする情報処理装置。
【請求項１４】
請求項９から請求項１３のいずれか一項に記載の情報処理装置において、
前記案内情報は、携帯されている当該情報処理装置の移動の諸元を示す案内情報であることを特徴とする情報処理装置。
【請求項１５】
請求項１から請求項１４のいずれか一項に記載の情報処理装置において、
前記位置合わせ処理又は前記合成処理の少なくともいずれか一方の終了後に当該情報処理装置における処理を中断させる中断手段と、
終了した当該少なくともいずれか一つの処理結果に対応する結果情報を保存させる保存手段と、
保存された結果情報を取得する結果情報取得手段と、
取得された結果情報を用いて、前記中断された処理を再開する再開手段と、
を更に備えることを特徴とする情報処理装置。
【請求項１６】
請求項１５に記載の情報処理装置において、
前記結果情報には、中断までの前記少なくともいずれか一方の結果に対応するフレーム画像情報が含まれており、
前記保存手段は、当該結果情報を外部の画像認識手段に出力する外部出力手段を備え、
前記結果情報取得手段は、前記画像認識手段により認識されたフレーム画像に相当するフレーム画像情報を含む前記結果情報を取得することを特徴とする情報処理装置。
【請求項１７】
請求項１から請求項１６のいずれか一項に記載の情報処理装置において、
前記撮像手段による撮像時において前記撮像対象物の一部又は全部を照らす照明手段と、
少なくとも前記位置合わせ処理の結果に基づいて、前記照明手段を制御する照明制御手段と、
を備えることを特徴とする情報処理装置。
【請求項１８】
請求項１から請求項１７のいずれか一項に記載の情報処理装置において、
前記位置合わせ手段は、前記撮像対象物との間の相対的な位置が異なる複数の前記撮像手段からそれぞれ出力された前記フレーム画像情報を用いて前記位置合わせ処理を行うことを特徴とする情報処理装置。
【請求項１９】
携帯可能な情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置において実行される情報処理方法において、
携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ工程と、
位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成工程と、
を含むことを特徴とする情報処理方法。
【請求項２０】
携帯可能な情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置に含まれるコンピュータを、
携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、及び、
位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段、
として機能させることを特徴とする情報処理用プログラム。
【請求項２１】
携帯可能な情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置に含まれるコンピュータを、
携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、及び、
位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段、
として機能させる情報処理用プログラムが前記コンピュータにより読み出し可能に記録されていることを特徴とする情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法並びに情報処理用プログラム及び情報記録媒体の技術分野に属する。より詳細には、カメラ等の撮像部を備える携帯可能な情報処理装置及び当該情報処理装置において実行される情報処理方法、並びに当該情報処理装置用のプログラム及び当該プログラムが記録された情報記録媒体の技術分野に属する。
【背景技術】
【０００２】
近年の情報化社会においては、業務以外の個人の日常生活においても、書面（紙）等に文字や記号又は図形として記載されている情報を、高画質且つ高解像度でデジタル的に画像化したいという要望は依然として多い。ここで、上記のような画像化のためには、いわゆるスキャナを用いることが一般的である。この場合のスキャナとしては、例えばいわゆるフラットベッド型のスキャナ等が一般的である。【０００３】
しかしながら、このようなスキャナを例えば業務以外の個人用として保有することは、コスト、設置場所又は取り扱いの煩雑さ等の面から便利でない場合が多い。また、個人としてパーソナルコンピュータを保有しない場合も近年では多くなり、よって上記スキャナを接続する本体としてのパーソナルコンピュータがそもそも存在しない環境も、個人宅等においては増加している。更に、一般に大型のフラットベッド型スキャナが必要な単行本、雑誌又は大型紙などに記載されている情報の画像化は、上記のような事情でより困難である場合が多い。【０００４】
一方、個人が手軽に扱える撮像用装置としては、いわゆるデジタルカメラが一般化している。しかしながら現在入手可能なデジタルカメラでは、それをスキャナの代替とするには画質（例えば画素数等）が十分でない場合が多い。また、仮にデジタルカメラをスキャナ代わりに用いようとしても、一般の個人が扱う場合は、例えば撮像時に手ブレが起きる、或いは周囲の照明が不適切といった理由により、スキャナとしては撮像に失敗する場合が多い。【０００５】
他方、最近では、いわゆるスマートフォンやタブレット型情報端末など、カメラが内蔵された携帯型の情報機器を誰もが携行するようになってきており、しかもそれらは常に身に着けられている場合が多い。また、当該情報機器に備えられたカメラが備える撮像能力や画像処理能力、或いはネットワークへの接続能力は、いずれも近年大きく向上してきており、今後も急速な改善が期待される。【０００６】
またこれらとは別に、特に医療における検査画像の合成等の分野において、同一の撮像対象物を撮像して得られた複数の画像同士の位置合わせ処理を、非剛体（非線形）により行う技術が開発されている（例えば、下記非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】「３次元脳地図と医用頭部画像の自動非線形位置合わせ（Automated, Non-linear Registration Between 3-Dimensional Brain Map and Medical Head Image）」, pp175 - 183, "MEDICAL IMAGING TECHNOLOGY", Vol. 16, No. 3, May 1998
【発明の概要】
【発明が解決しようとする課題】
【０００８】
以上のように、書面等に記載されている情報を高画質且つ高解像度で画像化したいという要望が多いにも拘わらず、それを個人でも簡易に実現できる有効な方法は、現状では存在していない。よって、このような画像化の方法の確立が望まれている。【０００９】
そこで本発明は、上記の要請に鑑みて為されたもので、その課題は、書面等の撮像対象物に記載されている情報を高画質或いは広範囲、高解像度で、更に簡易に画像化することが可能な情報処理装置及び当該情報処理装置において実行される情報処理方法、並びに当該情報処理装置用のプログラム及び当該プログラムが記録された情報記録媒体を提供することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するために、請求項１に記載の発明は、携帯可能なスマートフォン等の情報処理装置において、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段と、携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行うＣＰＵ等の位置合わせ手段と、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行うＣＰＵ等の合成手段と、を備える。【００１１】
上記の課題を解決するために、請求項１９に記載の発明は、携帯可能なスマートフォン等の情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置において実行される画像処理方法において、携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ工程と、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成工程と、を含む。【００１２】
上記の課題を解決するために、請求項２０に記載の発明は、携帯可能なスマートフォン等の情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置に含まれるコンピュータを、携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、及び、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段、として機能させる。【００１３】
上記の課題を解決するために、請求項２１に記載の発明は、携帯可能なスマートフォン等の情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力するカメラ等の撮像手段を備える情報処理装置に含まれるコンピュータを、携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、及び、位置合わせされた各前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段、として機能させる画像処理用プログラムが前記コンピュータにより読み出し可能に記録されている。【００１４】
請求項１又は請求項１９から請求項２１のいずれか一項に記載の発明によれば、携帯された情報処理装置の移動に伴って連続して撮像された複数のフレーム画像同士の位置合わせを当該連続撮像に対応して逐次行うと共に、位置合わせされた各フレーム画像にそれぞれ相当する複数のフレーム画像情報を用いて高画質或いは広範囲の合成画像を合成するので、撮像対象物に対応する高画質或いは広範囲の合成画像を、携帯可能な情報処理装置を用いて合成することができる。【００１５】
また、情報処理装置の移動に伴う連続撮像によって得られる複数のフレーム画像情報を用いて位置合わせ処理及び合成処理を行うので、撮像条件が異なる複数のフレーム画像情報を用いることで、より高画質或いは広範囲の合成画像を合成することができる。【００１６】
上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記位置合わせ手段は、前記撮像対象物の全体に対応する全体フレーム画像に相当する全体フレーム画像情報と、前記一部にそれぞれ対応する各前記フレーム画像に相当する複数の前記フレーム画像情報と、を用いて、前記位置合わせ処理を前記連続撮像に対応して逐次行うように構成される。【００１７】
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、撮像対象物の一部にそれぞれ対応する複数のフレーム画像情報と、全体フレーム画像情報と、を用いて、位置合わせ処理を連続撮像に対応して逐次行うので、フレーム画像ごとの位置合わせ処理をより正確に行うことができる。【００１８】
上記の課題を解決するために、請求項３に記載の発明は、請求項１又は請求項２に記載の情報処理装置において、前記位置合わせ手段は、複数の前記フレーム画像情報を用いて、非剛体の前記位置合わせ処理を逐次行うように構成される。【００１９】
請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、撮像手段から出力された複数のフレーム画像情報を用いて非剛体の位置合わせ処理を逐次行うので、汎用性が高く且つ高画質或いは広範囲の合成画像を合成することができる。【００２０】
上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の情報処理装置において、前記位置合わせ処理後の前記フレーム画像に対応する前記一部が占める前記撮像対象物内の位置又は範囲を示す撮像済位置範囲情報に基づいて、前記連続撮像されるべき前記一部の前記撮像対象物上における位置又は範囲を示す位置範囲情報を生成するＣＰＵ等の位置範囲情報生成手段と、前記生成された位置範囲情報に基づいて、前記位置範囲情報に対応する位置への前記情報処理装置の移動を案内するための案内情報を生成するＣＰＵ等の案内情報生成手段と、前記生成された案内情報を前記情報処理装置の外部に告知するディスプレイ等の告知手段と、を備える。【００２１】
請求項４に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、位置範囲情報を撮像済位置範囲情報に基づいて生成し、当該生成された位置範囲情報に基づいて、情報処理装置の移動案内用の案内情報を生成して外部に告知するので、高画質或いは広範囲の合成画像の合成のために必要なフレーム画像を撮像するために必要な位置へ、携帯する情報処理装置を正確且つ迅速に移動させることができる。【００２２】
上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項３のいずれか一項に記載の情報処理装置において、前記連続撮像されるべき前記一部の前記撮像対象物上における位置又は範囲を示す位置範囲情報を、撮像済みの前記フレーム画像に基づいて生成するＣＰＵ等の位置範囲情報生成手段と、前記生成された位置範囲情報に基づいて、前記位置範囲情報に対応する位置への前記情報処理装置の移動を案内するための案内情報を生成するＣＰＵ等の案内情報生成手段と、前記生成された案内情報を前記情報処理装置の外部に告知するディスプレイ等の告知手段と、を備える。【００２３】
請求項５に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、位置範囲情報に基づいて、情報処理装置の移動案内用の案内情報を生成して外部に告知するので、高画質或いは広範囲の合成画像の合成のために必要なフレーム画像を撮像するために必要な位置へ、携帯する情報処理装置を正確且つ迅速に移動させることができる。【００２４】
上記の課題を解決するために、請求項６に記載の発明は、請求項４又は請求項５に記載の情報処理装置において、前記合成手段は、撮像済みの前記フレーム画像に相当する前記フレーム画像情報に基づいた前記合成処理を前記フレーム画像の連続撮像に対応して逐次行い、前記位置範囲情報生成手段は、前記合成された合成画像に相当する合成画像情報を外部の画質評価手段に出力する通信インターフェース等の外部出力手段と、前記出力された合成画像情報に対する前記画質評価手段による評価結果を示す評価結果情報を取得する通信インターフェース等の取得手段と、を備え、前記取得された評価結果情報を更に用いて前記位置範囲情報を生成するように構成される。【００２５】
請求項６に記載の発明によれば、請求項４又は請求項５に記載の発明の作用に加えて、撮像済みのフレーム画像に相当するフレーム画像情報に基づいた合成処理をフレーム画像の連続撮像に対応して逐次行うと共に、外部の画質評価手段による合成画像情報に対する評価結果情報を更に用いて位置範囲情報を生成するので、合成済みの合成画像の画質に基づいて位置範囲情報を生成することで、より高画質或いは広範囲な合成画像をその後に合成することができる。【００２６】
上記の課題を解決するために、請求項７に記載の発明は、請求項５に記載の情報処理装置において、前記位置範囲情報生成手段は、前記位置合わせ処理後の前記フレーム画像に基づいて前記位置範囲情報を生成するように構成される。【００２７】
請求項７に記載の発明によれば、請求項５に記載の発明の作用に加えて、位置合わせ処理後のフレーム画像に基づいて位置範囲情報を生成するので、情報処理装置内で完結する構成により位置範囲情報を生成して、より高画質或いは広範囲な合成画像をその後に合成することができる。【００２８】
上記の課題を解決するために、請求項８に記載の発明は、請求項４又は請求項７に記載の情報処理装置において、前記位置範囲情報生成手段は、少なくとも前記位置合わせ処理に用いられた前記フレーム画像の数を、当該位置合わせ処理後の前記フレーム画像の画素ごとに積算するＣＰＵ等の積算手段を備え、前記位置範囲情報生成手段は、前記積算された数に基づいて前記位置範囲情報を生成するように構成される。【００２９】
請求項８に記載の発明によれば、請求項４又は請求項７に記載の発明の作用に加えて、少なくとも位置合わせ処理に用いられたフレーム画像の数を、位置合わせ処理後のフレーム画像の画素ごとに積算し、その積算された数に基づいて位置範囲情報を生成するので、より高画質或いは広範囲な合成画像をその後に合成することが可能な位置範囲情報を生成することができる。なおこの場合のフレーム画像の数として、例えばフレーム画像内の位置に応じて重み付けをした数を用いても良い。【００３０】
上記の課題を解決するために、請求項９に記載の発明は、請求項４から請求項８のいずれか一項に記載の情報処理装置において、前記案内情報は前記情報処理装置の携帯者により視認される案内情報であり、前記案内情報を表示するディスプレイ等の表示手段を更に備える。【００３１】
請求項９に記載の発明によれば、請求項４から請求項８のいずれか一項に記載の発明の作用に加えて、案内情報が情報処理装置の携帯者により視認される案内情報であり、当該案内情報を表示する表示手段を更に備えるので、高画質或いは広範囲の合成画像を合成するために必要な情報処理装置の移動を、その携帯者が容易に行うことができる。【００３２】
上記の課題を解決するために、請求項１０に記載の発明は、請求項９に記載の情報処理装置において、前記案内情報は、前記合成処理後の前記合成画像における画質を、当該画質ごとに識別可能な態様により表示される案内情報であるように構成される。【００３３】
請求項１０に記載の発明によれば、請求項９に記載の発明の作用に加えて、案内情報が、合成画像における画質を、当該画質ごとに識別可能な態様により表示される案内情報であるので、高画質或いは広範囲の合成画像を合成するために必要な情報処理装置の移動を、合成画像の画質に応じて容易に行うことができる。【００３４】
上記の課題を解決するために、請求項１１に記載の発明は、請求項９又は請求項１０に記載の情報処理装置において、前記案内情報は、前記合成処理後の前記合成画像における画質に対応した色により表示される案内情報であるように構成される。【００３５】
請求項１１に記載の発明によれば、請求項９又は請求項１０に記載の発明の作用に加えて、案内情報が合成画像における画質に対応した色により表示される案内情報であるので、高画質或いは広範囲の合成画像を合成するために必要な情報処理装置の移動を、表示される色に応じて容易に行うことができる。【００３６】
上記の課題を解決するために、請求項１２に記載の発明は、請求項９から請求項１１のいずれか一項に記載の情報処理装置において、前記表示手段は、前記フレーム画像を表示すると共に、表示されている当該フレーム画像に重ねて前記案内情報を表示するように構成される。【００３７】
請求項１２に記載の発明によれば、請求項９から請求項１１のいずれか一項に記載の発明の作用に加えて、フレーム画像に重ねて案内情報を表示するので、フレーム画像内に映っている撮像対象物との関係で、案内情報を、その内容をより理解し易く表示することができる。【００３８】
上記の課題を解決するために、請求項１３に記載の発明は、請求項９から請求項１１のいずれか一項に記載の情報処理装置において、前記表示手段は、前記撮像対象物の全体に対応する全体フレーム画像を表示すると共に、当該全体フレーム画像に重ねて前記案内情報を表示するように構成される。【００３９】
請求項１３に記載の発明によれば、請求項９から請求項１１のいずれか一項に記載の発明の作用に加えて、全体フレーム画像に重ねて案内情報を表示するので、俯瞰的に全体フレーム画像と重ねて案内情報を表示することで、案内情報を、その内容をより理解し易く表示することができる。【００４０】
上記の課題を解決するために、請求項１４に記載の発明は、請求項９から請求項１３のいずれか一項に記載の情報処理装置において、前記案内情報は、携帯されている当該情報処理装置の移動の諸元を示す案内情報であるように構成される。【００４１】
請求項１４に記載の発明によれば、請求項９から請求項１３のいずれか一項に記載の発明の作用に加えて、案内情報が、情報処理装置の移動の諸元を示す案内情報であるので、情報処理装置の移動を容易に行うことができる。【００４２】
上記の課題を解決するために、請求項１５に記載の発明は、請求項１から請求項１４のいずれか一項に記載の情報処理装置において、前記位置合わせ処理又は前記合成処理の少なくともいずれか一方の終了後に当該情報処理装置における処理を中断させるＣＰＵ等の中断手段と、終了した当該少なくともいずれか一つの処理結果に対応する結果情報を保存させるＣＰＵ等の保存手段と、保存された結果情報を取得するＣＰＵ等の結果情報取得手段と、取得された結果情報を用いて、前記中断された処理を再開するＣＰＵ等の再開手段と、を更に備える。【００４３】
請求項１５に記載の発明によれば、請求項１から請求項１４のいずれか一項に記載の発明の作用に加えて、位置合わせ処理又は合成処理の少なくともいずれか一方の終了後に当該情報処理装置における処理を中断させた場合でも、保存されている結果情報を用いて当該処理を再開することができるので、位置合わせ処理及び合成処理の実行の自由度を向上させることができる。【００４４】
上記の課題を解決するために、請求項１６に記載の発明は、請求項１５に記載の情報処理装置において、前記結果情報には、中断までの前記少なくともいずれか一方の結果に対応するフレーム画像情報が含まれており、前記保存手段は、当該結果情報を外部の画像認識手段に出力する通信インターフェース等の外部出力手段を備え、前記結果情報取得手段は、前記画像認識手段により認識されたフレーム画像に相当するフレーム画像情報を含む前記結果情報を取得するように構成される。【００４５】
請求項１６に記載の発明によれば、請求項１５に記載の発明の作用に加えて、中断までの結果情報を外部の画像認識手段により認識させ、その認識結果を取得して処理を再開するので、情報処理装置としての合成画像をより高画質或いは広範囲に合成することができる。【００４６】
上記の課題を解決するために、請求項１７に記載の発明は、請求項１から請求項１６のいずれか一項に記載の情報処理装置において、前記撮像手段による撮像時において前記撮像対象物の一部又は全部を照らすライト等の照明手段と、少なくとも前記位置合わせ処理の結果に基づいて、前記照明手段を制御するＣＰＵ等の照明制御手段と、を備える。【００４７】
請求項１７に記載の発明によれば、請求項１から請求項１６のいずれか一項に記載の発明の作用に加えて、少なくとも位置合わせ処理の結果を用いて撮像対象物の一部又は全部を照らすので、より高画質或いは広範囲の合成画像を合成することができる。【００４８】
上記の課題を解決するために、請求項１８に記載の発明は、請求項１から請求項１７のいずれか一項に記載の情報処理装置において、前記位置合わせ手段は、前記撮像対象物との間の相対的な位置が異なる複数の前記撮像手段からそれぞれ出力された前記フレーム画像情報を用いて前記位置合わせ処理を行うように構成される。【００４９】
請求項１８に記載の発明によれば、請求項１から請求項１７のいずれか一項に記載の発明の作用に加えて、撮像対象物との間の相対的な位置が異なる複数の撮像手段からそれぞれ出力されたフレーム画像情報を用いて位置合わせ処理を行うので、複数の撮像手段を用いてより高画質或いは広範囲の合成画像を合成することができる。
【発明の効果】
【００５０】
以上説明したように、本発明によれば、撮像対象物に対応する高画質或いは広範囲の合成画像を、携帯可能な情報処理装置を用いて合成することができる。また、撮像条件が異なる複数のフレーム画像情報を用いることで、より高画質或いは広範囲の合成画像を合成することができる。【００５１】
従って、高画質或いは広範囲、高解像度で、更に簡易に撮像対象物を画像化することが可能となる。
【図面の簡単な説明】
【００５２】
【図１】第１実施形態に係るスマートフォンの概要構成を示すブロック図である。
【図２】第１実施形態に係る画像処理を示すフローチャートである。
【図３】第１実施形態に係る画像処理において表示される画面例等を示す図であり、（ａ）は撮像対象物としての書面を例示する図であり、（ｂ）は位置合わせ処理時の表示例を示す図である。
【図４】第１実施形態に係る位置合わせ処理を例示する図（ｉ）であり、（ａ）は位置合わせ前の状態を例示する図であり、（ｂ）は位置合わせ処理中を例示する図（ｉ）であり、（ｃ）は位置合わせ処理中を例示する図（ii）である。
【図５】第１実施形態に係る位置合わせ処理を例示する図（ii）であり、（ａ）は位置合わせ処理中を例示する図（iii）であり、（ｂ）は位置合わせ処理中を例示する図（iv）であり、（ｃ）は位置合わせ処理中を例示する図（ｖ）であり、（ｄ）は位置合わせ処理中を例示する図（vi）である。
【図６】第１実施形態に係る位置合わせ処理を例示する図（iii）であり、（ａ）は位置合わせ処理の他の例を示す図（i）であり、（ｂ）は位置合わせ処理の他の例を示す図（ii）であり、（ｃ）は位置合わせ処理の他の例を示す図（iii）であり、（ｄ）は位置合わせ処理の他の例を示す図（iv）である。
【図７】第２実施形態に係る画像処理を示すフローチャートである。
【発明を実施するための形態】
【００５３】
次に、本発明を実施するための形態について、図面に基づいて説明する。なお、以下に説明する各実施形態は、連写及び動画の撮像が可能なデジタルカメラ（以下、単にカメラと称する）を備える携帯可能なスマートフォンに対して本発明を適用した場合の実施の形態である。なお当該スマートフォンに備えられているデジタルカメラではなく、装置として独立したデジタルカメラに対して本発明を適用しても良い。また、本発明に係るスマートフォンの携帯者を、以下、単に「携帯者」と称する。
（Ｉ）第１実施形態
初めに、本発明に係る第１実施形態について、図１乃至図６を用いて説明する。なお、図１は第１実施形態に係るスマートフォンの概要構成を示すブロック図であり、図２は第１実施形態に係る画像処理を示すフローチャートである。また、図３は第１実施形態に係る画像処理において表示される画面例を示す図であり、図４乃至図６は第１実施形態に係る位置合わせ処理をそれぞれ例示する図である。
【００５４】
第１実施形態に係るスマートフォンは、撮像対象物の一例としての例えば書面又は立体物上に文字、記号又は図形等を用いて記載されている情報を、上記カメラを用いて連写又は動画撮像する。その後当該スマートフォンは、第１実施形態に係る後述の画像処理により、当該撮像により得られた画像データを複数フレーム分用いて、当該画像データ相互の位置合わせ処理及び当該位置合わせ処理後の各画像データを合成する合成処理を実行する。これにより当該スマートフォンは、撮像対象物上の情報を高画質或いは広範囲にデジタル化する。
【００５５】
即ち図１に示すように、第１実施形態に係る「情報処理装置」の一例としてのスマートフォンＳは、ＣＰＵ１と、ＲＯＭ（Read Only Memory）２と、ＲＡＭ（Random Access Memory）３と、操作ボタン及びタッチパネル等からなる操作部４と、当該タッチパネルがその表面に配置されている液晶ディスプレイ等からなるディスプレイ５と、スピーカ７及びマイク８が接続されている通話制御部６と、「撮像手段」の一例としての上記カメラ９と、図１において図示しない外部のネットワーク（無線ＬＡＮ（Local Area Network）、専用回線、インターネット又はいわゆる３Ｇ回線等のネットワーク）に接続するためのアンテナＡＮＴを備える通信インターフェース１０と、により構成されている。またＲＡＭ３内には、ＣＰＵ１を中心とした第１実施形態に係る画像処理を実行するために必要な各種バッファとして、位置合わせデータバッファ３０と、データ量バッファ３１と、合成画像バッファ３２と、広域画像バッファ３３と、カレント画像バッファ３４と、位置合わせ済みカレント画像バッファ３５と、が、揮発性の記憶領域として形成されている。
【００５６】
上記の構成のうちＣＰＵ１が、第１実施形態に係る「位置合わせ手段」の一例、「合成手段」の一例、「位置範囲情報生成手段」の一例、「案内情報生成手段」の一例、「積算手段」の一例、「中断手段」の一例、「保存手段」の一例、「結果情報取得手段」の一例、「再開手段」の一例及び「照明制御手段」の一例に、それぞれ相当する。またディスプレイ５が、「告知手段」の一例及び「表示手段」の一例に、それぞれ相当する。更に通信インターフェース１０が、「外部出力手段」の一例及び「取得手段」の一例に、それぞれ相当する。
【００５７】
この構成において通信インターフェース１０は、ＣＰＵ１の制御の下、アンテナＡＮＴを介した上記ネットワークとのデータの授受を制御する。この時通信インターフェース１０は、アンテナＡＮＴを介した無線によるデータの授受だけでなく、例えば有線ＬＡＮやいわゆるＵＳＢ（Universal Serial Bus）等を介した有線によるデータの授受を制御するように構成することもできる。
【００５８】
また通話制御部６は、ＣＰＵ１の制御の下、マイク８及びスピーカ７を用いたスマートフォンＳとしての音声通話を制御する。更に操作部４は、スマートフォンＳの使用者による操作に基づいて、当該操作に対応する操作信号を生成してＣＰＵ１に出力する。これによりＣＰＵ１は、当該操作信号に基づいてスマートフォンＳ全体を制御する。
【００５９】
一方ＲＯＭ２には、後述する第１実施形態に係る画像処理を初めとするスマートフォンＳとしての処理のためのプログラム等が予め不揮発性に記録されている。そしてＣＰＵ１は、当該プログラム等をＲＯＭ２から読み出して実行することにより、上記スマートフォンＳとしての処理を制御する。この他ＲＯＭ２は、例えば電話番号データやアドレスデータ等、スマートフォンＳとしての処理に必要なデータも不揮発性に記憶する。またＲＡＭ３は、上記各バッファとして必要なデータを一時的に記憶し、更に上記スマートフォンＳとしての処理に必要な他のデータを一時的に記憶する。更にディスプレイ５は、ＣＰＵ１の制御の下、第１実施形態に係る画像処理のために必要な情報に加えて、スマートフォンＳとしての処理に必要な情報を、その携帯者に対して表示する。
【００６０】
他方、カメラ９は、ＣＰＵ１の制御の下、上記書面等上の情報を連写又は動画撮像し、当該撮像した画像に対応する画像データ（デジタル化された画像データ）を、当該連写の都度又は動画撮像の場合にあっては連続して、ＣＰＵ１に出力する。これによりＣＰＵ１は、ＲＡＭ３内の各バッファにそれぞれ記憶されているデータを用いて、第１実施形態に係る画像処理を実行する。
【００６１】
次に、当該ＲＡＭ３内の各バッファについて、具体的に説明する。
【００６２】
先ず、ＲＡＭ３内の位置合わせデータバッファ３０は、後述する位置合わせ処理の結果としての変形状態を示す座標データを記憶する。次にＲＡＭ３内のデータ量バッファ３１は、カメラ９により撮像された画像における各画素のそれぞれについて、第１実施形態に係る画像処理のうちの位置合わせ処理及び合成処理の対象となった画像（後述するカレント画像）の数（無名数）を、合成画像における各画素ごとに記憶する。ここで、データ量バッファ３１に記憶されている値が大きいほど、その画素については第１実施形態に係る位置合わせ処理及び合成処理による高画質化が進んでいることを意味する。なお、例えば画像内の位置に応じて重み付けをした値を、画素ごとにデータ量バッファ３１に記憶させるように構成することもできる。
【００６３】
一方、ＲＡＭ３内の合成画像バッファ３２は、第１実施形態に係る画像処理のうちの合成処理により高画質／広範囲化して形成された合成画像に相当する画像データを、当該合成処理の進捗に合わせて逐次記憶する。これに対してＲＡＭ３内の広域画像バッファ３３は、後述する位置合わせ処理に用いるべく、第１実施形態に係る画像処理において撮像された書面等の全体画像に相当する一フレーム分の画像データ（フレーム画像データ）を記憶する。ここで、この場合の「全体画像」とは、例えば書面一枚に記載されている情報をデジタル化する場合は、その書面の全体を撮像した一つの画像を言う。
【００６４】
またＲＡＭ３内のカレント画像バッファ３４は、その時点で第１実施形態に係る画像処理のうちの位置合わせ処理の対象となっている一フレーム分の画像データを記憶する。この場合の一フレーム分の画像データ（フレーム画像データ）に相当する画像を、「カレント画像」と称する。最後にＲＡＭ３内の位置合わせ済みカレント画像バッファ３５は、第１実施形態に係る画像処理のうちの位置合わせ処理後で、且つこれから合成処理の対象となる一フレーム分の画像データを記憶する。
【００６５】
次に、第１実施形態に係る画像処理について、具体的に図２乃至図６を用いて説明する。
【００６６】
第１実施形態に係る画像処理は、例えば、携帯者による所定の操作が操作部４において実行されたときに開始される。
【００６７】
そして当該画像処理が開始されると、図２に示すようにＣＰＵ１は先ず、上記位置合わせデータバッファ３０を、「変形なし」を意味する内容のデータを用いて初期化する（ステップＳ１）。これにより、第１実施形態に係る位置合わせ処理が開始される。次にＣＰＵ１は、上記データ量バッファ３１及び合成画像バッファ３２を、それぞれ「ゼロ」に初期化する（ステップＳ２）。
【００６８】
次にＣＰＵ１は、上記全体画像を撮像する旨の表示をディスプレイ５において実行する等の処理により、携帯者に対して当該全体画像の撮像を告知する。これにより当該全体画像が携帯者の操作により撮像されると、ＣＰＵ１は、当該全体画像に相当する一フレーム分の画像データを広域画像バッファ３３に入力する（ステップＳ３）。
【００６９】
次にＣＰＵ１は、撮像対象物の任意の位置から連写又は動画撮像を開始する旨の表示をディスプレイ５において実行する等の処理により、携帯者に対して連写又は動画撮像を告知する。これにより当該連写又は動画撮像が携帯者の操作により実行されると、ＣＰＵ１は、当該撮像に伴って入力されてくるカレント画像に相当する一フレーム分の画像データをカレント画像バッファ３４に入力する（ステップＳ４）。これによりＣＰＵ１は、第１実施形態に係る非剛体の位置合わせ処理を、広域画像バッファ３３に記憶されている画像データ（即ち全体画像に相当する画像データ）と、そのタイミングにおいてカレント画像バッファ３４に記憶されている画像データと、を用いて行う（ステップＳ５）。このときの非剛体の位置合わせ処理は、カレント画像として撮像された撮像対象物の部分と、全体画像における当該部分と、を比較し、両者が画像として一致するようにカレント画像の位置合わせを行う処理である。この位置合わせ処理は、位置合わせデータバッファ３０に記憶されている座標データを用いて行われる。当該位置合わせ処理には、例えば上記非特許文献１に記載されているものがあるが、より具体的には図４乃至図６を用いて後ほど詳説する。
【００７０】
カレント画像に相当する一フレーム分の画像データに対する非剛体の位置合わせ処理が完了すると（ステップＳ５）、ＣＰＵ１は、当該位置合わせ処理後のカレント画像の画像データを位置合わせ済みカレント画像バッファ３５に記憶させる（ステップＳ６）。更にＣＰＵ１は、ステップＳ５の位置合わせ処理の結果としての変形状態を示す座標データを、位置合わせデータバッファ３０に新たに記憶させる（ステップＳ７）。
【００７１】
次にＣＰＵ１は、位置合わせ処理後のカレント画像の画質が、第１実施形態の画像処理として所望される高画質として十分な解像度を有しているか否かを判定する（ステップＳ８）。このステップＳ８の処理においてＣＰＵ１は、例えば、当該高画質に相当する予め設定された目標解像度を示すデータと、撮像対象物全体の大きさを示す予め入力されたサイズデータと、を用いて当該カレント画像の解像度を判定する。この場合、撮像対象物全体を高画質或いは広範囲にデジタル化するためには、目標解像度或いはサイズデータが大きいほど多くのカレント画像を撮像する必要があり、また目標解像度が高いほど各カレント画像に要求される解像度が高いことになる。ここで「カレント画像の解像度が高い」とは、通常は撮像対象物により近くなっていることを意味しており、解像度が高い反面、撮像範囲としては狭くなっている状況である。ステップＳ８の判定において、位置合わせ処理後のカレント画像の画質が十分な解像度を有していない場合（ステップＳ８；ＮＯ）、ＣＰＵ１は後述するステップＳ１２の処理に移行する。一方ステップＳ８の判定において、位置合わせ処理後のカレント画像の画質が十分な解像度を有している場合（ステップＳ８；ＹＥＳ）、ＣＰＵ１は次に、位置合わせ済みカレント画像バッファ３５内の画像データを合成画像バッファ３２内の画像データに加算する（ステップＳ９）。このステップＳ９の処理により、高画質のカレント画像が、それまでに合成されていた合成画像に追加される。これにより、撮像対象物全体に占める合成画像の領域的な割合が拡大されることになる。
【００７２】
次にＣＰＵ１は、ステップＳ５の位置合わせ処理及びステップＳ９の合成処理に伴い、当該カレント画像に含まれているいずれかの画素に対応する合成画像の各画素に対応するデータ量バッファ３１の値（位置合わせ処理及び合成処理の対象となったカレント画像の数の値）を、当該位置合わせ処理及び合成処理に対応して「１」だけインクリメントする（ステップＳ１０）。
【００７３】
次にＣＰＵ１は、ステップＳ９の処理後の合成画像において、各画素に対応するデータ量バッファ３１の値が撮像対象物の全ての領域について十分な値であるか否かを判定する（ステップＳ１１）。このステップＳ１１の処理においてＣＰＵ１は、例えば、第１実施形態に係る画像処理の結果としての合成画像において、当該画像処理として所望される高画質として十分な数のカレント画像が、撮像対象物の全領域に渡って第１実施形態に係る位置合わせ処理及び合成処理の対象となったか否かを、データ量バッファ３１に記憶されている各画素ごとの値に基づいて判定する。ステップＳ１１の判定において十分な値（カレント画像の数）を有している場合（ステップＳ１１；ＹＥＳ）、撮像対象物を高画質にデジタル化できたことになる。そこでＣＰＵ１は、合成画像バッファ３２に記憶されている合成画像の各画素の画素値を、その時のデータ量バッファ３１に記憶されているその画素に対応する値で除算し（ステップＳ１４）、その結果を図示しないメモリ等に記憶して、第１実施形態に係る画像処理を終了する。このステップＳ１４の処理は、第１実施形態に係る画像処理として最終的に合成された高画質の合成画像における各画素の画素値を、その画像処理に必要となったカレント画像の数で除する処理であり、例えば爾後に撮像されるカレント画像との一貫性を担保するための処理である。
【００７４】
一方、ステップＳ１１の判定において、ステップＳ９の処理後の合成画像において十分な数のカレント画像が撮像対象物の全領域に渡って第１実施形態に係る位置合わせ処理及び合成処理の対象となっていない場合（ステップＳ１１；ＮＯ）、ＣＰＵ１は、追加のカレント画像を撮像すべく、現在のカレント画像を構成する各画素に対応する値をデータ量バッファ３１から取得する（ステップＳ１２）。この場合にＣＰＵ１は、既に第１実施形態に係る位置合わせ処理及び合成処理の対象となった画素をカレント画像内で特定すべく、位置合わせデータバッファ３０に記憶されている座標データを取得し、これを用いて上記ステップＳ５に係る非剛体の位置合わせ処理とは逆の処理（逆変換処理）を行う。その後ＣＰＵ１は、ステップＳ１２の処理により取得した各画素に対応する値に対応する色を、第１実施形態に係る案内情報として、カレント画像に重畳してディスプレイ５上に表示させる（ステップＳ１３）。これによりＣＰＵ１は、更なるカレント画像の撮像が必要な撮像対象物内の領域を、携帯者に告知する。その後ＣＰＵ１は、上記ステップＳ４に戻り、新たに撮像されるカレント画像について上記ステップＳ４乃至Ｓ１３の処理を繰り返す。これによりＣＰＵ１は、上記ステップＳ１１の判定結果が「ＹＥＳ」となるまで、新たなカレント画像の撮像と、撮像されたカレント画像に相当する画像データを用いた位置合わせ処理（上記ステップＳ５参照）及びその後の合成処理（上記ステップＳ８乃至Ｓ１１参照）を実行することを繰り返す。
【００７５】
次に、上述した繰り返し処理の過程において、ステップＳ１３の処理としてディスプレイ５上に表示される画像例を、図３を用いて説明する。
【００７６】
図３において、撮像対象物は、例えば図３（ａ）に例示されるような文字が記載された書面Ｐであるとする。また図３（ｂ）は、ディスプレイ５と、操作部４に属する操作ボタン４Ａ乃至４Ｃと、を備えたスマートフォンＳの正面図である。この書面Ｐを撮像対象物として第１実施形態に係る画像処理が実行される過程では、例えば図３（ｂ）に例示するように、第１実施形態の画像処理として所望される高画質（解像度）の合成画像が合成できている領域（図２ステップＳ８；ＹＥＳ参照）については、例えば両方向ハッチングが掛かるように表示される（図２ステップＳ１３参照）。一方、所望される高画質に到達していない領域（図２ステップＳ８；ＮＯ参照）については、それまでの画像処理にて到達している画質（解像度。換言すればデータ量バッファ３１に記憶されている値）に応じて、段階的に異なる状態で表示される（図２ステップＳ１３参照）。例えば図３（ｂ）に例示する場合では、未だカレント画像が撮像されていない領域については元の書面Ｐの当該領域がそのまま表示される。これに対し、高画質に相当する解像度にまで到達していない第１の領域については、例えば右下方向ハッチングが掛かるように表示される。更に、第１の領域よりも更に解像度は低いが、カレント画像が一つ以上撮像されて第１実施形態に係る位置合わせ処理及び合成処理の対象とされている領域（第１実施形態に係る画像処理が開始済みの領域）については、例えば左下方向ハッチングが掛かるように表示される。なお図３（ｂ）において、両方向ハッチングが掛けられている領域を例えば赤色に、右下方向ハッチングが掛けられている領域をオレンジ色に、左下方向ハッチングが掛けられている領域を黄色に、それぞれ色により到達している解像度を区別して表示するように構成してもよい。そして図３（ｂ）に例示されるような表示を見た携帯者は、右下方向ハッチングが掛けられている領域又は左下方向ハッチングが掛けられている領域についてのカレント画像を追加して撮像すべく、スマートフォンＳを移動させて必要なカレント画像を撮像する（二巡目以降の図２ステップＳ４参照）。
【００７７】
次に、上記ステップＳ５に係る非剛体の位置合わせ処理について、具体的に図４乃至図６を用いて説明する。
【００７８】
上記ステップ５に係る位置合わせ処理は、上述したように、カレント画像として撮像された撮像対象物の部分と、全体画像における当該部分と、を比較し、両者が画像として一致するようにカレント画像の位置合わせ（変形）を行う処理である。ここで、図４乃至図６に示す例では、図４（ａ）左に示す全体画像ＧＡを基準画像とし、図４（ａ）右に示すカレント画像ＧＴについて非剛体の位置合わせ処理を行うものとする。なお図４乃至図６に示す例では、カレント画像ＧＴと全体画像ＧＡとの撮像領域は一致している。
【００７９】
ステップＳ５に係る位置合わせ処理として先ずＣＰＵ１は、図４（ｂ）に例示するように、カレント画像ＧＴを所定数に分割する。図４（ｂ）右に例示する場合では、カレント画像ＧＴを四つの分割画像ＧＴａ乃至ＧＴｄに分割しているが、より高画質を得るためには分割数は多いほどよい。次にＣＰＵ１は、図４（ｃ）に例示するように一つの分割画像に着目する。図４（ｃ）に例示する場合、ＣＰＵ１は分割画像ＧＴａに着目している。
【００８０】
次にＣＰＵ１は、図５（ａ）に例示するように、着目している分割画像ＧＴａを全体画像ＧＡに重ねる。なお図５における座標軸は、全体画像ＧＡにおける各分割画像に対応する領域の左上隅と、各分割画像の左上隅と、を原点（０，０）とし、図５において右方向がｘ座標軸の正方向、図５において下方向がｙ座標軸の正方向である。図５（ａ）において分割画像ＧＴａを全体画像ＧＡに最初に重ねる場合、そのオフセットは（０，０）とされる。
【００８１】
その後ＣＰＵ１は、図５（ｂ）に例示するように、全体画像ＧＡ内において、分割画像ＧＴａとその内容が最もよく一致する位置（オフセット）を探索する。なお、画像同士の内容の一致を定量化するためには、例えば相互情報量（Mutual Information）を用いる手法や、対象となる領域（図５（ｂ）に例示する場合は、分割画像ＧＴａの領域）に対する輝度差の総和（ＳＡＤ（Sum of Absolute Difference））を用いる手法などが好適である。図５（ｂ）の例でＣＰＵ１は、当該オフセットとして座標データ（−２，＋３）が得られている。
【００８２】
その後ＣＰＵ１は、図５に例示する分割画像ＧＴａ以外の他の分割画像ＧＴｂ乃至分割画像ＧＴｄについても、同様にその内容が最もよく一致する位置（オフセット）を全体画像ＧＡ内において探索する。図５（ｃ）に例示する場合、分割画像ＧＴａの場合は当該オフセットとして座標データ（−２，＋３）が、分割画像ＧＴｂの場合は当該オフセットとして座標データ（＋２，＋３）が、分割画像ＧＴｃの場合は当該オフセットとして座標データ（＋４，−１）が、分割画像ＧＴｄの場合は当該オフセットとして座標データ（−３，−１）が、それぞれＣＰＵ１により得られている。
【００８３】
以上の一連の処理により、ステップＳ５に係る位置合わせ処理として各分割画像ＧＴａ乃至分割画像ＧＴｄそれぞれの中心点が移動されるべき量が、上記オフセットとして、例えば図５（ｄ）右に例示するようにそれぞれ得られる。なおこの中心点は、一般に「アンカー」と称されることもある。そして、一つのカレント画像ＧＴについて、全てのアンカーが移動されるべき量を加算して集めた座標データが、上記位置合わせデータバッファ３０に逐次記憶される座標データである。
【００８４】
この他、各分割画像ＧＴａ乃至分割画像ＧＴｄそれぞれのアンカーの移動量に基づいたいわゆる内挿法又は外挿法により、図６（ａ）に例示するようにカレント画像ＧＴ全体を変形させるように位置合わせ処理を行うことも可能である。この場合には、カレント画像ＧＴの内容と全体画像ＧＡの内容とを、より一致させることができる。更には、カレント画像ＧＴ全体、或いは分割画像ＧＴａ乃至分割画像ＧＴｄ全体の移動や変形（それらの回転、拡大／縮小又は台形変形等を含む）を用いることもできる。
【００８５】
また、変形後のカレント画像ＧＴ全体の形状又は位置と、元の全体画像ＧＡ全体の形状又は位置と、を比較することにより、図６（ｂ）乃至図６（ｄ）に例示するようにスマートフォンＳ全体の動きを推測して次のカレント画像ＧＴの撮像範囲を携帯者に告知することもできる。例えば図６（ｂ）に例示する場合はスマートフォンＳ全体が左下方向へ移動したことが推測され、また図６（ｃ）に例示する場合はスマートフォンＳ全体が上向きに回転した（首を上に振った）ことが推測される。また図６（ｄ）に例示する場合はスマートフォンＳ全体が後方に移動した（撮像対象物から離れた）ことが推測される。
【００８６】
以上説明したように、第１実施形態に係る画像処理によれば、携帯されたスマートフォンＳの移動に伴って連続して撮像された複数の画像同士の位置合わせを当該連続撮像に対応して逐次行うと共に、位置合わせされた各画像にそれぞれ相当する複数の画像データを用いて高画質或いは広範囲の合成画像を合成するので（図２参照）、撮像対象物に対応する高画質或いは広範囲の合成画像を、携帯可能なスマートフォンＳを用いて合成することができる。また、スマートフォンＳの移動に伴う連続撮像によって得られる複数の画像データを用いて位置合わせ処理及び合成処理を行うので、撮像条件が異なる複数の画像データを用いることで、より高画質或いは広範囲の合成画像を合成することができる（図２参照）。なおこの作用効果を得るためには、図２ステップＳ１１乃至Ｓ１４の処理が実行されることは、必ずしも必要ではない。
【００８７】
またこの顕著な作用効果は、換言すれば、携帯者が携行するスマートフォンＳ以外の装置を別途用いることなく、高画質或いは広範囲の画像合成を行うことができることになる。即ち、スマートフォンＳ以外に画像等のデータが記録されることがないので、いつでも誰でもどこででも、個人ならそのプライバシーを、仕事なら関連する情報のセキュリティを、それぞれ最高レベルで確保しながら、手間を取らずに簡単に高画質或いは広範囲の画像合成を行うことができる。これは、今までの装置等にはなかった、画期的な価値である。
【００８８】
更に、撮像対象物の一部にそれぞれ対応する複数のカレント画像と、全体画像と、を用いて、位置合わせ処理を連続撮像に対応して逐次行うので（図２参照）、画像ごとの位置合わせ処理をより正確に行うことができる。
【００８９】
更にまた、カメラ９から出力された複数の画像データを用いて非剛体の位置合わせ処理を逐次行うので（図２ステップＳ５参照）、汎用性が高く且つ高画質或いは広範囲の合成画像を合成することができる。
【００９０】
また、カレント画像を構成する各画素に対応するデータ量バッファ３１の値に基づいて、スマートフォンＳの移動案内用の案内情報を生成して外部に告知するので（図２ステップＳ１２及びステップＳ１３参照）、高画質或いは広範囲の合成画像の合成のために必要な位置へ、スマートフォンＳを正確且つ迅速に移動させることができる。
【００９１】
更に、合成画像を合成するために用いられた各画像の数を合成画像の画素ごとにデータ量バッファ３１を用いて積算し、その積算された数に基づいて、各画素に対応する案内情報を生成するので（図２ステップＳ１２参照）、より高画質或いは広範囲な合成画像をその後に合成することが可能となる。
【００９２】
更にまた、図２ステップＳ１３の処理により告知される案内情報がスマートフォンＳの携帯者により視認される案内情報であるので、高画質或いは広範囲の合成画像を合成するために必要なスマートフォンＳの移動を、その携帯者が容易に行うことができる。
【００９３】
また、図２ステップＳ１３の処理により告知される案内情報を、解像度に応じた色別に表示する場合は（図３（ｂ）参照）、高画質或いは広範囲の合成画像を合成するために必要なスマートフォンＳの移動を、表示される色に応じて容易に行うことができる。
【００９４】
更に、図３（ｂ）に例示するように元の全体画像ＧＡに重ねて案内情報を表示する場合には、映っている撮像対象物との関係で、案内情報を、その内容をより理解し易く表示することができる。この場合、スマートフォンＳ（カメラ９）を移動させると、ディスプレイ５に表示されている撮像対象物の部分がリアルタイムに変更されていくこととなる。これにより、案内情報の内容をより理解し易く表示することができる。
【００９５】
更にまた、全体画像ＧＡに俯瞰的に重ねて案内情報を表示する場合には、俯瞰的に全体画像ＧＡと重ねて案内情報を表示することで、案内情報を、その内容をより理解し易く表示することができる。この場合、スマートフォンＳ（カメラ９）を移動させても撮像対象物全体は常にディスプレイ５に表示されている（撮像対象物全体として表示範囲に変更はない）。そして、スマートフォンＳ（カメラ９）を動かして画像を取得していくに従って、ディスプレイ５において画質を示すために撮像対象物に重ねて表示されている（例えば）着色部分（の模様）がリアルタイムに変わっていくこととなる。この場合でも、案内情報の内容をより理解し易く表示することができる。
（II）第２実施形態
次に、本発明に係る他の実施形態である第２実施形態について、図７を用いて説明する。なお図７は、第２実施形態に係る画像処理を示すフローチャートであり、図２に示す第１実施形態に係る画像処理と同一の処理については同一のステップ番号を付して、細部の説明は省略する。また第２実施形態に係るスマートフォンのハードウエア的な構成は、基本的には第１実施形態に係るスマートフォンＳと同一である。よって以下の説明では、第１実施形態に係るスマートフォンＳと同一の部材番号を用いて第２実施形態に係るスマートフォンを説明する。
【００９６】
上述した第１実施形態に係る画像処理においては、カレント画像ＧＴに対する位置合わせ処理及び合成処理と、携帯者に告知する案内情報の生成処理と、を一連の流れとして実行していた。これに対して以下に説明する第２実施形態に係る画像処理では、当該位置合わせ処理を行った後、合成処理を行う前に携帯者に告知する案内情報の生成処理を行う。
【００９７】
即ち図７（ａ）に示すように、第２実施形態に係る画像処理においてＣＰＵ１は、当該画像処理に係る上記位置合わせ処理及び合成処理として、第１実施形態に係る画像処理と同様のステップＳ１乃至ステップＳ８を実行した後、第１実施形態に係る画像処理と同様のステップＳ９を行わずに、第１実施形態に係る画像処理と同様のステップＳ１０乃至ステップＳ１３の動作を実行する。そして、当該ステップＳ１１の判定において十分な値（カレント画像の数）を有している場合に（ステップＳ１１；ＹＥＳ）、第１実施形態に係る画像処理と同様のステップＳ９の動作を行い、その後第１実施形態に係る画像処理と同様のステップＳ１４の動作を実行する。
【００９８】
以上説明した第２実施形態に係る画像処理によっても、上述した第１実施形態に係る画像処理と同様の作用効果を奏することができる。
【００９９】
なお、第１実施形態に係る画像処理又は第２実施形態に係る画像処理において案内情報の生成処理を行う場合、その基礎となるデータとしては、上記解像度以外に、例えば以下のデータが挙げられる。
・上記ステップＳ４乃至Ｓ７に係る位置合わせ処理の精度を示すデータ（ＣＰＵ１は、当該精度がより低い領域をより慎重に撮像するように案内情報を生成することができる。）
・上記ステップＳ４乃至Ｓ７に係る位置合わせ処理の結果に係るずれ量を示すデータ、又はそのずれが生じた原因を示すデータ（ＣＰＵ１は、当該ずれ量が少なくなるように、当該原因を考慮して案内情報を生成することができる。）
・上記ステップＳ４乃至Ｓ７に係る位置合わせ処理において移動されたスマートフォンＳの移動経路又は移動速度を示すデータ（ＣＰＵ１は、移動経路が不規則すぎたり移動速度が速すぎたりした場合、より規則的な経路やより遅い動きを案内することができる。）
・上記ステップＳ４乃至Ｓ７に係る位置合わせ処理において直前までに撮像されたカレント画像ＧＴの数及び当該数のカレント画像ＧＴの撮像に要した時間（ＣＰＵ１は、当該精度がより低い領域を、より長い時間をかけて撮像するように案内情報を生成することができる。）
・上記ステップＳ４乃至Ｓ７に係る位置合わせ処理において直前までに撮像されたカレント画像ＧＴのうち、位置合わせ結果が良好であったカレント画像ＧＴの撮像済み全カレント画像ＧＴに対する比率（ＣＰＵ１は、当該比率が高くなるように案内情報を生成することができる。）
（III）変形形態
なお、本発明は、上述してきた各実施形態以外にも様々な応用が可能である。
【０１００】
先ず第一の変形形態として、ディスプレイ５に表示させる案内情報（図２又は図７ステップＳ１３参照）につき、領域ごとの解像度の違いを色別に表示するのではなく、爾後スマートフォンＳに所望される動き方を、例えば「上へ」、「もっとゆっくり」、「静止する」といったようにディスプレイ５上に表示させるように構成してもよい。またこれらの案内を音声によりスピーカ７を介して放音するように構成してもよい。これらの場合にＣＰＵ１は、上記ステップＳ１２の処理において取得したデータ量に基づき、より少ないデータ量の領域を撮像させるべく、スマートフォンＳを移動させる内容の案内情報をディスプレイ５上に表示する。この第一の変形形態によれば、案内情報がスマートフォンＳの移動の諸元（動かし方）を示す案内情報であるので、スマートフォンＳの移動を容易に行うことができる。また案内情報の更なる変形として、領域ごとの解像度の違いを、例えば、視覚上のハッチングパターンの違い、（背景が存在していることを前提とした）透明度の違い、当該解像度の違いに対応した時間間隔の明滅（点滅）など、即ち、領域ごとの解像度の違いに異なる表示態様を対応付ける可視化の手法を用いて表示するように構成することもできる。
【０１０１】
次に第二の変形形態として、各実施形態に係る位置合わせ処理又は合成処理の少なくともいずれか一方が終了した後にスマートフォンＳにおける画像処理を中断させ、終了した位置合わせ処理又は合成処理の結果に対応する結果データを例えばＲＡＭ３や図示しないハードディスクに保存させるように構成することもできる。この場合にＣＰＵ１は、保存してある結果データを再度取得し、その結果データを用いて、中断された処理を再開するように構成するのが好適である。この第二の変形形態の場合、位置合わせ処理又は合成処理の少なくともいずれか一方が終了した後にスマートフォンＳにおける画像処理を中断させる必要がある場合でも、保存されている結果データを用いて中断した画像処理を再開することができ、位置合わせ処理及び合成処理の実行の自由度を向上させることができる。更にこの第二の変形形態においてＣＰＵ１は、中断までの位置合わせ処理又は合成処理の結果に対応する画像データを上記結果データに含ませておき、その結果データを、スマートフォンＳの外部の画像認識装置に出力するように構成することもできる。この場合、当該画像認識装置が例えばＣＰＵ１よりも高度な画像認識能力を備えるものであれば、その認識結果を再開時に用いる結果データとして取得することで、スマートフォンＳとしての合成画像をより高画質或いは広範囲に合成することができる。即ち、例えば携帯者が画像処理をその意思で一旦中断する場合（例えば、携帯者が３分位スマートフォンＳを移動させて画像処理を行い、その後一旦中断する場合）、上記外部の画像認識装置において中断までの画像処理結果を解析し、その解析結果を取得して更に細かい撮像が必要な部分を識別するような案内情報を生成する。そしてその案内情報により識別された部分についての撮像を携帯者が更に継続することにより、より高画質或いは広範囲な合成画像を合成することができる。
【０１０２】
また第三の変形形態として、第１実施形態又は第２実施形態に係るスマートフォンＳにおいて、カメラ９による撮像時において撮像対象物の一部又は全部を照らす「照明手段」の一例としてのライトを設け、このライトの照度を少なくとも上記位置合わせ処理の結果に基づいてＣＰＵ１が制御するように構成することもできる。この第三の変形形態の場合には、少なくとも上記位置合わせ処理の結果を用いて撮像対象物の一部又は全部を照らすので、より高画質の合成画像を合成することができる。
【０１０３】
更に第四の変形形態として、カメラ９以外の、撮像対象物との間の相対的な位置が異なる他の複数のカメラからそれぞれ出力された画像データを用いてＣＰＵ１が位置合わせ処理を行うように構成してもよい。この第四の変形形態の場合には、撮像対象物との間の相対的な位置が異なる他の複数のカメラからそれぞれ出力された画像データを用いて位置合わせ処理を行うので、複数のカメラを用いてより高画質或いは広範囲の合成画像を合成することができる。なおこの場合の他のカメラは、カメラ９以外にスマートフォンＳに備えられた他のカメラであってもよいし、他の携帯型情報端末等に搭載されているカメラであってもよい。更には、三次元の物体に対しては、スマートフォンＳに備えられた位置センサとＲＡＭ３内の複数のバッファを用いて、複数の視点に対応するカレント画像ＧＴを撮像することにより、当該物体を高画質或いは広範囲でデジタル化できる。
【０１０４】
更にまた、第五の変形形態として、上記位置合わせ処理後の画像に含まれている撮像対象物の一部が占める撮像対象物内の位置又は範囲を示すデータ（即ち、撮像対象物全体の中のいずれの部分が撮像されたカレント画像ＧＴなのか、を示すデータ）に基づき、ＣＰＵ１が、上記画素値等を用いずに、案内情報を生成するように構成することもできる。この第五の変形形態の場合にも、高画質或いは広範囲の合成画像の合成のために必要な画像を撮像するために必要な位置へ、携帯するスマートフォンＳを正確且つ迅速に移動させることができる。
【０１０５】
また、第六の変形形態として、ＣＰＵ１が、合成された合成画像に相当する合成画像データを外部の画質評価装置（例えば外部のＯＣＲ（Optical Character Leader）装置に出力し、その読み取り結果を更に用いて案内情報を生成するように構成してもよい。この第六の変形形態の場合には、合成済みの合成画像の画質（即ち上記読み取り結果）に基づいて案内情報を生成することで、より高画質或いは広範囲な合成画像をその後に合成することができる。
【０１０６】
最後に第七の変形形態として、カメラ９における撮像諸元（シャッタースピード、絞り、焦点距離、光量）又はスマートフォンＳ自体の位置、速度及び加速度等の諸元をＣＰＵ１が取得し、これらに基づいてＣＰＵ１が、上記位置合わせ処理の対象とするカレント画像ＧＴ又は全体画像ＧＡを取捨選択するように構成することもできる。具体的にＣＰＵ１は、上記諸元等に基づき、撮像条件として良好な（換言すれば、それ自体で既に画質が高い）カレント画像ＧＴ等を選んでその後の上記位置合わせ処理に供させるのである。この場合には、元々のカレント画像ＧＴ等が高画質であると考えられることから、所望される高画質或いは広範囲の合成画像を、少ないカレント画像ＧＴ等を使ってより迅速に合成することができることになる。
【０１０７】
なお、図２又は図７に示すフローチャートに対応するプログラムを、インターネット等のネットワークを介して取得し、或いは光ディスク等の情報記録媒体に記録されているものを取得して、例えば汎用のマイクロコンピュータによりこれを読み出して実行するように構成することもできる。この場合のマイクロコンピュータは、各実施形態に係るＣＰＵ１と同様の処理を実行することになる。
【産業上の利用可能性】
【０１０８】
以上夫々説明したように、本発明は情報処理装置の分野に利用することが可能であり、特に画像処理用の情報処理装置の分野に適用すれば特に顕著な効果が得られる。また上述したように、いつでも誰でもどこででも、個人ならそのプライバシーを、仕事なら関連する情報のセキュリティを、それぞれ最高レベルで確保しながら、手間を取らずに簡単に高画質或いは広範囲の画像合成を行うことができる。これは、今までの装置等にはなかった、画期的な価値である。
【符号の説明】
【０１０９】
１    ＣＰＵ
２    ＲＯＭ
３    ＲＡＭ
４    操作部
５    ディスプレイ
６    通話制御部
７    スピーカ
８    マイク
９    カメラ
１０    通信インターフェース
３０    位置合わせデータバッファ
３１    データ量バッファ
３２    合成画像バッファ
３３    広域画像バッファ
３４    カレント画像バッファ
３５    位置合わせ済みカレント画像バッファ
４Ａ、４Ｂ、４Ｃ    操作ボタン
Ｓ    スマートフォン
ＡＮＴ    アンテナ
ＧＡ    全体画像
ＧＴ    カレント画像
ＧＴａ、ＧＴｂ、ＧＴｃ、ＧＴｄ    分割画像
【図１】
2013099025.tif 000003
【図２】
2013099025.tif 000004
【図７】
2013099025.tif 000005
【図３】
2013099025.tif 000006
【図４】
2013099025.tif 000007
【図５】
2013099025.tif 000008
【図６】
2013099025.tif 000009
【手続補正書】
【提出日】平成26年6月4日(2014.6.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
携帯可能な情報処理装置において、
撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段と、
携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段と、
前記フレーム画像の画素に関する情報の量の値を記憶する情報量記憶手段と、
前記情報量記憶手段により記憶される情報の量の値に基づいて、前記連続撮像されるべき位置又は範囲を示す位置範囲情報を生成する位置範囲情報生成手段と、
前記位置合わせ手段による位置合わせ処理後の前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質かつ広範囲の合成画像を合成する合成処理を行う合成手段と
を備える情報処理装置。
【請求項２】
前記情報処理装置は、さらに、
前記位置範囲情報生成手段により生成された位置範囲情報に基づいて、前記位置範囲情報に対応する位置への前記情報処理装置の移動を案内するための案内情報を生成する案内情報生成手段と、
前記生成された案内情報を前記情報処理装置の外部に告知する告知手段と、
を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記案内情報は、前記合成処理後の前記合成画像における画質を、当該画質ごとに識別可能な態様により表示される案内情報であることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記案内情報は、前記合成処理後の前記合成画像における画質に対応した色により表示される案内情報であることを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記位置範囲情報生成手段は、
前記合成された合成画像に相当する合成画像情報を外部の画質評価手段に出力する外部出力手段と、
前記出力された合成画像情報に対する前記画質評価手段による評価結果を示す評価結果情報を取得する取得手段と、
を備え、
前記取得された評価結果情報を更に用いて前記位置範囲情報を生成することを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
【請求項６】
前記情報量記憶手段により記憶される前記フレーム画像の画素に関する情報の量の値は、前記位置合わせ処理に用いられた前記フレーム画像の数であることを特徴とする請求項１から５のいずれか一項に記載の情報処理装置。
【請求項７】
携帯可能な情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置において実行される情報処理方法において、
携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ工程と、
前記フレーム画像の画素に関する情報の量の値を記憶する情報量記憶工程と、
前記情報量記憶工程において記憶される情報の量の値に基づいて、前記連続撮像されるべき位置又は範囲を示す位置範囲情報を生成する位置範囲情報生成工程と、
前記位置合わせ手段による位置合わせ処理後の前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成工程と、
を含むことを特徴とする情報処理方法。
【請求項８】
携帯可能な情報処理装置であって、撮像対象物の少なくとも一部を撮像し、当該撮像した少なくとも一部に対応するフレーム画像に相当するフレーム画像情報を出力する撮像手段を備える情報処理装置に含まれるコンピュータを、
携帯された前記情報処理装置の移動に伴って前記撮像手段により連続して撮像された複数の前記フレーム画像同士の位置合わせを行う位置合わせ処理を、当該各フレーム画像にそれぞれ相当する複数の前記フレーム画像情報を用いて、前記フレーム画像の連続撮像に対応して逐次行う位置合わせ手段、
前記フレーム画像の画素に関する情報の量の値を記憶する情報量記憶手段
前記情報量記憶手段により記憶される情報の量の値に基づいて、前記連続撮像されるべき位置又は範囲を示す位置範囲情報を生成する位置範囲情報生成手段、および、
前記位置合わせ手段による位置合わせ処理後の前記フレーム画像にそれぞれ相当するフレーム画像情報を用いて、前記撮像対象物に対応する合成画像であって前記撮像手段により撮像された各前記フレーム画像よりも高画質或いは広範囲の合成画像を合成する合成処理を行う合成手段、
として機能させることを特徴とする情報処理用プログラム。
【国際調査報告】
2013099025.tif 000010
2013099025.tif 000011
2013099025.tif 000012
2013099025.tif 000013
2013099025.tif 000014
2013099025.tif 000015