【手続補正書】
【提出日】平成26年2月14日(2014.2.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１５
【補正方法】変更
【補正の内容】
【請求項１５】
フレーム画像データについての被写体情報を検出する処理と、
（ｍ＋１）個のフレーム画像データ群毎に、隣接フレーム画像データ間のつなぎ目となるｍ個の各つなぎ目の位置を、検出された被写体情報を用いた最適位置判定処理によって求め、ｍ個以下のつなぎ目を確定させる処理とを、
パノラマ画像生成に用いる一連のｎ個（但しｍ＜ｎ）のフレーム画像データの入力過程において順次行う画像処理方法。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１６
【補正方法】変更
【補正の内容】
【請求項１６】
フレーム画像データについての被写体情報を検出する処理と、
（ｍ＋１）個のフレーム画像データ群毎に、隣接フレーム画像データ間のつなぎ目となるｍ個の各つなぎ目の位置を、検出された被写体情報を用いた最適位置判定処理によって求め、ｍ個以下のつなぎ目を確定させる処理とを、
パノラマ画像生成に用いる一連のｎ個（但しｍ＜ｎ）のフレーム画像データの入力過程において演算処理装置に順次実行させるプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本開示の画像処理方法は、フレーム画像データについての被写体情報を検出する処理と、（ｍ＋１）個のフレーム画像データ群毎に、隣接フレーム画像データ間のつなぎ目となるｍ個の各つなぎ目の位置を、検出された被写体情報を用いた最適位置判定処理によって求め、ｍ個以下のつなぎ目を確定させる処理とを、パノラマ画像生成に用いる一連のｎ個（但しｍ＜ｎ）のフレーム画像データの入力過程において順次行う。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本開示のプログラムは、フレーム画像データについての被写体情報を検出する処理と、（ｍ＋１）個のフレーム画像データ群毎に、隣接フレーム画像データ間のつなぎ目となるｍ個の各つなぎ目の位置を、検出された被写体情報を用いた最適位置判定処理によって求め、ｍ個以下のつなぎ目を確定させる処理とを、パノラマ画像生成に用いる一連のｎ個（但しｍ＜ｎ）のフレーム画像データの入力過程において演算処理装置に順次実行させるプログラムである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
記録デバイス１０６は、フラッシュメモリ（Flash Memory）などの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録媒体と、それらの記録媒体に対する記録再生系回路・機構により構成される。
撮像装置１による撮像時には、画像処理部１０２でＪＰＥＧ（Joint Photographic Experts Group）形式にエンコードされ、メモリ部１０５に格納されたＪＰＥＧ画像データを記録メディアに記録する。
再生時には、記録メディアに保存されたＪＰＥＧ画像データをメモリ部１０５に読み込み、画像処理部１０２でデコード処理を行う。デコードされた画像データは、表示部１０４で表示させたり、或いは図示しない外部インターフェースにより外部機器に出力することも可能である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
図２Ｂは、撮像装置１のスイープによって得られた複数枚の静止画像に対して、適切に位置合わせを行ったときの概念図である。撮像で得られる各静止画像を、撮像の時間的な順序で示している。即ち時刻０〜時刻（ｎ−１）までに撮像されたフレーム画像データを、フレーム画像データＦＭ＃０、ＦＭ＃１・・・ＦＭ＃（ｎ−１）として示す。ｎ枚の静止画像からパノラマ画像を生成する場合は、図示するように連続して撮像された一連のｎ個のフレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）について合成処理を行うこととなる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
この図２Ｂに示すように、撮像された各フレーム画像データは隣接するフレーム画像データと必ず重なり部分を持つ必要があるので、撮像装置１の各フレーム画像データの撮像時間間隔と、撮像者がスイープする速度の上限値は適切に設定しなければならない。
そして、このように位置合わせされたフレーム画像データ群は多くの重なり部分を持つため、各フレーム画像データに対して最終的なパノラマ画像に使用する領域を決定する必要がある。これは言い換えると、パノラマ合成処理における画像の接合部分（シーム：seam)を決めていることと同一である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
機能構成としては、一点鎖線でそれぞれ示すように、被写体情報検出部２０、シーム確定処理部２１、画像合成部２２、パノラマ合成準備処理部２３を備える。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
動被写体検出処理２０２は、２枚以上の連続するフレーム画像データを入力し、動被写体の検出を行う処理である。具体的な処理の例は、画像レジストレーション処理２０１によって得られた画像レジストレーション情報により、実際に位置合わせを行った２枚のフレーム画像データの画素の差分値がある閾値以上の場合に、その画素を動被写体と判定するものである。
あるいは、画像レジストレーション処理２０１のロバスト推定時に外れ値（アウトライア）として判断された、特徴点情報を利用して判定を行っても良い。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
この重なり領域（ａk〜ｂk）における、動被写体検出処理２０２からの動被写体情報、検出・認識処理２０３からの検出・認識情報のそれぞれに対して適当な重みをつけ、ｘ軸方向に射影した上で、全情報について積分したものをコスト関数ｆk (x)と定義する。  すなわち、
【数１】
2012222674.tif 000001
但し、
・ｍｏi＝｛０，１｝：動被写体検出情報（０≦ｉ≦Ｎmo−１)
・ｗｍｏi：動被写体検出情報に対する重み関数（０≦ｉ≦Ｎmo−１)
・ｄｅｔj＝｛０，１｝：検出・認識情報（０≦ｊ≦Ｎdet−１)
・ｗｄｅｔj：検出・認識情報に対する重み関数（０≦ｊ≦Ｎdet−１)
と定義する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
図６Ａにおいては、フレーム画像データＦＭ＃（ｋ）、ＦＭ＃（ｋ＋１）の重なり領域（ａk〜ｂk）における、動被写体情報、検出・認識情報の該当画素ブロックを例示している。この場合、例えばｘ軸上のａｋ≦ｘ≦ｂｋの範囲で上記（数１）のコスト関数ｆk (x)で求められるコスト値は例えば図６Ｂのようになる。
そして、コスト値の最も低いｘ座標値（ｘk）が、２つのフレーム画像データＦＭ＃（ｋ）、ＦＭ＃（ｋ＋１）間のシームとして適切な位置となる。
シーム確定処理２０５では、このようにコスト関数を用いて、シームとして適切なｘ座標値を算出する。
但し、ここでの説明はあくまでも２つのフレーム画像データ間のコスト関数でみた場合である。本実施の形態では、ｍ個のシームの組み合わせを最適化するものであり、シーム確定処理２０５では、単にこのように２枚のフレーム画像データ間で、シームを確定させるものではない。詳しくは後に述べる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
図８はｎ個のフレーム画像データを考えた場合のコスト関数の関係を示したものである。即ちフレーム画像データＦＭ＃０、ＦＭ＃１間のコスト関数ｆ0、フレーム画像データＦＭ＃１、ＦＭ＃２間のコスト関数ｆ1、・・・フレーム画像データＦＭ＃（ｎ−２）、ＦＭ＃（ｎ−１）間のコスト関数ｆn-2を示している。
ｎ個のフレーム画像データをパノラマ合成し、全体として最適なシームを選ぶためには、
【数４】
2012222674.tif 000002
を最小にするｘ0、ｘ1・・・ｘn-2を求めれば良い。
ただしｘkは以下を満たす整数値である。
・ｘk-1＋α≦ｘk≦ｘk+1−α  （シームの拘束条件）
・ａk≦ｘk≦ｂk  （コスト関数の定義域）
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
シーム確定処理部２１はステップＦ１０７の判断に応じて処理を実行する。
即ちステップＦ１０７において、未確定のシームがｍ個以上になったと判断される場合、つまり、一時保存したシーム確定されていないフレーム画像データがｍ＋１個となった場合、シーム確定処理部２１が、ステップＦ１０８においてｍ個のシームに対して前述の手法で（数４）の最適化を行う。その最適化結果のｍ個の解のうち撮像開始順からｌ（ｌ≦ｍ）個のシームを確定させる。
さらにステップＦ１０９でシーム確定処理部２１は、シームを確定したフレーム画像データについてメモリ部１０５に保存させる。この場合、シームが確定しているため、最終的にパノラマ画像に寄与しない画素データ部分を保存する必要はなく、必要な部分のみを保存すればよい。また動被写体検出情報、検出・認識情報も保存する必要もない。ステップＦ１０６で一時保存したデータとして、シーム確定したフレーム画像データに関するデータは、この時点で捨てれば良い。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
そこで今度は図１１Ｂに示すように、ステップＦ１０８で、フレーム画像データＦＭ＃１〜ＦＭ＃６を対象として５つのシームの最適化を行い、１つのシーム、即ちフレーム画像データＦＭ＃１とＦＭ＃２間のシームＳＭ１を確定させる。そしてステップＦ１０９でフレーム画像データＦＭ＃１について必要な画像領域を保存する。
さら同様に、フレーム画像データＦＭ＃７の入力後は、図１１Ｃに示すように、ステップＦ１０８で、フレーム画像データＦＭ＃２〜ＦＭ＃７を対象として５つのシームの最適化を行い、１つのシーム、即ちフレーム画像データＦＭ＃２とＦＭ＃３間のシームＳＭ２を確定させる。そしてステップＦ１０９でフレーム画像データＦＭ＃２について必要な画像領域を保存する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
実施の形態のプログラムは、上記の撮像装置１や、その他の情報処理装置、画像処理装置において内蔵されている記録媒体としてのＨＤＤ（Hard Disk Drive）や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。
このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。例えばＣＤ−ＲＯＭにより提供されることで、パーソナルコンピュータ等の情報処理装置ではプログラムをインストールし、上述したパノラマ合成処理を実行できるものとなる。
なお、プログラムは、リムーバブル記録媒体からインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
このようなプログラムのインストールによって、例えば汎用のパーソナルコンピュータを本開示の画像処理装置として機能させることも可能となる。
またプログラム、又はそのプログラムを記録した記録媒体によれば、上述した効果を実現する画像処理装置を容易に実現することができる。
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2012222674.tif 000003