(57)【要約】【課題】  モザイキング処理を行う際に用いるフレーム静止画像の総枚数の削減を自動で行うことで、処理速度の低下を抑えつつ、その際の操作時におけるユーザの負担を削減する。【解決手段】  撮影された動画像からフレーム静止画像をサンプリングする際に、動画像の連続する複数枚のフレーム間で被写体の累積移動ベクトルが閾値以上か、又は連続する２枚のフレーム間で被写体の移動方向の差が閾値以上の場合に、前のフレームをフレーム静止画像としてサンプリングする。サンプリングされたフレーム静止画像を用いて、動画像からフレームごとに切り出した複数のフレーム静止画像から１枚の静止画像を生成する。【選択図】      図１
2012054787.tif 000002
【特許請求の範囲】
【請求項１】
撮影された動画像からフレームごとに切り出した複数のフレーム静止画像から１枚の静止画像を生成する画像処理装置であって、
前記撮影された動画像から各フレーム静止画像をサンプリングする際に、前記動画像の連続する複数枚のフレーム間で被写体の累積移動ベクトルの大きさが第１の閾値以上か、又は前記動画像の連続する２枚のフレーム間で被写体の移動方向の差が第２の閾値以上の場合に、前記累積移動ベクトルの大きさが第１の閾値以上、または、前記移動方向の差が第２の閾値以上であると判定されたフレームの前のフレームをフレーム静止画像としてサンプリングする手段と、
前記サンプリングされたフレーム静止画像を用いて前記１枚の静止画像を生成する手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記サンプリング手段において、前記動画像の連続する２枚のフレーム間で被写体の移動方向の差が前記第２の閾値よりも小さく、かつ、前記動画像の連続する複数枚のフレーム間で被写体の累積移動ベクトルの大きさが前記第１の閾値よりも小さい場合、前記累積移動ベクトルの大きさ、または、移動方向の差が閾値よりも小さいと判定されたフレームの前のフレームをフレーム静止画像としてサンプリングを行わないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記サンプリング手段によるサンプリングの後、前記累積移動ベクトルを更新することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第１の閾値は、前記動画像から切り出したフレーム静止画像の解像度に基づき決定されることを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記フレーム静止画像のエッジ上の各画素において、前記フレーム間で各画素の移動量の平均値を求め、該平均値をフレーム間の移動量として推定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
ユーザに画質優先か処理速度の優先かを選択させるためのユーザインタフェース画面を表示する手段を更に有し、
前記処理速度の優先が選択された場合、前記サンプリングする手段は、前記画質優先が選択された場合よりも低い解像度の画像として前記フレーム静止画像をダウンサンプリングすることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
他の画像処理装置と接続し、前記動画像の撮影と、前記動画像から各フレーム静止画像をサンプリングする処理と、前記１枚の静止画像を構成する処理とを、当該画像処理装置と前記他の画像処理装置との間で処理ごとに分散して処理することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項８】
撮影された動画像からフレームごとに切り出した複数のフレーム静止画像から１枚の静止画像を生成する画像処理装置の処理方法であって、
サンプリングする手段が、前記撮影された動画像から各フレーム静止画像をサンプリングする際に、前記動画像の連続する複数枚のフレーム間で被写体の累積移動ベクトルの大きさが閾値以上か、又は前記動画像の連続する２枚のフレーム間で被写体の移動方向の差が閾値以上の場合に、前記累積移動ベクトルの大きさ、または、移動方向の差が閾値以上であると判定されたフレームの前のフレームをフレーム静止画像としてサンプリングする工程と、
生成する手段が、前記サンプリングされたフレーム静止画像を用いて前記１枚の静止画像を生成する工程と、
を有することを特徴とする画像処理装置の処理方法。
【請求項９】
コンピュータを請求項１乃至７の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から切り出した複数の画像を合成し、一枚の画像を生成する技術に関するものである。
【背景技術】
【０００２】
近年、互いに重複する領域を含む複数枚の静止画像から一枚の大きな静止画像を生成するモザイキング技術に関する研究が行われている。これは、各静止画像内の対応する点や領域を推定し、その推定に基づいて画像を重ね合わせることで、一枚の静止画像を生成する技術である。尚、この技術は、現在デジタルカメラのパノラマ画像合成技術等に応用されている。
【０００３】
対象を動画像で撮影し、そこから切り出した各フレーム静止画像に基づきモザイキングを行う技術に関しては、特に「ビデオモザイキング技術」と呼ばれている。この技術を利用すれば、動画撮影機能付きの撮影装置を少しずつ移動させながら対象を撮影し、各フレーム静止画像を切り出すことで、それらから対象全体を含む一枚の静止画像を生成することができる。
【０００４】
また、ビデオモザイキング技術は、動画像から切り出した各フレーム静止画像を用いるため、複数枚の静止画像を用いる通常のモザイキング処理と比べ、生成に用いる静止画像の総枚数が多くなるという特徴がある。特に、撮影速度が遅い場合には、撮影対象全体を撮影するのにかかる時間が長くなり、そこから切り出されるフレーム静止画像の総枚数が増加してしまう。フレーム静止画像の総枚数が増加すると、その分モザイキング処理にかかる計算コストが増えてしまい、処理速度が低下するという問題がある。
【０００５】
この問題に対して、特許文献１による手法では、動画像の撮影時にカメラ側で撮影速度を推定し、速度が一定範囲内に納まっていない場合、ユーザに警告を通知し手動で適切な撮影速度に修正させることで対応している。それにより、撮影速度が遅くなる、即ち抽出されるフレーム静止画像が必要以上の枚数になるのを防ぎ、処理速度の低下を抑えることが可能になる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2007-306524号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の手法では、通知される警告に基づいてユーザが手動で撮影速度を適宜変更しなければならず、操作に負担がかかってしまうという問題点がある。
【０００８】
本発明は、モザイキング処理を行う際に用いるフレーム静止画像の総枚数の削減を自動で行うことで、処理速度の低下を抑えつつ、その際の操作時におけるユーザの負担を削減することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮影された動画像からフレームごとに切り出した複数のフレーム静止画像から１枚の静止画像を生成する画像処理装置であって、
前記撮影された動画像から各フレーム静止画像をサンプリングする際に、前記動画像の連続する複数枚のフレーム間で被写体の累積移動ベクトルの大きさが第１の閾値以上か、又は前記動画像の連続する２枚のフレーム間で被写体の移動方向の差が第２の閾値以上の場合に、前記累積移動ベクトルの大きさが第１の閾値以上、または、前記移動方向の差が第２の閾値以上であると判定されたフレームの前のフレームをフレーム静止画像としてサンプリングする手段と、
前記サンプリングされたフレーム静止画像を用いて前記１枚の静止画像を生成する手段と、
を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、画像合成処理を行う際に用いるフレーム静止画像の総枚数を自動で削減することができるので、処理速度の低下を抑えつつ、操作時におけるユーザの負担を削減することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理装置の構成の一例を示すブロック図。
【図２】画像サンプリング部の構成の一例を示すブロック図。
【図３】画像サンプリングの概要を説明するための図。
【図４】モザイキング処理部の構成の一例を示すブロック図。
【図５】モザイキング処理の概要を説明するための図。
【図６】第１の実施形態における処理を示すフローチャート。
【図７】撮影速度とサンプリングとの関係を説明するための図。
【図８】画像サンプリング処理（Ｓ６０２）の詳細を示すフローチャート。
【図９】フレーム解像度に対して決定すべきサンプリング間隔を示す図。
【図１０】動画像から切り出されたフレーム静止画像を示す図。
【図１１】フレーム間移動ベクトルを説明するための図。
【図１２】推定されるフレーム間移動ベクトル及びその成分を表す図。
【図１３】推定されたフレーム間移動ベクトルの移動方向を表す図。
【図１４】モザイキング処理（Ｓ６０３）の詳細を示すフローチャート。
【図１５】フレーム静止画像の特徴点及び特徴点の追跡を説明するための図。
【図１６】画像重ね合わせ処理を説明するための図。
【図１７】第２の実施形態におけるＵＩ画面を示す図。
【図１８】第２の実施形態における全体処理を示すフローチャート。
【図１９】ダウンサンプリングを行うための目標解像度を示す図。
【図２０】モザイキング処理（Ｓ２１０７）の詳細を示すフローチャート。
【図２１】ダウンサンプリングを説明するための図。
【図２２】ダウンサンプリングとフレーム解像度との関係を示す図。
【図２３】第３の実施形態における全体処理を示すフローチャート。
【図２４】第４の実施形態における全体処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら発明を実施するための形態について詳細に説明する。
【００１３】
［第１の実施形態］
図１は、本発明に係る画像処理装置の構成の一例を示すブロック図である。図１に示す画像処理装置１００は、動画入力部１０１、表示部１０２、操作部１０３、ＣＰＵ１０４、補助記憶装置１０５、ＲＡＭ１０６、ＲＯＭ１０７、画像処理部１１０、通信部１１１を有する。また、画像処理部１１０は、画像サンプリング部１０８、モザイキング処理部１０９を有する。以下、それぞれの構成要素について説明する。
【００１４】
動画入力部１０１は、レンズ、ＣＣＤなどのイメージセンサ、Ａ／Ｄ変換器等を備えており、撮影によって取得された被写体の映像をデジタルデータ形式の動画像に変換する。表示部１０２は、ユーザに対して通知すべき情報を表示する。操作部１０３は、ユーザによる操作を受け付ける。
【００１５】
ＣＰＵ１０４は、操作部１０３からユーザが入力した情報、補助記憶装置１０５或いはＲＯＭ１０７に記憶されたプログラム等に基づいて、装置１００全体の制御を行う。補助記憶装置１０５は、システム制御ソフトフェア、動画入力部１０１にて撮影されて動画像に変換されたデータを格納する。
【００１６】
ＲＡＭ１０６は、ＣＰＵ１０４が動作するためのシステムワークメモリであり、動画像などのデータを一時記憶するための画像メモリでもある。ＲＯＭ１０７はブートＲＯＭであり、システムのブートプログラム等のプログラムが格納されている。
【００１７】
また、画像処理装置１００は、通信部１１１を通してネットワーク１１２に接続されている。尚、ネットワーク１１２は、典型的にはインターネットやＬＡＮやＷＡＮ等で実現される通信ネットワークである。これは、データの送受信が可能なものであれば、何でも良い。
【００１８】
次に、図２を用いて、図１に示す画像処理部１１０における画像サンプリング部１０８の詳細説明を行う。まず、画像サンプリングの概要を、図３を用いて説明する。動画入力部１０１が原稿を撮影して得られた動画像は、図３に示すように、少しずつ位相のずれたフレーム静止画像から構成されている。ここでは、それらすべてのフレーム静止画像の中から、後のモザイキング処理に用いるフレーム静止画像を選択する処理をサンプリングと定義する。尚、この画像サンプリングについては後のフローチャートの説明と一緒に詳述する。
【００１９】
画像サンプリング部１０８は、図２に示すようにサンプリング間隔決定部２０１、フレーム切り出し部２０２、フレーム間移動ベクトル推定部２０３、移動方向計算部２０４、累積移動ベクトル計算部２０５、サンプリングリスト作成部２０６から構成される。また画像サンプリング部１０８は、動画入力部１０１が生成した動画像、或いは補助記憶装置１０５に保存されている動画像を動画像２００として入力し、各処理部２０１〜２０６で処理を行う。また、後のモザイキング処理に用いるフレーム静止画像に対応するフレーム番号を記載したサンプリングリスト２１０を生成して出力する。
【００２０】
サンプリング間隔決定部２０１は、動画像２００を構成するフレーム静止画像の解像度を読み取り、解像度に基づいて後述するサンプリング間隔を決定する。フレーム切り出し部２０２は、動画像２００からフレーム静止画像を一枚ずつ切り出す。フレーム間移動ベクトル推定部２０３は、フレーム切り出し部２０２によって切り出された現在のフレーム静止画像と１つ前のフレーム静止画像との間で被写体が移動した移動量を表すフレーム間移動ベクトルを推定する。
【００２１】
移動方向計算部２０４は、フレーム間移動ベクトル推定部２０３で推定されたフレーム間移動ベクトルに基づいて、現フレームにおける被写体の移動方向を計算する。累積移動ベクトル計算部２０５は、フレーム間移動ベクトル推定部２０３で推定されたフレーム間移動ベクトルを蓄積していく。そして、最も新しくサンプリングリストにフレーム番号を記載された（サンプリングされた）フレームから現フレームまでの累積移動ベクトルを計算する。
【００２２】
サンプリングリスト作成部２０６は、上述の各部からのサンプリング間隔、フレーム間移動ベクトル、移動方向、累積移動ベクトルに基づき、サンプリングリスト２１０を生成する。サンプリング間隔決定部２０１〜サンプリングリスト作成部２０６の各部分の動作については、後述する説明で実際に処理を行う例を扱うので、その中で再度取り上げ、より詳細に説明する。
【００２３】
次に、図４を用いて、図１に示す画像処理部１１０におけるモザイキング処理部１０９の詳細説明を行う。まず、モザイキング処理の概要を、図５を用いて説明する。ここで、モザイキング処理とは、動画像から抽出された各フレーム静止画像のフレーム間における被写体の動きを推定し、図５に示すように、フレーム静止画像を重ね合わせ平面上に投影し、重ね合わせることで一枚の大きな画像を生成する処理である。
【００２４】
モザイキング処理部１０９は、図４に示すフレーム切り出し部４０１、フレーム判別部４０２、特徴点抽出部４０３、特徴点追跡部４０４、投影パラメータ推定部４０５、画像重ね合わせ部４０６から構成される。モザイキング処理部１０９は、動画像２００、画像サンプリング部１０８が生成したサンプリングリスト２１０を入力し、各処理部４０１〜４０６で処理を行い、構成静止画像４１０を出力する。
【００２５】
フレーム切り出し部４０１は、動画像２００からフレーム静止画像を一枚ずつ切り出す。フレーム判別部４０２は、フレーム切り出し部４０１によって切り出されたフレーム静止画像のフレーム番号がサンプリングリスト２１０に記載されているか否かを判断する。特徴点抽出部４０３は、現在のフレーム静止画像から点周りで輝度勾配が大きくフレーム間で追跡を行いやすい特徴点を抽出する。特徴点追跡部４０４は、１つ前のフレーム静止画像において特徴点抽出部４０３によって抽出された特徴点を、１つ前のフレーム、現在のフレーム静止画像間で追跡する。
【００２６】
投影パラメータ推定部４０５は、特徴点追跡部４０４による特徴点の追跡結果に基づき、現在のフレーム静止画像を重ね合わせ平面上に投影する際に用いる投影パラメータを計算する。ここでは、特徴点の追跡結果より、１つ前のフレーム、現在のフレーム間での被写体の動きを推定することで投影パラメータの計算を行う。画像重ね合わせ部４０６は、現在のフレーム静止画像を投影パラメータ推定部４０５が推定した投影パラメータを用いて重ね合わせ平面上に投影し、平面上にすでに存在する画像と重ね合わせる。更に、特徴点抽出部４０３で現在のフレーム静止画像から抽出した特徴点の位置座標も、投影パラメータを使って重ね合わせ平面上の座標に変換し、記憶しておく。
【００２７】
上述したフレーム切り出し部４０１〜画像重ね合わせ部４０６の各部分の動作については、後述する説明で実際に処理を行う例を扱うので、その中で再度取り上げ、より詳細に説明する。
【００２８】
次に、動画入力部１０１が動画像２００を生成してから、モザイキング処理が終わり、構成静止画像４１０が生成されるまでの処理を、図６を用いて説明する。
【００２９】
尚、ＣＰＵ１０４が補助記憶装置１０５（コンピュータ読取可能な記憶媒体）に格納されたプログラムを読み取り実行することにより、画像処理部１１０として機能するものとするが、これに限るものではない。例えば、画像サンプリング部１０８（図２の各処理部２０１〜２０６）及びモザイキング処理部１０９（図４の４０１〜４０６）を、電子回路等のハードウェアで実現するように構成しても良い。
【００３０】
Ｓ６０１において、動画入力部１０１が被写体の映像をデジタルデータ形式の動画像に変換する。Ｓ６０２において、画像サンプリング部１０８は、Ｓ６０１で生成した動画像２００からフレーム静止画像を抽出し、後述のモザイキング処理に用いるフレームを選択（画像サンプリング）し、サンプリングリスト２１０を作成する。
【００３１】
ここで、画像サンプリングを行う際の基準について説明する。モザイキング処理を行うためには、連続する２枚のフレーム静止画像が互いに重複領域を含んでいる必要がある。この重複領域の情報を用いてフレーム間の動きを推定するため、フレーム静止画像全体に対してある一定以上の割合の領域を占めていることが望ましい。
【００３２】
そこで、この例では、まずフレーム間での被写体の移動量に基づき、その累積値がある基準値を超えるごとに画像サンプリングを行うものとする。これ以後、この基準値のことを「サンプリング間隔」と呼ぶ。これは、図７に示す（Ａ）のように、撮影速度が遅い部分では画像サンプリングを行うフレーム番号の間隔を広くし、遅い部分では狭くする、又は画像サンプリングを行わないということを意味している。このように処理することにより、ユーザの撮影速度に領域ごとの違いがあっても、それに応じてフレーム静止画像の重なりが図７に示す（Ａ）のように一定になる間隔で画像サンプリングを行うことができる。従って、撮影時間全体、又はその一部でユーザの撮影速度が遅い場合でも、その部分のフレーム静止画像の削減をユーザに負担をかけることなく、自動で行うことが可能になる。
【００３３】
しかしながら、撮影方向が急に変化した場合は、上述したような方法で累積移動量のみから画像サンプリングを行うと、図７に示す（Ｂ）のように、必要なフレームがサンプリングされないという問題が生じる。
【００３４】
そこで、あるフレームで撮影方向が急に変化した場合、その前フレームをサンプリングするという条件も追加する。即ち、第１の実施形態においては、撮影方向が急に変化したか、フレーム間での累積移動量がサンプリング間隔を超えたか、の二点を基準に画像サンプリングを行う。それぞれの処理についての詳しい説明は更に後述する。
【００３５】
ここで図６に戻り、Ｓ６０３において、モザイキング処理部１０９は、Ｓ６０１で生成した動画像２００と、Ｓ６０２で作成したサンプリングリスト２１０とを用いて、モザイキング処理を行い、構成静止画像４１０を生成する。
【００３６】
次に、図６に示す画像サンプリング処理（Ｓ６０２）の詳細を、図８を用いて説明する。まず、Ｓ９０１において、サンプリング間隔決定部２０１は、動画像２００を構成するフレーム静止画像の解像度を読み取る。次に、Ｓ９０２において、サンプリング間隔決定部２０１は、Ｓ９０１で読み取ったフレーム静止画像の解像度に基づきサンプリング間隔を決定する。ここで、サンプリング間隔決定部２０１は、予め図９に示すようなフレーム静止画像の解像度とそれぞれの解像度において採用するサンプリング間隔の値との対応表を持っており、これを参照してサンプリング間隔を決定する。図９に示す表のことを以後は「サンプリング間隔決定用リスト」と呼ぶ。以下、フレーム静止画像の解像度によってサンプリング間隔を変更する理由を説明する。
【００３７】
上述したように、フレーム間での被写体の累積移動量を利用することで、ユーザの撮影速度に領域ごとの違いがあっても、フレーム全体に対する重なり領域の割合が一定になるように画像サンプリングを行うことができる。しかし、撮影モードの変更等により同一の被写体に対するフレーム静止画像の解像度が変化する場合、同じ重なり領域の割合を表現するためのフレーム間での被写体の移動量は、解像度に比例して変化する。よって、フレーム静止画像がどのような解像度でも、サンプリング後の画像間における重なり領域の割合が一定になるよう、解像度ごとにサンプリング間隔を変更する。例としてフレーム静止画像の解像度が６４０×４８０の場合、図９を参照した結果、サンプリング間隔が３２０pixelとなる。
【００３８】
次に、Ｓ９０３において、フレーム切り出し部２０２は、動画像２００からフレーム静止画像を一枚ずつ切り出す。ここでは、例として、図１０に示すようなフレーム静止画像が切り出されるとして、以下のステップを説明する。
【００３９】
Ｓ９０４において、フレーム間移動ベクトル推定部２０３は、Ｓ９０３で切り出された現在のフレーム静止画像と１つ前のフレーム静止画像との間の被写体の移動量を表すフレーム間移動ベクトルを推定する。ここでは、図１１に示すように、エッジ上の画素それぞれからフレーム間のオプティカルフローを計算し、そのｘ方向成分、ｙ方向成分の平均値を成分とするベクトルをフレーム間移動ベクトルと定義する。
【００４０】
尚、他の方法として、特徴点上の画素からフレーム間のオプティカルフローを計算する方法、パターンマッチングを用いた方法など、移動量の推定が行えるものであれば、何を用いても良いものとする。
【００４１】
図１０に示す例からは、図１２に示す（Ａ）のようなフレーム間移動ベクトルが推定される。ここで図中の横軸はフレーム番号を表し、縦軸はフレーム間移動ベクトルのｘ方向成分、ｙ方向成分を表している。例えば、フレーム番号が５０のフレームでは、フレーム間移動ベクトルのｘ方向成分が３０pixel、ｙ方向成分が−３０pixelであることを表している。
【００４２】
次に、Ｓ９０５において、移動方向計算部２０４は、Ｓ９０４で推定されたフレーム間移動ベクトルについて、図１３に示すθとして定義される移動方向を計算する。図１２に示す（Ａ）の例からは、図１２に示す（Ｂ）のような移動方向が計算される。
【００４３】
Ｓ９０６において、累積移動ベクトル計算部２０５は、Ｓ９０４で推定されたフレーム間移動ベクトルについて、最も新しくサンプリングされたフレームから現フレームまでの各フレームのｘ方向成分、ｙ方向成分の累積値を計算する。この値を累積移動ベクトルと定義する。更に、合わせて累積移動ベクトルの大きさも計算する。図１２に示す（Ａ）の例からは、図１２に示す（Ｃ）のような累積移動ベクトルとその大きさが計算される。
【００４４】
Ｓ９０７において、サンプリングリスト作成部２０６は、Ｓ９０５において推定された移動方向に基づき、現フレームにおいて撮影方向が急に変化したか否かを判定する。この例では、現フレームと前フレームにおける移動方向の差分値が第２の閾値以上であるか否かによって判定を行う。また、閾値は実験的に求めた値を用いるものとする。
【００４５】
判定した結果、第２の閾値以上の場合はＳ９０９へ進み、第２の閾値以上でない場合はＳ９０８へ進む。尚、撮影方向が急に変化したか否かの判定は、上述した方法に限らず、現フレーム以前の複数枚のフレームに渡る移動方向の変化やフレーム間移動ベクトルの大きさを用いて判定しても良いものとする。
【００４６】
図１２に示す（Ｂ）の例において、閾値をθ＝３０°と設定すると、フレーム番号５０〜５２、２００〜２０３はＳ９０８へ、フレーム番号５３はＳ９０９へ進む。Ｓ９０８において、サンプリングリスト作成部２０６は、Ｓ９０６で計算した、累積移動ベクトルの大きさが第１の閾値（サンプリング間隔）以上か否かを判定する。第１の閾値以上の場合は、Ｓ９０９へ進み、第１の閾値以上でない場合はＳ９１０の終了時点へ進む。サンプリング間隔が３２０pixelだとすると、図１２（Ｃ）の例では、フレーム番号５０〜５２、２００〜２０２はＳ９１０の終了時点へ、フレーム番号２０３はＳ９０９へ進む。
【００４７】
Ｓ９０９において、サンプリングリスト作成部２０６は、前フレームのフレーム番号をサンプリングリスト２１０に登録する。図１２に示す（Ａ）〜（Ｃ）の例では、Ｓ９０９へ進んだフレーム（フレーム番号５３、２０３）の前フレームである、フレーム番号５２、２０２をサンプリングリスト２１０に登録する。
【００４８】
Ｓ９１０において、サンプリングリスト作成部２０６は、Ｓ９０６において計算された累積移動ベクトルの値を、現フレームにおけるフレーム間移動ベクトルの値で更新する。図１２に示す（Ｃ）の例では、フレーム番号５３、２０３において新たに図１２に示す（Ｄ）のように累積移動ベクトルの値が更新される。即ち、フレーム番号５２のフレームがサンプリングされたため、フレーム番号５３の累積移動ベクトルは、フレーム番号５２からの移動ベクトルになる。同様に、フレーム番号２０２のフレームがサンプリングされたため、フレーム番号２０３の累積移動ベクトルは、フレーム番号２０２からの移動ベクトルになる。そして、全てのフレームを処理していれば、処理を終了する。また、未処理のフレームがあればＳ９０３から繰り返す。以上で、図８に示す処理の説明を終了する。
【００４９】
次に、図６に示すモザイキング処理（Ｓ６０３）の詳細を、図１４を用いて説明する。Ｓ１６０１において、フレーム切り出し部４０１は、動画像２００からフレーム静止画像を一枚ずつ切り出す。次に、Ｓ１６０２において、フレーム判別部４０２は、Ｓ１６０１で切り出されたフレーム静止画像のフレーム番号がサンプリングリスト２１０に記載されているか否かを判定する。フレーム番号が記載されている場合はＳ１６０３へ進み、また記載されていない場合はＳ１６０６の終了地点へ進む。
【００５０】
Ｓ１６０３において、特徴点抽出部４０３は、フレーム静止画像から特徴点を抽出する。この例では、特徴点の抽出を行う際に、Harrisオペレータと呼ばれる、その点周りにおいて２つの直行する方向で輝度勾配が大きくなっている点を抽出する手法を用いる。
【００５１】
図１５に示す（Ａ）のような画像について、例えばHarrisオペレータを用いると、図示するような特徴点が抽出される。このとき、抽出する点の総数Ｎは自由に設定でき、この例ではＮ＝２００とする。他にも、ＳＩＦＴ等、特徴点の抽出が行えるものであれば何を用いても良いものとする。
【００５２】
次に、Ｓ１６０４において、特徴点追跡部４０４は、１つ前のフレームで特徴点抽出部４０３によって抽出された特徴点を、１つ前のフレーム静止画像及び現在のフレーム静止画像間で追跡する。ここでは、ＬＫ法と呼ばれる特徴点追跡アルゴリズムを用いているが、ブロックマッチング法等、特徴点の追跡が行えるものであれば、何を用いても良いとする。他にも、両方のフレームそれぞれで特徴点を抽出し、点周りの輝度分布等より対応する点をマッチングすることを特徴点追跡の代用としても良い。
【００５３】
Ｓ１６０５において、投影パラメータ推定部４０５は、Ｓ１６０４における特徴点の追跡結果から現在のフレーム静止画像を重ね合わせ平面上に投影する際に用いる投影パラメータを計算する。図１５に示す（Ｂ）のように、１つ前のフレームで抽出した特徴点の、現フレームにおける追跡先の座標と重ね合わせ平面上における座標から投影パラメータを計算する。この例では、投影の種類として、以下の式で表現されるアフィン変換を仮定した。この場合、３つの特徴点の現フレーム、重ね合わせ平面上の座標からパラメータの計算を行う。このとき、選択する３つの特徴点を何パターンか変えて、投票アルゴリズム等を用いて、すべての特徴点の動きを最もよく表現できるパラメータを探し出しても良いとする。また、投影の種類として透視変換等他のモデルを採用しても良いものとする。
【００５４】
【数１】
2012054787.tif 000003
【００５５】
Ｓ１６０６において、画像重ね合わせ部４０６は、現在のフレーム静止画像を、Ｓ１６０５で推定した投影パラメータを用いて重ね合わせ平面上に投影し、平面上にすでに存在する画像と重ね合わせる。その結果、図１６に示すように重ね合わせ平面上の画像を更新することができる。更に、Ｓ１６０３において現フレーム静止画像から抽出した特徴点の位置座標も、投影パラメータを使って重ね合わせ平面上の座標に変換し、記憶しておく。この座標は次フレームにおける投影パラメータを計算する際に利用する。全てのフレームを処理していれば、このモザイキング処理を終了する。また、未処理のフレームがあればＳ１６０３から繰り返す。以上で、モザイキング処理を終了する。
【００５６】
以上のように、撮影方向の急激な変化と累積移動量とに基づき画像サンプリングを行うことにより、モザイキング処理を行う際に用いるフレーム静止画像の総枚数を削減でき、処理速度の低下の防止を自動で行い、ユーザの負担を削減することが可能になる。
【００５７】
［第２の実施形態］
第１の実施形態では、画像サンプリングを行いフレーム静止画像の総枚数の削減を自動で行うことにより、処理速度の低下を抑えつつ、ユーザの負担を削減することができた。しかし、それでもまだ処理速度の低下を防ぐのに十分な計算コストの削減が行えていない、また画質よりも処理速度を優先したい場合も存在する。第１の実施形態では、そのような場合に対応できていないという課題がある。そこで、第２の実施形態では、画質優先か速度優先かを選択可能にするものである。
【００５８】
第２の実施形態における画像処理装置の構成は、図１、図２、図４に示す第１の実施形態と同様であり、それらの説明は省略する。初めに、第２の実施形態の概要を説明する。第２の実施形態では、画像サンプリング及びモザイキング処理を行う前に、図１７に示すようなユーザインタフェース画面（ＵＩ画面）を通してユーザから画質と処理速度の優先度合の指定を受け付ける。優先度合としては、画質最優先、画質優先、速度優先の３種類の中から選択可能とするものとし、後の処理を選択結果によって変化させる。
【００５９】
ここで、この中の速度優先が選択された場合は、画像サンプリングに加えて、後述するダウンサンプリングという処理を行うことで、フレーム静止画像１枚あたりの計算コストを下げ、処理速度を向上させることが可能になる。
【００６０】
次に、第２の実施形態における処理全体の流れを、図１８を用いて説明する。尚、第１の実施形態と重複する処理に関しては説明を省略する。
【００６１】
Ｓ２１０２において、画像サンプリング部１０８は、ユーザによって画質最優先が選択されたか否かを判定する。画質最優先が選択された場合はＳ２１０６へ進み、第１の実施形態と同様に、モザイキング処理を行う。また、画質最優先が選択されていない場合は、Ｓ２１０３へ進み、画像サンプリングを行う。
【００６２】
次に、Ｓ２１０４において、モザイキング処理部１０９は、ユーザによって画質優先が選択されたか否かを判定する。画質優先が選択された場合はＳ２１０６へ、選択されていない場合は、Ｓ２１０５へ進む。このＳ２１０５において、モザイキング処理部１０９は、画像サンプリング後のフレーム静止画像の総枚数が、図１９に示すような解像度ごとの目標総枚数以上か否かを判定する。ここで目標総枚数は、サンプリング後のフレーム静止画像がその枚数以下であれば、後にモザイキング処理を行う際、十分な処理速度を達成できるということを基準に設定されている。
【００６３】
従って、目標総枚数以上ということは、計算コストの削減が十分に行えていないということを意味する。目標枚数以上の場合はＳ２１０７へ、目標枚数以下の場合はＳ２１０６へ進む。Ｓ２１０７において、モザイキング処理部１０９は、ダウンサンプリング込みのモザイキング処理を行う。これは、各フレーム静止画像に対してダウンサンプリング処理を行うことで、解像度を下げた後にモザイキング処理を行うことを意味している。このような処理を行う理由は以下の通りである。
【００６４】
処理にかかる計算コストを削減し、処理速度を更に向上させる方法としては、まず画像サンプリング処理を行う際のサンプリング間隔を広げ、フレーム静止画像の総枚数を削減する方法が考えられる。しかし、サンプリング間隔が広がるということは、前後のフレーム静止画像間における重なり領域のフレーム静止画像全体に対する割合が小さくなることを意味し、それは特徴点追跡及び投影パラメータ推定精度の低下につながる。
【００６５】
そこで、フレーム静止画像の総枚数を削減する代わりに、各フレーム静止画像の解像度を下げることで、フレーム静止画像１枚あたりの計算コストを下げることを考える。このための処理がダウンサンプリングであり、モザイキング処理後の構成画像の解像度の低下と引き換えに、処理速度を向上させることが可能になる。この部分の詳しい処理については更に後述する。以上で、第２の実施形態における処理の説明を終了する。
【００６６】
次に、図１８に示すモザイキング処理（Ｓ２１０７）の詳細を、図２０を用いて説明する。尚、第１の実施形態と重複する処理に関しては、説明を省略する。まず、Ｓ２４０１において、画像サンプリング部１０８は、後にダウンサンプリングを行うための目標解像度を図１９を参照して設定する。ここでは、図１９に示す各解像度に対するフレーム静止画像の目標総枚数を参照し、Ｓ２１０３における画像サンプリング後のフレーム静止画像の総枚数が目標総枚数以下になるような解像度を見つける。
【００６７】
例として、フレーム静止画像の解像度が６４０×４８０、サンプリングされたフレーム静止画像の総枚数が１０００枚である例について考える。図１９を参照すると、解像度が１２８×９６の場合、実際のサンプリング後の総枚数１０００枚が目標総枚数５０００枚以下となっているため、これをダウンサンプリング後の目標解像度として設定する。
【００６８】
Ｓ２４０４において、画像サンプリング部１０８は、フレーム静止画像に対してＳ２４０１で設定した目標解像度に基づいてダウンサンプリングを行う。ダウンサンプリングとは、図２１に示すように、一枚の画像から一定のピクセルおきに画素を間引き、間引いた画素を使って低解像度の画像を再構成する処理である。
【００６９】
第２の実施形態では、ここで何ピクセルおきに画素を間引くかを、ダウンサンプリング後のフレーム静止画像の解像度が、Ｓ２４０１で設定した目標解像度にもっとも近くなるように決定する。ここで、Ｓ２４０１での説明時と同様に、フレーム静止画像の解像度が６４０×４８０の例について考える。目標解像度としては先ほど設定した１２８×９６を用いる。この時、間引く間隔を変化させてダウンサンプリングを行うと、得られる画像の解像度は図２２に示すように変化する。この時、５ピクセルおきに間引くと目標解像度に最も近くなるため、この間隔で実際にダウンサンプリングを実行する。
【００７０】
以上のように、ユーザから画質と処理速度の優先度合の指定を受け付け、速度を最優先する場合は、モザイキング処理を行う際にフレーム静止画像のダウンサンプリングを行うことで、計算コストを下げ、処理速度を向上させることが可能になる。
【００７１】
［第３の実施形態］
第１及び第２の実施形態では、画像処理装置内で動画入力からモザイキング処理までの一連の処理を行い、画像サンプリングによってフレーム静止画像の総枚数の削減を自動で行うことで、処理速度の低下を抑えつつユーザの負担を削減できた。
【００７２】
しかしながら、画像処理装置内の図１におけるＣＰＵ１０４の性能が低い、またＲＡＭ１０６の容量が少ない場合、装置側の処理能力の問題により処理速度が低下してしまうという問題が依然存在する。
【００７３】
そこで、第３の実施形態では、画像処理装置では動画入力処理のみを行い、撮影された動画を別の装置（画像生成装置）に送信し、その装置上で画像サンプリング及びモザイキング処理を行う。ここでいう、画像生成装置とは、パーソナルコンピュータ（ＰＣ）等の計算機、内部の構造としては、画像処理装置１００の中から動画入力部１０１を取り除いたものを想定している。このとき、十分なＣＰＵ性能及びＲＡＭ容量を持つ画像生成装置上で処理を行うことにより、装置側の処理能力が原因となる処理速度の低下を防ぐことが可能になる。
【００７４】
第３の実施形態における処理の流れを、図２３を使って説明する。尚、第３の実施形態においては、第１の実施形態をベースに説明を行うが、第２の実施形態に関しても同様な処理を行うことができるものとする。また、第１の実施形態と重複する処理に関しては、説明を省略する。
【００７５】
画像処理装置側では、Ｓ２７０１において、動画を入力し、Ｓ２７０２において、通信部１１１は、Ｓ２７０１で取得した動画像２００を、ネットワーク１１２を通して、画像生成装置に送信する。
【００７６】
一方、画像生成装置側の通信部１１１は、Ｓ２７０３において、Ｓ２７０２で画像処理装置側の通信部１１１がネットワーク１１２を通して送信した動画像２００を受信する。そして、第１の実施形態と同様に、画像サンプリング（Ｓ２７０４）、モザイキング処理（Ｓ２７０５）を行い、この処理を終了する。
【００７７】
このように、画像処理装置では動画入力処理のみを行い、撮影した動画を画像生成装置に送信し、その装置上で画像サンプリング及びモザイキング処理を行うことで、装置側の処理能力が原因となる処理速度の低下を防ぐことが可能になる。
【００７８】
［第４の実施形態］
第３の実施形態では、画像処理装置では動画入力処理のみを行い、撮影した動画を画像生成装置に送信し、その装置上で画像サンプリング及びモザイキング処理を行うことで、装置側の処理能力が原因となる処理速度の低下を防ぐことができた。しかし、１つの画像生成装置に対し、複数の画像処理装置から同時に動画が送信されてきた場合などに、画像生成装置側に計算負荷が集中してしまうという問題が存在する。
【００７９】
そこで、第４の実施形態では、画像処理装置で動画入力処理に加えて画像サンプリング処理までを行い、撮影した動画と作成したサンプリングリストを画像生成装置に送信し、その装置上でモザイキング処理のみを行う。
【００８０】
これにより、画像処理装置、画像生成装置間で計算負荷の分散が行え、画像生成装置側のみに負荷が集中してしまうのを防ぐことが可能になる。また、後述するように、画像生成装置の性能に基づき画像サンプリング処理を行う際のサンプリング間隔を決定することで、各生成装置に対し適した画像サンプリング処理を行うことが可能になる。
【００８１】
第４の実施形態における処理の流れを、図２４を使って説明する。尚、第４の実施形態においては、第１の実施形態をベースに説明を行うが、第２の実施形態に関しても同様な処理を行うことができるものとする。
【００８２】
ここで、Ｓ２８０１、Ｓ２８０６、Ｓ２８０７における処理は、画像生成装置側の処理であり、Ｓ２８０２〜Ｓ２８０５における処理は、画像処理装置側の処理である。また、第１の実施形態と重複する処理（Ｓ２８０３、Ｓ２８０４）に関しては、説明を省略する。
【００８３】
Ｓ２８０１において、画像生成装置側の通信部１１１は、図９に示す画像サンプリング間隔決定用リストをネットワーク１１２を通して画像処理装置に送信する。サンプリング間隔決定用リストは、各画像生成装置で各画像処理装置に対して異なるものを持っており、図９に示すフレーム解像度の値やサンプリング間隔の値はそれぞれ異なる。
【００８４】
尚、第１乃至第３の実施形態においては、画像サンプリング、モザイキング処理を同一装置内で行っていたため、一種類の画像サンプリング間隔決定用リストのみを用いていた。異なるサンプリング間隔決定用リストを利用することにより、モザイキング処理をどの画像生成装置で行うかにより、サンプリング間隔、即ち切り出すフレーム静止画像の総枚数を調整することが可能になる。例えば、画像生成装置側のＣＰＵ性能及びＲＡＭ容量が十分なものならば、図９に示すサンプリング間隔を狭くすることで、フレーム静止画像の総枚数は増加する代わりに、後のモザイキング処理の精度を向上させることが可能になる。
【００８５】
Ｓ２８０２において、画像処理装置側の通信部１１１は、Ｓ２８０１で画像生成装置側の通信部１１１がネットワーク１１２を通して送信したサンプリング間隔決定用リストを受信する。
【００８６】
Ｓ２８０５において、画像処理装置側の通信部１１１は、Ｓ２８０３で取得した動画像２００、Ｓ２８０４で取得したサンプリングリスト２１０を、ネットワーク１１２を通して画像生成装置に送信する。
【００８７】
Ｓ２８０６において、画像生成装置側の通信部１１１は、Ｓ２８０３で画像処理装置側の通信部１１１がネットワーク１１２を通して送信した動画像２００およびサンプリングリスト２１０を受信する。以上で、第４の実施形態における処理を終了する。
【００８８】
以上のように撮影した動画と作成したサンプリングリストとを画像生成装置に送信し、画像生成装置上でモザイキング処理のみを行うことで、画像生成装置側のみに負荷が集中してしまうのを防ぐことが可能になる。また、画像生成装置の性能に応じて画像サンプリング処理を行う際のサンプリング間隔を決定することで、各生成装置に対して適した画像サンプリング処理を行うことが可能になる。
【００８９】
［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2012054787.tif 000004
【図２】
2012054787.tif 000005
【図３】
2012054787.tif 000006
【図４】
2012054787.tif 000007
【図５】
2012054787.tif 000008
【図６】
2012054787.tif 000009
【図７】
2012054787.tif 000010
【図８】
2012054787.tif 000011
【図９】
2012054787.tif 000012
【図１０】
2012054787.tif 000013
【図１１】
2012054787.tif 000014
【図１２】
2012054787.tif 000015
【図１３】
2012054787.tif 000016
【図１４】
2012054787.tif 000017
【図１５】
2012054787.tif 000018
【図１６】
2012054787.tif 000019
【図１７】
2012054787.tif 000020
【図１８】
2012054787.tif 000021
【図１９】
2012054787.tif 000022
【図２０】
2012054787.tif 000023
【図２１】
2012054787.tif 000024
【図２２】
2012054787.tif 000025
【図２３】
2012054787.tif 000026
【図２４】
2012054787.tif 000027