(57)【要約】【課題】複数の画像の重ね合わせ時の画像の変形又は回転のパラメータをユーザに容易に指定させることができる画像処理プログラム等を提供する。【解決手段】本発明の画像処理プログラムは、複数の画像に捉えられた対象物の像が重なり合うように、前記複数の画像を重ね合わせるための画像処理プログラムであって、前記複数の画像に含まれる対象画像を前記複数の画像に含まれる基準画像上に重ねて表示するステップと、前記対象画像内で１本線状の軌跡を描くユーザの操作の操作方向を検出するステップと、前記操作方向に応じて、前記対象画像の変形方向又は回転方向を決定し、前記対象画像を前記変形方向又は前記回転方向に変形又は回転させた処理画像を生成するステップと、前記処理画像を前記基準画像上に重ねて表示するステップとをコンピュータに実行させる。【選択図】図１
2014182481.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像に捉えられた対象物の像が重なり合うように、前記複数の画像を重ね合わせるための画像処理プログラムであって、
前記複数の画像に含まれる対象画像を前記複数の画像に含まれる基準画像上に重ねて表示するステップと、
前記対象画像内で１本線状の軌跡を描くユーザの操作の操作方向を検出するステップと、
前記操作方向に応じて、前記対象画像の変形方向又は回転方向を決定し、前記対象画像を前記変形方向又は前記回転方向に変形又は回転させた処理画像を生成するステップと、
前記処理画像を前記基準画像上に重ねて表示するステップと
をコンピュータに実行させる、
画像処理プログラム。
【請求項２】
前記ユーザの操作の前記操作方向への操作量を検出するステップ
をさらにコンピュータに実行させ、
前記処理画像を生成するステップは、前記操作量に応じて、前記対象画像の変形量又は回転量をさらに決定し、前記対象画像を前記変形方向又は前記回転方向に前記変形量又は前記回転量だけ変形又は回転させた前記処理画像を生成するステップである、
請求項１に記載の画像処理プログラム。
【請求項３】
前記操作方向を検出するステップは、前記操作方向が、前記対象画像上の予め定められた基準点に向かう方向であるか、前記基準点から離れる方向であるかを判断するステップを含む、
請求項１又は２に記載の画像処理プログラム。
【請求項４】
前記操作方向を検出するステップは、前記操作方向が、前記予め定められた方向であるか、前記予め定められた方向と反対方向であるかを判断するステップを含む、
請求項１から３のいずれかに記載の画像処理プログラム。
【請求項５】
前記対象画像を前記基準画像上に重ねて表示するステップは、前記対象画像と前記基準画像との差分画像、又は前記対象画像及び前記基準画像の少なくとも一方を半透明にした画像を表示するステップである、
請求項１から４のいずれかに記載の画像処理プログラム。
【請求項６】
同じ動画に含まれる前記複数の画像の中から、前記対象画像及び前記基準画像を選択するステップ
をさらにコンピュータに実行させる、
請求項１から５のいずれかに記載の画像処理プログラム。
【請求項７】
前記変形の態様には、拡大／縮小、歪ませること、及び前記対象画像に平行な面内で延びる軸周りの回転の少なくとも１つが含まれる、
請求項１から６のいずれかに記載の画像処理プログラム。
【請求項８】
複数の画像に捉えられた対象物の像が重なり合うように、前記複数の画像を重ね合わせるための画像処理装置であって、
前記複数の画像に含まれる対象画像を前記複数の画像に含まれる基準画像上に重ねて表示する表示制御部と、
前記対象画像内で１本線状の軌跡を描くユーザの操作の操作方向を検出する操作検出部と、
前記操作方向に応じて、前記対象画像の変形方向又は回転方向を決定し、前記対象画像を前記変形方向又は前記回転方向に変形又は回転させた処理画像を生成する画像処理部と
を備え、
前記表示制御部は、前記処理画像を前記基準画像上に重ねて表示する、
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム及び画像処理装置に関する。
【背景技術】
【０００２】
従来より、特定の対象物の像が重なり合うように、複数の画像を重ね合わせる多くの画像処理技術が提案されており、様々な用途で使用されている。これらの用途とは、例えば、画像の比較や鮮明化であり、特許文献１では、異なる方向から撮影した複数の画像を重ね合わせて、比較している。また、特許文献１では、撮影方向の相違の影響をキャンセルするために、これらの画像を所定の基準角度から見た画像へと変換している。具体的には、台形の画像を長方形の画像へ変換する歪み補正や、回転移動による補正を実行している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−３３７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１の以上の一連の処理は、コンピュータにより自動で実行される。しかしながら、自動の重ね合わせには、精度の面で限界があり、マニュアルでの重ね合わせとの併用が望まれることもある。そこで、本願出願人は、複数の画像の差分画像を表示した状態で、歪み等の変形のパラメータや回転移動のパラメータ等をユーザに指定させる方法について特許出願をした（平成２４年１月１２日出願の特願２０１２−４４４０）。また、当該出願の明細書では、パラメータの指定の態様として、数値で指定を行う例を開示している。
【０００５】
しかしながら、ユーザによっては、このような数値の指定の操作でさえ、煩わしく感じるかもしれない。すなわち、本願発明者は、特願２０１２−４４４０の方法では、精度の面の向上は十分に見込まれるものの、ユーザの操作性の面からは、さらなる向上を検討する余地があると思い至った。
【０００６】
本発明は、複数の画像の重ね合わせ時の画像の変形又は回転のパラメータをユーザに容易に指定させることができる画像処理プログラムおよび画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１観点に係る画像処理プログラムは、複数の画像に捉えられた対象物の像が重なり合うように、前記複数の画像を重ね合わせるための画像処理プログラムであって、前記複数の画像に含まれる対象画像を前記複数の画像に含まれる基準画像上に重ねて表示するステップと、前記対象画像内で１本線状の軌跡を描くユーザの操作の操作方向を検出するステップと、前記操作方向に応じて、前記対象画像の変形方向又は回転方向を決定し、前記対象画像を前記変形方向又は前記回転方向に変形又は回転させた処理画像を生成するステップと、前記処理画像を前記基準画像上に重ねて表示するステップとをコンピュータに実行させる。
【０００８】
ここでは、基準画像上に重ねて表示される対象画像内でのユーザの操作の操作方向に応じて、対象画像の変形方向又は回転方向が決定される。なお、ここでいうユーザの操作とは、対象画像内で一本線状の軌跡を描くような操作である。従って、ユーザは、対象画像を基準画像と比較しながら、両画像に捉えられた特定の対象物の像を一致させるような対象画像の変形方向又は回転方向を直感的に指定することができる。よって、複数の画像の重ね合わせ時の画像の変形又は回転のパラメータをユーザに容易に指定させることができる。
【０００９】
なお、「１本線状の軌跡を描くユーザの操作」とは、単一のカーソルを動かすマウス操作や、単一の指を動かすタッチパネル操作等、移動の主体が１つであり、１本の軌跡を描くような操作のことを言う。一方、２本の指を近づける／遠ざけるピンチイン／ピンチアウトと呼ばれるタッチパネル操作は、移動の主体が２つあり、２本の軌跡を描く操作であるため、ここでいうユーザの操作には含まれない。また、ここでいう「１本線」とは、例えば、直線状であっても、曲線状であっても、折り曲り線状であってもよい。
【００１０】
本発明の第２観点に係る画像処理プログラムは、第１観点に係る画像処理プログラムであって、前記ユーザの操作の前記操作方向への操作量を検出するステップをさらにコンピュータに実行させる。前記処理画像を生成するステップは、前記操作量に応じて、前記対象画像の変形量又は回転量をさらに決定し、前記対象画像を前記変形方向又は前記回転方向に前記変形量又は前記回転量だけ変形又は回転させた前記処理画像を生成するステップである。
【００１１】
ここでは、基準画像上に重ねて表示される対象画像内でのユーザの操作の操作量に応じて、対象画像の変形量又は回転量が決定される。なお、ここでいうユーザの操作とは、対象画像内で一本線状の軌跡を描くような操作である。従って、ユーザは、対象画像を基準画像と比較しながら、両画像に捉えられた特定の対象物の像を一致させるような対象画像の変形量又は回転量を直感的に指定することができる。よって、複数の画像の重ね合わせ時の画像の変形又は回転のパラメータをユーザに容易に指定させることができる。
【００１２】
本発明の第３観点に係る画像処理プログラムは、第１観点又は第２観点に係る画像処理プログラムであって、前記操作方向を検出するステップは、前記操作方向が、前記対象画像上の予め定められた基準点に向かう方向であるか、前記基準点から離れる方向であるかを判断するステップを含む。なお、基準点は、対象画像内の任意の点に設定することが可能であり、例えば、対象画像の中心である。
【００１３】
ここでは、ユーザの操作の操作方向が、予め定められた基準点に向かう方向であるか、これから離れる方向であるかにより判断される。また、上記のとおり、ここで判断された操作方向は、対象画像の変形方向又は回転方向を決定する。従って、例えば、ユーザが基準点に向かう方向の操作を行うと、対象画像が縮小され、基準点から離れる方向の操作を行うと、拡大されるような直感的な操作インターフェースを実現することができる。
【００１４】
本発明の第４観点に係る画像処理プログラムは、第１観点から第３観点のいずれかに係る画像処理プログラムであって、前記操作方向を検出するステップは、前記操作方向が、前記予め定められた方向であるか、前記予め定められた方向と反対方向であるかを判断するステップを含む。
【００１５】
ここでは、ユーザの操作の操作方向が、予め定められた方向であるか、これと反対方向であるかにより判断される。また、上記のとおり、ここで判断された操作方向は、対象画像の変形方向又は回転方向を決定する。従って、例えば、ユーザが上へ向かう方向の操作を行うと、対象画像の右下の点が上方向に移動するように対象画像が平行四辺形に歪み、下へ向かう方向の操作を行うと、同じ点が下方向に移動するように平行四辺形に歪むような直感的な操作インターフェースを実現することができる。また、別の例としては、ユーザが上へ向かう方向の操作を行うと、対象画像に平行な面内の所定の軸（例えば、対象画像の中心を通り、左右方向に延びる軸）の周りで所定の方向に対象画像が回転し、下へ向かう方向の操作を行うと、同じ軸の周りで逆回転するような直感的な操作インターフェースを実現することができる。
【００１６】
本発明の第５観点に係る画像処理プログラムは、第１観点から第４観点のいずれかに係る画像処理プログラムであって、前記対象画像を前記基準画像上に重ねて表示するステップは、前記対象画像と前記基準画像との差分画像、又は前記対象画像及び前記基準画像の少なくとも一方を半透明にした画像を表示するステップである。
【００１７】
ここでは、対象画像と基準画像との差分画像、或いは、対象画像及び基準画像の少なくとも一方を半透明にして両画像を重ね合わせた画像が表示される。なお、後者の画像とは、例えば、平均画像や加重平均画像である。ユーザは、前者の画像が表示される場合には、差分画像上から注目している対象物の像が消えるように、対象画像を変形又は回転させればよい。また、後者の画像が表示される場合には、後者の画像内で注目している対象物がうまく重なり合うように、対象画像を変形又は回転させればよい。従って、ユーザは、変形又は回転のパラメータをより直感的に指定することができる。
【００１８】
本発明の第６観点に係る画像処理プログラムは、第１観点から第５観点のいずれかに係る画像処理プログラムであって、同じ動画に含まれる前記複数の画像の中から、前記対象画像及び前記基準画像を選択するステップをさらにコンピュータに実行させる。
【００１９】
同じ動画には、注目している対象物の形状について、類似の画像が含まれる可能性が高い。ここでは、重ね合わせの対象となる複数の画像が、同じ動画の中から選択されるため、注目している対象物の像をより精度よく一致させることができる。
【００２０】
本発明の第７観点に係る画像処理プログラムは、第１観点から第６観点のいずれかに係る画像処理プログラムであって、前記変形の態様には、拡大／縮小、歪ませること、及び前記対象画像に平行な面内で延びる軸周りの回転の少なくとも１つが含まれる。
【００２１】
なお、「回転」には、変形の一態様としての回転、すなわち、対象画像に平行な面内で延びる軸周りの回転（図１１（ａ）及び（ｂ）参照）と、対象画像に平行な面内の所定の点周りの回転（図１１（ｃ）参照）とがある。本明細書では、特に断らない限り、単に「回転」というときには、対象画像の変形を伴わない、回転移動のことを意味するものとする。
【００２２】
本発明の第８観点に係る画像処理装置は、複数の画像に捉えられた対象物の像が重なり合うように、前記複数の画像を重ね合わせるための画像処理装置であって、前記複数の画像に含まれる対象画像を前記複数の画像に含まれる基準画像上に重ねて表示する表示制御部と、前記対象画像内で１本線状の軌跡を描くユーザの操作の操作方向を検出する操作検出部と、前記操作方向に応じて、前記対象画像の変形方向又は回転方向を決定し、前記対象画像を前記変形方向又は前記回転方向に変形又は回転させた処理画像を生成する画像処理部とを備える。前記表示制御部は、前記処理画像を前記基準画像上に重ねて表示する。ここでは、第１観点と同様の効果を奏することができる。
【発明の効果】
【００２３】
本発明によれば、基準画像上に重ねて表示される対象画像内でのユーザの操作の操作方向に応じて、対象画像の変形方向又は回転方向が決定される。なお、ここでいうユーザの操作とは、対象画像内で一本線状の軌跡を描くような操作である。従って、ユーザは、対象画像を基準画像と比較しながら、両画像に捉えられた特定の対象物の像を一致させるような対象画像の変形方向又は回転方向を直感的に指定することができる。よって、複数の画像の重ね合わせ時の画像の変形又は回転のパラメータをユーザに容易に指定させることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る画像処理装置のブロック図である。
【図２】画像データが取り込まれる前の基本画面の図である。
【図３】画像データが取り込まれた後の基本画面の図である。
【図４】１のタイムラインに属する静止画群を示す図。
【図５】重ね合わせウィンドウを示す図。
【図６】候補選択ウィンドウを示す図。
【図７】候補選択ウィンドウを示す別の図。
【図８】候補選択ウィンドウを示すさらに別の図。
【図９】重ね合わせウィンドウを示す別の図。
【図１０】重ね合わせウィンドウを示すさらに別の図。
【図１１】画像の回転変形及び回転移動の態様を示す図。
【図１２】画像の歪み変形の態様を示す図。
【図１３】対象画像の例を示す図。
【図１４】基準画像の例を示す図。
【図１５】図１３及び図１４の画像を重ね合わせた画像を示す図。
【図１６】図１３の画像を移動及び変形した上で、図１３及び図１４の画像を重ね合わせた画像を示す図。
【図１７】図１５の画像に対応する差分画像を示す図。
【図１８】図１６の画像に対応する差分画像を示す図。
【図１９】特徴点選択ウィンドウを示す図。
【図２０】特徴点選択ウィンドウを示す別の図。
【発明を実施するための形態】
【００２５】
以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラム及び画像処理装置について説明する。
＜１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から提供され、インストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。
【００２６】
画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０および制御部４０を有する。これらの部１０〜４０は、互いにバス線やケーブル等５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウス２１およびキーボート２２等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスク等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成される。
【００２７】
画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１および加工ファイル領域５２が確保されている。各領域５１，５２の役割については、後述する。
【００２８】
制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に表示制御部４１、操作検出部４２及び画像処理部４３として動作する。表示制御部４１は、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示を制御する。操作検出部４２は、入力部２０を介してユーザから入力される全ての操作を検出する。画像処理部４３は、様々な種類の画像処理を実行する。
【００２９】
＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検出すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。
【００３０】
＜２−１．画像データの取込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理及び画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。
【００３１】
静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。
【００３２】
一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。制御部４０は、ユーザが動画ファイルを指定したことを検出すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検出すると、指定された動画ファイルのその区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。従って、本実施形態では、後述する再生処理及び画像処理の対象となる画像データは、動画ファイルではなく、静止画ファイルである。
【００３３】
なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群をタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。
【００３４】
＜２−２．静止画ファイル群の再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４１は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。
【００３５】
表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームに対応する静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。
【００３６】
図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４およびタイムラインバーＴ５が配置されている。
【００３７】
表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。なお、表示ウィンドウＷ２は、タイムラインに１対１で対応するため、ウィンドウ選択プルダウンメニューＴ１は、タイムライン選択プルダウンメニューでもある。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブフレームと呼ぶ。
【００３８】
表示制御部４１は、アクティブな表示ウィンドウＷ２内で、アクティブフレーム群を動画として再生可能である。再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４１は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことが検出されると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブフレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４１は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことが検出されると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブフレームに固定する。
【００３９】
コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブフレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。
【００４０】
タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。
【００４１】
図３に示すように、表示制御部４１は、タイムラインバーＴ５上において、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを、異なる表示形式で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に属するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に属するフレーム群である。
【００４２】
タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。このとき選択される区間は、連続区間であってもよいし、図３に示すように、不連続区間であってもよい。具体的には、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。分割領域は、同時に複数選択が可能である。表示制御部４１は、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブフレームを最新に選択された分割領域に対応するフレームに直ちに切り替える。画像処理部４３は、選択フレーム群又はアクティブフレームを後述される画像処理の対象として認識する。
【００４３】
＜２−３．画像処理＞
画像処理部４３は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、文字／矢印／モザイクの付加、重ね合わせなどの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。
【００４４】
ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。画像処理部４３は、ユーザが画像処理モジュールを選択したことを検出する度に、その時点の選択フレーム群又はアクティブフレームに対しその画像処理モジュールを実行する。なお、画像処理モジュールの実行の対象が選択フレーム群又はアクティブフレームのいずれとなるかは、画像処理の種類による。また、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。
【００４５】
フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームの静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。画像処理部４３は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。
【００４６】
図４は、１のタイムラインに属する画像群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、画像Ｉ（ｎ，ｍ）を表している。画像Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の画像である（ｎは、自然数であり、ｍは、０以上の整数である）。
【００４７】
制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍsとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍsは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍsは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、任意のフレームの座標ｍsを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍs次の画像に対し画像処理モジュールを実行することである。従って、座標ｍsを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。また、フレームを表示するとは、そのフレームの座標ｍsの画像を表示することである。従って、座標ｍsを変更することには、アクティブな表示ウィンドウＷ２内に表示される対象を変更するという意味もある。
【００４８】
＜２−３−１．重ね合わせ処理＞
以下、画像処理プログラム２に実装されている画像処理の１つである、重ね合わせ処理について説明する。重ね合わせ処理とは、画像の鮮明化や比較を目的として、複数の画像に捉えられた対象物の像が重なり合うように、複数の画像を重ね合わせる処理である。より詳細には、本実施形態の重ね合わせ処理は、重ね合わせ処理が開始した時点のアクティブフレーム（以下、基準フレーム）の第ｍs次の画像（以下、基準画像）上に、任意のタイムラインに属する任意のフレームの第０次又は第ｍs次の画像を重ね合わせる処理である。
【００４９】
まず、表示制御部４１は、ユーザにより重ね合わせの処理の実行が命令されたことが検出されると、図５に示す重ね合わせウィンドウＷ３を基本画面Ｗ１上に重ねて表示する。さらに、表示制御部４１は、ユーザによりこの重ね合わせウィンドウＷ３上の追加ボタンＢ１が押されことが検出されると、図６に示す候補選択ウィンドウＷ４を基本画面Ｗ１上に重ねて表示する。候補選択ウィンドウＷ４は、基準フレームの属するタイムライン（以下、基準タイムライン）を含む全てのタイムラインに属する全てのフレーム群の中から、基準画像に重ね合わせるべき１又は複数の画像（以下、対象画像）の候補となる画像（以下、候補画像）の属するフレーム（以下、候補フレーム）をユーザに選択させるための画面である。
【００５０】
図６に示すように、候補選択ウィンドウＷ４上には、タイムライン選択プルダウンメニューＣ１、再生ボタンＣ２、コマ送りボタンＣ３、コマ戻しボタンＣ４およびタイムラインバーＣ５が配置されている。これらのオブジェクトＣ１〜Ｃ５は、それぞれ基本画面Ｗ１上の上述のオブジェクトＴ１〜Ｔ５と同様の機能を有する。また、候補選択ウィンドウＷ４上には、フレームリストＤ１が配置されている。
【００５１】
フレームリストＤ１には、候補選択ウィンドウＷ４内で現在選択されているタイムライン（以下、選択タイムライン）に属する全てのフレームのＩＤが、選択タイムライン上での配列に従って上下方向に配列されている。なお、候補選択ウィンドウＷ４が表示された直後の選択タイムラインは、基準タイムラインであるが、タイムライン選択プルダウンメニューＣ１は、選択タイムラインを任意のタイムラインへ変更する操作をユーザから受け付けている。また、フレームリストＤ１には、各フレームのＩＤの左横にチェックボックスが配置されている。その結果、ユーザは、このチェックボックスを介して、フレームリストＤ１にＩＤが表示されているフレーム群の中から、任意のフレームを任意の数だけ選択することができる。画像処理部４３は、このチェックボックスを介してユーザにより選択されたフレームを、上述の候補フレームとして認識する。
【００５２】
あるいは、ユーザは、タイムラインバーＣ５を介しても、候補フレームを選択することができる。なお、タイムラインバーＣ５は、上述のタイムラインバーＴ５と同様の機能を有するが、アクティブタイムラインではなく、選択タイムライン上の任意の区間の選択をユーザから受け付けている。具体的には、ユーザが、候補選択ウィンドウＷ４上の追加ボタンＥ１を押すと、タイムラインバーＣ５上でその時点で選択されている１又は複数の分割領域に対応する１又は複数のフレームが、画像処理部４３により候補フレームとして認識される。逆に、ユーザが、候補選択ウィンドウＷ４上の削除ボタンＥ２を押すと、タイムラインバーＣ５上でその時点で選択されている１又は複数の分割領域に対応する１又は複数のフレームが、候補フレームから解除される。
【００５３】
また、図７及び図８に示すように、タイムラインバーＣ５上の基準フレームに対応する分割領域の下方には、バーＥ３が表示され、タイムラインバーＣ５上の候補フレームに対応する分割領域の下方には、バーＥ３とは異なる表示形式のバーＥ４が表示される。従って、ユーザは、基準フレームと候補フレームとの選択タイムライン上での位置ｎを容易に把握することができる。なお、図７は、基準フレームの位置を示すバーＥ３が存在していることから明らかであるが、基準フレームの属するタイムラインが選択タイムラインである場合の様子を示している。一方、バーＥ３が表示されていない図８は、基準フレームの属するタイムライン以外のタイムラインが選択タイムラインである場合の様子を示している。
【００５４】
また、候補選択ウィンドウＷ４上の上部左側には、基準画像が表示される基準画像パネルＰ１が配置されており、その右側には、比較画像パネルＰ２が配置されている。表示制御部４１は、再生ボタンＣ２、コマ送りボタンＣ３及びコマ戻しボタンＣ４に対するユーザの操作を受けて、比較画像パネルＰ２内で選択タイムライン上のフレーム群を再生可能である。このときの再生処理は、アクティブな表示ウィンドウＷ２内での上述の再生処理と同様の態様で実行される。従って、ユーザは、比較画像パネルＰ２内に様々な画像を再生させながら、基準画像パネルＰ１に表示されている基準画像に重ね合わせるべき対象画像の候補画像として適切なものを、容易に見つけ出すことができる。例えば、基準画像に捉えられている特定の対象物の像を鮮明化したいのであれば、同じ対象物が似たような角度から捉えられている画像を見つけ出し、候補画像とすればよい。このとき、注目している対象物が基準画像の中でと概ね同じ形状で捉えられている画像があれば、対象物の像の多少の変形や画面内での配置のずれを問わず、候補画像とすることができる。なぜならば、候補画像の中から選択される、基準画像に重ね合わせるべき対象画像に対しては、後述するとおり、重ね合わせ時に適宜平行移動、回転移動、拡大／縮小、回転変形及び歪み変形を加えることができるからである。
【００５５】
比較画像パネルＰ２内に表示される画像は、候補選択ウィンドウＷ４が表示された直後は基準画像である。比較画像パネルＰ２内の表示は、上述の再生処理によっても切り替えられるが、ユーザによりタイムラインバーＣ５上で分割領域が選択された場合にも、直ちに当該分割領域に対応するフレームの第ｍs次の画像に切り替えられる。また、その他、ユーザによりフレームリストＤ１内でチェックボックスによらずフレームが選択された場合にも、直ちに当該フレームの第ｍs次の画像に切り替えられる。ここで、フレームリストＤ１内でチェックボックスによらずフレームを選択するとは、チェックボックス部分ではなく、フレームのＩＤが表示されているエリアをクリックすることによって、フレームを選択することである。なお、フレームリストＤ１内では、最新にクリックされたフレームのＩＤの背景領域と、基準画像フレームのＩＤの背景領域と、その他のフレームのＩＤの背景領域とは、異なる色やパターンで表される。従って、ユーザは、これらのフレームの意味を容易に識別することができる。
【００５６】
表示制御部４１は、ユーザにより候補選択ウィンドウＷ４上のＯＫボタンＥ５が押されたことが検出されると、候補選択ウィンドウＷ４を閉じ、重ね合わせウィンドウＷ３の表示を更新する。具体的には、図９に示すように、表示制御部４１は、重ね合わせウィンドウＷ３の中央付近に、フレームリストＤ２を表示する。フレームリストＤ２には、候補選択ウィンドウＷ４を介して選択された候補フレームのＩＤが上下方向に配列されており、各候補フレームのＩＤの左横には、チェックボックスが配置されている。その結果、ユーザは、このチェックボックスを介して、候補選択ウィンドウＷ４を介して選択された候補フレーム群の中から、任意の候補フレームを任意の数だけ選択することができる。画像処理部４３は、このチェックボックスを介してユーザにより選択された候補フレームを、対象画像の属するフレーム（以下、対象フレーム）として認識する。
【００５７】
また、フレームリストＤ２は、チェックボックス部分ではなく、候補フレームのＩＤが表示されているエリアをクリックすることによっても、１の候補フレームを選択する操作をユーザから受け付けている。以下、この方法で選択された候補フレームを、選択フレームと呼ぶ。フレームリストＤ２内では、選択フレームのＩＤの背景領域と、その他のフレームのＩＤの背景領域とは、異なるトーンで表される（図１０参照）。
【００５８】
そして、図１０に示すように、選択フレームが設定されている状態では、表示制御部４１は、重ね合わせウィンドウＷ３の上部に、候補画像エリアＢ２を表示する。候補画像エリアＢ２は、選択フレームの第０次又は第ｍs次の画像を表示するエリアである。ここで、第０次又は第ｍs次のいずれの画像が表示されることになるかは、重ね合わせウィンドウＷ３上に表示されている使用画像選択プルダウンメニューＢ３上での設定による。使用画像選択プルダウンメニューＢ３は、「最新画像」又は「オリジナル画像」の２つの選択肢を有しており、選択フレームに対していずれかの値を選択することができる。その結果、ユーザにより前者が選択された場合には、候補画像エリアＢ２内に選択フレームの第ｍs次の画像が表示され、後者が選択された場合には、選択フレームの第０次の画像が表示される。なお、各候補フレームに対する「最新画像」又は「オリジナル画像」の設定値は、前者がデフォルト値である。ユーザは、入力部２０を介して使用画像選択プルダウンメニューＢ３を操作することにより、候補画像エリアＢ２内に選択フレームの第０次又は第ｍs次の画像を切り替えて表示させつつ、選択フレームを対象フレームとする場合には、基準画像に重ね合わせるべき対象画像としてはどちらの画像が適切であるかを判断することができる。
【００５９】
また、重ね合わせウィンドウＷ３上には、プレビュー選択エリアＢ４及び方法指定エリアＢ５が配置されている。ここで、ユーザがプレビュー選択エリアＢ４にチェックを入れていない状態では、アクティブな表示ウィンドウＷ２内には、基準画像が表示されるが、プレビュー選択エリアＢ４にチェックを入れている状態では、アクティブな表示ウィンドウＷ２内には、対象画像又は対象画像を加工した画像等、基準画像以外の様々な画像が表示され得る。方法指定エリアＢ５は、プレビュー選択エリアＢ４にチェックが入っている間のみ有効化されるエリアであり、アクティブな表示ウィンドウＷ２内にどのような方法で生成される画像をプレビューするかの指定をユーザから受け付ける。具体的には、図１０に示すように、方法指定エリアＢ５は、「全て」「基準」「直前」及び「選択」の４つの選択肢の中から、アクティブな表示ウィンドウＷ２内にプレビューされる画像（以下、プレビュー画像）の生成方法の指定を択一的にユーザから受け付ける。
【００６０】
より具体的に説明すると、方法指定エリアＢ５内で「全て」が選択されている状態では、表示制御部４１は、アクティブな表示ウィンドウＷ２内に、フレームリストＤ２を介してユーザにより現在選択されている全ての対象フレームの第０次又は第ｍs次の画像、すなわち、全ての対象画像を基準画像上に重ねて表示する。ここで、各対象フレームの対象画像としては、上述の使用画像選択プルダウンメニューＢ３を介してユーザにより現在設定されている次数ｍの画像が選択される。また、対象画像が１つも選択されていない状態であれば、アクティブな表示ウィンドウＷ２内には、基準画像が表示される。
【００６１】
ここで、ユーザは、対象画像であって、フレームリストＤ２内でチェックボックスによらず現在選択されている画像（以下、選択対象画像)を、アクティブな表示ウィンドウＷ２内で容易に移動及び／又は変形させることができる。なお、本実施形態では、移動及び／又は変形の態様として、Ｘ軸及びＹ軸方向の平行移動、Ｘ軸及びＹ軸方向の拡大／縮小、Ｘ軸及びＹ軸方向の回転変形、Ｚ軸周りの回転移動、並びに、Ｘ軸及びＹ軸方向の歪み変形がある。ここで、Ｘ軸及びＹ軸は、画面の中心を通り、画面内をそれぞれ左右方向及び上下方向に延びる軸であり、Ｚ軸は、画面の中心を通り、画面に直交する方向である。
【００６２】
具体的な移動及び／又は変形の操作の方法について説明する。まず、Ｘ軸及びＹ軸方向の平行移動の場合、ユーザは、マウス２１を操作し、アクティブな表示ウィンドウＷ２内に表示されている選択対象画像内で、クリックした状態でカーソルを移動させる（以下、クリック移動）。このとき、このクリック移動操作の操作方向及び操作量が、操作検出部４２により検出される。画像処理部４３は、操作検出部４２により検出された操作方向に応じて、選択対象画像の平行移動方向を決定するとともに、操作検出部４２により検出された操作量に応じて、選択対象画像の平行移動量を決定する。より具体的には、画像処理部４３は、クリック移動操作によりカーソルがＸ方向にａ１ピクセル分移動し、Ｙ方向にａ２ピクセル分移動した場合には、選択対象画像をＸ方向にａ１ピクセル平行移動させるとともに、Ｙ方向にａ２ピクセル分平行移動させる。なお、ａ１，ａ２は、正の値であっても、負の値であってもよい。また、本実施形態では、ユーザのカーソルの操作量と平行移動量が一致しているが、他の実地形態では、両者を比例関係等の相関関係を持たせた上で、不一致としてもよい。
【００６３】
次に、Ｘ軸及びＹ軸方向の拡大／縮小の場合には、ユーザは、キーボード２２上の特定のキー（例えば、Ｆ１キー）を押しながら、マウス２１を操作し、アクティブな表示ウィンドウＷ２内に表示されている選択対象画像内で、カーソルをクリック移動する。このとき、キーボード２２上の特定のキーが押されたことにより、画像処理部４３は、クリック移動操作が拡大／縮小を意味していることを認識する。また、このときも、上述の平行移動の場合と同様に、このクリック移動操作の操作方向及び操作量が、操作検出部４２により検出される。そして、画像処理部４３は、操作検出部４２により検出された操作方向に応じて、選択対象画像の拡大／縮小方向を決定するとともに、操作検出部４２により検出された操作量に応じて、選択対象画像の拡大／縮小量を決定する。より具体的には、画像処理部４３は、Ｘ軸及びＹ軸方向のそれぞれについて、クリック移動操作によりカーソルが選択対象画像上の予め定められた基準点（本実施形態では、選択対象画像の中心）に向かう方向に移動されたか、この基準点から離れる方向に移動されたかを判断するとともに、定量的な移動量も判断する。そして、画像処理部４３は、カーソルがＸ方向に基準点からｂピクセル分離れたと判断された場合には、選択対象画像を（１＋ｃ１・ｂ）倍の倍率でＸ方向に拡大し、Ｘ方向に基準点へｂピクセル分近づいたと判断された場合には、（１−ｃ１・ｂ）の倍率でＸ方向に縮小する（ｃ１は、正の定数）。なお、ｂは、正の値である。また、Ｙ方向に関しても、同様である。
【００６４】
続いて、Ｘ軸及びＹ軸方向の回転変形の場合には、ユーザは、キーボード２２上の特定のキー（例えば、Ｆ２キー）を押しながら、マウス２１を操作し、アクティブな表示ウィンドウＷ２内に表示されている選択対象画像内で、カーソルをクリック移動する。このとき、キーボード２２上の特定のキーが押されたことにより、画像処理部４３は、クリック移動操作が回転変形を意味していることを認識する。また、このときも、上述の平行移動等の場合と同様に、このクリック移動操作の操作方向及び操作量が、操作検出部４２により検出される。そして、画像処理部４３は、操作検出部４２により検出された操作方向に応じて、選択対象画像の回転変形方向を決定するとともに、操作検出部４２により検出された操作量に応じて、選択対象画像の回転変形量を決定する。より具体的には、画像処理部４３は、クリック移動操作によりカーソルがＹ軸正方向に移動されたか、これと反対方向であるＹ軸負方向に移動されたかを判断するとともに、定量的な移動量も判断する。そして、画像処理部４３は、図１１（ａ）に示すように、カーソルがＹ軸正方向にｄ１ピクセル分移動したと判断された場合には、選択対象画像をｃ２・ｄ１°だけＸ軸周りに負方向に回転させるように変形し、Ｙ軸負方向にｄ１ピクセル分移動したと判断された場合には、ｃ２・ｄ１°だけＸ軸周りに正方向に回転させるように変形する（ｃ２は、正の定数）。同様に、画像処理部４３は、クリック移動操作によりカーソルがＸ軸正方向に移動されたか、これと反対方向であるＸ軸負方向に移動されたかを判断するとともに、定量的な移動量も判断する。そして、画像処理部４３は、図１１（ｂ）に示すように、カーソルがＸ軸正方向にｄ２ピクセル分移動したと判断された場合には、選択対象画像をｃ２・ｄ２°だけＹ軸周りに負方向に回転させるように変形し、Ｘ軸負方向にｄ２ピクセル分移動したと判断された場合には、ｃ２・ｄ２°だけＹ軸周りに正方向に回転させるように変形する。なお、ｄ１，ｄ２は、正の値である。
【００６５】
続いて、Ｚ軸周りの回転移動の場合には、ユーザは、キーボード２２上の特定のキー（例えば、Ｆ３キー）を押しながら、マウス２１を操作し、アクティブな表示ウィンドウＷ２内に表示されている選択対象画像内で、カーソルをクリック移動する。このとき、キーボード２２上の特定のキーが押されたことにより、画像処理部４３は、クリック移動操作が回転移動を意味していることを認識する。また、このときも、上述の平行移動等の場合と同様に、このクリック移動操作の操作方向及び操作量が、操作検出部４２により検出される。そして、画像処理部４３は、操作検出部４２により検出された操作方向に応じて、選択対象画像の回転方向を決定するとともに、操作検出部４２により検出された操作量に応じて、選択対象画像の回転量を決定する。より具体的には、画像処理部４３は、クリック移動操作によりカーソルがＺ軸周りを正方向に回転されたか、これと反対方向である負方向に回転されたかを判断するとともに、定量的な回転量も判断する。そして、画像処理部４３は、図１１（ｃ）に示すように、カーソルがＺ軸周りに正方向にｅ°回転したと判断された場合には、選択対象画像をｃ３・ｅ°だけＺ軸周りに正方向に回転させるように変形し、負方向にｅ°回転したと判断された場合には、ｃ３・ｅ°だけ負方向に回転させるように変形する（ｃ３は、正の定数）。なお、ｅは、正の値である。また、ここで画像処理部４３が認識可能なクリック移動操作は、ユーザがカーソルをＺ軸周りに厳密に円弧状に移動させる操作である必要はない。例えば、直線状のクリック移動操作であっても、ｅの値を検出することは可能である。例えば、ｅの値は、クリック移動操作によるカーソルの移動開始点と選択対象画像上の予め定められた基準点（本実施形態では、選択対象画像の中心）とを結ぶ線分と、カーソルの移動終了点と同基準点とを結ぶ線分とが為す角度として検出され得る。
【００６６】
続いて、Ｘ軸及びＹ軸方向の歪み変形の場合には、ユーザは、キーボード２２上の特定のキー（例えば、Ｆ４キー）を押しながら、マウス２１を操作し、アクティブな表示ウィンドウＷ２内に表示されている選択対象画像内で、カーソルをクリック移動する。このとき、キーボード２２上の特定のキーが押されたことにより、画像処理部４３は、クリック移動操作が歪み変形を意味していることを認識する。また、このときも、上述の平行移動等の場合と同様に、このクリック移動操作の操作方向及び操作量が、操作検出部４２により検出される。そして、画像処理部４３は、操作検出部４２により検出された操作方向に応じて、選択対象画像の歪み変形方向を決定するとともに、操作検出部４２により検出された操作量に応じて、選択対象画像の歪み変形量を決定する。より具体的には、画像処理部４３は、クリック移動操作によりカーソルがＸ軸正方向に移動されたか、これと反対方向であるＸ軸負方向に移動されたかを判断するとともに、定量的な移動量も判断する。そして、画像処理部４３は、図１２（ａ）に示すように、カーソルがＸ軸正方向にｆ１ピクセル分移動したと判断された場合には、選択対象画像を選択対象画像の右下の点がｃ４・ｆ１ピクセルだけＸ軸正方向に移動するように平行四辺形に歪ませ、Ｘ軸負方向にｆ１ピクセル分移動したと判断された場合には、ｃ４・ｆ１°だけＸ軸負方向に移動するように平行四辺形に歪ませる（ｃ４は、正の定数）。同様に、画像処理部４３は、クリック移動操作によりカーソルがＹ軸正方向に移動されたか、これと反対方向であるＹ軸負方向に移動されたかを判断するとともに、定量的な移動量も判断する。そして、画像処理部４３は、図１２（ｂ）に示すように、カーソルがＹ軸正方向にｆ２ピクセル分移動したと判断された場合には、選択対象画像を選択対象画像の右下の点がｃ４・ｆ２ピクセルだけＹ軸正方向に移動するように平行四辺形に歪ませ、Ｙ軸負方向にｆ２ピクセル分移動したと判断された場合には、ｃ４・ｆ２°だけＹ軸負方向に移動するように平行四辺形に歪ませる。なお、ｆ１，ｆ２は、正の値である。
【００６７】
以上のようなクリック移動操作が行われる度、当該移動及び／又は変形は、アクティブな表示ウィンドウＷ２内での表示に直ちに反映される。すなわち、表示制御部４１は、アクティブな表示ウィンドウＷ２内に、元の選択対象画像に代えて、移動及び／又は変形後の選択対象画像を基準画像及びその他の対象画像上に重ね合わせたプレビュー画像を表示する。
【００６８】
以上の結果、ユーザは、選択対象画像内で一本線状の軌跡を描くようなクリック移動操作で、直感的に選択対象画像を移動及び／又は変形させることができる。また、上記のとおり、方法指定エリアＢ５内で「全て」が選択されている状態では、選択対象画像は、アクティブな表示ウィンドウＷ２内で、基準画像上に重ね合わせて表示される。従って、ユーザは、選択対象画像を基準画像と比較しながら、両画像に捉えられた特定の対象物の像を一致させるような移動及び／又は変形のパラメータを容易に指定することができる。また、ユーザは、クリック移動操作を行う度に、アクティブな表示ウィンドウＷ２内で、移動及び／又は変形後の選択対象画像をリアルタイムに確認することもできる。従って、ユーザは、必要に応じて上述のクリック移動操作の実行を繰り返しながら、選択対象画像と基準画像との間で注目している対象物の像が適切に重なり合うような選択対象画像の移動及び／又は変形のパラメータを指定することができる。
【００６９】
ここで、図１０に示すように、重ね合わせウィンドウＷ３上には、上述の選択対象画像の移動及び変形のパラメータを表示するとともに、これらのパラメータを変更する操作をユーザから受け付けるパラメータ指定エリアＢ６が配置されている。なお、このエリアＢ６内では、パラメータの表示及び変更は、数値を用いて定量的に行われる。また、このエリアＢ６内に表示されるパラメータは、上述の移動及び／又は変形のためのクリック移動操作とリアルタイムで連動しており、上述の態様で選択対象画像が移動及び／又は変形される度に、当該移動及び／又は変形を反映した値に直ちに更新される。また、表示制御部４１は、ユーザがパラメータ指定エリアＢ６上でこれらのパラメータを変更する操作を行ったことが検出される度に、アクティブな表示ウィンドウＷ２内に表示される選択対象画像を、当該変更量に従って直ちに移動及び／又は変形させる。すなわち、移動及び／又は変形のパラメータの指定は、クリック移動による直感的な操作と、数値を用いた定量的な指定の操作との、性質の違う２通りの操作により実現される。従って、ユーザは、前者の操作によって、選択対象画像及び基準画像間で対象物の像を概ね簡単に一致させた後、後者の操作によって、厳密な微調整を行うことができる。
【００７０】
なお、ユーザは、複数の対象画像を基準画像上に重ね合わせたい場合には、複数の対象画像を順に選択対象画像として選択してゆきつつ、各対象画像を基準画像上に重ね合わせる上述の操作を行えばよい。そして、このような複数の対象画像の移動及び／又は変形が終了した段階では、方法指定エリアＢ５内で「全て」が選択されている状態でのプレビュー画像上では、複数の対象画像と基準画像とに写る全ての対象物の像が概ね一致していることになる。
【００７１】
ここで、プレビュー画像の生成方法についての説明に話を戻すと、方法指定エリアＢ５内で「基準」が選択されている状態では、表示制御部４１は、プレビュー画像として、選択対象画像のみを基準画像上に重ねて表示する。また、方法指定エリアＢ５内で「選択」が選択されている状態では、表示制御部４１は、プレビュー画像として、選択対象画像を単独で表示する。また、方法指定エリアＢ５内で「直前」が選択されている状態では、表示制御部４１は、プレビュー画像として、選択対象画像をフレームリストＤ２内で１つ上の対象画像上に重ねて表示する。ただし、そのような対象画像が存在しない場合には、選択対象画像のみを基準画像上に重ねて表示する。そして、このようなプレビュー画像が表示されている場合も、アクティブな表示ウィンドウＷ２内に表示されている選択対象画像は、方法指定エリアＢ５内で「全て」が選択されている場合と同じ上述の態様で、移動及び／変形され得る。そして、ここでも、選択対象画像が移動及び／又は変形されると、当該移動及び／又は変形は、アクティブな表示ウィンドウＷ２内及びパラメータ指定エリアＢ６内の表示に直ちに反映される。
【００７２】
なお、図１５は、図１３に示す対象画像を、図１４に示す基準画像上に重ね合わせた画像である。また、図１６は、注目している対象物である自動車の像が適切に重なり合うように、この対象画像を平行移動及び拡大した例である。
【００７３】
また、重ね合わせウィンドウＷ３内には、差分選択エリアＢ７が配置されている。差分選択エリアＢ７は、アクティブな表示ウィンドウＷ２内にプレビューされ得る複数の画像の重ね合わせの態様の指定をユーザから受け付けるエリアである。具体的には、表示制御部４１は、差分選択エリアＢ７内で「差分」にチェックが入っている状態では、差分画像を表示し、チェックが入っていない状態では、複数の画像を全て半透明にして重ね合わせた画像（以下、半透明画像）を表示する。
【００７４】
ここで、半透明画像とは、本実施形態では、原則として、平均画像であるが、加重平均画像とすることもできる。具体的には、重ね合わせウィンドウＷ３内には、選択対象画像の透過率を調整するための透過率指定エリアＢ８が配置されている。表示制御部４１は、このエリアＢ８を介してユーザにより指定された透過率に従って、選択対象画像の透過度（平均時の重み）を設定した上で、重ね合わせ画像を生成する。一方、差分画像とは、重ね合わせられる複数の画像間、例えば、選択対象画像と基準画像との間の違いのみを表示するような画像である。従って、いずれの重ね合わせの態様によっても、ユーザは、両画像の位置のずれを直感的に理解することができる。なお、前述の図１５及び図１６は、半透明画像の例であるが、図１７及び図１８は、それぞれ図１５及び図１６を差分画像の態様に変更した場合を示している。これらの図から分かるように、ユーザは、半透明画像が表示される場合には、半透明画像内で注目している対象物がうまく重なり合うように、選択対象画像を移動及び／又は変形させればよい。また、差分画像が表示される場合には、差分画像上から注目している対象物の像が消えるように、選択対象画像を移動及び／又は変形させればよい。
【００７５】
画像処理部４３は、ユーザにより重ね合わせウィンドウＷ３上のＯＫボタンＢ９が押されたことが検知されると、その時点での透過率に従って、その時点での移動及び／又は変形後の全ての対象画像を基準画像上に重ね合わせた画像を生成する。同時に、この重ね合わせ画像は、基準フレームの次の次数ｍの静止画として、加工ファイル領域５２に保存される。なお、本実施形態では、対象フレームの次数ｍは、進まない。
【００７６】
＜３．用途＞
画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができ、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析する場面でも利用され得る。例えば、防犯カメラの監視映像の中に、容疑者の車のナンバープレートが捕えられている場合がある。このような場合に、ナンバープレートを対象物として、上述の重ね合わせの処理を実行すれば、その結果得られる重ね合わせ画像においては、以前は不鮮明であり、読み取ることができなかったナンバーを読み取ることも可能になる。また、上述の重ね合わせの処理は、注目している対象物の大きさや位置を確認するのにも使用することもできる。例えば、注目している対象物が写っている画像に対し、大きさが既知の物体が写っている他の画像を当該物体に注目して重ね合わせることで、対象物の大きさを推測することができる。
【００７７】
＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。
【００７８】
＜４−１＞
対象画像の移動及び／又は変形のために１本線状の軌跡を描くユーザの操作の態様は、上述したものに限られない。例えば、上述のクリック移動操作を、キーボード２２で移動及び／又は変形の操作の開始及び終了を指定しつつ、マウス２１により選択対象画像内で単にカーソルを移動させる操作とすることができる。
【００７９】
また、マウス２１やキーボード２２に代えて又は加えて、ディスプレイ１０上にタッチパネルを設け、上述のクリック移動操作を、タッチパネルによる同等の操作、例えば、画面上で指を引きずるようなドラッグ操作や、画面上で指を払うようなフリック操作等で代用することができる。
【００８０】
＜４−２＞
上記実施形態では、クリック移動操作の操作量に応じて、画像処理部４３により選択対象画像の移動量及び／又は変形量が決定されるようになっていた。しかしながら、このような制御を省略し、クリック移動操作からは、移動方向及び／又は変形方向のみが自動で判断されるようにしてもよい。この場合、１回のクリック移動操作による移動量及び／又は変形量は、一定量とすることができる。
【００８１】
＜４−３＞
上述の重ね合わせ処理は、タイムラインという管理単位を持たずに複数の静止画を管理している画像処理プログラムにおいても、実装可能である。ただし、同じ動画には、注目している対象物の形状について、類似の画像が含まれる可能性が高い。従って、上記実施形態のように、同じ動画に含まれる画像を選択し易いような工夫がされていることが望ましい。また、上記実施形態では、任意のタイムラインの中から対象画像及び基準画像を選択できることとしたが、以上の観点からは、対象画像は、基準画像と同じタイムライン上からしか選択できないようにしてもよい。
【００８２】
＜４−４＞
上記実施形態では、重ね合わせ処理時に、対象画像を移動及び／又は変形させていたが、基準画像を移動及び／又は変形させてもよいし、両方を移動及び／又は変形させてもよい。
【００８３】
＜４−５＞
半透明画像の例は、上述したものに限られない。例えば、上記実施形態では、重ね合わせられる複数の画像の全てを半透明としたが、重ね合わせられる複数の画像の一部のみを半透明とするようにしてもよい（例えば、基準画像のみ、対象画像のみ、ユーザが指定した画像のみなど）。また、半透明画像や差分画像ではなく、複数の画像を別の態様で重ね合わせてもよい。
【００８４】
＜４−６＞
上記実施形態では、平行移動、拡大／縮小、回転変形、回転移動及び歪み変形の移動及び／又は変形の種別は、キーボード２２上の特定のキーの押下により区別された。しかしながら、画面上の仮想ボタンの押下により、モードを切り替えるようにしてもよい。
【００８５】
＜４−７＞
上記実施形態における対象画像の変形の態様は、例示であり、その他の方法で対象画像を変形させることも可能である。例えば、台形に歪ませるように画像を変形することも可能である。
【００８６】
＜４−８＞
上記実施形態では、移動及び／又は変形のパラメータの指定は、クリック移動による直感的な操作と、数値を用いた定量的な指定の操作とにより実現されるようになっていたが、最初の重ね合わせを自動で行うこともできる。例えば、ユーザが所定の操作を行うことにより自動の重ね合わせの実行を命じると、表示制御部４１が、図１９に示すように、基準画像を表示する特徴点選択ウィンドウＷ５を表示する。この画像において、ユーザが、重ね合わせを行いたい対象物、例えば、自動車をマウス２１やキーボード２２を操作して矩形状の領域Ｒで囲むと、画像処理部４３は、この領域Ｒ中の特徴点を自動的に抽出する。また、これを受けて、表示制御部４１が、図２０に示すように、特徴点選択ウィンドウＷ５上にこれらの特徴点にマークＳを付して表示する。そして、このウィンドウＷ５上のＯＫボタンが押されると、これらの特徴点が記憶される。その後、候補選択ウィンドウＷ４上で対象画像が選択されると、画像処理部４３は、対象画像から対応する特徴点を抽出し、対応する特徴点どうしが一致するように対象画像と基準画像とを重ね合わせる。この重ね合わせ画像は、ユーザによる適当な操作を受けて、アクティブな表示ウィンドウＷ２内に表示され、その後、ユーザは、微調整のため、上記実施形態のように、アクティブな表示ウィンドウＷ２内でのこの重ね合わせ画像に対し、クリック移動による直感的な操作と数値を用いた定量的な指定の操作を行うことができる。
【００８７】
＜４−９＞
上記変形例の要旨は、適宜組み合わせることが可能である。
【符号の説明】
【００８８】
１  画像処理装置（コンピュータ）
２  画像処理プログラム
４１  表示制御部
４２  操作検出部
４３  画像処理部
【図１】
2014182481.tif 000003
【図２】
2014182481.tif 000004
【図３】
2014182481.tif 000005
【図４】
2014182481.tif 000006
【図５】
2014182481.tif 000007
【図６】
2014182481.tif 000008
【図７】
2014182481.tif 000009
【図８】
2014182481.tif 000010
【図９】
2014182481.tif 000011
【図１０】
2014182481.tif 000012
【図１１】
2014182481.tif 000013
【図１２】
2014182481.tif 000014
【図１３】
2014182481.tif 000015
【図１４】
2014182481.tif 000016
【図１５】
2014182481.tif 000017
【図１６】
2014182481.tif 000018
【図１７】
2014182481.tif 000019
【図１８】
2014182481.tif 000020
【図１９】
2014182481.tif 000021
【図２０】
2014182481.tif 000022