(57)【特許請求の範囲】
【請求項１】
タイムライン上の少なくとも一部の区間に対応する、第１元フレーム〜第Ｋ元フレーム（Ｋは、２以上の整数）を含む複数の元画像の全領域から、前記区間において画面内の位置が経時変化する全ての被写体の背景を示す背景画像を作成するステップと、
前記複数の元画像に含まれる前記第１元フレーム〜前記第Ｋ元フレームのそれぞれと前記背景画像との差分を示す、第１差分フレーム〜第Ｋ差分フレームを含む複数の差分画像を作成するステップと、
前記複数の差分画像に含まれる前記第１差分フレーム〜前記第Ｋ差分フレームを動画として再生するステップと
をコンピュータに実行させ、
前記背景画像を作成するステップは、
前記複数の元画像の全領域を平均化することにより、前記背景画像を作成するステップ、又は、
前記複数の元画像の全領域の各画素について画素値のヒストグラムを作成し、最大分布の画素値をその画素を代表する画素値とすることにより、前記背景画像を作成するステップ
である、
画像処理プログラム。
【請求項２】
前記区間の選択をユーザから受け付けるステップ
をさらにコンピュータに実行させ、
前記背景画像を作成するステップは、前記区間が選択された後、前記背景画像を作成し、
前記複数の差分画像を作成するステップは、前記背景画像が作成された後、前記複数の差分画像を作成する、
請求項１に記載の画像処理プログラム。
【請求項３】
タイムライン上の少なくとも一部の区間に対応する、第１元フレーム〜第Ｋ元フレーム（Ｋは、２以上の整数）を含む複数の元画像の全領域から、前記区間において画面内の位置が経時変化する全ての被写体の背景を示す背景画像を作成する背景作成部と、
前記複数の元画像に含まれる前記第１元フレーム〜前記第Ｋ元フレームのそれぞれと前記背景画像との差分を示す、第１差分フレーム〜第Ｋ差分フレームを含む複数の差分画像を作成する差分作成部と、
前記複数の差分画像に含まれる前記第１差分フレーム〜前記第Ｋ差分フレームを動画として再生する再生部と
を備え、
前記背景作成部は、
前記複数の元画像の全領域を平均化することにより、前記背景画像を作成する、
又は、
前記複数の元画像の全領域の各画素について画素値のヒストグラムを作成し、最大分布の画素値をその画素を代表とする画素値とすることにより、前記背景画像を作成する、
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラムおよび画像処理装置に関する。
【背景技術】
【０００２】
従来より、タイムライン上の複数の画像から、画面内を移動する移動体を抽出する技術が公知である。例えば、特許文献１には、カメラから一定時間間隔で取得される画像と、移動体の背景を示す背景画像との差分をとることにより、移動体を抽出することが記載されている。特許文献１では、背景画像は、過去の一定時間分のカメラからの画像を平均化することにより作成される。その結果、移動体の存在が消されたか、又は薄められた背景画像が得られることになる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１７５７３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、移動体を抽出した差分画像を見ても、移動体が背景に及ぼした影響を評価しづらいという問題がある。この問題は、例えば、移動体が物品を突然隠したり、突然移動させ始めたりする場面を考えてみると、理解しやすい。すなわち、特許文献１の技術では、背景画像が過去の画像のみから作成される。従って、移動体が物品を突然隠したり、突然移動させ始めたりする様子を捉えた画像のみならず、その画像と比較される背景画像にも、その物品が背景の一部として写っている。そのため、移動体が物品を突然隠したり、突然移動させ始めたりする様子を写す画像と、背景画像との差分を示す差分画像には、その物品が正しく捉えられておらず、差分画像を見る限りでは、移動体が物品を突然隠したり、突然移動させ始めたりしたことが判別しづらい結果になる。つまり、特許文献１の技術では、背景画像において、未来において消える又は移動し始める被写体の存在を消す又は薄めることができず、従って、差分画像においては、そのような被写体を正しく写し出すことが困難である。
本発明は、一部の移動体が背景に及ぼす影響を容易に評価することができる画像処理プログラムおよび画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１観点に係る画像処理プログラムは、背景作成ステップと、差分作成ステップとをコンピュータに実行させる。背景作成ステップは、タイムライン上の少なくとも一部の区間に対応する複数の元画像から背景画像を作成するステップである。背景画像は、移動体の背景を示す画像である。差分作成ステップは、複数の差分画像を作成するステップである。複数の差分画像は、複数の元画像と背景画像との差分を示す複数の画像である。
【０００６】
ここでは、複数の元画像と、それらの複数の元画像から作成される背景画像との差分をとることにより、複数の差分画像が作成される。その結果、少なくとも１の元画像については、その元画像よりも未来の画像を用いて、その元画像と比較される背景画像が作成されることになる。そのため、複数の元画像と比較される背景画像においては、注目している一部の移動体の存在だけでなく、途中で消える又は移動し始める別の移動体（例えば、注目している一部の移動体が突然隠したり、突然移動させ始めたりした物品など）の存在が消されるか、又は薄められ得る。従って、差分画像には、注目している一部の移動体だけでなく、未来において消える又は移動し始める別の移動体が写し出され得る。従って、一部の移動体が背景に及ぼす影響を容易に評価することができる。
【０００７】
本発明の第２観点に係る画像処理プログラムは、第１観点に係る画像処理プログラムであって、差分表示ステップをさらにコンピュータに実行させる。差分表示ステップは、複数の差分画像を表示するステップである。
ここでは、複数の差分画像が表示される。従って、ユーザは、目視により、差分画像に写る様々な移動体の動きを容易に評価することができる。
【０００８】
本発明の第３観点に係る画像処理プログラムは、第２観点に係る画像処理プログラムであって、差分表示ステップは、複数の差分画像を動画として再生するステップである。
ここでは、複数の差分画像が動画として再生される。従って、ユーザは、目視により、差分画像に写る様々な移動体の動きをより容易に評価することができる。
【０００９】
本発明の第４観点に係る画像処理プログラムは、第１観点から第３観点のいずれかに係る画像処理プログラムであって、区間受付ステップをさらにコンピュータに実行させる。区間受付ステップは、上記区間の選択をユーザから受け付けるステップである。背景作成ステップは、上記区間が選択された後、背景画像を作成するステップである。差分作成ステップは、背景画像が作成された後、複数の差分画像を作成するステップである。
【００１０】
ここでは、ユーザが選択したタイムライン上の区間に対応する複数の元画像から背景画像が作成され、複数の元画像にそれぞれ対応する複数の差分画像が作成される。従って、ユーザは、差分画像を作成したいタイムライン上の区間を自在に選択することができる。
【００１１】
本発明の第５観点に係る画像処理プログラムは、第１観点から第４観点のいずれかに係る画像処理プログラムであって、背景作成ステップは、複数の元画像を平均化することにより、背景画像を作成する。
【００１２】
ここでは、注目している一部の移動体の存在だけでなく、途中で消える又は移動し始める移動体の存在が消されたか、又は薄められた背景画像が適切に作成される。従って、注目している一部の移動体の存在だけでなく、未来において消える又は移動し始める移動体が写し出された差分画像が適切に作成される。
【００１３】
本発明の第６観点に係る画像処理装置は、背景作成部と、差分作成部とを備える。背景作成部は、タイムライン上の少なくとも一部の区間に対応する複数の元画像から、背景画像を作成する。背景画像は、移動体の背景を示す画像である。差分作成部は、複数の差分画像を作成する。複数の差分画像は、複数の元画像と背景画像との差分を示す複数の画像である。
【００１４】
ここでは、複数の元画像と、それらの複数の元画像から作成される背景画像との差分をとることにより、複数の差分画像が作成される。その結果、少なくとも１の元画像については、その元画像よりも未来の画像を用いて、その元画像と比較される背景画像が作成されることになる。そのため、複数の元画像と比較される背景画像においては、注目している一部の移動体の存在だけでなく、途中で消える又は移動し始める別の移動体（例えば、注目している一部の移動体が突然隠したり、突然移動させ始めたりした物品など）の存在が消されるか、又は薄められ得る。従って、差分画像には、注目している一部の移動体だけでなく、未来において消える又は移動し始める別の移動体が写し出され得る。従って、一部の移動体が背景に及ぼす影響を容易に評価することができる。
【発明の効果】
【００１５】
本発明によれば、複数の元画像と、それらの複数の元画像から作成される背景画像との差分をとることにより、複数の差分画像が作成される。そのため、複数の元画像と比較される背景画像においては、注目している一部の移動体の存在だけでなく、途中で消える又は移動し始める別の移動体（例えば、注目している一部の移動体が突然隠したり、突然移動させ始めたりした物品など）の存在が消されるか、又は薄められ得る。従って、差分画像には、注目している一部の移動体だけでなく、未来において消える又は移動し始める別の移動体が写し出され得る。従って、一部の移動体が背景に及ぼす影響を容易に評価することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る画像処理装置のブロック図である。
【図２】画像データが取り込まれる前の基本画面の図である。
【図３】画像データが取り込まれた後の基本画面の図である。
【図４】１のタイムラインに属する静止画群を示す図である。
【図５】動体抽出モジュールのフローチャート。
【図６Ａ】元画像群の一例を示す図。
【図６Ｂ】図６Ａの元画像群から作成される背景画像を示す図。
【図６Ｃ】図６Ａの元画像群と図６Ｂの背景画像との差分を示す差分画像群を示す図。
【図７】ヒストリーウィンドウの図である。
【図８】ヒストリータブが展開された状態の基本画面の図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ、本発明の一実施形態に係る画像処理プログラムおよび画像処理装置について説明する。
＜１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２がインストールされている。画像処理プログラム２は、動画および静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。
【００１８】
画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０および制御部４０を有する。ディスプレイ１０と、入力部２０と、記憶部３０と、制御部４０とは、互いにバス線５で接続されており、相互に通信可能である。本実施形態では、ディスプレイ１０は、液晶ディスプレイである。入力部２０は、マウスおよびキーボート等から構成される。記憶部３０は、ハードディスク等から構成される。制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成される。ディスプレイ１０は、後述する画面等をユーザに対し表示する。入力部２０は、画像処理装置１に対するユーザからの操作を受け付ける。
【００１９】
画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１、加工ファイル領域５２、座標ｍｓ領域５３およびヒストリー領域５４が確保されている。各領域５１〜５４の役割については、後述する。
【００２０】
制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に表示制御部４１、選択部４２、背景作成部４３、差分作成部４４およびヒストリー管理部４５として動作する。各部４１〜４５の動作については、後述する。
【００２１】
＜２．画像処理装置の構成および動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示は、表示制御部４１により制御される。
【００２２】
＜２−１．画像データの取り込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取り込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する画像処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。
【００２３】
静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパスおよびファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパスおよびフォルダ名をユーザに入力させる。その後、制御部４０は、指定された１の静止画ファイル又は指定された１のフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。
【００２４】
一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパスおよびファイル名を入力する。表示制御部４１は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の長さの区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して区間の選択を行ったことを検知すると、指定された動画ファイルのその区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。
【００２５】
従って、本実施形態では、後述する画像処理の対象は、動画ファイルではなく、静止画ファイルである。静止画ファイルは、オリジナル画像領域５１へファイル単位、フォルダ単位、あるいは動画ファイルの全部又は一部の区間単位で取り込まれる。
【００２６】
制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来するものではなく、静止画ファイルに由来するものであっても、静止画ファイル群に含まれる静止画ファイルをタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性（ファイル名、作成日時、更新日時等）から自動的に判断される。
【００２７】
＜２−２．静止画ファイル群の再生＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、表示制御部４１は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ、作成される。
【００２８】
表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームの静止画ファイル）が表示される。後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。表示制御部４１は、表示ウィンドウＷ２内に現在表示されているフレームの識別情報をリアルタイムに管理する。
【００２９】
表示制御部４１は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応するタイムラインに属するフレーム群を、動画として再生可能である。図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４およびタイムラインバーＴ５が配置されている。
【００３０】
表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。
【００３１】
再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。表示制御部４１は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームをタイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。表示制御部４１は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。
【００３２】
コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。
【００３３】
タイムラインバーＴ５は、アクティブタイムラインを図式的に示す。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。
【００３４】
図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に対応するフレーム群である。本実施形態では、領域Ａ１は、薄いトーンの色で表示され、領域Ａ２は、濃いトーンの色で表示される。
【００３５】
選択部４２は、タイムラインバーＴ５を介し、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。選択される区間は、連続区間であっても、不連続区間であってもよい。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５を操作することにより、アクティブフレーム群に含まれる全フレームの中から、任意のフレームを任意の数だけ選択することができる。具体的には、ユーザは、タイムラインバーＴ５上で選択したいフレームに対応する分割領域を選択する。分割領域は、同時に複数選択が可能である。制御部４０は、選択フレーム群を後述される画像処理の対象として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。
【００３６】
＜２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。制御部４０は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、画像平均、回転、文字／矢印／モザイクの付加、動画抽出などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。
【００３７】
ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。必要であれば、ユーザは、画像処理モジュールの選択に併せて、その画像処理モジュールの実行時に用いられるパラメータを入力する。制御部４０は、ユーザが画像処理モジュールを選択したことを検知する度に、選択フレーム群に対しその画像処理モジュールを実行する。なお、選択フレーム群に対し画像処理モジュールを実行するとは、選択フレーム群に含まれる各フレームに対しその画像処理モジュールを実行することである。
【００３８】
フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームの静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。制御部４０は、第１次以降のフレームの静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個のファイルとして保存する。
【００３９】
図４は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｉ（ｎ，ｍ）を表している。静止画Ｉ（ｎ，ｍ）は、タイムライン上でｎ番目の第ｍ次フレームの静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。
【００４０】
制御部４０は、各フレームについて、現在選択されている座標Ｍの値をパラメータｍｓとして、座標ｍｓ領域５３内でリアルタイムに管理する。図４の太線で囲まれた四角形は、座標ｍｓの静止画を表している。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの現在選択されている座標ｍｓの静止画に対し画像処理モジュールを実行することである。言い換えると、タイムライン上でｎ番目のフレームに対し画像処理モジュールを実行するとは、静止画Ｉ（ｎ，ｍｓ）に対し画像処理モジュールを実行することである。従って、画像処理モジュールが実行される度に、その対象となる静止画を特定するべく、座標ｍｓ領域５３が参照される。
【００４１】
オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、その静止画ファイル群の全フレームの座標ｍｓは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍｓは１ずつインクリメントされる。また、後述するとおり、ユーザは、任意のフレームの座標ｍｓを自在に変更することができる。
【００４２】
＜２−３−１．動体抽出処理＞
以下、選択フレーム群から移動体を抽出する画像処理（以下、動体抽出処理）の流れについて説明する。動体抽出処理は、複数枚のフレームに対してのみ実行可能である。従って、選択フレーム群として１枚のフレームのみが選択されている状態で、動体抽出の画像処理モジュール（以下、動体抽出モジュール）が選択されても、動体抽出処理は実行されず、基本画面Ｗ１上にメッセージウィンドウ（図示されない）が表示される。このメッセージウィンドウは、複数枚のフレームを選択することを促すメッセージを表示する。
【００４３】
一方、選択フレーム群として複数枚のフレーム（以下、元フレーム）が選択されている状態で、動体抽出モジュールが選択されると、動体抽出処理が開始する。動画抽出処理は、選択フレーム群に含まれる各元フレームに対し、図５に示す動体抽出モジュールを実行する処理である。従って、選択フレーム群に含まれる元フレームの枚数をＫ枚とすると、図５に示す動体抽出モジュールは、動体抽出処理の実行が１回命令される度に、Ｋ回実行される（Ｋは、２以上の整数）。Ｋ回中、ｉ回目の動体抽出モジュールは、選択フレーム群の中でタイムラインに沿ってｉ番目の元フレームに対し実行される（ｉ＝１，２，・・・，Ｋ）。
【００４４】
図５に示されるように、Ｋ回中、１回目の動体抽出モジュールの実行時には、ステップＳ１およびステップＳ２の両方が実行されるが、２回目以降の動体抽出モジュールの実行時には、ステップＳ２のみが実行される。ステップＳ１は、選択フレーム群に含まれる全ての元フレームの座標ｍｓの静止画（以下、元画像）から、移動体の背景を示す背景画像を作成する処理である。ｉ回目のステップＳ２は、選択フレーム群の中でタイムラインに沿ってｉ番目の元画像と、ステップＳ１で作成された背景画像との差分を示す差分画像を作成する処理である。
【００４５】
ステップＳ１では、背景作成部４３は、背景画像として、全ての元画像を平均化し、新たな１枚の静止画を作成する。具体的には、背景作成部４３は、各画素について、全ての元画像のその画素の画素値の平均値を算出し、各画素について算出された平均値を、背景画像のその画素の画素値とする。なお、画素値の平均値は、ＲＧＢ毎に算出される。
【００４６】
その結果、ステップＳ１で作成される背景画像においては、選択フレーム群のタイムラインに沿って元画像の画面内を移動する移動体が、不鮮明に捉えられ、殆ど消えた状態、又は薄く写った状態となり得る。すなわち、ステップＳ１で作成される背景画像においては、選択フレーム群のタイムラインに沿って途中で元画像の画面内から消える移動体、途中で元画像の画面内を移動し始める移動体、および途中から元画像の画面内に現れる移動体等が、不鮮明に捉えられ、殆ど消えた状態、又は薄く写った状態となり得る。つまり、ステップＳ１で作成される背景画像は、元画像の画面内において殆ど全ての元画像に共通する位置で捉えられている被写体のみを写す画像となり得る。
【００４７】
例えば、選択フレーム群が、画面内を移動する人物が画面内の何らかの物品を途中でポケットに隠したり、手で持って運び始めたりする映像、あるいは、ポケットから物品を取り出す映像である場合を考える。そのような選択フレーム群から作成される背景画像においては、その人物だけでなく、突然ポケットに隠されて画面内から消えた物品、突然手に取られて画面内を移動し始めた物品、又は突然ポケットから取り出されて画面内に現れた物品も、殆ど消えた状態、又は薄く写った状態となり得る。
【００４８】
なお、本実施形態において、移動体とは、画面内の位置が経時変化する任意の被写体を意味し、画面内から途中で消える被写体、画面内を途中で移動し始める被写体、画面内に途中で現れる被写体を含む概念である。また、移動体は、人や動物等の生物であっても、物品であっても、光線等の無体物であってもよい。
【００４９】
続いて、ｉ回目のステップＳ２では、差分作成部４４は、ｉ番目の元画像と、ステップＳ１で作成された背景画像との差分をとることにより、ｉ番目の元画像に対応する差分画像を作成する。具体的には、差分作成部４４は、各画素について、ｉ番目の元画像のその画素の画素値から背景画像のその画素の画素値を減算する。続いて、差分作成部４４は、各画素について算出された減算値を＋１２８してかさ上げする。さらに、差分作成部４４は、各画素について、差分画像のその画素の画素値を、かさ上げ値が０未満になった場合には、０とし、かさ上げ値が２５６以上になった場合には、２５５とし、かさ上げ値が０〜２５５の範囲内に収まった場合には、そのかさ上げ値とする。なお、画素値の上記演算は、ＲＧＢ毎に行われ、各画素は、ＲＧＢ毎に０〜２５５の範囲の値を有するものとする。差分作成部４４は、ｉ番目の差分画像の静止画ファイルを、ｉ番目の元画像の静止画ファイルとは別個のファイルとして、加工ファイル領域５２内に保存する。
【００５０】
その結果、ステップＳ２で作成される差分画像においては、選択フレーム群のタイムラインに沿って元画像の画面内を移動する移動体が、比較的鮮明に捉えられた状態となり得る。すなわち、ステップＳ２で作成される差分画像においては、選択フレーム群のタイムラインに沿って途中で元画像の画面内から消える移動体、途中で元画像の画面内を移動し始める移動体、および途中から元画像の画面内に現れる移動体等が、比較的鮮明に捉えられた状態となり得る。一方で、ステップＳ２で作成される差分画像においては、上記の比較的鮮明に捉えられた被写体以外（すなわち、移動体の背景）については、灰色で表示され得る。なぜならば、Ｒ値＝Ｇ値＝Ｂ値＝１２８のとき、画素の色は灰色になるため、移動体以外（すなわち、移動体の背景）を捉えた画素の画素値は、上記ステップＳ２の処理によれば、ＲＧＢの全てについてほぼ１２８になるからである。つまり、ステップＳ２で作成される差分画像は、元画像の画面内において殆ど全ての元画像に共通する位置で捉えられている被写体をあたかもグレーアウトされたかのように写し、それ以外の被写体を比較的鮮明に写す画像となり得る。
【００５１】
例えば、上述の例と同様に、選択フレーム群が、画面内を移動する人物が画面内の何らかの物品を途中でポケットに隠したり、手で持って運び始めたりする映像、あるいは、ポケットから物品を取り出す映像であるとする。そのような選択フレーム群から作成される差分画像においては、その人物だけでなく、突然ポケットに隠されて画面内から消えた物品、突然手に取られて画面内を移動し始めた物品、又は突然ポケットから取り出されて画面内に現れた物品も、比較的鮮明に捉えられた状態となり得る。
【００５２】
以上の態様で、選択フレーム群に含まれる全ての元画像について、ステップＳ２の処理が終了すると、動体抽出処理が完了する。なお、上記のとおり、ステップＳ２は、選択フレーム群に含まれるＫ枚の元画像の各々について実行される。その結果、動体抽出処理の完了後には、選択フレーム群に含まれるＫ枚の元画像にそれぞれ対応するＫ枚の差分画像が作成されていることになる。
【００５３】
図６Ａは、元画像群の一例として、ある人物６０が画面内を左から右に移動する様子を捉えた元画像Ｈ１群を示す。元画像Ｈ１群には、人物６０の他、テーブル６１と、テーブル６１上に置かれた物品６２ａおよび物品６２ｂとが写されている。より詳細には、元画像Ｈ１群は、人物６０が途中でポケットに隠したことにより、物品６２ａが途中で画面内から消える様子と、人物６０が途中で手で持って運び始めたことにより、物品６２ｂが途中で画面内を移動し始める様子とを写している。
【００５４】
図６Ｂは、元画像Ｈ１群から作成される背景画像Ｈ２を示す。図６Ｂに示す背景画像Ｈ２からは、人物６０および物品６２ａ，６２ｂの存在が消えている。なお、図６Ｂには、説明を簡単にするために、人物６０および物品６２ａ，６２ｂの存在が完全に消えているような背景画像Ｈ２を示したが、元画像Ｈ１と比較し、人物６０および物品６２ａ，６２ｂの存在が薄められている背景画像であれば、差分画像Ｈ３群のような差分画像群を作成することが可能である。
【００５５】
図６Ｃは、元画像Ｈ１群と背景画像Ｈ２との差分を示す差分画像Ｈ３群を示す。ユーザは、差分画像Ｈ３群を目視することにより、差分画像Ｈ３群に写る人物６０と、途中で消える物品６２ａおよび途中から移動し始める物品６２ｂの動きを総合的に評価することができる。
【００５６】
＜２−４．ヒストリー＞
ヒストリー管理部４５は、各フレームについて、そのフレームのヒストリーの情報を、ヒストリー領域５４内でリアルタイムに管理する。ヒストリーの情報とは、画像処理モジュールの実行の履歴の情報であり、どの画像処理モジュールがどの順番でどのようなパラメータを用いて実行されたのかを示す情報である。
【００５７】
図２および図３に示すように、表示制御部４１は、基本画面Ｗ１上にヒストリーウィンドウＷ３を重ねて表示可能である。ヒストリーウィンドウＷ３内には、アクティブ表示フレームのヒストリーの詳細が表示される（図７参照）。アクティブ表示フレームのヒストリーの詳細は、ヒストリー領域５４を参照することにより判断される。なお、アクティブ表示フレームが切り替えられる度に、ヒストリーウィンドウＷ３内のヒストリーの詳細の表示も、リアルタイムに切り替えられる。
【００５８】
図７に示すように、ヒストリーウィンドウＷ３内には、初期状態エリアＥ１と、モジュール名称エリアＥ２とが、上下に並んで表示される。初期状態エリアＥ１の数は、１つである。モジュール名称エリアＥ２の数は、アクティブ表示フレームに対し実行された画像処理モジュールの数と同じである。初期状態エリアＥ１は、アクティブ表示フレームの初期状態（第０次フレーム）に対応する。モジュール名称エリアＥ２は、アクティブ表示フレームに対し実行された画像処理モジュールに１対１で対応する。各モジュール名称エリアＥ２には、そのエリアＥ２に対応する画像処理モジュールの名称が表示される。
【００５９】
＜２−５．座標ｍｓの変更＞
ユーザは、入力部２０を操作することにより、任意のフレームについて、現在選択されている座標ｍｓを自在に変更することができる。なお、上記のとおり、座標ｍｓが変更されると、画像処理モジュールの実行の対象となる静止画が変更される。従って、座標ｍｓを変更することには、画像処理の対象を変更するという意味がある。具体的な変更の操作の方法としては、以下の２つがある。
【００６０】
第１の方法は、ヒストリーウィンドウＷ３を操作することにより、アクティブ表示フレームの座標ｍｓを変更する方法である。具体的には、まず、ユーザは、アクティブな表示ウィンドウＷ２内に、座標ｍｓを変更しようとするフレームを表示させる。その結果、ヒストリーウィンドウＷ３内には、座標ｍｓを変更しようとするフレームのヒストリーの詳細が表示される。ヒストリーウィンドウＷ３は、エリアＥ１，Ｅ２の中から任意の１のエリアの選択をユーザから受け付ける。制御部４０は、ユーザがエリアＥ１，Ｅ２を選択するのに応じて、アクティブ表示フレームの座標ｍｓを、そのエリアＥ１，Ｅ２に対応する静止画の座標Ｍの値に変更する。なお、エリアＥ２に対応する静止画とは、そのエリアＥ２に対応する画像処理モジュールの実行後の静止画である。
【００６１】
第２の方法は、基本画面Ｗ１を操作することにより、選択フレーム群に含まれる全てのフレームの座標ｍｓを一括して変更する方法である。具体的には、まず、ユーザは、座標ｍｓを変更しようとするフレーム群を、選択フレーム群として選択する。基本画面Ｗ１は、ヒストリータブＨ５上の「前のヒストリーへ」「次のヒストリーへ」「最新ヒストリーへ」および「ヒストリー位置指定」の項目の中から任意の１の項目の選択をユーザから受け付ける（図８参照）。制御部４０は、ユーザがこれらの項目の中から特定の項目を選択したことを検知すると、選択フレーム群に含まれる全てのフレームの座標ｍｓを一括して変更する。
【００６２】
具体的には、「前のヒストリーへ」の項目が選択された場合、選択フレーム群に含まれる全てのフレームの座標ｍｓが１つデクリメントされる。ただし、座標ｍｓが既に０であったフレームについては、座標ｍｓが０のまま維持される。「次のヒストリーへ」の項目が選択された場合、選択フレーム群に含まれる全てのフレームの座標ｍｓが１つインクリメントされる。ただし、座標ｍｓが既に上限値であったフレームについては、座標ｍｓが上限値のまま維持される。上限値とは、そのフレームに対し実行された画像処理モジュールの回数である。「最新ヒストリーへ」の項目が選択された場合、選択フレーム群に含まれる全てのフレームの座標ｍｓが上限値に設定される。「ヒストリー位置指定」の項目が選択された場合、表示制御部４１は、基本画面Ｗ１上に位置指定ウィンドウ（図示されない）を重ねて表示させる。位置指定ウィンドウは、０以上の整数ｋの入力をユーザから受け付ける。選択フレーム群に含まれる全てのフレームの座標ｍｓは、入力された整数ｋに設定される。ただし、整数ｋが上限値を超えるフレームについては、座標ｍｓが上限値に設定される。
【００６３】
ところで、フレームを表示するとは、そのフレームの座標ｍｓの静止画を表示することである。言い換えると、タイムライン上でｎ番目のフレームを表示するとは、静止画Ｉ（ｎ，ｍｓ）を表示することである。従って、アクティブ表示フレームの座標ｍｓが変更されると、アクティブな表示ウィンドウＷ２内の表示も直ちに切り替えられる。
【００６４】
また、上記のとおり、同じフレームに属する静止画群は、ソフトウェア管理領域５０内に別個のファイルとして保存される。また、座標ｍｓが変更されたとしても、変更前の座標ｍｓの静止画は、ソフトウェア管理領域５０内から削除されることはない。従って、例えば、ユーザが、アクティブ表示フレームの座標ｍｓをデクリメントした時、アクティブな表示ウィンドウＷ２内には、直ちにデクリメント後の座標ｍｓの静止画が表示される。また、その後、ユーザが、アクティブ表示フレームの座標ｍｓをインクリメントした時も、アクティブな表示ウィンドウＷ２内には、直ちにインクリメント後の座標ｍｓの静止画が表示される。
【００６５】
従って、例えば、ユーザが、あるタイムライン上の全てのフレームに対し動体抽出モジュールを実行し、その後、そのタイムライン上の全てのフレームの座標ｍｓを動画抽出モジュールの実行後の座標Ｍの値に設定した状態で、再生ボタンＴ２を押下したとする。その場合、表示制御部４１は、そのタイムライン上の全てのフレームの座標ｍｓの静止画群、すなわち、差分画像群を、アクティブな表示ウィンドウＷ１内にタイムラインに沿って順次コマ送りの形式で表示させる。従って、動体抽出処理により作成された差分画像群は、アクティブな表示ウィンドウＷ１内で、動画として再生可能である。
【００６６】
＜３．用途＞
上記のとおり、画像処理プログラム２は、静止画又は動画ファイルのどちらから画像データを取り込もうとも、その後、画像データを静止画ファイル群として管理する。従って、画像処理プログラム２は、同じタイムラインの中の任意のフレームを任意に画像処理したいというユーザの要望に容易に応えることができる。また、画像処理プログラム２は、静止画ファイル群を動画として再生する機能を有している。その結果、画像データが画像処理プログラム２内で静止画ファイル群として取り扱われようとも、ユーザは、その画像データを動画として認識することができる。従って、画像処理プログラム２は、動画の解析や編集等を行う場面で特に有用である。
【００６７】
画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができるが、例えば、警察等の機関が事件の捜査を行うに当たり、防犯カメラの監視映像を解析するのにも利用され得る。例えば、防犯カメラが、ある人物が画面内を移動しながら、画面内から物品を持ち出す様子を捉えているものの、オリジナルの監視映像を見ただけでは、その人物が物品を持ち出したことが分かりにくく、気が付かない場合がある。そのような場合でも、オリジナルの監視映像に対し動体抽出処理を実行することにより、ユーザは、その人物が物品を持ち出したことを正しく認識できるようになる。
【００６８】
＜４．特徴＞
＜４−１＞
上記実施形態では、ステップＳ１により、タイムライン上の少なくとも一部の区間に対応する複数の元画像から、移動体の背景を示す背景画像が作成される。また、繰り返し実行されるステップＳ２により、複数の元画像と背景画像との差分を示す複数の差分画像が作成される。
【００６９】
すなわち、上記実施形態では、複数の元画像と、それらの複数の元画像から作成される背景画像との差分をとることにより、複数の差分画像が作成される。その結果、少なくとも１の元画像については、その元画像よりも未来の画像を用いて、その元画像と比較される背景画像が作成されることになる。そのため、複数の元画像と比較される背景画像においては、注目している一部の移動体の存在だけでなく、途中で消える又は移動し始める別の移動体の存在が消されるか、又は薄められ得る。従って、差分画像には、注目している一部の移動体だけでなく、未来において消える又は移動し始める別の移動体が写し出され得る。従って、一部の移動体が背景に及ぼす影響を容易に評価することができる。
【００７０】
＜４−２＞
上記実施形態では、動体抽出処理により作成された複数の差分画像が、動画として再生される。従って、ユーザは、目視により、差分画像に写る様々な移動体の動きを容易に評価することができる。
【００７１】
＜４−３＞
上記実施形態では、ユーザは、動体抽出処理の実行の対象となる選択フレーム群を、タイムラインバーＴ５を介して自在に選択可能である。従って、ユーザは、差分画像を作成したいタイムライン上の区間を自在に選択することができる。
【００７２】
＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
【００７３】
＜５−１＞
ステップＳ１では、背景画像として、選択フレーム群に含まれる全ての元画像を平均化した静止画が作成されたが、背景画像を作成する方法は、これに限られない。例えば、各画素について、所定の刻み毎に、選択フレーム群に含まれる全ての元画像の画素値のヒストグラムを作成し、最大分布の刻みの画素値を、その画素の代表値としてもよい。また、平均値を算出する方法としては、相加平均値や相乗平均値、調和平均値を算出する等、様々な方法を適宜選択し得る。
【００７４】
＜５−２＞
差分画像を作成する方法は、上述したステップＳ２の方法に限られない。例えば、差分画像の各画素の画素値を、元画像のその画素の画素値から背景画像のその画素の画素値を減算した値が所定の範囲を超える場合には、元画像のその画素の画素値とし、所定の範囲内に収まる場合には、その減算値又は所定値（例えば、「０」）とするようにしてもよい。
【００７５】
＜５−３＞
上記実施形態では、オリジナル画像領域５１へ取り込まれた画像データは、全て静止画ファイルとして保存されるようになっていた。しかしながら、オリジナル画像領域５１へ取り込まれた画像データを、動画ファイルとして保存するようにしてもよい。オリジナル画像領域５１内の画像データの形式を静止画形式とするか動画形式とするかは、ユーザが選択できるようにしてもよいし、取り込み元の画像データの形式等に応じて自動的に決定されるようにしてもよい。さらに、その後、動画ファイルに対して画像処理が施される場合には、その画像処理後の画像データも動画ファイルの形式で保存するようにしてもよい。
【符号の説明】
【００７６】
１  画像処理装置（コンピュータ）
２  画像処理プログラム
４３  背景作成部
４４  差分作成部
Ｈ１  元画像
Ｈ２  背景画像
Ｈ３  差分画像
６０  人物（移動体）
６２ａ，６２ｂ  物品（移動体）
【図１】
0006257127.tif 000002
【図２】
0006257127.tif 000003
【図３】
0006257127.tif 000004
【図４】
0006257127.tif 000005
【図５】
0006257127.tif 000006
【図６Ａ】
0006257127.tif 000007
【図６Ｂ】
0006257127.tif 000008
【図６Ｃ】
0006257127.tif 000009
【図７】
0006257127.tif 000010
【図８】
0006257127.tif 000011