(57)【要約】【課題】動画及び連続する静止画を一枚の静止画として出力装置に出力する場合、動いている物体が明確、且つ時系列的に認識できる画像処理装置を提供する。【解決手段】画像入力手段１と、所定区間の連続した画像の各画素を平均化した合成画像を生成する画像平均合成手段２と、画像間において移動した画素の動き領域を検出する動き領域検出手段３と、画像から特定の領域を抽出し合成画像を生成する差分領域合成手段４と、画像処理データ一時記憶手段５と、差分領域合成手段４によって生成された合成画像を出力する画像出力手段６を備えることにより、画像間で動いている領域を抽出し、動いている物体が明確、且つ時系列的に認識できる合成画像を出力する。【選択図】図１
2005328446.tif 000002
【特許請求の範囲】
【請求項１】
動画及び連続する静止画から一枚の合成画像を出力する画像処理装置であって、撮影した動画及び連続する静止画を入力する画像入力手段と、動画及び連続する静止画において所定区間の連続した画像の各画素を平均化した合成画像を生成する画像平均合成手段と、動画及び連続する静止画の画像間において移動した画素の動き領域を検出する動き領域検出手段と、動画及び連続する静止画の画像から特定の領域を抽出し合成画像を生成する差分領域合成手段とを有し、前記画像平均合成手段によって生成された合成画像と、前記動き領域検出手段によって検出された動き領域と、前記差分領域合成手段によって生成された合成画像とを記憶する画像処理データ一時記憶手段と、前記差分領域合成手段によって生成された合成画像を出力する画像出力手段とを備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記動き領域検出手段は、合成出力する動画及び連続する静止画の先頭画像から特定時点までの連続した画像の動き領域を検出し、前記特定時点以降の画像と前記合成出力する動画及び連続する静止画の先頭画像を比較したときの動き領域を検出することを特徴とする画像処理装置。
【請求項３】
請求項１及び２に記載の画像処理装置において、前記差分領域合成手段は、前記合成出力する動画及び連続する静止画の先頭画像から特定時点までの連続した画像の動き領域と、前記特定時点以降の画像と合成出力する動画及び連続する静止画の先頭画像を比較したときの動き領域の差分領域を検出し、前記特定時点以降の画像から前記差分領域を抽出した各画像データから一つの合成画像を生成することを特徴とする画像処理装置。
【請求項４】
請求項１、２及び３に記載の画像処理装置において、前記差分領域合成手段は、前記特定時点以降の画像から前記差分領域を抽出した各画像データを合成するとき、時系列上前の画像から抽出した画像データに対して後ろの画像から抽出した画像データで置き換え合成することを特徴とする画像処理装置。
【請求項５】
請求項１、２、３及び４に記載の画像処理装置において、前記差分領域合成手段は、前記画像平均合成手段によって合成出力する動画及び連続する静止画の先頭画像から特定時点までの連続した画像の各画素を平均化した合成画像に対して、前記特定時点以降の画像から前記差分領域を抽出した各画像データを合成することを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、出力画像指定手段を備えており、出力画像指定手段は、前記画像入力手段で入力された動画及び連続する静止画から、一枚の合成画像を生成するための先頭の画像と末尾の画像を指定するものであり、また前記動画及び連続する静止画の先頭画像から特定時点までの連続した画像の動き領域を検出するための特定時点を指定することを特徴とする画像処理装置。
【請求項７】
請求項５及び６に記載の画像処理装置において、画像入力手段は記録された動画ファイル及び連続する静止画ファイルを再生する手段を有し、動画及び連続する静止画を入力することを特徴とする画像処理装置。
【請求項８】
請求項５、６及び７に記載の画像処理装置において、画像出力手段は印刷手段を有し、前記差分領域合成手段によって生成された合成画像を一枚の印刷用紙に印刷することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置において、撮影した動画及び連続する静止画及び記録媒体に記録された動画ファイル及び連続する静止画ファイルから一枚の合成画像を出力するための画像処理及び出力形態に関する。
【背景技術】
【０００２】
従来、カメラで捉えた動画や連続した静止画、記録媒体に記録された動画や連続した静止画を再生した再生画像を一枚の静止画として出力装置に出力する方法として、容易な合成方法で一枚の合成画像を生成し印刷する手段を備えた画像処理装置が知られている。
【０００３】
容易な合成方法で一枚の合成画像を生成し印刷する手段として、印刷する動画から合成する画像を指定して、各画素の画素値を平均化して合成画像を生成して印刷する（例えば、特許文献１参照）。動画の中から、図１２に示す画像１〜画像６の動画像を指定して印刷することを想定する。これは、背景に対して丸いボールのような物体が右から左に加速しながら移動している動画である。そして、画像１〜画像６の動画を平均化して合成し印刷出力したものが図１３である。
【特許文献１】特開２００１−２７４９７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では動画及び連続する静止画を一枚の静止画として印刷用紙に出力することができるが、各画素の画素値を平均化して合成するため、以下のような問題がある。
【０００５】
ユーザが動画及び連続する静止画を一枚の静止画として出力する場合、画像中の動いている物体に対して出力を所望することが一般的であるが、従来の装置では動画中に動いている物体が存在すると、この物体が動いた領域は背景と物体を平均化したものになるため半透明の物体になり、物体が通らなかった領域は平均化して合成しても同じであるため背景がそのまま印刷され、動いている物体よりも背景が鮮明に印刷される。
【０００６】
また、ユーザは画像中の動いている物体の時間的相関関係も印刷用紙から認識したいが、オリジナルの動画及び連続する静止画を見ないと認識できない。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、請求項１に記載の画像処理装置は、動画及び連続する静止画から一枚の合成画像を出力する画像処理装置であって、撮影した動画及び連続する静止画を入力する画像入力手段と、動画及び連続する静止画における所定区間の連続した画像の各画素を平均化した合成画像を生成する画像平均合成手段と、動画及び連続する静止画の画像間において移動した画素の動き領域を検出する動き領域検出手段と、動画及び連続する静止画の画像から特定の領域を抽出し合成画像を生成する差分領域合成手段とを有し、前記画像平均合成手段によって生成された合成画像と、前記動き領域検出手段によって検出された動き領域と、前記差分領域合成手段によって生成された合成画像とを記憶する画像処理データ一時記憶手段と、前記差分領域合成手段によって生成された合成画像を出力する画像出力手段とを備えたことを特徴とする。
【０００８】
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記動き領域検出手段は、合成出力する動画及び連続する静止画の先頭画像から特定時点までの連続した画像の動き領域を検出し、前記特定時点以降の画像と前記合成出力する動画及び連続する静止画の先頭画像を比較したときの動き領域を検出することを特徴とする。
【０００９】
請求項３に記載の画像処理装置は、請求項１及び２に記載の画像処理装置において、前記差分領域合成手段は、前記合成出力する動画及び連続する静止画の先頭画像から特定時点までの連続した画像の動き領域と、前記特定時点以降の画像と合成出力する動画及び連続する静止画の先頭画像を比較したときの動き領域の差分領域を検出し、前記特定時点以降の画像から前記差分領域を抽出した各画像データから一つの合成画像を生成することを特徴とする。
【００１０】
請求項４に記載の画像処理装置は、請求項１、２及び３に記載の画像処理装置において、前記差分領域合成手段は、前記特定時点以降の画像から前記差分領域を抽出した各画像データを合成するとき、時系列上前の画像から抽出した画像データに対して後ろの画像から抽出した画像データで置き換え合成することを特徴とする。
【００１１】
請求項５に記載の画像処理装置は、請求項１、２、３及び４に記載の画像処理装置において、前記差分領域合成手段は、前記画像平均合成手段によって合成出力する動画及び連続する静止画の先頭画像から特定時点までの連続した画像の各画素を平均化した合成画像に対して、前記特定時点以降の画像から前記差分領域を抽出した各画像データを合成することを特徴とする。
【００１２】
請求項６に記載の画像処理装置は、請求項５に記載の画像処理装置において、出力画像指定手段を備えており、出力画像指定手段は、前記動画入力手段で入力された動画及び連続する静止画から、一枚の合成画像を生成するための先頭の画像と末尾の画像を指定するものであり、また前記動画及び連続する静止画の先頭画像から特定時点までの連続した画像の動き領域を検出するための特定時点を指定することを特徴とする。
【００１３】
請求項７に記載の画像処理装置は、請求項５及び６に記載の画像処理装置において、動画像入力手段は記録された動画ファイル及び連続する静止画ファイルを再生する手段を有し、動画及び連続する静止画を入力することを特徴とする。
【００１４】
請求項８に記載の画像処理装置は、請求項５、６及び７に記載の画像処理装置において、画像出力手段は印刷手段を有し、前記差分領域合成手段によって生成された合成画像を一枚の印刷用紙に印刷することを特徴とする。
【発明の効果】
【００１５】
本発明は、前記従来の課題を解決するもので、動画及び連続する静止画を一枚の静止画として出力装置に出力する場合、動いている物体が明確、且つ時系列的に認識できる画像処理装置を提供することを目的とする。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の画像処理装置の実施の形態を図面とともに詳細に説明する。
【実施例１】
【００１７】
図１は、本発明の実施例１における画像処理装置の基本構成を示すものであり、画像入力手段１、画像平均合成手段２、動き領域検出手段３、差分領域合成手段４、画像処理データ一時記憶手段５、画像出力手段６、印刷画像指定手段７から構成される。
【００１８】
動画像入力手段１はカメラによって得られた映像信号を動画像又は連続した静止画として取り込み、画像平均合成手段２に画像を送信する。
【００１９】
本実施例では撮影した映像信号を動画として扱い、撮影している動画の一部を一枚の静止画として出力するものとする。ここでは、出力する動画の一部を図２の画像１から画像６の動画像とする。印刷する動画の範囲は、印刷画像指定手段７を用いてユーザが任意に指定することが出来る。ユーザはカメラで撮影しながら印刷の開始地点と終了地点を指定することが可能で、撮影しながら動画を一枚の静止画に出力する。また、出力する動画の範囲はシーンチェンジ検出方法などを用いてシーン変化が起こった先頭から次のシーンまでの動画の範囲を出力するというように自動で出力する範囲を指定することも可能である。
【００２０】
尚、画像入力手段１は記録媒体に記録されている動画ファイルや連続する静止画ファイルを再生した映像信号を入力することも可能である。
【００２１】
次に、画像平均合成手段２は出力する動画の先頭画像からある特定時点までの画像を平均化した合成画像αを生成する。本実施の形態ではこの特定時点を画像４とする。画像１から画像４までの平均化した合成画像αが図３になる。また、この特定時点までの画像についても印刷画像指定手段７を用いてユーザが任意に指定することが出来る。また、出力する動画の先頭から何枚目の画像、または何秒後の画像ということを予め指定しておいてもよい。そして、前記出力する動画の先頭画像からある特定時点までの画像を平均化した合成画像αを画像処理データ一時記憶手段５に記憶する。
【００２２】
次に、動き領域検出手段３は出力する動画の先頭画像から前記ある特定時点の一つ前の画像までの動き領域Ａを検出する。画像１から画像３までの動き領域Ａは、図４に示す画像１から画像３までの動き領域８になる。そして、前記出力する先頭画像からある特定時点の一つ前の画像までの動き領域Ａを画像処理データ一時記憶手段５に記憶する。
【００２３】
また、動き領域検出手段３は出力する動画の先頭画像と前記ある特定時点の画像を比較した動き領域Ｂを検出する。画像１と画像４を比較したときの動き領域Ｂは、図５に示す画像１と画像４を比較したときの動き領域９になる。また、出力する動画の先頭画像は一時記憶手段５に記憶しておく。
【００２４】
次に、差分領域合成手段４は前記出力する動画の先頭画像と前記ある特定時点の画像を比較した動き領域Ｂと一時記憶手段５に記憶されている前記出力する動画の先頭画像からある特定時点の一つ前の画像までの動き領域Ａの差分領域Ｃを検出する。この差分領域Ｃは、前記出力する動画の先頭画像とある特定時点の画像を比較した動き領域Ｂから前記出力する動画の先頭画像からある特定時点の一つ前の画像までの動き領域Ａを削除した領域である。画像１と画像４を比較したときの動き領域Ｂと画像１から画像３までの動き領域Ａの差分領域Ｃは、図６の画像１と画像４を比較したときの動き領域Ｂと画像１から画像３までの動き領域Ａの差分領域１０になる。また、領域Ａに存在するが領域Ｂには存在しない領域は、領域Ｃに含まれない。
【００２５】
そして、差分領域合成手段４は前記ある特定時点の画像から前記領域Ｃに相当する領域の画像データを抜き出し、一時記憶手段５に記憶されている前記印刷する動画の先頭画像からある特定時点までの画像を平均化した合成画像αの前記領域Ｃに相当する領域の画像データと置き換え合成画像βを生成する。画像４から画像１と画像４を比較したときの動き領域Ｂと画像１から画像３までの動き領域Ａの差分領域１０に相当する画像データを、画像１から画像４までの平均化した合成画像αに合成した合成画像βが図８である。そして、合成画像αを一時記憶手段５から削除して、前記合成画像βを一時記憶手段５に記憶する。
【００２６】
次に、ある特定時点以降の画像について説明する。動き領域検出手段３は出力する動画の先頭画像とある時点以降の画像を比較した動き領域Ｂ´を検出する。差分領域合成手段４は前記出力する動画の先頭画像とある特定時点以降の画像を比較した動き領域Ｂ´と一時記憶手段５に記憶されている前記出力する動画の先頭画像からある特定時点の一つ前の画像までの動き領域Ａの差分領域Ｃ´を検出する。
【００２７】
そして、前記ある特定時点以降の画像から前記差分領域Ｃ´に相当する領域の画像データを抜き出し、一時記憶手段５に記憶されている合成画像βの前記領域Ｃ´に相当する領域の画像データと置き換え合成画像β´を生成する。このとき、合成画像βを一時記憶手段５から削除して、前記合成画像β´を一時記憶手段５に記憶する。画像１と画像５を比較したときの動き領域Ｂ´と画像１から画像３までの動き領域Ａの差分領域Ｃ´に相当する画像データを画像５から抜き出し、合成画像βに合成した合成画像β´が図８である。
【００２８】
ある特定時点以降の画像については、前記手順を繰り返す。これにより、差分領域合成手段４で最終的に生成された合成画像が、画像出力手段６によって出力される。このように図２の画像１から画像６の動画像が出力されると図９になる。
【００２９】
以上のように本発明によれば、画像間で動いている領域を抽出し合成した画像を出力することができる。また、時系列的に前の画像から抽出した画像データに対して時系列的に後ろの画像から抽出した画像データに置き換えて合成するために出力された画像に対して動いている領域が時系列的に認識できる。
【００３０】
尚、画像出力手段６は印刷手段を有しており、差分領域合成手段４で最終的に生成された合成画像はモニタ等のディスプレイに表示されるだけでなく、一枚の印刷用紙に印刷してもよい。
【００３１】
また、本発明の実施の形態では、映像の入力、画像処理、画像出力が一体の装置として説明したが、ビデオカメラとプリンタをＵＳＢ等のインターフェイスで接続して、ビデオカメラで映像の入力と画像処理を行い、プリンタで画像出力を行うというようにそれぞれの機能を有した装置を接続して使用してもよい。
【００３２】
また、一時記憶手段５は出力する動画の先頭画像と、動き領域検出手段３で検出される出力する動画の先頭画像からある特定時点までの動き領域、差分領域合成手段４で合成元として使用する画像のみを記憶しておけばよいので、動画等から背景を抜き出す技術に比べ格段にメモリの使用量を減らすことができる。
【００３３】
また、先頭画像とある特定時点の画像を単に比較して、動いている領域を特定時点の画像から抽出し先頭画像に合成しようとした場合、先頭画像に動く物体が既に存在すると、動いている領域を合成するとき先頭画像の動く物体が背景に置き換えられる。例えば、図２の動画のように先頭画像に背景以外に動く物体が既に存在すれば、比較したときの動き領域は図１０の画像１と画像２を比較したときの動き領域１１になる。画像２から画像１と画像２を比較したときの動き領域１１に相当する領域の画像データを抽出し画像１に合成すると図１１のようになり、画像１にもともと存在していた動く物体が背景になる。
【００３４】
しかし本発明によれば、先頭画像に動く物体が既に存在する場合でも、先頭画像の動く物体を合成画像に残し、出力することが可能である。
【産業上の利用可能性】
【００３５】
本発明にかかる画像処理装置は、動画及び連続する静止画を一枚の静止画として出力するとき、動いている物体が明確且つ時系列的に認識できる効果を有し、動画及び連続する静止画を印刷する機能を備えた印刷装置における画像処理及び印刷形態等に有効である。
【図面の簡単な説明】
【００３６】
【図１】本発明の画像処理装置の基本構成図
【図２】出力する画像の画像列の例を示した図
【図３】画像１から画像４までの平均化した合成画像αを示した図
【図４】画像１から画像３までの動き領域Ａを示した図
【図５】画像１と画像４を比較したときの動き領域Ｂを示した図
【図６】画像１と画像４を比較したときの動き領域と画像１から画像３までの動き領域の差分領域Ｃを示した図
【図７】画像４から差分領域Ｃを抜き出し、合成画像αに合成した合成画像βを示した図
【図８】画像５から差分領域Ｃ´を抜き出し、合成画像βに合成した合成画像β´を示した図
【図９】画像１から画像６の画像が出力された図
【図１０】画像１と画像２を単に比較したときの動き領域を示した図
【図１１】画像２から図１１の動き領域を抜き出し、画像１に合成した合成画像を示した図
【図１２】従来の印刷方法で出力する画像の画像列の例を示した図
【図１３】従来の印刷方法で画像１から画像６の動画を印刷した図
【符号の説明】
【００３７】
１  画像入力手段
２  画像平均合成手段
３  動き領域検出手段
４  差分領域合成手段
５  画像処理データ一時記憶手段
６  画像出力手段
７  出力画像指定手段
８  画像１から画像３までの動き領域
９  画像１と画像４を比較したときの動き領域
１０  画像１と画像４を比較したときの動き領域と画像１から画像３までの動き領域の差分領域
１１  画像１と画像２を比較したときの動き領域
１２  画像１の動く物体が画像２の背景に合成された領域
【図１】
2005328446.tif 000003
【図２】
2005328446.tif 000004
【図３】
2005328446.tif 000005
【図４】
2005328446.tif 000006
【図５】
2005328446.tif 000007
【図６】
2005328446.tif 000008
【図７】
2005328446.tif 000009
【図８】
2005328446.tif 000010
【図９】
2005328446.tif 000011
【図１０】
2005328446.tif 000012
【図１１】
2005328446.tif 000013
【図１２】
2005328446.tif 000014
【図１３】
2005328446.tif 000015