(57)【要約】【課題】回路規模の増大を抑制することができ、より適切に移動体を背景の画像に置換することができる動画像処理装置及び動画像処理方法を提供する。【解決手段】動き探索部１０１を備える動画像処理装置１００に、動き探索結果に基づいて移動体領域を決定し、当該移動体領域を含む一のフレームよりも前のフレームに、当該移動体領域に対応する領域に向かって移動する移動体がない場合、当該一のフレームよりも後のフレームに、当該移動体領域に含まれる移動体が移動する方向に移動する移動体がない場合に、当該前後のフレームにおいて当該移動体領域に対応する領域を新たに移動体領域として決定する領域属性決定処理部１０３と、一のフレームにおける移動体領域の画像データを、他のフレームにおいて当該移動体領域に対応する領域であって、移動体領域と決定されていない領域の画像データと置換する画像置換処理部１０４と、を備えた。【選択図】図１
2010178020.tif 000002
【特許請求の範囲】
【請求項１】
動画像データから、前記動画像データを構成する各フレーム毎に、前記フレームの画像データに含まれる移動体の移動量に関する動き探索結果を生成する動き探索部を備える動画像処理装置であって、
前記動き探索結果に基づいて、各フレーム毎に、前記移動量が所定の閾値以上となる領域を、移動体を含む移動体領域と決定し、前記移動体領域を含むフレームよりも時系列的に前のフレームに、前記移動体領域に対応する領域に向かって移動する移動体がない場合に、当該前のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定するとともに、前記移動体領域を含むフレームよりも時系列的に後のフレームに、前記移動体領域に含まれる移動体が移動する方向に移動する移動体がない場合に、当該後のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定する領域属性決定処理部と、
一のフレームにおける前記移動体領域の画像データを、他のフレームにおいて当該移動体領域に対応する領域であって、移動体領域と決定されていない領域の画像データと置換して置換画像データを生成する画像置換処理部と、
を備える動画像処理装置。
【請求項２】
前記動き探索部は、前記フレームを複数のブロックに分割し、前記ブロック毎に前記動き探索結果を生成し、
前記領域属性決定処理部は、前記ブロック毎に、前記移動体領域の決定を行う請求項１に記載の動画像処理装置。
【請求項３】
前記動き探索結果に基づいて、前記動画像データを圧縮して圧縮動画像データを作成する圧縮画像作成部を備え、
前記画像置換処理部は、前記圧縮動画像データ元に前記置換画像データを生成する請求項１又は２に記載の動画像処理装置。
【請求項４】
前記動画像データを構成する各フレームの画像データを圧縮して圧縮静止画像データを作成する静止画像圧縮部を備え、
前記画像置換処理部は、前記圧縮静止画像データを元に前記置換画像データを生成する請求項１又は２に記載の動画像処理装置。
【請求項５】
前記圧縮画像作成部によって作成された圧縮動画像データを記憶する圧縮動画像データ記憶部を備える請求項３に記載の動画像処理装置。
【請求項６】
動画像データから、前記動画像データを構成する各フレーム毎に、前記フレームの画像データに含まれる移動体の移動量に関する動き探索結果を生成する動き探索処理を備える動画像処理方法であって、
前記動き探索結果に基づいて、各フレーム毎に、前記移動量が所定の閾値以上となる領域を、移動体を含む移動体領域と決定し、前記移動体領域を含むフレームよりも時系列的に前のフレームに、前記移動体領域に対応する領域に向かって移動する移動体がない場合に、当該前のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定するとともに、前記移動体領域を含むフレームよりも時系列的に後のフレームに、前記移動体領域に含まれる移動体が移動する方向に移動する移動体がない場合に、当該後のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定する領域属性決定処理と、
一のフレームにおける前記移動体領域の画像データを、他のフレームにおいて当該移動体領域に対応する領域であって、移動体領域と決定されていない領域の画像データと置換して置換画像データを生成する画像置換処理と、
を備える動画像処理方法。
【請求項７】
前記動き探索処理において、前記フレームを複数のブロックに分割し、前記ブロック毎に前記動き探索結果を生成し、
前記領域属性決定処理において、前記ブロック毎に、前記移動体領域の決定を行う請求項６に記載の動画像処理方法。
【請求項８】
前記動き探索結果に基づいて、前記動画像データを圧縮して圧縮動画像データを作成する圧縮画像作成処理を備え、
前記画像置換処理において、前記圧縮動画像データ元に前記置換画像データを生成する請求項６又は７に記載の動画像処理方法。
【請求項９】
前記動画像データを構成する各フレームの画像データを圧縮して圧縮静止画像データを作成する静止画像圧縮処理を備え、
前記画像置換処理において、前記圧縮静止画像データを元に前記置換画像データを生成する請求項６又は７に記載の動画像処理方法。
【請求項１０】
前記圧縮画像作成処理によって作成された圧縮動画像データを記憶する圧縮動画像データ記憶処理を備える請求項８に記載の動画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像処理装置及び動画像処理方法に関する。
【背景技術】
【０００２】
従来、静止画像から特定の物体を取り除いた画像を作成する場合、フォトレタッチツールなどが用いられている。フォトレタッチツールでは、手動で、当該特定の物体の画像を、空間的に別の領域の画像で上書きする。
しかし、フォトレタッチツールでは、手動で上書き操作が行われる。また、空間的に別の領域の画像を用いるため、必ずしも上書きする画像として適切な画像があるとは限らない。したがって、フォトレタッチツールにおいて最終的に得られる画像の品質は、当該ツールへの慣れや、習熟度に大きく依存してしまう。そのため、静止画より特定の物体を取り除く処理を自動化し、ツールへの慣れや、習熟度に依らず高品質の画像を得ることができる技術の開発が望まれている。
【０００３】
そこで、特許文献１には、複数のフレームの画像を比較することにより、動体を検出し、当該動体の画像を取り除く技術が記載されている。具体的には、特許文献１では、入力された動画像をフレーム毎に複数記憶して保持する。次いで、複数のフレーム間で同一画素のデータ値を比較する。そして、最も出現頻度の高いデータ値を選択して、当該画素のデータ値とする。これにより、動体を取り除いた画像データを生成している。
【０００４】
しかし、特許文献１の技術では、所定時間停止していた動体を取り除くことができない。そこで、特許文献２には、デジタルビデオカメラとコンピュータとを接続し、当該コンピュータにおいて、デジタルビデオカメラの映像を解析し、動体を検出する技術が記載されている。具体的には、当該コンピュータは、連続した複数のフレームから動体を検出する。次いで、当該コンピュータは、当該複数のフレームにおいて、当該動体が含まれる領域と対応する領域であって、当該動体を含まない領域を探索する。そして、当該コンピュータは、当該探索によって検出された領域の画像を用いて、動体を含む領域の画像を置換する。これにより、当該コンピュータは、所定時間停止した動体を検出する。また、当該コンピュータは、当該動体を取り除いた画像データを生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−１４９３６４号公報
【特許文献２】特開２００５−２０２７０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に記載の技術では、動体検出をコンピュータで行う。そのため、当該コンピュータで行う動体検出機能をデジタルビデオカメラに搭載するためには、動体検出機能を実現するための専用の回路をデジタルビデオカメラに設ける必要がある。これは、筐体を極力小さくするというコンパクト化のニーズに対する妨げとなってしまう。また、デジタルビデオカメラの回路規模が増大するため、処理時間が長くなり、消費電力が増加してしまうという問題がある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様にかかる動画像処理装置は、動き探索部と、領域属性決定処理部と、画像置換処理部と、を備えるものである。前記動き探索部は、動画像データから、前記動画像データを構成する各フレーム毎に、前記フレームの画像データに含まれる移動体の移動量に関する動き探索結果を生成する。また、前記領域属性決定処理部は、前記動き探索結果に基づいて、各フレーム毎に、前記移動量が所定の閾値以上となる領域を、移動体を含む移動体領域と決定する。また、前記領域属性決定処理部は、前記移動体領域を含むフレームよりも時系列的に前のフレームに、前記移動体領域に対応する領域に向かって移動する移動体がない場合に、当該前のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定する。さらに、前記領域属性決定処理部は、前記移動体領域を含むフレームよりも時系列的に後のフレームに、前記移動体領域に含まれる移動体が移動する方向に移動する移動体がない場合に、当該後のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定する。また、前記画像置換処理部は、一のフレームにおける前記移動体領域の画像データを、他のフレームにおいて当該移動体領域に対応する領域であって、移動体領域と決定されていない領域の画像データと置換して置換画像データを生成する。
【０００８】
本発明の第１の態様においては、領域属性決定処理部が、前記移動体領域を含むフレームよりも時系列的に前のフレームに、前記移動体領域に対応する領域に向かって移動する移動体がない場合に、当該前のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定する。さらに、領域属性決定処理部が、前記移動体領域を含むフレームよりも時系列的に後のフレームに、前記移動体領域に含まれる移動体が移動する方向に移動する移動体がない場合に、当該後のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定する。換言すれば、領域属性決定処理部が、移動体領域を含むフレームの前後のフレームにおいて、当該移動体領域に含まれる移動体が停止していても、当該移動体領域に相当する領域を移動体領域として決定する。即ち、領域属性決定処理部は、移動体が停止しているフレームにおいても、当該移動体領域をより確実に推定することができる。
そして、画像置換処理部は、一のフレームにおいて領域属性決定処理部によって移動体領域と決定された領域の画像データを、他のフレームの当該移動体領域と対応する領域であって、移動体領域と決定されていない領域の画像データと置換する。そのため、停止している移動体であっても、適切に背景の画像に置換することができる。
【０００９】
また、領域属性決定処理部は、動画像処理装置にもともと備えられている動き探索部によって生成される動き探索結果を用いて、移動体領域の決定を行う。そのため、動画像処理装置に、重複して、動き探索処理を行う回路を設けなくてよい。したがって、筐体を極力小さくするというコンパクト化のニーズに対応することができる。また、回路規模の増大を抑制することができ、処理時間の増大を防ぎ、消費電力の増加を防ぐことができる。
【００１０】
本発明の第２の態様にかかる動画像処理方法は、動き探索処理と、領域属性決定処理と、画像置換処理と、を備える。前記動き探索処理は、動画像データから、前記動画像データを構成する各フレーム毎に、前記フレームの画像データに含まれる移動体の移動量に関する動き探索結果を生成する。前記領域属性決定処理は、前記動き探索結果に基づいて、各フレーム毎に、前記移動量が所定の閾値以上となる領域を、移動体を含む移動体領域と決定する。また、前記領域属性決定処理は、前記移動体領域を含むフレームよりも時系列的に前のフレームに、前記移動体領域に対応する領域に向かって移動する移動体がない場合に、当該前のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定する。さらに、前記領域属性決定処理は、前記移動体領域を含むフレームよりも時系列的に後のフレームに、前記移動体領域に含まれる移動体が移動する方向に移動する移動体がない場合に、当該後のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定する。また、前記画像置換処理は、一のフレームにおける前記移動体領域の画像データを、他のフレームにおいて当該移動体領域に対応する領域であって、移動体領域と決定されていない領域の画像データと置換して置換画像データを生成する。
【００１１】
本発明の第２の態様においては、領域属性決定処理において、前記移動体領域を含むフレームよりも時系列的に前のフレームに、前記移動体領域に対応する領域に向かって移動する移動体がない場合に、当該前のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定する。さらに、領域属性決定処理において、前記移動体領域を含むフレームよりも時系列的に後のフレームに、前記移動体領域に含まれる移動体が移動する方向に移動する移動体がない場合に、当該後のフレームにおいて前記移動体領域に対応する領域を新たに移動体領域として決定する。換言すれば、領域属性決定処理において、移動体領域を含むフレームの前後のフレームにおいて、当該移動体領域に含まれる移動体が停止していても、当該移動体領域に相当する領域を移動体領域として決定する。即ち、領域属性決定処理において、移動体が停止しているフレームにおいても、当該移動体領域をより確実に推定することができる。
そして、画像置換処理は、一のフレームにおいて領域属性決定処理部によって移動体領域と決定された領域の画像データを、他のフレームの当該移動体領域と対応する領域であって、移動体領域と決定されていない領域の画像データと置換する。そのため、停止している移動体であっても、適切に背景の画像に置換することができる。
【００１２】
また、領域属性決定処理は、動画像処理方法にもともと備えられている動き探索処理によって生成される動き探索結果を用いて、移動体領域の決定を行う。そのため、動画像処理装置に、重複して、動き探索処理を行う回路を設けなくてよい。したがって、筐体を極力小さくするというコンパクト化のニーズに対応することができる。また、回路規模の増大を抑制することができ、処理時間の増大を防ぎ、消費電力の増加を防ぐことができる。
【発明の効果】
【００１３】
本発明により、回路規模の増大を抑制することができ、より適切に移動体を背景の画像に置換することができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１にかかる動画像処理装置の構成の一例を示すブロック図である。
【図２】本発明にかかる動き探索処理を説明する図である。
【図３】実施の形態１にかかる動画像処理方法の一例を説明するフローチャートである。
【図４】実施の形態１にかかる領域属性決定処理方法の一例を説明するフローチャートである。
【図５】実施の形態１にかかる領域属性決定処理方法の一例を説明するフローチャートである。
【図６】実施の形態１にかかる領域属性決定処理方法の一例を説明するフローチャートである。
【図７】実施の形態１にかかる領域属性決定処理の一例を説明する図である。
【図８】実施の形態１にかかる領域データを説明する図である。
【図９】実施の形態１にかかる領域属性決定処理の一例を説明する図である。
【図１０】実施の形態１にかかる画像置換処理方法の一例を説明するフローチャートである。
【図１１】実施の形態１にかかる画像置換処理の一例を説明する図である。
【図１２】実施の形態１にかかる動画像処理装置及び動画像処理方法の効果を説明する図である。
【図１３】実施の形態１にかかる動画像処理装置及び動画像処理方法の効果を説明する図である。
【図１４】実施の形態１にかかる動画像処理装置及び動画像処理方法の効果を説明する図である。
【図１５】実施の形態１にかかる動画像処理装置及び動画像処理方法の効果を説明する図である。
【図１６】実施の形態２にかかる動画像処理装置の構成の一例を示すブロック図である。
【図１７】実施の形態３にかかる動画像処理装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１５】
実施の形態１．
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態１にかかる動画像処理装置１００の構成の一例を示すブロック図である。図１に示すように、動画像処理装置１００は、撮影部１０１、動画圧縮部１０２、領域属性決定処理部１０３、画像置換処理部１０４、静止画記憶部１０５を備えている。
【００１６】
撮影部１０１は、例えば、光学レンズ（図示省略）、ＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）などの撮像素子（図示省略）などを備えている。そして、撮影部１０１は、動画像データを取得し、当該動画像データを動画圧縮部１０２に入力する。動画像データは、時系列的に連続した複数のフレームの画像データから構成されている。
【００１７】
動画圧縮部１０２は、動き探索部１０６、圧縮画像作成部１０７を備えている。動画圧縮部１０２は、通常のデジタルビデオカメラ等に搭載されているものと同様のものである。
【００１８】
動き探索部１０６は、動き探索処理を行う。具体的には、動き探索部１０６は、動画像データを構成する複数のフレームの画像データ間で、画素値などを比較することにより、撮像画像中の物体の動きを検出する。例えば、動き探索部１０６は、図２に示すように、各フレームＦを複数のブロックＦＢに分割し、各ブロックＦＢの画素値を複数のフレームＦの画像データ間で比較する。そして、動き探索部１０６は、Ｘ軸方向への移動量、Ｙ軸方向への移動量、画像の差分情報等の動き探索結果を各ブロック毎に生成する。例えば、図２においては、動き探索部１０６は、ｎ番目のフレームＦｎのブロックＦＢｍと、ｎ＋１番目のフレームのブロックＦＢｍとを比較し、Ｘ軸方向への移動量、Ｙ軸方向への移動量、画像の差分情報等の動き探索結果を当該ブロックＦＢｍについて生成する。動き探索部１０６はこの処理を全てのブロックＦＢに対して行う。これにより、動き探索部１０６は、動画像データを構成する各フレームの画像データから画面上の動いている物体（以下、移動体と称する。）を検出する。
また、動き探索部１０６は、動き探索結果を圧縮画像作成部１０７に入力する。また、動き探索部１０６は、動き探索結果のうち、Ｘ軸方向への移動量及びＹ軸方向への移動量を領域属性決定処理部１０３に入力する。
【００１９】
圧縮画像作成部１０７は、動き探索部１０６から入力された動き探索結果に基づいて、撮影部１０１によって取得された動画像データの圧縮処理を行う。そして、圧縮画像作成部１０７は、この圧縮処理を行うことにより、動画像データから圧縮動画像データを作成する。
また、圧縮画像作成部１０７は、作成した圧縮動画像データを画像置換処理部１０４に入力する。
【００２０】
なお、動き探索部１０６によって、Ｘ軸方向への移動量及びＹ軸方向への移動量が領域属性決定処理部１０３に入力される点、及び圧縮画像作成部１０７によって圧縮動画像データが画像置換処理部１０４に入力される点は、通常のデジタルビデオカメラ等にはない機能である。
【００２１】
領域属性決定処理部１０３は、動き探索部１０６から入力されたＸ軸方向への移動量及びＹ軸方向への移動量に基づいて、各フレームの画像データにおける移動体が含まれる領域（移動体領域）を決定する領域属性決定処理を行う。また、領域属性決定処理部１０３は、領域属性決定処理を行うことによって生成した領域属性データを画像置換処理部１０４に入力する。
【００２２】
画像置換処理部１０４は、領域属性決定処理部１０３から入力された領域属性データに基づいて、圧縮動画像データに含まれる移動体部分の画像を背景部分の画像に置換する。具体的には、画像置換処理部１０４は、一のフレームに含まれる移動体の部分の画像を、他のフレームの相当する部分の画像であって、移動体を含まない部分の画像に置換する。そして、画像置換処理部１０４は、圧縮動画像データから、移動体部分の画像が背景部分の画像に置換された静止画データ（置換画像データ）を生成する。また、画像置換処理部１０４は、生成した静止画データを静止画記憶部１０５に記憶させる。
なお、画像置換処理部１０４に入力するデータは、撮影部１０１により取得された動画像データであってもよい。しかし、非圧縮の動画像データを保持しておくのは、データサイズの制約から現実的ではない。そのため、画像仕官処理部１０４に入力するデータは、圧縮画像作成部１０７によって作成された圧縮動画像データであることがより好ましい。
【００２３】
次に、本発明の実施の形態１にかかる動画像処理装置１００における動画像処理方法について、図３に示すフローチャートを参照しながら説明する。
まず、撮影部１０１が、動画像データを取得し、当該動画像データを動画圧縮部１０２に入力する（ステップＳ１）。
【００２４】
次に、動き探索部１０６が、動き探索処理を行って、動き探索結果を生成し、当該動き探索結果を圧縮画像作成部１０７に入力する（ステップＳ２）。同時に、動き探索部１０６は、当該動き探索結果のうち、Ｘ軸方向への移動量及びＹ軸方向への移動量を領域属性決定処理部１０３に入力する。
【００２５】
次に、圧縮画像作成部１０７が、動き探索結果に基づいて、撮影部１０１によって取得された動画像データの圧縮処理を行う（ステップＳ３）。同時に、圧縮画像作成部１０７は、圧縮処理を行うことによって作成した圧縮動画像データを画像置換処理部１０４に入力する。
【００２６】
次に、領域属性決定処理部１０３が、撮影部１０１による撮影が終了したか否かを判断する（ステップＳ４）。
ステップＳ４において、撮影部１０１による撮影が終了していない場合には（ステップＳ４；Ｎｏ）、ステップＳ１に戻る。
ステップＳ４において、撮影部１０１による撮影が終了している場合には（ステップＳ４；Ｙｅｓ）、領域属性決定処理部１０３は、領域属性決定処理を行って、領域属性データを画像置換処理部１０４に入力する。（ステップＳ５）。
【００２７】
次に、画像置換処理部１０４が、領域属性データに基づいて、画像置換処理を行う（ステップＳ６）。そして、画像置換処理部１０４は、圧縮動画像データから、移動体部分の画像が背景部分の画像に置換された静止画データを生成し、当該静止画データを静止画記憶部１０５に記憶させる。
なお、撮影開始時点のフレームの静止画データをベースに画像置換処理を行う場合、画像置換処理部１０４は、圧縮画像作成部１０７により作成された最初のフレームの静止画データをベースに画像置換処理を行う。また、ユーザが指定したフレームの静止画データをベースに画像置換処理を行う場合、画像置換処理部１０４は、圧縮画像作成部１０７により作成されたフレームの静止画データのうち、ユーザによって指定されたフレームに対応するフレームの静止画データをベースに画像置換処理を行う。
【００２８】
次に、ステップＳ５における領域属性決定処理について、図４乃至図６に示すフローチャートを参照しながら説明する。
領域属性決定処理部１０３は、以下のステップＳ１０１乃至ステップＳ１０７の処理を、撮影済みの動画像データの最初のフレームの最初のブロックから順に行う。例えば、領域属性決定処理部１０３は、最初のフレームから最後のフレームに向かって、かつ、各フレームの左上のブロックから右下のブロックに向かって、順に、ステップＳ１０１乃至ステップＳ１０７の処理を行う。
まず、動き探索部１０６によって、領域属性決定処理部１０３に、処理を行うブロックについてのＸ軸方向への移動量、Ｙ軸方向への移動量が入力される（ステップＳ１０１）。
【００２９】
次に、領域属性決定処理部１０３は、ステップＳ１０１で取得した移動量（Ｘ軸方向への移動量とＹ軸方向への移動量）が閾値以上か否かを判断する（ステップＳ１０２）。
ステップＳ１０２において、移動量が閾値より小さいである場合（ステップＳ１０２；Ｎｏ）、ステップＳ１０４に進む。
ステップＳ１０２において、移動量が閾値以上である場合（ステップＳ１０２；Ｙｅｓ）、領域属性決定処理部１０３は、当該ブロックに移動体マークを設定する（ステップＳ１０３）。
【００３０】
次に、領域属性決定処理部１０３は、当該ブロックが最終ブロックか否かを判断する（ステップＳ１０４）。
ステップＳ１０４において、当該ブロックが最終ブロックではない場合（ステップＳ１０４；Ｎｏ）、処理対象を直後のブロックとし（ステップＳ１０５）、ステップＳ１０１に戻る。
ステップＳ１０４において、当該ブロックが最終ブロックである場合（ステップＳ１０４；Ｙｅｓ）、領域属性決定処理部１０３は、当該フレームが最終フレームか否かを判断する（ステップＳ１０６）。
【００３１】
ステップＳ１０６において、当該フレームが最終フレームではない場合（ステップＳ１０６；Ｎｏ）、処理対象を直後のフレームとし（ステップＳ１０７）、ステップＳ１０１に戻る。
ステップＳ１０６において、当該フレームが最終フレームである場合（ステップＳ１０６；Ｙｅｓ）、領域属性決定処理部１０３は、撮影部１０１によって撮像された動画像データの１フレーム分に相当する領域データを作成する（ステップＳ１０８）。
なお、ステップＳ１０１乃至ステップＳ１０７までの処理によって、例えば、図７（ａ）乃至（ｅ）に示すように、各フレームの各ブロックの状態は、移動体マークが設定されているか、移動体マークが設定されていないかの何れか一方の状態となっている。例えば、図７（ａ）に示すフレームＦ１では、紙面向かって左から５番目且つ上から３番目のブロックＦＢ１に移動体マークが設定されている。なお、図７において、移動体マークが設定されているブロックにハッチングを施して示す。
また、領域データＲは、例えば、図８に示すように、複数のブロックＲＢに分割されている。そして、領域データＲの各ブロックＲＢは、図７に示す１フレームＦの画像データの各ブロックＦＢと対応するようになっている。
【００３２】
以下のステップＳ１０９乃至ステップＳ１１４の処理は、撮影済みの動画像データの最初のフレームの最初のブロックから順に行う。
まず、領域属性決定処理部１０３は、処理を行うブロックについて、移動体マークが設定されているか否かを判断する（ステップＳ１０９）。
【００３３】
ステップＳ１０９において、当該ブロックに移動体マークが設定されていない場合（ステップＳ１０９；Ｎｏ）、ステップＳ１１１に進む。
ステップＳＳ１０９において、当該ブロックに移動体マークが設定されている場合（ステップＳ１０９；Ｙｅｓ）、領域属性決定処理部１０３は、領域データにおいて、当該ブロックに対応するブロックに移動体領域マークを設定する（ステップＳ１１０）。
【００３４】
次に、領域属性決定処理部１０３は、当該ブロックが最終ブロックか否かを判断する（ステップＳ１１１）。
ステップＳＳ１１１において、当該ブロックが最終ブロックではない場合（ステップＳＳ１１１；Ｎｏ）、処理対象を直後のブロックとし（ステップＳ１１２）、ステップＳ１０９に戻る。
ステップＳ１１１において、当該ブロックが最終ブロックである場合（ステップＳ１１１；Ｙｅｓ）、領域属性決定処理部１０３は、当該フレームが最終フレームか否かを判断する（ステップＳ１１３）。
【００３５】
ステップＳ１１３において、当該フレームが最終フレームではない場合（ステップＳ１１３；Ｎｏ）、処理対象を直後のフレームとし（ステップＳ１１４）、ステップＳ１０９に戻る。
ステップＳ１１３において、当該フレームが最終フレームである場合（ステップＳ１１３；Ｙｅｓ）、領域属性決定処理部１０３は、領域データの最初のブロックから最終ブロックに向かって、移動体領域マークのあるブロックを探索し、移動体領域マークがあるか否かをブロック毎に判断する（ステップＳ１１５）。
なお、ステップＳ１０９乃至ステップＳ１１４の処理によって、例えば、図８に示すように、領域データの各ブロックの状態は、移動体領域マークが設定されているか、移動体領域マークが設定されていないかの何れか一方の状態となっている。なお、図８において、移動体領域マークが設定されているブロックＲＢ１乃至ＲＢ６にハッチングを施して示す。
【００３６】
ステップＳ１１５において、移動体領域マークが設定されていない場合（ステップＳ１１５；Ｎｏ）、領域属性決定処理部１０３は、ステップＳ１１５において移動体領域マークが設定されていると判断したブロックが最終のブロックか否かを判断する（ステップＳ１１６）。
【００３７】
ステップＳ１１６において、ステップＳ１１５において移動体領域マークが設定されていないと判断したブロックが最終のブロックではない場合（ステップＳ１１６；Ｎｏ）、次のブロックに進み（ステップＳ１１７）、ステップＳ１１５に戻る。
ステップＳ１１６において、ステップＳ１１５において移動体領域マークが設定されていないと判断したブロックが最終のブロックである場合（ステップＳ１１６；Ｙｅｓ）、当該領域属性決定処理を終了する。
【００３８】
ステップＳ１１５において、移動体領域マークが設定されている場合（ステップＳ１１５；Ｙｅｓ）、領域属性決定処理部１０３は、最終フレームから最初のフレームに向かって、領域データの当該ブロックに対応するブロックに移動体マークが設定されているフレームの探索を開始する（ステップＳ１１８）。
【００３９】
次に、領域属性決定処理部１０３は、探索しているフレームにおいて、移動体マークが設定されているか否かを判断する（ステップＳ１１９）。
ステップＳ１１９において、移動体マークが設定されていない場合（ステップＳ１１９；Ｎｏ）、ステップＳ１２２に進む。
ステップＳ１１９において、移動体マークが設定されている場合（ステップＳ１１９；Ｙｅｓ）、領域属性決定処理部１０３は、当該フレームの直前フレームに当該ブロックに向かって移動する移動体を含むブロックがあるか否かを判断する（ステップＳ１２０）。
【００４０】
ステップＳ１２０において、当該フレームの直前のフレームに当該ブロックに向かって移動する移動体を含むブロックがある場合（ステップＳ１２０；Ｙｅｓ）、ステップＳ１２２に進む。
ステップＳ１２０において、当該フレームの直前のフレームに当該ブロックに向かって移動する移動体を含むブロックがない場合（ステップＳ１２０；Ｎｏ）、領域属性決定処理部１０３は、当該直前のフレームの当該ブロックに移動体マークを設定する（ステップＳ１２１）。
例えば、ステップＳ１１５において、領域属性決定処理部１０３が、図８に示す領域データＲのブロックＲＢ４に移動体領域マークが設定されていると判断した場合を例に挙げて説明する。この場合、図７に示すように、領域データＲのブロックＲＢ４に対応するフレームＦ３のブロックＦＢ４には移動体マークが設定されている。しかし、直前のフレームＦ２には、当該ブロックＦＢ４に向かって移動する移動体を含むブロックがない。これは、フレームＦ３のブロックＦＢ４に存在していた移動体がその場所から移動を開始したということを表す。そこで、この場合には、図９（ｂ）に示すように、フレームＦ２のブロックＦＢ４に移動体マークを設定する。これにより、移動体がＦＢ４の位置にある時間停止していた後に移動を始めても、停止している当該移動体について移動体マークを付与することができる。また、図９（ｂ）に示すように、フレームＦ２のブロックＦＢ４に移動体マークが付与されることにより、フレームＦ２の直前のフレームＦ１についても、同様の結果となるため、図９（ａ）に示すように、フレームＦ１のブロックＦＢ４にも移動体マークを付与する。
【００４１】
次に、領域属性決定処理部１０３は、ステップＳ１１９において移動体マークが設定されているか否かを判断されたフレームが最初のフレームか否かを判断する（ステップＳ１２２）。
ステップＳ１２２において、ステップＳ１１９において移動体マークが設定されているか否かを判断されたフレームが最初のフレームでない場合（ステップＳ１２２；Ｎｏ）、領域属性決定処理部１０３は、探索対象を直前のフレームに設定し（ステップＳ１２３）、ステップＳ１１９に戻る。
ステップＳ１２２において、ステップＳ１１９において移動体マークが設定されているか否かを判断されたフレームが最初のフレームである場合（ステップＳ１２２；Ｙｅｓ）、領域属性決定処理部１０３は、最初フレームから最終のフレームに向かって、ステップＳ１１５において移動体領域マークが設定されていると判断されたブロックに対応するブロックに移動体マークが設定されているフレームの探索を開始する（ステップＳ１２４）。
【００４２】
次に、領域属性決定処理部１０３は、探索しているフレームにおいて、移動体マークが設定されているか否かを判断する（ステップＳ１２５）。
ステップＳ１２５において、移動体マークが設定されていない場合（ステップＳ１２５；Ｎｏ）、ステップＳ１２８に進む。
ステップＳ１２５において、移動体マークが設定されている場合（ステップＳ１２５；Ｙｅｓ）、領域属性決定処理部１０３は、当該フレームの直後フレームに当該ブロックの移動方向に移動体マークを有するブロックがあるか否かを判断する（ステップＳ１２６）。
【００４３】
ステップＳ１２６において、当該フレームの直後のフレームに当該ブロックの移動方向に移動体マークを有するブロックがある場合（ステップＳ１２６；Ｙｅｓ）、ステップＳ１２８に進む。
ステップＳ１２６において、当該フレームの直後のフレームに当該ブロックの移動方向に移動体マークを有するブロックがない場合（ステップＳ１２６；Ｎｏ）、領域属性決定処理部１０３は、当該直後のフレームの当該ブロックに移動体マークを設定する（ステップＳ１２７）。
例えば、ステップＳ１１５において、領域属性決定処理部１０３が、図８に示す領域データＲのブロックＲＢ３に移動体領域マークが設定されていると判断した場合を例に挙げて説明する。この場合、図７に示すように、領域データＲのブロックＲＢ３に対応するフレームＦ３のブロックＦＢ３には移動体マークが設定されている。しかし、直後のフレームＦ４には、当該ブロックＦＢ３の移動方向に移動体マークを有するブロックがない。これは、フレームＦ３のブロックＦＢ３に向かって移動していた移動体がブロックＦＢ３において移動を停止したということを表す。そこで、この場合には、図９（ｄ）に示すように、フレームＦ４のブロックＦＢ３に移動体マークを設定する。これにより、移動体がＦＢ３の位置に移動後ある時間停止しても、停止している当該移動体について移動体マークを付与することができる。また、図９（ｄ）に示すように、フレームＦ４のブロックＦＢ３に移動体マークが付与されることにより、フレームＦ４の直後のフレームＦ５についても、同様の結果となるため、図９（ｅ）に示すように、フレームＦ５のブロックＦＢ３にも移動体マークを付与する。
【００４４】
次に、領域属性決定処理部１０３は、ステップＳ１２５において移動体マークが設定されているか否かを判断されたフレームが最終のフレームか否かを判断する（ステップＳ１２８）。
ステップＳ１２８において、ステップＳ１２５において移動体マークが設定されているか否かを判断されたフレームが最終のフレームでない場合（ステップＳ１２８；Ｎｏ）、領域属性決定処理部１０３は、探索対象を直後のフレームに設定し（ステップＳ１２９）、ステップＳ１２５に戻る。
ステップＳ１２８において、ステップＳ１２５において移動体マークが設定されているか否かを判断されたフレームが最終のフレームである場合（ステップＳ１２８；Ｙｅｓ）、領域属性決定処理部１０３は、ステップＳ１１５において移動体領域マークが設定されていると判断したブロックが最終のブロックか否かを判断する（ステップＳ１３０）。
【００４５】
ステップＳ１３０において、ステップＳ１１５において移動体領域マークが設定されていると判断したブロックが最終のブロックではない場合（ステップＳ１３０；Ｎｏ）、次のブロックに進み（ステップＳ１３１）、ステップＳ１１５に戻る。
ステップＳ１３０において、ステップＳ１１５において移動体領域マークが設定されていると判断したブロックが最終のブロックである場合（ステップＳ１３０；Ｙｅｓ）、当該領域属性決定処理を終了する。
【００４６】
次に、ステップＳ６における画像置換処理について、図１０に示すフローチャートを参照しながら説明する。
画像置換処理部１０４は、以下のステップＳ２０１乃至ステップＳ２０３の処理を、領域データの最初のブロックから順に行う。例えば、画像置換処理部１０４は、図８に示す領域データＲの左上のブロックＲＢから右下のブロックＲＢに向かって、順に、ステップＳ２０１乃至ステップＳ２０３の処理を行う。
まず、画像置換処理部１０４は、領域データから、移動体領域マークを有するブロックがあるか否かを判断する（ステップＳ２０１）。
【００４７】
ステップＳ２０１において、移動体領域マークを有するブロックがない場合（ステップＳ２０１；Ｎｏ）、ステップＳ２０４に進む。
ステップＳ２０１において、移動体領域マークを有するブロックがある場合（ステップＳ２０１；Ｙｅｓ）、画像置換処理部１０４は、各フレームの画像データから、移動体領域マークを有するブロックに対応するブロックであって移動体マークを有しないブロックを探索する（ステップＳ２０２）。
【００４８】
次に、画像置換処理部１０４は、各フレームにおいて、移動体領域マークを有するブロックに対応するブロックであって、移動体マークを有するブロックの画像データを、ステップＳ２０２において探索したブロックの画像データに置換する（ステップＳ２０３）。
【００４９】
例えば、ステップＳ２０１において、画像置換処理部１０４が、図８に示す領域データＲのブロックＲＢ３が、移動体領域マークを有するブロックと判断した場合を例に挙げて説明する。この場合、画像置換処理部１０４は、ステップＳ２０２において、図９に示すフレームＦ１とフレームＦ２において、領域データＲのブロックＲＢ３に対応するブロックＦＢ３を移動体マークを有しないブロックとして検出する。検出した結果を図１１に示す。なお、図１１において、領域データの移動体領域マークを有するブロックに対応するブロックであって、移動体マークを有しないブロックをハッチングを施し、且つ、バツ印を付して示す。一方、図９に示すフレームＦ３、Ｆ４、Ｆ５において、領域データＲのブロックＲＢ３に対応するブロックＦＢ３は移動体マークを有する。そこで、画像置換処理部１０４は、ステップＳ２０３において、フレームＦ３、Ｆ４、Ｆ５のブロックＦＢ３の画像データを、フレームＦ１又はフレームＦ２のブロックＦＢ３の画像データに置換する。これにより、画像置換処理部１０４は、移動体を背景により置換することができる。ここで、画像置換処理部１０４は、フレームＦ１のブロックＦＢ３の画像データとフレームＦ２のブロックＦＢ３の画像データの何れを用いて画像置換処理を行っても良い。しかし、フレームＦ３、Ｆ４、Ｆ５と時間的に近いフレームＦ２のブロックＦＢ３の画像データを用いた方が、画質の低下を防いで画像置換処理を行うことができると予想される。したがって、ここでは、画像置換処理部１０４は、フレームＦ２のブロックＦＢ３の画像データを用いて画像置換処理を行うことが望ましい。
【００５０】
次に、ステップＳ２０１において、画像置換処理部１０４が、図８に示す領域データＲのブロックＲＢ４が、移動体領域マークを有するブロックと判断した場合を例に挙げて説明する。この場合、画像置換処理部１０４は、ステップＳ２０２において、図９に示すフレームＦ４とフレームＦ５において、領域データＲのブロックＲＢ４に対応するブロックＦＢ４を移動体マークを有しないブロックとして検出する。検出した結果を図１１に示す。なお、図１１において、領域データの移動体領域マークを有するブロックに対応するブロックであって、移動体マークを有しないブロックをハッチングを施し、且つ、バツ印を付して示す。一方、図９に示すフレームＦ１、Ｆ２、Ｆ３において、領域データＲのブロックＲＢ４に対応するブロックＦＢ４は移動体マークを有する。そこで、画像置換処理部１０４は、ステップＳ２０３において、フレームＦ１、Ｆ２、Ｆ３のブロックＦＢ４の画像データを、フレームＦ４又はフレームＦ５のブロックＦＢ４の画像データに置換する。これにより、画像置換処理部１０４は、移動体を背景により置換することができる。ここでも、上記と同様の理由により、画像置換処理部１０４は、フレームＦ４のブロックＦＢ４の画像データを用いて画像置換処理を行うことが望ましい。
【００５１】
次に、画像置換処理部１０４は、ステップＳ２０１において移動体領域マークを有すると判断したブロックが最終のブロックか否かを判断する（ステップＳ２０４）。
ステップＳ２０４において、ステップＳ２０１において移動体領域マークを有すると判断したブロックが最終のブロックではない場合（ステップＳ２０４；Ｎｏ）、ステップＳ２０１に戻る。
ステップＳ２０４において、ステップＳ２０１において移動体領域マークを有すると判断したブロックが最終のブロックである場合（ステップＳ２０４；Ｙｅｓ）、当該画像置換処理を終了する。
【００５２】
次に、図１２乃至図１５を参照しながら、本実施形態にかかる動画像処理装置１００及び動画像処理方法の効果について説明する。
なお、説明簡略のため、図１２乃至図１５において、人をひし形で示し、鳥を星形で示す。図１２に示すように、二人の人Ｈ１、Ｈ２が撮像部１０１の撮影範囲Ｒ１内を右から左へ、１羽の鳥Ｔ１が撮影範囲Ｒ１内を左から右に移動する場合を例に挙げて説明する。図１３に、撮像部１０１によって撮影された動画像データを構成する複数のフレームの一部のフレームを示す。また、図１３（ａ）に示すフレームＦ１０１から図１３（ｅ）に示すフレームＦ１０５に向かうに従って、時間が経過している。図１３に示すように、まず、フレームＦ１０１乃至フレームＦ１０３において、二人の人Ｈ１、Ｈ２が右から左に向かって移動する（図１３（ａ）乃至図１３（ｃ））。このとき、１羽の鳥Ｔ１は、停止している。次いで、フレームＦ１０３乃至フレームＦ１０５において、１羽の鳥Ｔ１が左から右に向かって移動する（図１３（ｃ）乃至図１３（ｅ））。このとき、二人の人Ｈ１、Ｈ２は停止している。そして、本実施形態にかかる動画像処理装置１００及び動画像処理方法では、上述した領域属性決定処理を行って、移動体が含まれる領域の推定を行う。
【００５３】
具体的には、図１３に示すように、フレームＦ１０１及びフレームＦ１０２において鳥Ｔ１は停止しているが、フレームＦ１０３乃至フレームＦ１０５において鳥Ｔ１は移動している。この場合、通常、フレームＦ１０３乃至フレームＦ１０５において、鳥Ｔ１は移動体として検出されるが、フレームＦ１０１及びフレームＦ１０２において、鳥Ｔ１は移動体として検出されない。一方、本実施形態にかかる動画像処理装置１００及び動画像処理方法では、フレームＦ１０３乃至フレームＦ１０５において鳥Ｔ１を移動体と検出するだけでなく、フレームＦ１０１及びフレームＦ１０２においても、フレームＦ１０３における鳥Ｔ１の領域と対応する領域を移動体が含まれる領域として推定する。
【００５４】
また、図１３に示すように、フレームＦ１０４及びフレームＦ１０５において人Ｈ１、Ｈ２は停止しているが、フレームＦ１０１乃至フレームＦ１０３において人Ｈ１、Ｈ２は移動している。この場合、上記の場合と同様に、通常、フレームＦ１０１乃至フレームＦ１０３において、人Ｈ１、Ｈ２は移動体として検出されるが、フレームＦ１０４及びフレームＦ１０５において、人Ｈ１、Ｈ２は移動体として検出されない。一方、本実施形態にかかる動画像処理装置１００及び動画像処理方法では、フレームＦ１０１乃至フレームＦ１０３において人Ｈ１、Ｈ２を移動体として検出するだけでなく、フレームＦ１０４及びフレームＦ１０５においても、フレームＦ１０３における人Ｈ１、Ｈ２の領域と対応する領域を移動体が含まれる領域として推定する。
これにより、移動体が停止しているフレームにおいても、当該移動体が含まれる領域をより確実に推定することができる。
【００５５】
また、推定した移動体が含まれる領域と対応する領域であって、移動体が含まれない領域の画像データを用いて、当該移動体が含まれる領域の画像データを置換する。例えば、図１３に示すように、フレームＦ１０５において、人Ｈ１、Ｈ２が含まれる領域の画像データを置換する場合、フレームＦ１０２の領域Ｒ２の画像データを用いる。また、フレームＦ１０５において、鳥Ｔ１が含まれる領域の画像データを置換する場合、フレームＦ１０４の領域Ｒ３の画像データを用いる。これにより、図１４に示すフレームＦ１０５に含まれる人Ｈ１、Ｈ２、鳥Ｔ１が、図１５に示すように、背景の画像に置換される。
通常は、フレームＦ１０５において、人Ｈ１、Ｈ２は停止しているため、移動体として検出されない。そのため、人Ｈ１、Ｈ２を背景の画像に置換することができない。したがって、本実施形態にかかる動画像処理装置１００及び動画像処理方法によれば、停止している移動体であっても、適切に、背景の画像に置換することができる。
【００５６】
また、領域属性決定処理部１０３は、動画像処理装置１００にもともと備えられている動き探索部１０１によって生成される動き探索結果を用いて、領域属性決定処理を行う。そのため、動画像処理装置１００に、重複して、動き探索処理を行う回路を設けなくてよい。したがって、筐体を極力小さくするというコンパクト化のニーズに対応することができる。また、回路規模の増大を抑制することができ、処理時間の増大を防ぎ、消費電力の増加を防ぐことができる。
【００５７】
実施の形態２．
図１６は、本発明の実施の形態２にかかる動画像処理装置２００の構成の一例を示すブロック図である。図１６に示すように、実施の形態２にかかる動画像処理装置２００は、動画圧縮部２０２、画像置換処理部２０４、静止画圧縮部２０７以外の構成は、実施の形態１にかかる動画像処理装置１００と同様であるため、同一の符号を付すとともにその説明を省略する。
【００５８】
動画圧縮部２０２は、動き探索部１０６を備えている。実施の形態２にかかる動画像処理装置２００は、動画圧縮部２０２に圧縮画像作成部を備えない点で、実施の形態１にかかる動画像処理装置１００と異なっている。動画圧縮部２０２は、通常のデジタルビデオカメラ等に搭載されているものと同様のものである。
【００５９】
また、動画像処理装置２００は、静止画像圧縮部２０７を備える点で、動画像処理装置１００と異なっている。
静止画像圧縮部２０７は、撮影部１０１によって取得された動画像データを構成する各フレーム（静止画像）の画像データの圧縮処理を行う。そして、静止画像圧縮部２０７は、圧縮処理を行うことにより、撮影部１０１によって取得された動画像データから圧縮静止画像データを作成する。
また、静止画像圧縮部２０７は、作成した圧縮静止画像データを画像置換処理部２０４に入力する。
【００６０】
また、動画像処理装置２００は、画像置換処理部２０４が圧縮静止画像データを用いて画像置換処理を行う点が、動画像処理装置１００と異なっている。画像置換処理部２０４における画像置換処理は、実施の形態１と同様であるため、その説明を省略する。
【００６１】
実施の形態２にかかる動画像処理装置２００及び動画像処理方法によれば、実施の形態１にかかる動画像処理装置１００及び動画像処理方法と同様の効果が得られることは勿論のこと、特に、動画像を圧縮した圧縮動画像データに比べて、静止画像を圧縮した圧縮静止画像データの方が画質の劣化が少ない。そのため、画像置換処理後の画像データの画質の劣化を低減することができる。したがって、実施の形態２にかかる動画像処理装置２００及び動画像処理方法によれば、実施の形態１にかかる動画像処理装置１００及び動画像処理方法に比べて、より高品質な最終画像を得ることができる。
【００６２】
実施の形態３．
図１７は、本発明の実施の形態３にかかる動画像処理装置３００の構成の一例を示すブロック図である。図１７に示すように、実施の形態３にかかる動画像処理装置３００は、動き探索結果記憶部３０８、圧縮動画データ３０９以外の構成は、実施の形態１にかかる動画像処理装置１００と同様であるため、同一の符号を付すとともにその説明を省略する。
【００６３】
動き探索結果記憶部３０８は、動き探索部１０６によって生成された動き探索結果を記憶している。そして、領域属性決定処理部１０３は、動き探索結果記憶部３０８から動き探索結果を取得する。
また、圧縮動画像データ記憶部３０９は、圧縮画像作成部１０７によって作成された圧縮動画像データを記憶している。そして、画像置換処理部１０４は、圧縮動画像データ記憶部３０９から圧縮動画像データを取得する。
【００６４】
実施の形態３にかかる動画像処理装置３００及び動画像処理方法によれば、実施の形態１にかかる動画像処理装置１００及び動画像処理方法と同様の効果が得られることは勿論のこと、特に、圧縮画像作成部１０７によって作成された圧縮動画像データを一時的に圧縮動画像データ記憶部３０９に記憶する。そのため、動画像処理装置３００において、通常の動画再生を行っても、領域属性決定処理及び画像置換処理を行うことによる障害が発生することを防止することができる。
【００６５】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００６６】
１００、２００、３００  動画像処理装置
１０３  領域属性決定処理部
１０４、２０４  画像置換処理部
１０６  動き探索部
１０７  圧縮画像作成部
２０７  静止画像圧縮部
３０９  圧縮動画像データ記憶部
【図１】
2010178020.tif 000003
【図２】
2010178020.tif 000004
【図３】
2010178020.tif 000005
【図４】
2010178020.tif 000006
【図５】
2010178020.tif 000007
【図６】
2010178020.tif 000008
【図７】
2010178020.tif 000009
【図８】
2010178020.tif 000010
【図９】
2010178020.tif 000011
【図１０】
2010178020.tif 000012
【図１１】
2010178020.tif 000013
【図１２】
2010178020.tif 000014
【図１３】
2010178020.tif 000015
【図１４】
2010178020.tif 000016
【図１５】
2010178020.tif 000017
【図１６】
2010178020.tif 000018
【図１７】
2010178020.tif 000019