(57)【要約】【課題】  本発明は、撮影対象や目的、撮影に応じた除去処理行なうことが可能な画像処理装置やプログラムを提供することを課題とする。【解決手段】  カメラ部２１によって撮影された撮影画像が、画像記録処理部２２によって画像データ２３として記録される。移動物体除去処理部２４は、予め指定された条件に基づいて画像データ２３内の除去すべき物体を判定し、除去処理を加えた合成画像を、画像再生処理部２５が表示処理装置２６上に表示する。これにより不要な移動物体が除去された画像が再生される。この条件を適宜に指定することにより柔軟な除去処理を行なうことが出来る。【選択図】      図２
2005109647.tif 000002
【特許請求の範囲】
【請求項１】
動画像に対して加工処理を行なう画像処理装置において
前記動画像を構成する画像データと、当該画像データと時系列的に近い、前記動画像内の画像データとを比較して移動物体及びその位置を検出し、該検出した移動物体を除去すべきか否かを指定された条件に基づいて判定する判定手段と、
前記判定手段が除去すべきと判定した移動物体の存在する画像データから該移動物体に対応する領域部分を除去する除去手段と、
前記除去手段が移動物体に対応する領域部分を除去した画像データと時系列的に近い画像データを用いて、前記除去手段が除去した領域部分に対して補間を行ない、前記移動物体の写っていない合成画像を生成する合成画像生成手段と
を備える画像処理装置。
【請求項２】
処理対象とする動画像の画像データを記憶する記憶手段を更に備え、前記判定手段は、前記記憶手段に記憶されている画像データの前記移動物体及びその位置を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
処理対象とする動画像の画像データを記憶する記憶手段と、前記カメラ部から入力される画像データを取得すると共に前記記憶手段に記憶する画像取得手段とを更に備え、前記判定手段は、前記取得手段が前記記憶手段に画像データを記憶すると共に前記記憶手段に記憶された画像データの前記移動物体及びその位置を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記合成画像生成手段が生成した合成画像を前記記憶手段に記憶すると同時に、該記憶した合成画像の元の画像データを前記記憶手段から削除する手段を更に備えることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記画像取得手段による画像データの取得と並列して、前記合成画像生成手段が生成した合成画像に基づく動画像の再生を行なう再生手段を更に備えることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記判定手段、除去手段及び合成画像生成手段は、前記画像取得手段及び前記再生手段と並列動作することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
操作者の指示に基づいて前記指定された条件を決定する条件決定手段を更に備えることを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
【請求項８】
前記指定された条件は、前記移動物体の速度についての条件を含むことを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
【請求項９】
前記指定された条件は、前記移動物体の大きさについての条件を含むことを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置。
【請求項１０】
前記指定された条件は、前記移動物体の写っているフレーム数についての条件を含むことを特徴とする請求項１乃至９のいずれか１つに記載の画像処理装置。
【請求項１１】
異なる距離に焦点を合わせた複数のカメラ部から入力される動画像を構成する画像データを取得する画像取得手段と、
前記複数のカメラ部それぞれから取得した画像データに対して、時系列的に近い画像データを比較して移動物体及びその位置を検出し、該検出した移動物体を除去すべきか否かを指定された条件に基づいて判定する判定手段と、
前記判定手段が除去すべきと判定した移動物体の存在する画像データから該移動物体に対応する領域部分を除去する除去手段と、
該画像データと時系列的に近い画像データを用いて、前記除去手段が除去した領域部分に対して補間を行ない、前記移動物体の写っていない合成画像を生成する合成画像生成手段と、
前記合成画像生成手段から、前記複数のカメラ部それぞれに対応して得られた前記合成画像を合成する合成手段と
を備える画像処理装置。
【請求項１２】
前記合成手段は、前記複数のカメラ部それぞれに対応して得られた前記合成画像の中でより鮮明である合成画像を優先して合成することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
動画像に対して加工処理を行なう装置内で実行されるプログラムであって、
前記動画像を構成する画像データと、当該画像データと時系列的に近い、前記動画像内の画像データとを比較して移動物体及びその位置を検出し、該検出した移動物体を除去すべきか否かを指定された条件に基づいて判定する機能と、
除去すべきと判定した移動物体の存在する画像データから該移動物体に対応する領域部分を除去する機能と、
前記移動物体に対応する領域部分を除去した画像データと時系列的に近い画像データを用いて、前記除去手段が除去した領域部分に対して補間を行ない、前記移動物体の写っていない画像データを生成する機能と
を実現するプログラム。
【請求項１４】
動画像に対して加工処理を行なう装置内で実行されるプログラムであって、
異なる距離に焦点を合わせた複数のカメラ部から入力される動画像を構成する画像データを取得する機能と、
前記複数のカメラ部それぞれから取得した画像データに対して、時系列的に近い画像データを比較して移動物体及びその位置を検出し、該検出した移動物体を除去すべきか否かを指定された条件に基づいて判定する機能と、
前記除去すべきと判定した移動物体の存在する画像データから該移動物体に対応する領域部分を除去する機能と、
該画像データと時系列的に近い画像データを用いて、前記除去した領域部分に対して補間を行ない、前記移動物体の写っていない合成画像を生成する機能と、
前記複数のカメラ部それぞれに対応して得られた前記合成画像を合成する機能と
を実現するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した動画像に対する加工処理を行なう画像処理装置に関し、更に詳しくは動画像に写し込まれた不要な物体を除去する画像処理装置に関する。
【背景技術】
【０００２】
風景をビデオカメラなどで撮影する際、撮影したくないものが写りこんでしまう場合がある。例えば、風景や記念撮影などでは、路上を往来する自動車や観光客等不要な物体が写真に写り込むのは可能な限り避けたい。
このためには撮影タイミングを計ったり、撮影場所を変えたり、撮影する時間は撮影範囲に入らないように協力してもらう等の処置を実行しなければならない。更に被写体と近距離であればこれらの方法で対処できるが、風景撮影などのように被写体との距離が離れている場合、不要なものが写り込まないようにするのは困難を要する。
【０００３】
特許文献１は、この点に対処する為、レーザ光を発射して被写体との距離を測ることの出来る３次元画像検出装置により通常画像と距離検出した３次元画像を複数回撮影し、これらのデータから往来物などの移動物を除去した画像を生成する。
また移動物体の検出方法としては、特許文献２に、ｔ時に撮影した画像と時系列で１つ前の（ｔ−１）時に撮影した画像を比較して、移動物体を特定し、この移動物体を除去したものを背景画像として画像を生成している。
【特許文献１】特開２００１−１１９７２３号公報（図３、[００２１]）
【特許文献２】特開平１１−１５９８２号公報（図２、［００１８］〜［００１９］）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし特許文献１に記載されている方法は、撮影機器に３次元検出装置を設ける必要があり、機器が大掛かり且つ効果になってしまう。また特許文献２に開示されている方法では、移動物体と背景を物体が動いているか否かによってのみ判定しているので、撮影対象物が動いているものを撮影した動画には、そのまま適用することはできない。また動いているか否かのみを判定基準としているので、本当に除去したい物体を判別するのが困難であり、また撮影状況によって柔軟に対処することが出来ない。
【０００５】
本発明は、上記問題点を解決する画像処理装置及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、動画像に対して加工処理を行なう画像処理装置を前提とし、上記問題点を解決する為、判定手段、除去手段及び合成画像生成手段を備える。
判定手段は、前記動画像を構成する画像データと、当該画像データと時系列的に近い、前記動画像内の画像データとを比較して移動物体及びその位置を検出し、該検出した移動物体を除去すべきか否かを指定された条件に基づいて判定する。
【０００７】
除去手段は、前記判定手段が除去すべきと判定した移動物体の存在する画像データから該移動物体に対応する領域部分を除去する。
合成画像生成手段は、前記除去手段が移動物体に対応する領域部分を除去した画像データと時系列的に近い画像データを用いて、前記除去手段が除去した領域部分に対して補間を行ない、前記移動物体の写っていない合成画像を生成する。
【０００８】
この構成により判定手段は、指定された条件に基づいて移動物体を除去するか否かを判定するので、撮影対象や撮影環境によってこの条件に適宜なものを設定することにより、目的の移動物体を除去することができる。
この指定された条件に、例えば前記移動物体の速度についての条件を含むようにすることにより、動きの無い若しくは少ない画像に写し込まれた通過物等の移動物体を除去することが出来る。
【０００９】
またこの指定された条件に、例えば前記移動物体の大きさについての条件を含むようにすることにより、動きの速いものを撮影した画像から不要な移動物体を除去することが出来る。
またこの指定された条件は、移動物体の写っているフレーム数についての条件を含むようにすることにより、画像全体を被うようにして写り込んだものも除去することが出来る。
【００１０】
そして画像処理装置が操作者の指示に基づいて前記指定された条件を決定する条件決定手段を更に備える構成とすることにより、条件決定手段を用いて操作者がこの指定された条件をその撮影環境や目的等に基づいて適宜に設定することが出来る。
また処理対象とする動画像の画像データを記憶する記憶手段と、前記カメラ部から入力される画像データを取得すると共に前記記憶手段に記憶する画像取得手段とを更に備え、前記判定手段は、前記取得手段が前記記憶手段に画像データを記憶すると共に前記記憶手段に記憶された画像データの前記移動物体及びその位置を検出する構成とすることも出来る。これにより、カメラ部からの画像データの記憶と移動物体の除去処理が並列して行なうことが出来る。
【００１１】
前記合成画像生成手段が生成した合成画像を前記記憶手段に記憶し、該記憶した合成画像の元の画像データを前記記憶手段から削除する手段を更に備える構成とすることにより、録画データの記録領域や作業用の記憶領域を無駄に使用することがなくなる。
更に本発明の画像処理装置の第２の実施形態として、異なる距離に焦点を合わせた複数のカメラ部から入力される動画像を構成する画像データを取得し、各カメラ部からの画像データに対して前記判定手段、除去手段及び合成画像生成手段によって、合成画像を生成し、この合成画像を成画像生成手段により合成する構成とすることも出来る。
【００１２】
この構成の場合、風景画像等、各撮影対象物までの距離に大きく差がある場合であっても、不要な移動物体を除去した合成画像を生成することが出来る。
また、本発明はカメラ部から入力される動画像に対して加工処理を行なう装置内で実行されるプログラムもその範囲に含む。
【発明の効果】
【００１３】
本発明によれば、指定された条件に基づいて移動物体が除去されるので、この条件を適宜に設定することにより、撮影対象や目的、撮影に応じた除去処理行なうことが出来る。
【発明を実施するための最良の形態】
【００１４】
以下に本発明の１実施形態を図面を参照しながら説明する。
図１は本実施形態における画像処理装置の構成例を示す図である。
同図は、画像を撮影するカメラ内に備えられる構成を示すもので、同図において画像処理装置は、ＣＰＵ１１、ＲＡＭ１２、表示装置１３、入力装置１４、記憶装置１５、通信装置１６及びカメラ及びその制御装置１７を有する構成となっている。
【００１５】
ＣＰＵ１１は、中央演算処理装置で、このＣＰＵ１１がプログラム記憶領域１５１内の制御プログラムを実行することにより、本実施形態の各処理が実現される。ＲＡＭ１２は、ＣＰＵ１１によるワークエリアとなるメモリ領域で、ＣＰＵ１１による実行プログラムが置かれるプログラム実行領域１２１や実行プログラムを実行する際の作業領域１２２が設けられる。表示装置１３は、画像を表示したりオペレータに種々の情報を示すためのディスプレイやビューファインダ等である。入力装置１４は、オペレータが画像処理装置に操作指示を入力する為の操作ボタン等である。記憶装置１５は、不揮発性のメモリで制御プログラムを記憶するプログラム記憶領域１５１や種々のデータを格納しているデータ記憶領域を備える。通信装置１６は、撮影画像を装置外部へ出力する等、外部とのデータのやり取りを行なうものである。カメラ及びその制御装置１７は、画像の撮影を行なう部分で、撮影画像はデータ記憶領域１５２は格納される。
【００１６】
尚図１は、画像処理装置をカメラ装置の筐体内部に収める構成の場合であるが、本実施形態の画像処理装置は、このような構成に限らず、カメラ装置とは独立した装置として構成し、カメラ装置と信号ケーブルで接続して撮影画像をリアルタイムで処理したり、或いは後日カメラ装置から撮影画像のデータを受け取って処理する構成としても良い。このような構成の場合、表示装置１３や入力装置１４はビューファインダや操作ボタン等のカメラ装置と兼用のものではなく、ディスプレイやポインティングデバイス、キーボード等専用のものが備えられる。
【００１７】
図２は、画像処理装置による処理の流れを示すブロック図である。尚同図中、画像記録処理部２２、移動物体除去処理装置２４、画像再生処理部２５はＣＰＵ１１がプログラム記憶領域１５１内の制御プログラムを実行することによって実現されるが、専用のハードウエアによって実現しても良い。
【００１８】
カメラ部２１は、図１のカメラ及びその制御装置１７に対応するもので、このカメラ部２１によって撮影された撮影画像が、画像記録処理部２２によって画像データ２３（録画画像）として記録される。そして、この録画データ２３に対して移動物体除去処理部２４が予め指定された条件に基づいて除去すべき物体を判定して処理を加えた合成画像を、画像再生処理部２５が表示処理装置２６上に表示することにより、不要な移動物体が除去された画像が再生される。尚画像記録処理部２２、移動物体除去処理装置２４及び画像再生処理部２５を並列動作させることにより、撮影すると同時に、その撮影画像から移動物体を除去した画像を再生することも出来る。
【００１９】
次に移動物体除去処理部２４によって行なわれる、録画画像から移動物体を除去する除去処理について説明する。
図３は移動物体の除去処理の第１の実施形態の概要を説明する図である。
同図（ａ）に示すように風景画像３１を撮影中に移動物体３２が撮影画面上を横切った場合の処理を例にして示す。
【００２０】
この場合において、同図（ｂ）のように画像３１−１から撮影を開始すると、カメラ部２１は時系列で画像３１−１→３１−２→３１−３・・・の順に撮影画像を録画画像３３として記憶、保存する。
次にこの録画画像３３から移動物体を除去した合成画像３５を生成する。同図（ｃ）に画像３１-２に対する処理を例として示す。
【００２１】
録画開始時の画像である画像３１−１は、それ以前の録画画像が存在しないのでそのままの合成画像３５として保存される。次の画像３１−２はそれ以前に録画された画像として画像３１−１が有るので、この画像３１−１と比較する。この結果、物体３２の位置が座標（ｘ０，ｙ０）から（ｘ１，ｙ１）に変化していることが分かり、このことからこれが除去すべき不要な移動物体であると判断する。尚この不要な移動物体かどうかの判断は、位置の移動のみで行なっているのではなく、後述するようにその移動物体の大きさや移動速度等の条件を考慮して判断している。そしてこれらの条件を適宜に設定することにより、目的、撮影対象、撮影条件等に適した除去処理を行なうことが出来る。
【００２２】
画像３１−２での物体３２の座標位置は（ｘ１，ｙ１）であるので、画像３１−１のその座標位置（ｘ１，ｙ１）の部分から部分抽出画像３４を部分抽出する。そして部分抽出画像３４を画像３１−２の移動物体３２の座標位置（ｘ１，ｙ１）に上書き合成する。この画像からは移動物体３２は除去されているので、これを合成画像３５として保存する。以降同様の処理を画像３１−３以降の画像に対しても行なうことによって、合成画像は移動物体３２が除去された画像となる。尚移動物体除去処理が完了後に、移動物体除去処理を行なう前のオリジナルである録画画像３３を除去することにより、録画データの記録領域や作業用の記憶領域を無駄に使用することがなくなる。また必要に応じて、オリジナルである録画画像３３も実写画像としてそのまま保存しておくようにしても良い。
【００２３】
また図３の例では、録画画像３３に対して除去処理を行なった合成画像３５を予め生成しておき、この合成画像３５を再生することによって、移動物体が除去された画像を再生しているが、画像処理装置の処理能力が高い場合には、事前に合成画像を生成しておくのではなく、録画処理と録画画像３３に対する直接除去処理を行ないながら同時に画像を再生するようにしても良い。
【００２４】
図４は移動物体の除去処理の第２の実施形態の概要を説明する図である。
第２の実施形態では、降雪雨時に撮影画像に写り込んだ雨や雪等を除去する。尚本実施形態に用いる画像処理装置は、実際には降雪雨の粒子を撮影できる高感度・高画質・高性能のカメラ部及び画像処理部を必要とする構成となるが、以下の説明では、説明簡略化のため個々の実装技術に関する説明は省略し、基本的な概念のみを説明する。
【００２５】
以下の説明では、図４（ａ）に示すように降雪雨がある状態で風景画像を撮影した場合の処理を例にして示す。
風景を撮影する場合、撮影地点から近距離にあるものから遠距離のものまでが撮影対象となり、各撮影対象物までの距離に大きく差がある場合がある。同図（ａ）の撮影画面４１−１には、撮影地点から近距離にある山４２ａ及び降雪雨の粒子４３ａ（同図中太線で示す）、中距離にある山４２ｂ及び降雪雨の粒子４３ｂ（同図中実線で示す）、遠距離にある山４２ｃ及び降雪雨の粒子４３ｃ（同図中点線で示す）がある。
【００２６】
第２の実施形態では、異なる距離に焦点を合わせたカメラ部２１を降雪雨が認識できる範囲の間隔で複数台設置し、各カメラ部２１によって撮影された画像を合成する。本例では、近距離、中距離及び遠距離に焦点距離を合わせた３台のカメラ部２１を設置したものとし、それぞれの焦点距離のカメラで撮影されている画像は、図４（ｂ）の近距離画像４１ａ−２、中距離画像４１ｂ−２、遠距離画像４１ｃ−２のようになる。
【００２７】
この画像４１ａ−２、４１ｂ−２及び４１ｃ−２それぞれに対して、第１の実施形態で示した移動物体の除去処理を行ない画像上に写り込んでいる粒子４３ａ、４３ｂ、４３ｃを除去すると同図（ｃ）に示す画像４１ａ−３、４１ｂ−３及び４１ｃ−３が生成される。これらの画像４１ａ−３、４１ｂ−３及び４１ｃ−３には、不要な降雪雨の粒子４３ａ、４３ｂが４３ｃが除去され、山４２ａのみが写っている。
【００２８】
この３つの画像４１ａ−３、４１ｂ−３及び４１ｃ−３を合成して１つの画像４１−４とすることにより、降雪雨が除去された画像が生成される。
この合成は、遠距離用カメラ、中距離用カメラ及び近距離用カメラで撮影された画像に対して移動物体除去処理を行なった画像４１ａ−３、４１ｂ−３及び４１ｃ−３に対して、どのカメラに対応する画像がより鮮明であるか判定し、より鮮明であると判定されたカメラに対応する画像を優先して合成する。またどのカメラに対応する画像がより鮮明であるか判断が出来ない部分は、各カメラの画像を同じ割合で合成して再生用合成画像データを生成して記録する。
【００２９】
本実施形態では、撮影画像内の移動物体を除去対象とするか否かの条件を事前に設定し、移動物体除去処理部２４は、この設定値に基づいて移動物体除去処理行なう。
図５は、移動物体除去条件登録テーブルの構成例を示す図である。
移動物体除去条件登録テーブルは、記憶装置１５のデータ記憶領域１５２内に構成されるテーブルで除去を行なう移動物体の条件が登録されており、この中から後述する除去条件登録処理で選択された条件に基づいて、移動物体除去処理部２４は移動物体除去処理を行なう。
【００３０】
同図のテーブルでは、移動物体の除去条件として、画像全体距離に対する１秒間あたりの移動割合を示す速度条件、画面全体サイズにおける占有領域の割合を示すサイズ条件、写っているフレーム数（写っている時間）条件が記憶されている。例えば、条件番号１の除去条件として速度条件が１０％以下、サイズ条件が０．５％以下、フレーム数条件は未定義（条件として用いない）となっている。
【００３１】
この除去条件として、例えば速度条件を設定することにより、特に風景などの動きの無い（遅い）映像から動く物体を除去することが出来る。例えば人の多い観光地などで記念撮影を行った場合に、除去条件として移動物体の速度を適宜に設定することによりカメラの前を通過する人を写すことなく目的の人物や背景のみを写した合成画像を生成することが出来る。
【００３２】
或いはこの除去条件として、例えばサイズ条件を設定することにより、特に動きのある（速い）映像から不必要な物体を除去することができる。例えば、除去条件として、除去する物体のサイズを適宜に設定することにより、スポーツの撮影等撮影対象の動きが大きく、速度では削除対象を規定できない場合にも対処できる。
【００３３】
またはこの除去条件として、例えば写っているフレーム数（写っている時間）条件を設定することにより、画像全体を被うようにしてカメラレンズの前にかばんや通行人の背中が写ってしまったような場合でも、これらを不必要な物体として除去することが出来る。
図６は、移動物体除去処理で除去するための条件を画像処理装置に設定する際の処理を示すフローチャートである。同図の処理はＣＰＵ１１がＲＡＭ１２をワークメモリとして、記憶装置１５内の制御プログラムを実行することにより実現される。
【００３４】
除去条件登録処理が開始されると、まずステップＳ１として表示装置１３上にメニュー表示を行ない、操作者に新たな条件の登録を行なう「新規登録」、登録されている条件を削除する「登録削除」、除去条件登録処理を終了させる「終了」のいずれかを選択させる。
【００３５】
ステップＳ１で、「新規登録」が選択されると、ステップＳ２として移動物体を除去する条件を操作者に入力させる。この条件としては、例えば、除去対象とする移動物体の速度、サイズ、その物体が写っているコマ数（写っている時間）の下限値／上限値であり、表示装置１３上にガイダンスを表示してこれらの値を操作者に入力させる。そしてステップＳ３としてステップＳ２で入力された除去条件を図５に示したような移動物体除去条件登録テーブルに新規登録し、処理をステップＳ１に戻す。
【００３６】
またステップＳ１で、「登録削除」が選択されると、ステップＳ４として、移動物体除去条件登録テーブルを参照して現在登録されている除去条件を表示装置１３上に表示し、操作者に削除する条件番号を指定させる。そして、ステップＳ５としてステップＳ４で指定された条件番号の除去条件を移動物体除去条件登録テーブルから削除し、処理をステップＳ１に戻す。
【００３７】
そしてステップＳ１で、「終了」が選択されると、除去条件登録処理を終了する。
次に本実施形態の画像処理装置による画像の録画処理、移動物体除去処理、再生処理時の動作例を示す。
図７は、録画処理、移動物体除去処理、再生処理が開始される前に、画像処理装置のデータ記憶領域１５２に設定記憶される録画／再生条件設定データを示す図である。
【００３８】
録画／再生条件設定データは、録画処理、移動物体除去処理、再生処理における種々の動作設定を行なうデータで、これらの処理を開始する前に操作者によって事前に設定される。
同図では、録画／再生条件設定データには、リアルタイム再生指定、除去前データの保存、除去後データの保存及び除去条件が設定されている。
【００３９】
リアルタイム再生指定は、録画処理と、再生処理を同時に行なうリアルタイム再生を行なうかどうかの指定であり、ＯＮのときはリアルタイム再生指定を行ないＯＦＦのときは行なわない。リアルタイム再生指定がＯＮのときは、録画と再生のリアルタイム性を優先するので、移動物体除去処理が再生処理に間に合わない場合、移動物体除去処理を施していない画像データを用いて再生を行なう。よって再生のリアルタイム性は保てるが、移動物体の除去は、保証されない。またリアルタイム再生指定がＯＦＦのときは、移動物体除去処理を優先させるので、移動物体除去処理が再生処理に間に合わない場合には、移動物体除去処理が完了するのを待ち、処理が施された画像による再生を行なう。よってこの場合には、再生のリアルタイム性は保証されないが、不要な移動物体が除去された再生画像が出力される。
【００４０】
除去前データの保存及び除去後データの保存は、移動物体除去処理を行なった後、移動物体除去処理を行なう前の画像及び行なった後の画像を保存するかどうかの指定で、それぞれＯＮのときは保存を行ない、ＯＦＦのときは保存を行なわない。これらがＯＮとなっていると、処理と同時に不要となった画像データが削除されるので、録画データの記録領域や作業用の記憶領域を無駄に使用することがなくなる。
【００４１】
除去条件は、移動物体除去処理で、除去を行なうか否かの判断に用いる条件の指定で、図５に示した条件番号と対応している。
後述する録画処理、移動物体除去処理及び再生処理では、この録画／再生条件設定データの設定値に基づいて処理が行なわれる。
【００４２】
図８は録画処理における動作処理示すフローチャートである。同図の処理は、画像記録処理部２２によって行なわれるもので、ＣＰＵ１１がＲＡＭ１２をワークメモリとして、記憶装置１５内の制御プログラムを実行することにより実現される。また以下の説明では、同図の処理、及び後述する移動物体除去処理と再生処理は、並列動作しているものとする。
【００４３】
録画処理が開始されると、ステップＳ１１として録画カレントフレーム位置を１番目のフレームに初期化する。尚この録画カレントフレーム位置は、現在録画しているフレームを指すポインタである。
初期化処理が終了すると、以降録画処理が終了するまでステップＳ１２〜Ｓ１５の処理を繰り返して録画処理を行なう（ステップＳ１２、Ｎ）。
【００４４】
ステップＳ１３では、カメラ部２１から１フレーム分の画像データを読み込み、録画カレントフレーム位置に除去前画像データとしてデータ記憶領域１５２に記録する。つづいてステップＳ１４として、ステップＳ１３で記憶した画像データに対応させて録画開始からの経過時間（または現在時刻）を記録し、除去済みフラグをＯＦＦに設定する。
【００４５】
そして録画カレントフレーム位置を１つ更新し（ステップＳ１５）、処理をステップＳ１２に戻して次のフレームの画像データに対する処理へ移る。
以降録画処理が終了するまでステップＳ１２〜Ｓ１５の処理を繰り返し、操作者による録画終了の指示動作があったり、カメラ部２１から画像データが入力されなくなると（ステップＳ１２、Ｙ）、処理を終了する。
【００４６】
図９は、移動物体除去処理における動作処理示すフローチャートである。同図の処理は、移動物体除去処理部２４によって行なわれるもので、ＣＰＵ１１がＲＡＭ１２をワークメモリとして、記憶装置１５内の制御プログラムを実行することにより実現される。
本処理が開始されると、まず初期化処理として処理対象となるフレームをポイントする除去カレントフレーム位置を一番目の（処理を行なう画像の時系列で一番最初の）フレームセットにする（ステップＳ２１）。以降除去処理終了となるまでステップＳ２２〜Ｓ３５の処理を行なう（ステップＳ２２、Ｎ）。
【００４７】
ステップＳ２３において、除去カレントフレーム位置がポイントしているフレームの前後の位置のフレームの画像データがデータ記憶領域１５２内にあるかどうか判断し、無ければ（ステップＳ２３、Ｎ）ステップＳ２４として待ち処理を行ない、録画処理によってその画像データが記録されるのを待つ。
【００４８】
ステップＳ２３で前後位置に画像データがあれば（ステップＳ２３、Ｙ）、ステップＳ２３として除去カレントフレーム位置の画像データは、移動物体が除去済みかどうかを判断する。この判断は、その画像データと関連付けて記憶されている除去済みフラグを参照する子によって行なわれる。そして除去済みと判断したならば（ステップＳ２５、Ｙ）、処理をステップＳ３６に移して次のフレームに対する処理に移る。
【００４９】
ステップＳ２５で除去済みフラグから除去カレントフレーム位置の画像データは除去済みで無いと判断したならば（ステップＳ２５、Ｎ）、ステップＳ２６として除去カレントフレーム位置の画像データを時間的に前後の画像データと比較し、画像データが同じ方向に同じドット数だけずれている領域部分を全て抽出する。
【００５０】
そしてステップＳ２７として、ステップＳ２６で抽出した領域の中で未判定の領域があるかどうかを判定し、未判定の領域があれば（ステップＳ２７、Ｙ）、ステップＳ２８として未判定の領域部分を１つ選択し、その領域部分の画像データ全体の面積に対するサイズの割合と画像データ全体の距離に対する移動速度割合を算出する。そして移動物除去条件登録テーブルを参照し、これらと録画再生条件設定データに設定されている条件番号の各条件とを比較する。
【００５１】
そして一致する条件あれば（ステップＳ２９、Ｙ）、ステップＳ３０として画像データの選択されている領域部分を消去した後、また一致する条件がなければ（ステップＳ２９、Ｎ）消去を行なわずに、処理をステップＳ２７に戻す。
全ての領域に対して処理を行ない、未判定の領域が無くなれば（ステップＳ２７、Ｎ）、次にステップＳ３１として、ステップＳ３０で消去を行なったものの内、未補間の領域部分があるかどうかを判断する。そして未補間の領域部分があれば（ステップＳ３１、Ｙ）、ステップＳ３２として消去された領域部分を補間可能な他の画像データを、除去カレントフレーム位置に時間的に近いものから順に検索して探す。そして補間可能な画像データがあれば、補間可能な領域部分をコピーして除去カレントフレーム位置の画像データに合成し（ステップＳ３３）、処理をステップＳ３１に戻す。
【００５２】
ステップＳ３０で消去を行なった全ての領域に対する補間処理を行ない、ステップＳ３１で未補間の領域部分が無いと判断されると（ステップＳ３１、Ｎ）、ステップＳ３４として録画／再生条件設定データの設定値を調べ、除去前の保存指定が無ければ（ステップＳ３５、Ｎ）、ステップＳ３６として除去カレントフレーム位置の除去前画像データを消去後、保存指定があれば消去を行なわずにそのまま処理をステップＳ３６に移す。
【００５３】
ステップＳ３６では除去カレントフレーム位置を１つ更新後処理をステップＳ２２に戻して次のフレームに対する処理を行なう。そしてステップＳ２２で全てのフレームに対して処理を行ない除去処理を終了すると判断すると（ステップＳ２２、Ｙ）、本処理を終了する。
【００５４】
図１０は、図４によって説明した第２の実施形態の移動物体の除去処理を行なった場合の移動物体除去処理における動作処理示すフローチャートである。
同図に示す処理例は、近距離撮影用、中距離撮影用及び遠距離撮影用の３つのカメラ部２１を用いて撮影した場合を例として説明する。
【００５５】
本処理が開始されると、ステップＳ４１として近距離撮影用のカメラ部２１による画像データに対して図９に示した移動物体除去処理を行ない、ステップＳ４２として中距離撮影用のカメラ部２１による画像データに対して図９に示した移動物体除去処理を行ない、ステップＳ４３として遠距離撮影用のカメラ部２１による画像データに対して図９に示した移動物体除去処理を行なう。このステップＳ４１、Ｓ４２、Ｓ４３の処理は並列して行なっても良い。
【００５６】
そしてステップＳ４４として、ステップＳ４１、Ｓ４２、Ｓ４３で移動物体が除去された近距離、中距離、遠距離のカメラ部２１による撮影画像の合成画像から、より鮮明に写された部分を抽出し新たな画像を合成を行なった後処理を終了する。
図１１は、録画処理及び移動物体除去処理で記憶装置１５に記憶される録画データ２３の構成例である。
【００５７】
同図において、除去前画像データが図３の録画画像３３に対応し、除去後画像データが合成画像３５に対応する。
同図において、除去前画像データはフレーム単位で時系列順にフレーム番号が付されて記憶されており、またそのフレームの全画像内での時間的位置が経過時間として記憶されている。
【００５８】
また除去前画像データには、移動物体除去処理によって加工処理が行なわれたかどうかを示す除去済みフラグが関連付けられて記憶されている。そしてこの除去済みフラグがＯＮのときは、そのフレームの画像データに対して加工処理が行なわれており、加工後後の移動物体が除去された画像データが除去後画像データとして除去前画像データと関連付けて記憶されている。例えばフレーム番号５８に関連付けられて、その画像が撮影された映像内での先頭からの経過時間"００：００：０１：５６"、除去前の画像データ５７Ａ、除去後の画像データ５７Ｂ、除去済みフラグ（ＯＦＦ）が記憶されている。
【００５９】
録画カレントフレーム位置、除去カレントフレーム位置及び後述する再生カレントフレーム位置は、この録画データ２３のフレーム番号に基づいて画像データをポイントし、録画カレントフレーム位置が現在録画を行なっているフレームの位置、除去カレントフレーム位置は、移動物体除去処理で処理対象となっているフレームの位置、及び再生カレントフレーム位置は、再生処理において読み込むフレームの位置をポイントしている。
【００６０】
図１２は、図４によって説明した第２の実施形態の移動物体の除去処理を行なった場合の、録画処理及び移動物体除去処理で記憶装置１５に記憶される録画データ２３の構成例である。
第２の実施形態では複数のカメラ部２１によって撮影した画像を用いる為、録画データ２３は各カメラ部２１によって撮影された画像がフレーム番号によって関連付けられて記憶されている。図１２の例では、同時刻の、遠距離撮影用カメラ部２１による画像データ、中距離撮影用カメラ部２１による画像データ及び近距離撮影用のカメラ部２１による画像データがその移動物体除去処理による画像データおよび除去済みフラグ（不図示）と共に時系列にフレーム番号を付して記憶されている。
【００６１】
第２の実施形態では、これら各カメラ部２１による画像を更に合成して再生用の画像データを生成する。
図１３は、再生処理時の画像処理装置における動作処理を示すフローチャートである。同図の処理は、画像再生処理部２５によって行なわれるもので、ＣＰＵ１１がＲＡＭ１２をワークメモリとして、記憶装置１５内の制御プログラムを実行することにより実現される。
【００６２】
本処理が開始されると、まず初期化処理として再生処理の対象となるフレームをポイントする再生カレントフレーム位置を一番目の（処理を行なう画像の時系列で一番最初の）フレームセットにする（ステップＳ５１）。以降再生処理が終了となるまでステップＳ５２〜Ｓ６２の再生処理を行なう（ステップＳ５２、Ｎ）。
【００６３】
そして再生処理としてステップＳ５３では、再生カレントフレームの位置のフレームの画像データがあるかどうか判断する。そしてそのフレームの画像データに対する録画処理若しくは移動物体除去処理が完了しておらず、画像データが無ければ（ステップＳ５３、Ｎ）、ステップＳ５４として処理が完了するよう特定時間待ち処理を行なった後処理をステップＳ５３に戻す。
【００６４】
ステップＳ５３で、再生カレントフレームの位置のフレームの画像データがあれば（ステップＳ５３、Ｙ）、ステップＳ５５として除去済みフラグを調べ、その画像データが移動物体除去処理によって移動物体が除去済みかどうかを判断する。そして、除去済みであれば（ステップＳ５５、Ｙ）、ステップＳ５８として再生カレント位置の除去後の画像データを読み込む。また除去済みでなければ（ステップＳ５５、Ｎ）、ステップＳ５６として録画／再生条件設定データを調べ、リアル再生指定がＯＮに設定されていれなければ（ステップＳ５６、Ｎ）、移動物体除去処理による再生カレントフレームに対する処理が完了するようにステップＳ５９として待ち処理を行なった後、ステップＳ５５に処理を戻す。またステップＳ５６でリアル再生指定がＯＮに設定されていれば（ステップＳ５６、Ｙ）、ステップＳ５６として再生カレントフレーム位置の除去処理を行なっていない画像データを読み込む。そして、ステップＳ６０として、ステップＳ５７若しくはＳ５８で読み込んだ画像データを表示装置に表示して画像の再生を行なう。
【００６５】
次にステップＳ６１として録画／再生条件設定データを調べ除去後データの保存指定があるかどうかを調べ、ＯＦＦとなっていたら（ステップＳ６１、Ｎ）、保存を行なわないのでステップＳ６２として再生カレントフレームの位置の除去後画像データを消去する。またステップＳ６１で録画／再生条件設定データが保存指定を行なう設定となっていたら除去後画像データは保存されるので削除処理を行なわずに、処理をステップＳ６３に移す。
【００６６】
ステップＳ６３では再生カレントフレーム位置を１つ更新して処理をステップＳ５２に移して、次のフレームに対する処理に移る。そして全てのフレームに対する処理完了したり、操作者から再生処理終了を指示する操作入力があると（ステップＳ５２、Ｙ）、本処理は終了する。
【００６７】
このように本実施形態の画像処理装置では、風景などの録画時に、人や自動車など録画したくない物体がカメラのフレーム内に入り込んでも、画像にその物体が写り込んで位階画像を得ることができる。
また指定された条件に基づいて移動物体を除去するので、例えば風景など動きの無い（遅い）映像から大きく遅い物体を除去したり、スポーツなどの動きのある映像から小さい物体を除去したり、撮影対象や目的に応じて余計な物体を除去した画像を容易に得ることが出来る。
【００６８】
更に、本装置による画像を、展望台や展望階のスクリーンに映像として出力したり、展望鏡に出力したりすれば、降雪雨時でも視界を向上させられるので、降雪雨時の来客数の減りを抑え、ひいては収益の減少も抑えられる可能性がある。
尚上記例では、撮影画像をフレーム単位の画像データとして扱い、また記憶していたが、圧縮データとして扱ったり記憶する構成としても良い。またその際、映像を構成する各画像データは、変化があった部分だけを差分としてもつ差分データとして処理しても良い。
【図面の簡単な説明】
【００６９】
【図１】本実施形態における画像処理装置の構成例を示す図である。
【図２】画像処理装置による処理の流れを示す機能ブロック図である。
【図３】移動物体の除去処理の第１の実施形態の概要を説明する図である。
【図４】移動物体の除去処理の第２の実施形態の概要を説明する図である。
【図５】移動物体除去条件登録テーブルの構成例を示す図である。
【図６】移動物体除去処理で除去するための条件を画像処理装置に設定する際の処理を示すフローチャートである。
【図７】録画／再生条件設定データを示す図である。
【図８】録画処理における動作処理示すフローチャートである。
【図９】移動物体除去処理における動作処理示すフローチャートである。
【図１０】第２の実施形態における移動物体除去処理における動作処理示すフローチャートである。
【図１１】録画データの構成例を示す図である。
【図１２】第２の実施形態の移動物体の除去処理を行なった場合の録画データの構成例を示す図である。
【図１３】再生処理時の画像処理装置における動作処理を示すフローチャートである。
【符号の説明】
【００７０】
１１        ＣＰＵ
１２        ＲＡＭ
１３        表示装置
１４        入力装置
１５        記憶装置
１６        通信装置
１７        カメラ＆制御部
１２１      プログラム実行領域
１２２      作業領域
１５１      プログラム記憶領域
１５２      データ記憶領域
２１        カメラ部
２２        画像記録処理部
２３        画像データ
２４        移動物体除去処理部
２５        画像データ再生処理部
２６        表示処理部
【図１】
2005109647.tif 000003
【図２】
2005109647.tif 000004
【図３】
2005109647.tif 000005
【図４】
2005109647.tif 000006
【図５】
2005109647.tif 000007
【図６】
2005109647.tif 000008
【図７】
2005109647.tif 000009
【図８】
2005109647.tif 000010
【図９】
2005109647.tif 000011
【図１０】
2005109647.tif 000012
【図１１】
2005109647.tif 000013
【図１２】
2005109647.tif 000014
【図１３】
2005109647.tif 000015