(57)【特許請求の範囲】
【請求項１】
一連の連続した画像中特定画像の被写体上のある部位を点または線として指定する手段と、その特定画像に時間的に連続する画像上における前画像で指定した被写体上の同じ部位を、動きベクトル検出に基づいて追跡する手段と、前記追跡する手段によって得られる前記ある部位の特徴点の位置情報に基づいて前記同じ部位を近似する回帰線を算出し、前記回帰線に対して垂直方向に所定の距離にある対向する画素情報を用いて、前記対向する画素間に位置する画素を前記所定の距離に応じた重み付け配分で置換補正することにより、それぞれの画像の被写体上の同じ部位を画像処理する手段とを備えることを特徴とする電子画像補正装置。
【請求項２】
前記ある部位を線として指定する請求項１記載の装置において、追跡した座標上の線がある幅を有する場合、画像から微分画像を生成し、これを用いてその線の幅を推定し、該推定した幅の線をその幅より外側の画素情報で置換補正するよう構成したことを特徴とする電子画像補正装置。
【請求項３】
前記ある部位を線として指定する請求項１または２記載の装置において、疎になって断裂した線を距離の近い点同士結ぶことで断裂した線を接続するよう構成したことを特徴とする電子画像補正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動画像中特定の画像上被写体の特定の部位を指示し、その部位を目立たなくするような画像処理を施すことにより、不要な線や不要な点を消去する電子画像補正装置に関するものである。
【０００２】
【従来の技術】
これに関する従来の手法にはほぼ３つの手法があり、その第１は撮影を行う前に処理を施す場合で、消したい被写体が周辺と同じような色、明るさになるよう着色したり照明を加減する。
第２の手法は撮影を行った後の場合で、撮影画像に対して電子描画装置を用いて手作業で目立たないように修正を行う。
第３の手法も撮影を行った後の場合で、これは消す対象の画像としての性質（例えば、空間周波数など）を利用し、画像全体に一様に２次元フィルタを掛ける。空間周波数を例に取れば、まず、消したい線や点の空間周波数成分を分析し、次に画像中の当該周波数付近の成分を除外する手法である。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した手法１では、その作業に熟練した作業員が必要な上に、周辺と同じような色、 明るさに出来ない( 例えば、 物理的に色、 明るさを調整できない) 状況のときもある。
第２の手法では、さらに熟練した作業員がその感性をよりどころに作業を行うことになり、さらに動画像の場合には莫大な労力と多大な時間を必要とする。
さらに第３の手法では、該当する線や点は少なくとも目立たなくなるが、該当周波数付近の成分を有する保存しておきたい画像成分も消える可能性があるという欠点があり、消したい線や点の空間周波数成分を分析することは該当する線や点が他の被写体と重なり合って撮影された場合などは非常に困難な上にその作業も煩雑で経験を必要とする。また、空間周波数を利用したもの以外にもイプシロンフィルタなど非線形フィルタも利用されるが、これは顔のしわなどのように画像上で低振幅な信号のみをキャンセルし、顔の輪郭などの急峻な信号は保存する特性があるため一見便利に思われるが、しわ以外の保存したい映像信号でもしわによく似た低振幅な映像信号までキャンセルしてしまうため適用できる画像が限定されてしまう。
そこで本発明の目的は従来技術のように熟練した作業員を必要とせず、操作を行う者の感性も極力必要とせず、さらに多大な労力、時間をかけることなしに動画像中の不必要な点や線も消去可能な電子画像補正装置を提供せんとするものである。
【０００４】
【課題を解決するための手段】
この目的を達成するため、電子画像補正装置に係る第１の発明は、一連の連続した画像中特定画像の被写体上のある部位を点または線として指定する手段と、その特定画像に時間的に連続する画像上における前画像で指定した被写体上の同じ部位を、動きベクトル検出に基づいて追跡する手段と、前記追跡する手段によって得られる前記ある部位の特徴点の位置情報に基づいて前記ある部位を近似する回帰線を算出し、前記回帰線に対して垂直方向に所定の距離にある対向する画素情報を用いて、前記対向する画素間に位置する画素を前記所定の距離に応じた重み付け配分で置換補正することにより、それぞれの画像の被写体上の同じ部位を画像処理する手段とを備えることを特徴とするものである。
本発明に係る電子画像補正装置において、前記ある部位を線として指定する場合には、疎になって断裂した線を距離の近い点同士結ぶことで断裂した線を接続することができる。  また、追跡した座標上の線がある幅を有する場合、画像から微分画像を生成し、これを用いてその線の幅を推定し、該推定した幅の線をその幅より外側の画素情報で置換補正すること、さらに、前記のその幅より外側の画素情報で置換補正するに際し、これを距離に応じた画像情報の重み付け配分置換補正とすることもできる。ここで座標上の線がある幅を有するとは、線幅が複数画素で表されることを意味するものである。
また、上述の装置において、 前記ある部位を点として指定し、 追跡した座標上の点がある広がりを有する場合、画像から微分画像を生成し、これを用いてその点の広さを推定し、その点の広さより外側の画素情報で置換補正すること、 さらに前記その点の広さより外側の画素情報で置換補正するに際し、これを距離に応じた画像情報の重み付け配分置換補正することができる。 ここで座標上の点がある広がりを有するとは、 点が数画素以上で表されることを意味するものとする。前記画像処理する手段が点または線そのものの画像情報および前記点または線の外側の画像情報を用い、ハイパスフィルタ処理する手段であってもよく、さらにまた第２の発明は、前記画像処理する手段が点または線そのものの画像情報および前記点または線の外側の画像情報を用い、前記ある部位で低振幅な信号のみを平滑化する非線形フィルタ処理する手段であってもよい。前記非線形フィルタは例えばイプシロンフィルタであることもできる。
【０００５】
【発明の実施の形態】
以下添付図面を参照し、実施例により本発明の実施の形態を詳細に説明する。
図１にこれに限定されない本発明電子画像補正装置実施例の構成ブロック線図を示す。この実施例は消去する対象を顔のしわなどを対象としているが、本発明は対象を線、あるいは点としており、顔のしわに限定されるものではない。
以下図１の構成ブロック線図について、はじめに各ブロックの内容の説明を行い、次に全体のながれについて説明を加える。
（ａ）画像入力部１：対象となる画像源からのＮＴＳＣ画像信号（動画でも静止画でもよい）を次段の第１の画像蓄積部３で蓄積可能なディジタルデータに変換する。変換する形式については特に本発明は限定されないが、顔のしわは、照明による影によって画像上でしわとなる。つまり、明るさの変化はあるが、色の変化はない。よって、処理は輝度信号のみで色情報の信号へは修正を加える必要はない。したがって本実施例ではＮＴＳＣ画像信号を輝度信号と色差信号に変換し、後段の消去処理部では輝度信号のみを修正する。
（ｂ）入力指示部２：修正の対象となる画像の始まりのタイミングを指示し、その指示で第１の画像蓄積部が画像入力部１からの画像情報の蓄積を始める（操作者が指示する）。
（ｃ）第１の画像蓄積部３：画像入力部１からの画像情報を入力指示部２の指示のタイミングで蓄積を始める。本実施例では蓄積終了の指示は行わないので、第１の画像蓄積部３の記録容量一杯に蓄積されたら蓄積処理を終了する（通常数百フレーム分の蓄積）。
（ｄ）位置指示部４：消去修正の対象となる部分を操作者の指示で行う部分である。本実施例では第１の画像蓄積部３に蓄積された画像のうち時間順で最も早い最初の画像を取り出して表示し、この画像中の目的の部分をパーソナルコンピュータなどで利用されているマウスを用いて指示する。ただし、本発明はこの作業の方法を限定しない。この位置指示部４で指定された位置情報は次段の特徴点位置蓄積部７に送られる。
（ｅ）特徴点追跡部５：特徴点位置蓄積部７から当該画像上の当該部位の位置情報を取得し、また当該画像と、時間的にそれに続く画像を第１の画像蓄積部３より読み出す。これから当該画像の当該部位が続きの画像上のどこに位置するかを求める。本実施例では一般的な方法であるブロックマッチング法を用いたが、本発明はこれを限定されるものではなく、オプティカルフローによる方法などの動きベクトル検出法全般が利用可能である。いずれにしても現在ある動きベクトル検出法は誤検出する可能性があり、これの対応が必要であるが、本実施例では当該画像から次の画像の対応する部位をブロックマッチングで求め、求まった次の画像の部位から当該画像にブロックマッチングを行い、当該画像の当該部位の位置と等しくならない場合は、誤検出とみなし排除している。以上の処理で求めた特徴点の位置情報を断片化防止部６へ送る。
（ｆ）断片化防止部６：被写体が時間順で拡大縮小した場合、特徴点間の距離が変化する。特に拡大した場合は特徴点間に隙間が開く。また、特徴点追跡部５で誤検出とみなされた部分も隙間となる。断片化防止部６ではこの隙間を点間の距離が近いもの同士を直線で結び、 その直線上画素の位置を新たな特徴点として追加する。本実施例では直線で結んだが、本発明はこの結線方法を限定しない。たとえば特徴点追跡部５から送られてきた特徴点を通るスプライン（spline：雲形定規的）曲線を算出し、特徴点で隙間となっている部分の対策としてこのスプライン曲線を通る画素位置を新たな特徴点として追加する。ここで、断片化を防止する理由として、上記の理由で特徴点が断片化されると、例えば消したいしわの一部が後段の消去処理部で処理を行わないこととなりしわが残ってしまう。その対策として、しわなどの画像上では連続するという特徴を利用し断片化を防止している。この断片化防止部６で結線した特徴点位置情報を特徴点位置蓄積部７へ送る。
（ｇ）特徴点位置蓄積部７：位置指示部、特徴点追跡部より送られる特徴点の位置情報を保存し、消去処理部に送る。
（ｈ）消去処理部８：特徴点位置蓄積部７の位置情報とそれに対応する画像を第１の画像蓄積部３より引き出し、それぞれの特徴点位置での画面上前後の特徴点５点を用いて（両端の場合は前あるいは後の特徴点が５点に満たない場合があるがその場合には端までのある限りの特徴点を用いる）、例えば最小二乗法によりそれらの回帰直線２１を求める。その直線２１に対し垂直方向２２へ両方向に約５画素分離れた位置（位置ａ，位置ｂとする）の２つの輝度情報（輝度ｃ，輝度ｄとする）を用い、両端（位置ａ−位置ｂ）からの距離に応じ輝度情報（輝度ｃ，輝度ｄ）を重み付け配分してその内側の輝度情報と置き換える（図２参照）。ここで本実施例では前後５点を用いて回帰直線２１を求めているが、本発明ではこの点数を限定するものではない。また、特徴点から５画素ほどの位置の輝度情報を用いているが本発明はこの距離を限定するものでもなく、画像を２次元で微分し、その輪郭画像から線の幅を求め利用することも有効である。
（ｉ）第２の画像蓄積部９：消去処理部で処理された画像を蓄積する部分。
（ｊ）出力指示部１０：第２の画像蓄積部に蓄積された動画像の再生のきっかけを指示する部分。
（ｋ）画像出力部１１：第２の画像蓄積部９より送られてくる動画像のディジタルデータをＮＴＳＣ画像信号に変換する部分。
以上のブロックを用いて本実施例では処理を行っている。処理の手順は以下の通りである。
まず、消去処理の対象となる画像源を画像入力部１に接続し、動画像の当該時間の先頭で入力指示部２により蓄積指示を行う。これによって動画像の当該部分が第１の画像蓄積部３に蓄積される。蓄積された動画像の先頭画像を位置指示部４により引き出し、消去を希望する部分の位置を指示する。位置の指示が終わると、特徴位置として特徴点位置蓄積部７に蓄積される。その後、特徴点追跡部５が特徴点位置蓄積部７からの特徴点位置を読み出し、対応する画像（画像１とする）と、それに時間的に続く画像（画像２とする）を第１の画像蓄積部１より読み出す。これらの情報から画像１の特徴点位置に対応する特徴点位置を画像２から抽出する。ここで求めた特徴点位置は断片化防止部６で連続する曲線にされ特徴点位置蓄積部７に蓄積される。以降、第１の画像蓄積部１にある限りの画像に対し同様の処理が行われる。すべての画像に対し特徴点位置が求まれば、消去処理部８において特徴点位置蓄積部７の特徴点位置情報と第１の画像蓄積部１の画像情報から消去したい部分が消去された画像が生成され、第２の動画像蓄積部９に蓄積される。第２の画像蓄積部９に蓄えられた動画像は出力指示部１０の指示をきっかけに先頭画像から再生される。
【０００６】
以上実施例について本発明の実施の形態を説明してきたが、本発明はこれに限定されることなく、特許請求の範囲で規定した発明の要旨内で各種の変形、変更の可能なことは自明であろう。
【０００７】
【発明の効果】
以上述べてきたように、本発明によれば従来手法で問題とされてきた諸欠点を排除し、撮影した画像中より不必要な線や点を少ない労力でしかも短期間で除去できる電子画像補正装置を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る電子画像補正装置の一実施例構成ブロック線図。
【図２】本発明装置の消去処理部の動作を説明するための図。
【符号の説明】
１  画像入力部
２  入力指示部
３  第１の画像蓄積部
４  位置指示部
５  特徴点追跡部
６  断片化防止部
７  特徴点位置蓄積部
８  消去処理部
９  第２の画像蓄積部
１０  出力指示部
１１  画像出力部
【図１】
0004169842.tif 000002
【図２】
0004169842.tif 000003