(57)【特許請求の範囲】
【請求項１】
時系列画像データの全画像情報量を伝達するための帯域が確保できるビットレートよりも低いビットレートで状況変化を通信するために、前記時系列画像データから興味の対象となる重要な特徴量を検出する画像処理方法であって、
入力手段により、時系列画像データを入力し、その時系列画像データを蓄積手段に蓄積させるステップと、
変化領域検出手段により、前記蓄積手段から前記時系列画像データを読み出し、その時系列画像データを差分計算することにより差分画像を求め、その差分画像を差分データ蓄積手段に蓄積させるステップと、
時系列重み付け手段により、前記差分データ蓄積手段から時系列順に前記差分画像を読み出し、その差分画像の画素の輝度に対して、過去から現在にかけて重み付け係数が大きくなるように線形あるいは非線形に重み付け加算することにより特徴画像を得るステップと、
統計的選択手段により、前記蓄積手段から前記時系列画像データを読み出し、前記時系列画像データの画素の輝度の変動を検出し、予め定めた値以上の輝度が所定の変動幅内で所定の時間以上継続して現れる画素を興味の対象とし、輝度の変動幅が前記所定の変動幅よりも大きい画素、または、予め定めた値以上の輝度が継続して現れる時間が前記所定の時間よりも短い画素を背景ノイズと識別し、前記特徴画像からその背景ノイズを除去することで不要な情報を除去して情報量を減らした伝送対象画像を得るステップと、
を有することを特徴とする画像処理方法。
【請求項２】
時系列画像データの全画像情報量を伝達するための帯域が確保できるビットレートよりも低いビットレートで状況変化を通信するために、前記時系列画像データから興味の対象となる重要な特徴量を検出する画像処理装置であって、
時系列画像データを入力する入力手段と、
入力した前記時系列画像データを蓄積する蓄積手段と、
前記蓄積手段から前記時系列画像データを読み出し、その時系列画像データを差分計算することにより差分画像を求める変化領域検出手段と、
前記差分画像を蓄積する差分データ蓄積手段と、
前記差分データ蓄積手段から時系列順に前記差分画像を読み出し、その差分画像の画素の輝度に対して、過去から現在にかけて重み付け係数が大きくなるように線形あるいは非線形に重み付け加算することにより特徴画像を得る時系列重み付け手段と、
前記蓄積手段から前記時系列画像データを読み出し、前記時系列画像データの画素の輝度の変動を検出し、予め定めた値以上の輝度が所定の変動幅内で所定の時間以上継続して現れる画素を興味の対象とし、輝度の変動幅が前記所定の変動幅よりも大きい画素、または、予め定めた値以上の輝度が継続して現れる時間が前記所定の時間よりも短い画素を背景ノイズと識別し、前記特徴画像からその背景ノイズを除去することで不要な情報を除去して情報量を減らした伝送対象画像を得る統計的選択手段と、
を有することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理方法における各ステップをコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列画像データから必要最小限の情報を抽出する技術に関する。
【背景技術】
【０００２】
近年、ＩＰカメラや携帯などを用いたＴＶ会議が盛んである。特に、低ビットレートでの通信が低コスト化のために必要となっている。ＷＥＢカメラを用いた遠隔監視でも同様である。低ビットレート化した場合、図７に示すように、ブロックノイズが多くなり、画質が著しく悪いだけでなく、顔の表情など、重要な変化がわかりづらくなっている問題がある。
【０００３】
非特許文献１によれば、顔表情モデルと画像処理を組み合わせることで、表情変化の補間が示されている。しかし、人工的な表情モデルを介するために、得られる表情は不自然が生じてしまっている問題がある。
【０００４】
実際の表情変化情報をいかに伝達するかについては帯域が十分確保されていれば、問題がほとんどない。しかし、低ビットレートではそれに合った画像処理を加えることが必要となるが、非特許文献１に示す人工的なモデルを用いない方法が必須である。
【０００５】
また、低ビットレート化のために、顔の表情に限らず、細かい重要な情報が欠落してしまうため、工夫が必要である。
【非特許文献１】李元中、外１名、「スケッチ画像とマルチスケールエッジに基づく顔の表情変換の実現」、電子情報通信学会論文誌  Ｄ−ＩＩ、電子情報通信学会、１９９９年５月、Vol. J82-D-II、No.5、p.900-908
【発明の開示】
【発明が解決しようとする課題】
【０００６】
図７に示すように、低ビットレート化に伴って、ぼやけ、リンギング、モスキートノイズなどブロックノイズが生じる問題が知られている。そのため、伝送された画像は圧縮化による見づらい画像となる。また、ローパスフィルタを適用することでブロックノイズが緩和されるが、重要な画像特徴量もぼやけてしまい、表情変化などの状況変化がわかりにくいという問題がある。
【０００７】
高ビットレートの場合は、画質は良くなるが、伝送容量が大きいので送信に時間を要するという問題がある。
【０００８】
本発明は、上記に鑑みてなされたものであり、その課題とするところは、低ビットレートでも状況変化を高速に通信するため、画像処理により重要な特徴量を検出することにある。
【課題を解決するための手段】
【０００９】
第１の本発明に係る画像処理方法は、時系列画像データの全画像情報量を伝達するための帯域が確保できるビットレートよりも低いビットレートで状況変化を通信するために、前記時系列画像データから興味の対象となる重要な特徴量を検出する画像処理方法であって、入力手段により、時系列画像データを入力し、その時系列画像データを蓄積手段に蓄積させるステップと、変化領域検出手段により、前記蓄積手段から前記時系列画像データを読み出し、その時系列画像データを差分計算することにより差分画像を求め、その差分画像を差分データ蓄積手段に蓄積させるステップと、時系列重み付け手段により、前記差分データ蓄積手段から時系列順に前記差分画像を読み出し、その差分画像の画素の輝度に対して、過去から現在にかけて重み付け係数が大きくなるように線形あるいは非線形に重み付け加算することにより特徴画像を得るステップと、統計的選択手段により、前記蓄積手段から前記時系列画像データを読み出し、前記時系列画像データの画素の輝度の変動を検出し、予め定めた値以上の輝度が所定の変動幅内で所定の時間以上継続して現れる画素を興味の対象とし、輝度の変動幅が前記所定の変動幅よりも大きい画素、または、予め定めた値以上の輝度が継続して現れる時間が前記所定の時間よりも短い画素を背景ノイズと識別し、前記特徴画像からその背景ノイズを除去することで不要な情報を除去して情報量を減らした伝送対象画像を得るステップと、を有することを特徴とする。
【００１０】
本発明にあっては、変化領域検出手段が求めた差分画像に対して、過去から現在にかけてはっきりと明るくなるように重み付けをすることにより、例えば顔の表情の変化など、画像データの変化について残像効果が醸し出された特徴画像を得ることができる。また、統計的選択手段が統計的な性質に基づいて背景ノイズを識別することにより、必要な情報のみを選択し、情報量を減らすことができるので、低ビットレートでも状況変化を高速に通信することが可能となる。
【００１２】
本発明にあっては、背景ノイズの識別を画素の輝度変動の幅および輝度の継続時間により識別することにより、背景ノイズの識別を単純に処理することができるので、携帯電話内での計算など、リアルタイム処理が可能となる。
【００１３】
第２の本発明に係る画像処理装置は、時系列画像データの全画像情報量を伝達するための帯域が確保できるビットレートよりも低いビットレートで状況変化を通信するために、前記時系列画像データから興味の対象となる重要な特徴量を検出する画像処理装置であって、時系列画像データを入力する入力手段と、入力した前記時系列画像データを蓄積する蓄積手段と、前記蓄積手段から前記時系列画像データを読み出し、その時系列画像データを差分計算することにより差分画像を求める変化領域検出手段と、前記差分画像を蓄積する差分データ蓄積手段と、前記差分データ蓄積手段から時系列順に前記差分画像を読み出し、その差分画像の画素の輝度に対して、過去から現在にかけて重み付け係数が大きくなるように線形あるいは非線形に重み付け加算することにより特徴画像を得る時系列重み付け手段と、前記蓄積手段から前記時系列画像データを読み出し、前記時系列画像データの画素の輝度の変動を検出し、予め定めた値以上の輝度が所定の変動幅内で所定の時間以上継続して現れる画素を興味の対象とし、輝度の変動幅が前記所定の変動幅よりも大きい画素、または、予め定めた値以上の輝度が継続して現れる時間が前記所定の時間よりも短い画素を背景ノイズと識別し、前記特徴画像からその背景ノイズを除去することで不要な情報を除去して情報量を減らした伝送対象画像を得る統計的選択手段と、を有することを特徴とする。
【００１５】
第３の本発明に係る画像処理プログラムは、上記画像処理方法における各ステップをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、低ビットレートでも状況変化を高速に通信するため、画像処理により重要な特徴量を検出することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を用いて説明する。
【００１８】
図１は、本実施の形態における画像処理装置の構成を示すブロック図である。同図に示す画像処理装置は、データ入力部１００、データ蓄積部１１０、変化領域検出部１２０、差分データ蓄積部１３０、時系列重み付け部１４０、統計的選択部１５０および表示部１６０を有する。本画像処理装置を、演算処理装置、記憶装置、メモリ等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは画像処理装置が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部の詳細について説明する。
【００１９】
データ入力部１００は、図示しないカメラを通じて時系列の画像を入力し、データ蓄積部１１０に蓄積する。
【００２０】
変化領域検出部１２０は、データ蓄積部１１０に蓄積された時系列画像を読み出し、その時系列画像の時間的な変化を差分計算により求める。そして、差分計算により求めた差分画像を差分データ蓄積部１３０に蓄積する。
【００２１】
時系列重み付け部１４０は、差分データ蓄積部１３０に蓄積された差分画像を時系列順に読み出し、読み出した差分画像に対して、過去の差分画像の濃淡値ほど薄くなるように、線形または非線形に重み付けを行う。
【００２２】
統計的選択部１５０は、背景の余分な動き、つまり興味の対象以外の動きを除去するために、動きの大きさと統計モデルに基づいて興味の対象の動きを選択する。
【００２３】
携帯電話やパーソナルコンピュータの端末の画面などの表示部１６０は、時系列重み付け部１４０で重み付けした画像のうち、統計的選択部１５０で選択された箇所の画像を表示する。現在から過去の時系列画像について、重み付けにより濃淡値を変化させることにより、表示される画像には残像効果が醸し出される。
【００２４】
次に、変化領域検出部１２０および時系列重み付け部１４０の処理について説明する。図２は、データ蓄積部１１０に蓄積された時系列画像２００から重み付けされた差分画像２１０を計算する様子を示している。
【００２５】
データ蓄積部１１０には、過去から現在にかけて、５秒前後の残像が残る分だけの時系列画像を蓄積する。図２では、背景を含む人の表情変化を写した時間ｔ，ｔ−１の時系列画像２００を示している。
【００２６】
変化領域検出部１２０は、データ蓄積部１１０から時間的に隣接する時系列画像２００を読み出し、時間差分により差分画像２１０を計算する。
【００２７】
時系列重み付け部１４０は、得られた差分画像が現在に近い方がはっきりと明るく、過去ほど暗くなるように重み付け加算し、画像の変化した箇所に残像効果が醸し出された特徴画像を得る。
【００２８】
重み付け関数は、図２の符号２２０，２２１に示すように、線形でも非線形てもよい。
【００２９】
画像濃淡値（輝度）を Img(i,j,t) と定義する。 Img(i,j,t) は、時間ｔの画像における画素（ｉ，ｊ）での画像濃淡値である。画像１枚の画素数は、Ｎ・Ｍ（例えば、縦の画素数がＮであり、横の画素数がＭ）である。ただし、０≦ｉ≦Ｎ，０≦ｊ≦Ｍ、ｉ，ｊは整数である。時間差分は、時間的に隣接する画像２００同士で差分をとったあと、その絶対値をとる。この結果を差分画像と呼ぶ。差分画像は次式（１）で計算される。
【数１】
0004722147.tif 000002
【００３０】
各差分画像に対して、次式（２）で示すように重み付けを行い、表示に用いる特徴画像を得る。
【数２】
0004722147.tif 000003
【００３１】
ここで、ｓは重み付けを示す。Ｆは、重み付けされた差分画像の和が表示階調（例えば８ビット内）におさまるように規格化するためのものである。Ｔは用いる過去の画像の枚数であり、所望の時間だけ残像が残る枚数とする。重み付け関数は、例えば、ｓ［ｔ］＝１−ｔ／Ｔ、あるいは、ｓ［ｔ］＝ｃｏｓ（πｔ／２Ｔ）などである。
【００３２】
次に、統計的選択部１５０の処理について説明する。統計的選択部１５０は、時系列画像から背景ノイズと興味の対象を識別して興味の対象のみを選択する。背景ノイズと興味の対象との識別は両者の統計的な性質を利用して行う。背景ノイズが連続的に同じ輝度（濃淡値）で同じ位置に現れる確率が小さく、興味の対象が継続的に同じ輝度で現れる時間が長いことを活用する。統計的には、背景ノイズはポアソン分布となり、興味の対象はガウス分布になる特徴がある。
【００３３】
このことから、統計的選択部１５０は、データ蓄積部１１０から時系列画像を読み出し、一定以上の輝度で、同じ領域（画素）が一定時間以上継続する箇所を興味の対象とする。逆に、一定以上の輝度であっても、輝度変動幅が大きい場合や、同じ領域（画素）で継続して現れる時間が短い箇所は背景ノイズとする。なお、興味の対象の輝度も、緩やかにある範囲内で変動するため、各画素単位に輝度変動幅で、８ビット階調のうち３〜５を設定し、一定画像領域内（半径１〜１０画素）での変化量について、興味の対象であるか否かを識別する。
【００３４】
図３は、ある画素における輝度値の変化を示している。符号３００に示す画素は、輝度値の変動がほとんどなく、一定時間以上継続しているので興味の対象と識別される。一方、符号３１０に示す画素は、輝度値が上下に変動し、継続する時間が短いので背景ノイズと識別される。
【００３５】
図４は、背景ノイズを含んだ画像４００から背景ノイズを除去した様子を示す。このように、背景に輝度変化が激しい余分な動きがある場合に、差分画像を重み付け加算した特徴画像にそれが強調されてしまうが、統計的選択部１５０により背景ノイズとして除去することができる。
【００３６】
次に、本実施の形態における画像処理装置の効果について説明する。図５，６は、本手法を適用した場合としない場合での評価結果である。表情変化、自然現象変化など、さまざまな時系列画像を用いて、画像の平均的な情報量と主観的な見づらさに関する視認性を評価する実験を行った。その結果、図５に示すように、処理をしない場合の画像情報量を１．０とした場合、相対的には、本手法によれば２０％程度の画像情報量になった。
【００３７】
図６に示すように、視認性を評価すると、圧縮しないもとの画像を最良とした場合、処理無しでは見づらさのために、主観評価は低い評価を得た。これに対して、本手法によれば、ほとんど問題がない結果となった。意味ある動きの一部のみが表示されるため、最良の結果にはならなかったが、有効の範囲内に留まった。このことから、本手法によれば、低ビットレート通信向けに最適な画像処理方法であることが確認された。
【００３８】
したがって、本実施の形態によれば、変化領域検出部１２０で差分画像を算出し、時系列重み付け部１４０が、過去から現在にかけて重み付け係数が大きくなるように重み付け加算をすることにより、残像効果が醸し出された特徴画像を得ることができる。また、統計的選択部１５０が、画素の輝度変動が緩やかで継続的に現れる箇所を興味の対象と選択することにより、背景ノイズなど不要な情報を除去し、画像情報量を減らすことができるので、低ビットレートでも状況変化を高速に通信することが可能となる。
【００３９】
なお、本発明は、表情変化だけでなく、自然環境変化、動作変化など幅広く応用できる。
【図面の簡単な説明】
【００４０】
【図１】一実施の形態における画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置が時系列画像から差分画像を計算し、重み付けを行う処理を示す概略図である。
【図３】画素の輝度値の変化の例を示す図である。
【図４】背景ノイズを除去する様子を示す模式図である。
【図５】従来方式と本実施の形態の方式での画像情報量の違いを示すグラフである。
【図６】従来方式と本実施の形態の方式での視認性の違いを示すグラフである。
【図７】ＭＰＥＧなどにおけるブロック化画像のブロックノイズを示す図である。
【符号の説明】
【００４１】
１００…データ入力部
１１０…データ蓄積部
１２０…変化領域検出部
１３０…差分データ蓄積部
１４０…時系列重み付け部
１５０…統計的選択部
１６０…表示部
【図１】
0004722147.tif 000004
【図３】
0004722147.tif 000005
【図５】
0004722147.tif 000006
【図６】
0004722147.tif 000007
【図２】
0004722147.tif 000008
【図４】
0004722147.tif 000009
【図７】
0004722147.tif 000010