(57)【要約】【課題】移動する前景が見ている人にとって最も興味がある場合に、背景から移動している前景を切り離す方法。【解決手段】神経ネットワークへの入力として、三つの検出アルゴリズムを使用する。使用する複数の基準は、焦点、輝度および移動である。上記神経ネットワークは、二つの層を含む神経ネットワークである。焦点測定値および移動測定値は、周波数の高いデータ、すなわち、縁部から入手する。一方、輝度測定値は、周波数の低いデータ、すなわち、対象物の内部から入手する。これらの測定値は結合され、完全な対象物をセグメント分割するために使用される。そうすることにより、移動している前景を、静止している前景、および移動している背景または静止している背景から切り離すことができる。【選択図】図２
2008282416.tif 000002
【特許請求の範囲】
【請求項１】
背景から前景をセグメント分割するために、画像シーケンスを処理するための方法であって、
ａ）シーケンスの連続画像を取得するステップと、
ｂ）連続画像のピクセルの移動、焦点および輝度を同時に測定するステップと、
ｃ）前記の移動、焦点および輝度測定値を神経ネットワークに入力するステップと、
ｄ）前記移動、焦点および輝度測定値を使用して、前記神経ネットワークにより、前景セグメントおよび背景セグメントを計算するステップと、
ｅ）前記の計算した前景のセグメントおよび背景のセグメントに基づいて、セグメントマップを作成するステップと、
ｆ）二つの最初のフレームおよび手作業でセグメント分割した結果を使用して、前記神経ネットワークをトレーニングするステップと、
ｇ）適応学習速度が下記式により表わされる場合に、前記適応学習速度を使用して、前記トレーニング・ステップｆ）をスピートアップするステップを含む方法。
Δｗ＝ｌｒ＊ｄｐＴ
Δｂ＝ｌｒ＊ｄ
（但し、ｗは層の加重、ｂは層のバイアス、ｌｒは適応学習速度、ｄは前記層のデルタ・ベクトル、ｐは前記層の入力ベクトル、Ｔはベクトルｐが、最初に移項されることを示す）
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、統合基準に基づいて背景から前景をセグメント分割するための方法を提供する。この方法は、複合シーンをセグメント分割するために、二層神経ネットワークを使用する、三つの値、すなわち、焦点測定値、輝度測定値および移動測定値を統合する。その利点は、種々のシーンをセグメント分割するための頑丈さを増大するために、単一のセグメント分割測定値を結合することである。
【０００２】
画像シーケンスの三つの別々のセグメントマップを形成することにより、本発明は、神経ネットワークのトレーニングに基づいて最善のマップを選択する。図１は、種々の画像を使用して、このネットワークをトレーニングして決定した最適加重と一緒に、本発明で使用する上記神経ネットワークを示す。
【０００３】
各マップは、Ｎ×ＭピクセルからなるＮ×Ｍ画像である。神経ネットワークへの入力は、ピクセルＩ（ｉ，ｊ）、ｍ（ｉ，ｊ）、ｆ（ｉ，ｊ）に対応する。この場合、ｉ＝１、．．．、Ｎであり、ｊ＝１、．．．Ｍである。これらの配列は、一度に一つずつ、左から右、上から下の順番になっている。移動マップに対するピクセル値は、０または２５５である。（この場合、０は移動が全然ないことを示し、２５５は移動を示す。）焦点マップ、輝度マップに対するピクセル値は、０−２５５である。
【０００４】
各ピクセルが神経ネットワークに入力されると、ネットワークは（ｉ，ｊ）入力に対する出力値ο（ｉ、ｊ）を計算する。最後の出力結果は、Ｎ×Ｍ画像である。この場合、０＝背景、２５５＝前景である。
【０００５】
それ故、一つの画像の処理をＮ×Ｍ回繰り返されるループと見なすことができる。すなわち、神経ネットワークが、Ｎ×Ｍ回アクセスされるものを見なすことができる。同様に、画像のシーケンスの場合には、一つの画像ループがＮ×Ｍ回反復される場合で、画像数がＫである場合には、神経ネットワークがＮ×Ｍ回アクセスされる。
【０００６】
本発明の場合には、二層神経ネットワークは、セグメント分割に対して三つの測定値、すなわち、焦点測定値、輝度測定値、および移動測定値を含む。それぞれ、焦点、輝度または移動を検出するための任意の技術は、その技術が、同じ情報に基づいてセグメント分割マップを提供する限りは、満足するということは注目に値する。神経ネットワークのトレーニングは、異なるセグメント分割技術を使用して、種々の入力に適用する適当な加重を決定する。
【０００７】
シーンについて二つの仮定を行う。第一の仮定は、前景に焦点が結ばれ、背景がボケているとすること、すなわち、より近い対象物に焦点が結ばれているとすることである。第二の仮定は、セグメント分割される対象物が移動しているとすることである。
【０００８】
＜セグメント分割測定＞
＜焦点検出装置＞
本発明で使用される焦点検出技術は、周知の技術であるので、この技術を非常に詳細に説明する必要はない。しかし、本発明を簡単に説明すれば、本発明を理解するのに役立つだろう。
【０００９】
焦点は、深さの関数である。ある縁部が焦点から遠ざかると、その縁部はますますボヤけることになる。この測定値は深さの違いを示す。ある物点Ｅが焦点でない場合、得られる画像は、錯乱円と呼ばれるボケた画像ｅである。それ故、上記錯乱円の大きさは、すなわち、焦点の深さは点Ｎの深さｕの関数である。
【００１０】
像焦点は、画像の縁部のような高周波成分から容易に測定することができる。ある縁部の画像がハッキリすればするほど、縁部強度からの像焦点はますます高くなる。ある画像の付近のｎ×ｎの領域内の焦点測定値ｄは、下記式で表わされる。
【００１１】
ここで、｜Ｓ（ｘ，ｙ）｜２は、画像ｇ（ｘ，ｙ）上のソーベル縁部検出の大きさであり、ｗは画像ｇ（ｘ，ｙ）の縁部の幅である。付近のｎ×ｎ領域内においては、ｆ（ｘ＋ｉ，ｙ＋ｊ）＝ｄである。ここで、ｆ（ｘ，ｙ）は、焦点測定画像である。この場合、ｉ＝０、．．．、ｎであり、ｊ＝０，．．．，ｎである。
【００１２】
この検出装置の出力は、焦点が合っている現在の画像のピクセル、およびボケているピクセル、すなわち、前景の一部であるピクセル、および背景の一部であるピクセルを示すマップである。その後、このマップは、以下に説明するように、神経ネットワークに送られる。
【００１３】
＜移動検出装置＞
焦点検出の場合と同様に、本発明で使用する移動検出技術は周知の物であるので、本発明を説明するために、この技術を詳細に説明する必要はない。しかし、本発明を簡単に説明すれば、本発明を理解するのに役立つだろう。
移動は引算により検出される。
ｍｄ（ｘ，ｙ）＝ｇｉ＋ｌ（ｘ，ｙ）−ｇｉ（ｘ，ｙ）
【００１４】
ここで、ｍｄ（ｘ、ｙ）は、移動を検出された画像であり、ｇｉおよびｇｉ＋１は、シーケンスのｉ番目および（ｉ＋１）番目のフレームである。連続フレームの間の移動は、しきい値Ｔより大きいピクセルの差により表わされる。上記ピクセルの差が上記しきい値より大きい場合には、現在の画像のピクセルは２５５のグレイ・レベルに設定され、そうでない場合には、０のグレイ・レベルに設定される。この場合、２５５のグレイ・レベルは黒を表わし、０のグレイ・レベルは白を表わす。このしきい値は周知の方法で、実験的に決定される。対象物が移動しない場合には、結果は黒の画像になる。
【００１５】
【数１】
2008282416.tif 000003
【００１６】
ここで、ｍ（ｘ，ｙ）は、移動がセグメント分割された画像である。
この移動検出装置からの出力は、移動中のピクセル、それぞれ、および前景の一部であるピクセル、および背景の一部であるピクセルを表わす移動中でないピクセルを示す移動マップである。
【００１７】
＜輝度検出装置＞
焦点検出および移動検出の場合と同様に、本発明で使用する輝度検出技術は周知の物であるので、本発明を説明するためにこの技術を詳細に説明する必要はない。しかし、本発明を簡単に説明すれば、本発明を理解するのに役立つだろう。
【００１８】
輝度Ｉ（ｘ，ｙ）は、単に０−２５５のグレイ・レベルである。前景輝度データが重要であるのは、対象物の内部をセグメント分割する際に、このデータが神経ネットワークを助けるからである。焦点および移動は、対象物の縁部から測定される。それ故、上記対象物の内部については、第三の測定を行う必要がある。研究中この測定は輝度であり、この場合、神経ネットワークには大きな領域が入力される。
【００１９】
この検出装置の出力は、前景に属するピクセル、および背景に属するピクセルを示す輝度マップである。
【００２０】
＜神経ネットワーク＞
シーケンスをセグメント分割するために、二層後方伝播神経ネットワークをトレーニングする。
【００２１】
図１は、ネットワーク・アーキテクチャである。神経ネットワーク１０は、隠れた層１１および出力層１２を含む。上記隠れた層１１は二つのニューロン１３、１４を含み、上記出力層は一つのニューロン１５を含む。上記ニューロン１３−１５は、加重入力を持つＳ字状の関数を使用する。本質的には、これらニューロンは、加重入力を持つ総和器である。上記ネットワークへの入力は、移動、焦点および輝度の測定値か、セグメント分割マップである。出力はセグメント分割された前景画像ο（ｘ，ｙ）である。
【００２２】
【数２】
2008282416.tif 000004
【００２３】
上記ネットワークは、シーケンスの最初の二つのフレーム、およびその手作業によりセグメント分割された結果によりトレーニングされる。下記式に示すように、適応学習速度によりトレーニングをスピードアップすることができる。
Δｗ＝ｌｒ＊ｄｐＴ
Δｂ＝ｌｒ＊ｄ
【００２４】
ここで、ｗは層の加重であり、ｂはそのバイアスであり、ｌｒは適応学習速度であり、ｄは層のデルタ・ベクトルであり、ｐはその入力ベクトルであり、Ｔはベクトルｐが掛け算を行う前に最初に移項されることを示す。
【００２５】
＜方法＞
本発明は、画像をコード化するための内蔵セグメント分割方法を提供する。前景の特徴および背景の特徴はセグメント分割され、背景の特徴は捨て去られる。ネットワークは、移動、輝度およびセグメント分割されたデータを入手するために、最初、シーケンスの最初の二つのフレームを使用してトレーニングされる。図２を参照されたい。この図は、神経ネットワークをトレーニングするための四つのステップを含むトレーニング・アルゴリズム２０を示す、
【００２６】
上記プロセスの第一のステップ２１において、上記シーケンス中の第一の画像が入手される。次に、上記画像は、ステップ２２で、手作業によりセグメント分割される。次に、ステップ２３において、移動、焦点および輝度が計算される。最後に、神経ネットワークが、上記のスピートアップ・プロセスによりトレーニング２４される。
【００２７】
図３は、四つのステップを含むセグメント分割アルゴリズム３０である。最初に、ステップ３１において二つの連続している画像が入手される。次に、ステップ３２において、焦点、移動および輝度が測定される。ステップ３３において、上記測定値が、トレーニングを受けた神経ネットワークに入力される。ネットワークは、セグメント分割した前景を出力する。ステップ３４において、上記のセグメント分割された前景の輪郭が、その後、本発明の能力を示す元の画像の上に描かれる。
【００２８】
図５（ｃ）を見れば分かるように、このプロセスの出力は、背景から男を正しく切り離した。セグメント分割マップは、画像コード化プロセス中に、背景から前景を分離するためのマスクとして使用される。
【００２９】
神経ネットワークは、下記式を計算するために下記の表１の加重を適用する。
【００３０】
【数３】
2008282416.tif 000005
【００３１】
ここで、ο（ｘ、ｙ）はセグメント分割マップであり、Ｉ（ｘ、ｙ）は輝度セグメント分割マップであり、ｍ（ｘ、ｙ）は移動セグメント分割マップであり、ｆ（ｘ、ｙ）は、焦点セグメント分割マップであり、ｂ（ｘ、ｙ）はバイアス情報であり、ｖ１１、ｖ２１、ｖ３１、ｖ４１、ｖ１２、ｖ２２、ｖ３２、ｖ４２、ｗ１、ｗ２およびｗ３は、表１の加重である。これらの加重は、いくつかの特定の画像に使用するものとして決定されたものである。使用している正確な加重により、正確な加重を修正する場合が出てくる。これらの加重は、単に発明者が決定した加重である。
【００３２】
【表１】
2008282416.tif 000006
【００３３】
＜結果＞
＜神経ネットワークのトレーニング＞
図４は、試験シーケンスのトレーニング中の誤り率（合計平方エラー）４１対エポック（すなわち、Ｎ×Ｍ画像に対する、処理のＮ×Ｍバイト処理、トレーニング・サイクル）の曲線４０である（図５参照）。うまくトレーニングを行えば、トレーニング時間が増すにつれて、エラーは少なくなり、最終的にはエラーを最小にすることができる。我々のトレーニング・セッションにおいては、４０００で合計平方エラーが最小になった。このことは、我々の０．００２５／ピクセルの１７６×１４４画像に対する神経ネットワークが発生したセグメント分割マップと、実際のセグメント分割マップとの間の平均輝度の差に変換される。
【００３４】
本発明の利点は、セグメント分割した対象物の内部を充填するために、後処理を全然行わなくても、セグメント分割を行うことができるということである。従来技術の場合には、図５（ｂ）に示すセグメント分割マスクを生成するために、充填作業が必要であった。充填作業は軽視できないものである。特に、閉鎖しているライン・セグメントを持たない画像の場合には軽視することはできない。本発明によれば、対象物の形は神経ネットワークでの輝度測定により保存される。焦点検出装置および移動検出装置は、高周波成分である縁部効果により動作するので、上記検出装置は画像内部に関しては全然情報を提供しない。それ故、輝度測定を行わない場合には、充填作業が必要になる。輝度測定は、画像内部に関する情報を提供するので、神経ネットワークでこの情報を使用すると、画像の内部を充填する必要がなくなり、そのため、後処理充填ステップが必要なくなる。さらに、輝度測定は簡単に計算できる。
【００３５】
＜セグメント分割＞
図５は、画像シーケンスの、あるフレームに対するセグメント分割結果を示す。この図に示すように、このシーケンスの１５番目のフレームに対する神経ネットワークのセグメント分割は正確である。このセグメント分割は、上記シーケンスの第一および第二のフレーム上でトレーニングされたものである。図５（ａ）は、カメラ６１からの出力である。この出力は三つの検出装置の入力になる。図５（ｂ）は、神経ネットワークからの最後のセグメント分割マップ出力である。図を見ればハッキリと分かるように、この出力は図の略図によく一致する。図５（ｃ）は、セグメント分割の前景の略図である。この図は前景および背景の境界を示す。この図は、このセグメント分割方法が成功した場合のものであるが、コード化プロセスの次のステップに対して、実際には決して生成されないものである。
【００３６】
図６は、本発明の方法を実行するための装置６０である。二つの連続している画像が、最初、例えば、デジタル・カメラ６１により取得される。次に、上記のデジタル化された画像が、それぞれ、セグメント分割マップ、焦点セグメント分割マップ、および輝度セグメント分割マップを計算する、三つの検出装置６３、６４、６５に送られる。これらのマップは、その後、神経ネットワーク６６に送られ、上記神経ネットワーク６６は最終セグメント分割マップを出力し、上記マップは背景から前景の輪郭を描くために使用される。
【００３７】
それ故、本発明は、統合測定により前景および背景をセグメント分割する方法を開示する。この方法は、二つの理由で有利なものである。一方の理由は計算が簡単なことである。他方の理由は結合測定により、複合シーンをセグメント分割する際の強度が増大することである。他の可能な実施形態は、セグメント分割のベースとして、輝度測定対カラー測定の比較を含む。
【００３８】
神経ネットワークが、複数のマップの統合および加重の割当てを行うために使用されるが、ファジィ論理回路も使用することができる。本発明は、デジタル・カメラおよびビデオ・ボードのような画像取得装置を備える、サン・スパーク・ワークステーションで実行することもできる。
【００３９】
この方法を修正することもできるし、神経ネットワークへの追加入力として、または焦点測定または輝度測定の一方の代わりとして、周知の不均衡検出装置を使用することもできる。このような修正などは、焦点検出装置または輝度検出装置の一方を不均衡検出装置で置き換えることによって行うことができる。上記不均衡検出装置は、セグメント分割マップのそのバージョンを出力し、上記マップは、その後、神経ネットワークにより加重される。
【００４０】
[発明の背景]
本発明は、その全文を引用によって本明細書の記載に援用する、１９９５年４月２５日付けの、同じ発明者による出願第０８／４２９，４５８号に関連する。
【００４１】
本発明は、概して、ビデオ・コード化に関し、特にその内部でコード化が行われる前に、画像が対象物に分解されるビデオ・コード化に関する。その後、個々の対象物は、それぞれ別々にコード化される。
【００４２】
多くの画像送信および画像記憶の場合には、画像の移動する対象物の起動がうまく推定することができる場合には、有意のデータ圧縮を行うことができる。従来、簡単で効率的であるために、ブロック指向移動推定が広く研究されてきた。しかし、あるシーンのブロックと対象物との間の境界は通常一致しない。何故なら、ブロックは画像内容に適応しないからである。そのため、低いビット速度のコード化装置の場合には、ボケおよび蚊模様と呼ばれる、目に感じる歪が発生する場合がある。
【００４３】
対象物指向コード化技術は、ブロック指向コード化の欠点を克服するために開発された。あるタイプの対象物指向コード化の場合には、画像シーケンスは、複数の移動対象物のセグメントに分割される。均等な移動をする大きな領域を抽出することができるが、そのため、より高度の圧縮が行われる結果となり、また目に感じる境界の歪も大きくなる。ゆっくりと変化する背景と比較すると、前景の対象物は、より新しい情報を含んでいるので、背景の送信頻度は、前景の送信頻度より少なくてすむ。従って、不当な歪を起こさないで必要な圧縮を行うには、前景の対象物を正しく識別しなければならない。
【００４４】
その結果、対象物指向画像処理の場合には、セグメントへの分割は重要な中間ステップとなる。そのため、移動をベースとし、焦点をベースとし、輝度をベースとし、および不均衡をベースとするセグメント分割のような多くのセグメント分割方法が試みられてきた。上記各方法に関連する問題は、これらの方法が特徴を指定する方法であるために、この方法をうまく適用できるシーンが制限されるということである。例えば、上記シーンは、適用可能な移動をベースとするセグメント分割に対する移動を含んでいなければならない。上記シーンは、輝度をベースとするセグメント分割を行うための有意なコントラストを含んでいなければならない。他の方法に対しても、類似の特徴が必要になる。さらに、移動をベースとする方法は、背景上を前景の影が移動するような、前景の移動と背景の移動の両方を含むシーンには、使用してもうまくいかない。焦点をベースとする方法も、前景がボケている場合には使用することができない。輝度をベースとする方法は、織り目を持つ対象物には使用することができない。何故なら、単一の対象物が誤って複数の対象物にセグメント分割されてしまうからである。不均衡をベースとする方法での不均衡の測定は、複雑で誤りを起こし易い。
【００４５】
ある方法の場合には、この問題を克服することができるコード化方法を選択するために、画像についての予備知識が使用される。しかし、この方法は、処理の際に画像のタイプを決定し、その後で、その画像に対する最も適当なコード化タイプを選択しなければならないので、画像のコード化を行うのが不便である。この方法を使用すると、コード化を行う前の画像の処理コストが有意に増大する。そうでない場合には、画質がもっと低いコード化を使用しなければならない。都合の悪いことに、代わりのこれらの方法は、どれも使用することができない。何故なら、画像送信のための帯域幅が狭いのに、消費者は技術の改善によるより高い画質を期待しているからである。
【００４６】
そのため、これらの方法の利点をどのようにうまく使い、前景および背景のセグメント分割の際の欠点をどのようにカバーするかということが問題になってきている。いくつかの可能性が検討された。一つの方法は、移動情報と輝度情報とを移動する対象物の境界を決定する一つのセグメント分割手順に結合する方法である。この場合もまた、この方法はうまくいかない。何故なら、移動する背景が移動する前景と一緒にセグメント分割され、そのため前景として分類され、コード化されるからである。
【００４７】
他の方法は、画像の背景部分から、画像の前景部分をセグメント分割するために、焦点をボカし、移動の検出を行う。図７−図９にこの方法を示す。図７は上記プロセスを示し、図８はいくつかのフレームのセグメント分割結果であり、図９は焦点がボケている状態での測定の結果を示す。しかし、この方法は、上記プロセスで充填ステップを行わなければならない。充填は軽視できる問題ではない。特にこのプロセスにより出力された前景画像セグメントが、閉じた境界を持たない画像の場合には軽視できない。この場合、全体のプロセスはさらにかなり複雑なものになる。ビデオコード化固有の複雑さがある場合には、それ自身内のおよびそれ自身のすべての複雑なステップを除去することが重要である。
【００４８】
それ故、本発明は、画像をコード化する前に、画像シーケンスで背景から、前景をセグメント分割するための方法および装置を開発するためのものである。上記方法および装置は、セグメント分割される画像に関する予備知識を必要としないし、その上比較的簡単に実行することができる。
【００４９】
[発明の概要]
本発明は、個々の各技術が決定したセグメント分割マッピングに、適当な加重を適用するために、神経ネットワークを使用して複数のセグメント分割技術を結合することによりこの問題を解決する。この場合、上記神経ネットワークは、手作業でセグメント分割された画像によりトレーニング済みである。トレーニングが行われると、上記神経ネットワークは、適当な加重を種々の技術で決定したセグメント分割マップに割り当てる。
【００５０】
本発明の方法および装置の一実施形態の場合には、画像の移動、焦点および輝度セグメント分割マップを計算し、これら各マップを神経ネットワークに送る。上記神経ネットワークは、最終的セグメント分割マップを計算し、その後、このマップは元の画像上のセグメント分割された前景の輪郭を描くのに使用される。この実施形態の場合には、神経ネットワークへの、種々のセグメント分割マップ入力を検出する際に使用するために、二つの連続している画像の取得が行われる。
【００５１】
移動検出ステップは、連続フレームのピクセルの間の差の検出と、あるピクセルに対する差が所定のしきい値を超えた場合には、そのピクセルが移動中であるとの判断とを含む。焦点検出ステップは、ｎ×ｎのピクセル正方形のソーベル縁部検出の大きさの計算と、上記ソーベル縁部検出の大きさを、縁部の幅で割ることとを含む。輝度検出ステップは、上記ピクセルのグレイ・レベルの決定を含む。
【００５２】
背景から前景をセグメント分割するために、画像シーケンスを処理するための本発明の方法の他の実施形態は、上記シーケンス中の連続画像の取得と、上記連続画像内のピクセルの移動、焦点および輝度の同時測定と、神経ネットワークへの、移動、焦点および輝度の測定値の入力と、神経ネットワークによる上記移動、焦点および輝度の測定値による前景セグメントと背景セグメントとの計算と、上記の計算した前景セグメントおよび背景セグメントに基づくセグメント・マップの作成とを含む。
【００５３】
本発明の上記方法の好適な実施形態の場合には、適応学習速度により神経ネットワークのトレーニングをスピードアップすることができる。適応学習速度の一つの可能な実施形態は、下記式により表わすことができる。
Δｗ＝ｌｒ＊ｄｐＴ
Δｂ＝ｌｒ＊ｄ
【００５４】
ここで、ｗは層の加重、ｂは層のバイアス、ｌｒは適応学習速度、ｄは上記層のデルタ・ベクトル、ｐは上記層の入力ベクトル、Ｔは掛け算を行う前にベクトルｐが、最初に移項されることを示す。
【００５５】
本発明の画像のシーケンスから前景および背景をセグメント分割するための装置は、移動検出装置、焦点検出装置、輝度検出装置および神経ネットワークを含む。上記移動検出装置は、画像シーケンス内のピクセルの移動を検出し、移動セグメント分割マップを出力する。上記焦点検出装置は、焦点が合っているピクセルを検出し、焦点セグメント分割マップを出力する。上記輝度検出装置は、高い輝度を持つピクセルおよび低い輝度を持つピクセルを検出し、輝度セグメント分割マップを出力する。上記神経ネットワークは、上記移動検出装置、上記焦点検出装置、および上記輝度検出装置に接続していて、これらの検出装置からの出力を加重し、最終セグメント分割マップを出力する。
【００５６】
本発明で使用される神経ネットワークのある好適な実施形態は、二つの層からなる神経ネットワークを含む。この場合、神経ネットワークは、二つのニューロンを含む隠れた層と、一つのニューロンを含む出力層を含む。この実施形態の場合には、輝度マップは、第一の加重により隠れた層の第一のニューロンに送られ、第二の加重により隠れた層の第二のニューロンに送られ、焦点マップは、第三の加重により隠れた層の第一のニューロンに送られ、第四の加重により隠れた層の第二のニューロンに送られ、移動マップは、第五の加重により隠れた層の第一のニューロンに送られ、第六の加重により隠れた層の第二のニューロンに送られる。バイアス情報は、それぞれ、第七の加重および第八の加重により第一および第二のニューロンに送られる。
【００５７】
本発明の方法を実行するためのさらに他の好適な実施形態は、デジタル化画像シーケンスを入手するために、上記画像シーケンスをデジタル化するための手段と、上記画像内のある対象物の移動に基づいて、ある画像をセグメント分割するための手段とを含む。上記移動セグメント分割手段は、移動セグメント分割マップをデジタル化および出力するための手段に接続していて、画像をセグメント分割するための手段は、焦点測定値を使用し、焦点セグメント分割手段は、焦点セグメント分割マップをデジタル化し、出力するための手段に接続していて、画像をセグメント分割するための手段は、輝度測定値を使用し、輝度セグメント分割手段は輝度セグメント分割マップをデジタル化し、出力するための手段に接続していて、セグメント分割マップを計算する神経ネットワークは、移動セグメント分割手段、輝度セグメント分割手段および焦点セグメント分割手段が出力した、セグメント分割マップを使用する。
【図面の簡単な説明】
【００５８】
【図１】本発明の装置で使用される二層神経ネットワークである。この図は、また上記ネットワークの異なる経路に対する加重のある実施形態も示す。
【図２】前景／背景セグメント分割用の神経ネットワーク・トレーニング・アルゴリズムである。
【図３】本発明の前景／背景セグメント分割アルゴリズムである。
【図４】合計平方エラー対エポックを示す神経ネットワークのトレーニング曲線である。
【図５】（ａ）−（ｃ）は、本発明のセグメント分割結果である。図中、図５（ａ）は元のフレームであり、図５（ｂ）は神経ネットワークのセグメント分割出力であり、図５（ｃ）はセグメント分割した前景の略図である。
【図６】本発明の方法を使用するための装置の一つの可能な実施形態である。
【図７】充填セグメント分割手順を使用する従来技術のプロセスである。
【図８】いくつかのフレームに対する図７のプロセスのセグメント分割結果である。
【図９】図７のプロセスで使用する焦点ボケ測定値の結果である。
【図１】
2008282416.tif 000007
【図２】
2008282416.tif 000008
【図３】
2008282416.tif 000009
【図４】
2008282416.tif 000010
【図５】
2008282416.tif 000011
【図６】
2008282416.tif 000012
【図７】
2008282416.tif 000013
【図８】
2008282416.tif 000014
【図９】
2008282416.tif 000015
【手続補正書】
【提出日】平成20年7月10日(2008.7.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
背景から前景をセグメント分割するために、画像シーケンスを処理するための方法であって、
ａ）シーケンスの連続画像を取得するステップと、
ｂ）連続画像のピクセルの移動、焦点度および輝度を同時に測定するステップと、
ｃ）前記の移動、焦点度および輝度測定値を神経ネットワークに入力するステップと、
ｄ）前記移動、焦点度および輝度測定値を使用して、前記神経ネットワークにより、前景セグメントおよび背景セグメントを計算するステップと、
ｅ）前記の計算した前景のセグメントおよび背景のセグメントに基づいて、セグメントマップを作成するステップとからなり：
前記前景セグメントと背景セグメントを計算する前記神経ネットワークが、
ｆ）前記測定された移動、焦点度および輝度を有する二つの最初のフレームおよび手作業でセグメント分割した結果を使用した前記神経ネットワークをトレーニングするステップ、そして
ｇ）下記式により表わされる適応学習速度を使用して前記トレーニング・ステップ（ｆ）をスピートアップするステップによりトレーニングされている方法。
Δｗ＝ｌｒ＊ｄｐＴ
Δｂ＝ｌｒ＊ｄ
（但し、ｗは層の加重、ｂは層のバイアス、ｌｒは適応学習速度、ｄは前記層のデルタ・ベクトル、ｐは前記層の入力ベクトル、Ｔはベクトルｐが、最初に移項（転置）されることを示す）
【請求項２】
請求項１に記載の方法において、前記移動を測定するステップｂ）が前記移動を検出するステップを含み、前記移動を検出するステップが、
（ｉ）連続している画像のピクセル間の差を検出するステップと、
（ii）そのピクセルに対する差が、所定のしきい値を超えた場合には、あるピクセルが移動していると判断するステップとを含む方法。
【請求項３】
請求項１に記載の方法において、前記測定するステップｂ）が焦点度を検出するステップを含み、前記焦点度を検出するステップが、
（ｉ）ｎ×ｎピクセル正方形上のソーベル縁部検出の大きさの計算、および
（ii）縁部の幅による、前記ソーベル縁部検出の大きさの割算を含む方法。
【請求項４】
請求項１に記載の方法において、前記輝度測定ステップが、前記ピクセルのグレイ・レベルを決定するステップを含む方法。
【請求項５】
画像のシーケンスを符号化する方法において、
ａ）画像のシーケンスにおける２つの連続画像をセグメント分割するステップ、
ｂ）該２つの連続画像内のピクセルの移動、焦点度及び輝度を同時に測定するステップ、
ｃ）適応学習速度を適用することにより、該２つの連続画像と測定された移動、焦点度及び輝度を用いて二層神経ネットワークをトレーニングするステップ、
ｄ）該二層神経ネットワークによって該測定された移動、焦点度及び輝度を用いて前景セグメントと背景セグメントを計算するステップ、
ｅ）該計算された前景セグメントと背景セグメントに基づいてセグメントマップを作成するステップ、及び
ｆ）該セグメントマップに基づいた画像シーケンスを符号化するステップとからなる方法。
【請求項６】
請求項５に記載の方法において、該神経ネットワークのトレーニングステップは適応学習速度を用いることによりスピードアップされており、該適応学習速度にあって（１）層加重デルタは該適応学習速度、層デルタベクトル及び転置層入力ベクトルに基づいており、（２）層バイアスデルタは該適応学習速度と層デルタベクトルとに基づいている方法。
【請求項７】
請求項５に記載の方法において、前記ステップ（ｂ）で移動の測定は、
（ｉ）連続する画像におけるピクセル間の差を検出し、そして
（ii）該差が所定の閾値を越えたとき、ピクセルが移動したと決定する移動検出ステップを含む方法。
【請求項８】
請求項５に記載の方法において、前記ステップ（ｂ）で焦点度の測定は、
（ｉ）Ｎ×Ｎピクセル四方にわたるソーベル縁検出の大きさを計算し、そして
（ii）縁幅により該ソーベル検出の大きさを割る焦点度検出ステップを含む方法。
【請求項９】
請求項５に記載の方法において、前記ステップ（ｂ）で輝度の測定は、ピクセルのグレイレベルを決定することにより輝度の検出をするステップを含む方法。
【請求項１０】
画像のシーケンスから前景と背景をセグメント分割する装置において、
（ａ）画像のシーケンス内のピクセルの移動を検出し、そして移動マップを出力する移動検出器、
（ｂ）焦点が合っているピクセルを検出し、焦点度マップを出力する焦点度検出器、
（ｃ）高輝度を有するピクセルと低輝度を有するピクセルを検出し、そして輝度マップを出力する輝度検出器、及び
（ｄ）該移動検出器、焦点度検出器及び輝度検出器に接続され、該接続している検出器からの該出力マップに重み付けしてセグメント分割マップを出力している神経ネットワークであって、２つのニューロンを有する隠れ層と１つのニューロンを有する出力層を有し、各ニューロンはＳ字状関数を用いている神経ネットワークとからなり、
（ｉ）該神経ネットワークは、該隠れ層の第１のニューロンに入力される輝度マップに第１の加重を適用し、そして該隠れた層の第２のニューロンに入力される輝度マップに第２の加重を適用しており、
（ii）該神経ネットワークは、該隠れた層の該第１のニューロンに入力される焦点度マップに第３の加重を適用し、そして該隠れた層の該第２のニューロンに入力される焦点度マップに第４の加重を適用しており、そして
（iii）該神経ネットワークは、該隠れた層の該第１のニューロンに入力される移動マップに第５の加重を適用し、そして該隠れた層の第２のニューロンに入力される移動マップに第６の加重を適用している装置。
【請求項１１】
請求項６に記載の装置において、該神経ネットワークに入力されるバイアス信号を発生するバイアス発生器を更に含み、該神経ネットワークは該バイアス信号に第７と第８の加重をそれぞれ適用し、そして該加重された信号をそれぞれ該第１と第２のニューロンに入力している装置。
【請求項１２】
画像の伝送又は蓄積のための画像の符号化に先立ち、画像のシーケンス内の対象物をセグメント分割する装置において、
ａ）デジタル化画像のシーケンスを得るため、画像のシーケンスをデジタル化する手段、
ｂ）該デジタル化手段に結合される画像内の対象物の移動に基づいて画像をセグメント分割して、移動セグメント分割マップを出力する手段、
ｃ）該デジタル化手段に結合される焦点度測定値を用いて画像をセグメント分割して、焦点度セグメント分割マップを出力する手段、
ｄ）該デジタル化手段に結合される輝度測定値を用いて画像をセグメント分割して、輝度セグメント分割マップを出力する手段、
ｅ）該移動セグメント分割手段、輝度セグメント分割手段及び焦点度セグメント分割手段により出力されたセグメント分割マップを用いて最終セグメント分割マップを計算する神経ネットワーク、及び
ｆ）該神経ネットワークに結合されてバイアス信号を出力するバイアス発生手段とからなり、
該神経ネットワークは、第１と第２のニューロンを有する隠れた層と１つのニューロンを有する出力層とを含む２層神経ネットワークからなり、該輝度セグメント分割マップは該隠れた層の第１のニューロンに第１の加重を用いて入力され該第２のニューロンに第２の加重を用いて入力されており、該焦点度セグメント分割マップは該隠れた層の第１のニューロンに第３の加重を用いて入力され該第２のニューロンに第４の加重を用いて入力されており、該移動セグメント分割マップは該隠れた層の第１のニューロンに第５の加重を用いて入力され該第２のニューロンに第６の加重を用いて入力されており、そして該バイアス信号は該第１と第２のニューロンへそれぞれ第７と第８の加重を用いて入力されている装置。
【請求項１３】
画像の伝送又は蓄積のための画像の符号化に先立ち、画像のシーケンス内の対象物をセグメント分割する装置において、
ａ）デジタル化画像のシーケンスを得るため、画像のシーケンスをデジタル化する手段、
ｂ）該デジタル化手段に結合される画像内の対象物の移動に基づいて画像をセグメント分割して、移動セグメント分割マップを出力する手段、
ｃ）該デジタル化手段に結合される焦点度測定値を用いて画像をセグメント分割して、焦点度セグメント分割マップを出力する手段、
ｄ）該デジタル化手段に結合される輝度測定値を用いて画像をセグメント分割して、輝度セグメント分割マップを出力する手段、
ｅ）該移動セグメント分割手段、輝度セグメント分割手段及び焦点度セグメント分割手段により出力されたセグメント分割マップを用いて最終セグメント分割マップを計算する神経ネットワークとからなり、
該神経ネットワークは次の式を計算するものであり、
【数１】
2008282416.tif 000016
ここで、ο（ｘ，ｙ）は最終セグメント分割マップであり、ｌ（ｘ，ｙ）は輝度セグメント分割マップであり、ｆ（ｘ，ｙ）は焦点度セグメント分割マップであり、ｂ（ｘ，ｙ）はバイアス信号であり、そしてｖ１１、ｖ２１、ｖ３１、ｖ４１、ｖ１２、ｖ２２、ｖ３２、ｖ４２、ｗ１、ｗ２およびｗ３は該神経ネットワークで用いられる加重である、装置。