【手続補正書】
【提出日】平成22年8月26日(2010.8.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
前記ターゲット領域の第ｍ行第ｎ列に位置する画素に対応する前記演算回路は、
前記ターゲット領域の第ｍ行第ｎ列に位置する画素に対応する前記ターゲット画像データの値からオフセットを差し引く第１減算回路と、
前記第１減算回路の出力と、前記走査領域の第（ｍ＋ｓ）行第（ｎ＋ｔ）列の画素に対応する前記走査画像データの値との差を求める第２減算回路と、
前記第２減算回路の結果の絶対値を求める絶対値回路
を有する、請求項２記載のブロックマッチング回路。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項７
【補正方法】変更
【補正の内容】
【請求項７】
前記ターゲット領域の第ｍ行第ｎ列に位置する画素に対応する前記演算回路は、
前記走査領域の第（ｍ＋ｓ）行第（ｎ＋ｔ）列の画素に対応する前記走査画像データの値からオフセットを差し引く第１減算回路と、
前記ターゲット領域の第ｍ行第ｎ列に位置する画素に対応する前記ターゲット画像データの値と、前記第１減算回路の出力との差を求める第２減算回路と、
前記第２減算回路の結果の絶対値を求める絶対値回路
を有する、請求項２記載のブロックマッチング回路。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１４
【補正方法】変更
【補正の内容】
【請求項１４】
前記ターゲット領域における列毎に前記クラスタデータをスワップする、複数のセレクタ
を更に備える、請求項１３に記載のブロックマッチング回路。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１６
【補正方法】変更
【補正の内容】
【請求項１６】
前記走査領域における列毎に前記クラスタデータをスワップする、複数のセレクタ
を更に備える、請求項１５に記載のブロックマッチング回路。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
例えば動画のあるフレームと他のフレームとの間での類似性を判断することにより、フレームの各々において現れる対象物の動きを示す、動きベクトルが算出される。具体的には、当該対象物を含む画像領域をあるフレームから切り出し、当該画像領域が他のフレームのどの領域と類似するかを判断する。このような画像同士の類似性を判断するために、ブロックマッチングが採用される（例えば下記特許文献参照）。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
予めこれらの個数の比較領域の分だけ、画素のデータを蓄積しておき、ターゲット領域の画素のデータとの間で一斉に、対応する画素同士で画素差値を求めるとその処理は迅速に行える。しかしそのためにはターゲット領域の画素の総数たるＭ・Ｎ個の画素データを記憶し、（Ｊ−Ｍ＋１）・（Ｋ−Ｎ＋１）・Ｍ・Ｎ個の比較領域の画素データを記憶しなければならない。かかる技術は多大な記憶領域を必要とする欠点がある。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
この発明にかかるブロックマッチング回路の第４の態様は、その第２の態様であって、前記ターゲット領域の第ｍ行第ｎ列に位置する画素データに対応する前記演算回路は、前記ターゲット領域の第ｍ行第ｎ列に位置する画素に対応する前記ターゲット画像データの値からオフセットを差し引く第１減算回路と、前記第１減算回路の出力と、前記走査領域の第（ｍ＋ｓ）行第（ｎ＋ｔ）列の画素に対応する前記走査画像データの値との差を求める第２減算回路と、前記第２減算回路の結果の絶対値を求める絶対値回路を有する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
この発明にかかるブロックマッチング回路の第７の態様は、その第２の態様であって、前記ターゲット領域の第ｍ行第ｎ列に位置する画素に対応する前記演算回路は、前記走査領域の第（ｍ＋ｓ）行第（ｎ＋ｔ）列の画素に対応する前記走査画像データの値からオフセットを差し引く第１減算回路と、前記ターゲット領域の第ｍ行第ｎ列に位置する画素に対応する前記ターゲット画像データの値と、前記第１減算回路の出力との差を求める第２減算回路と、前記第２減算回路の結果の絶対値を求める絶対値回路を有する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
この発明にかかるブロックマッチング回路の第１４の態様は、その第１３の態様であって、前記ターゲット領域における列毎に前記クラスタデータをスワップする、複数のセレクタを更に備える。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
この発明にかかるブロックマッチング回路の第１６の態様は、その第１５の態様であって、前記走査領域における列毎に前記クラスタデータをスワップする、複数のセレクタを更に備える。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
比較領域ＣＭの位置は、比較領域ＣＭの内で最も行番号が小さくかつ最も列番号が小さい位置における画素（以下「比較領域内先頭画素」とも称す）と、走査領域ＣＡの第１行第１列における画素（以下「走査領域内先頭画素」とも称す）との位置関係によって設定することができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
ｊmをｍ乃至（ｍ＋Ｊ−Ｍ）の整数とし、ｋnをｎ乃至（ｎ＋Ｋ−Ｎ）の整数とし、（Ｊ−Ｍ＋１）・（Ｋ−Ｎ＋１）個の走査画像データＣｊmｋnが選択回路Ｓｍｎに入力される。そして、走査画像データＣｊmｋnから比較画像データＣ(m+s)(n+t)が選択されて出力される。選択回路Ｓｍｎによる上記選択は、比較領域ＣＭの位置を示す行数ｓ、列数ｔを指定する走査情報ＰＳＶによって制御される。つまり比較領域ＣＭの走査領域ＣＡに対する位置に応じて、ターゲット画像データＧｍｎと共に演算されるべき比較画像データＣ(m+s)(n+t)が出力される。例えば走査情報ＰＳＶは（Ｊ−Ｍ＋１）・（Ｋ−Ｎ＋１）桁のそれぞれにおいて二値を採り、排他的に一桁が第１の値を採るパラレルデータである。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
演算回路Ｑｍｎにはターゲット画像データＧｍｎが入力する。演算回路Ｑｍｎでは、乗算器（或いは反転器）１１がターゲット画像データＧｍｎに値“−１”を乗算する（あるいは正負を反転する）。そして乗算器１１の出力と比較画像データＣ(m+s)(n+t)とが加算器１２において加算される。そして絶対値回路１３によって加算器１２が出力する加算結果の絶対値が求められる。この絶対値を、ターゲット領域ＴＡと比較領域ＣＡとで相互に対応する画素同士の相違を示す値たる画素差値Δmnstとして採用することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
ステップＺ７は走査画像データの更新を行う処理である。ステップＺ６が実行されたときには、走査領域ＣＡの第（ｓ＋１）行第１〜第Ｋ列に位置する画素に対応する第（ｓ＋１）行のＫ個の走査画像データＣ(s+1)１〜Ｃ(S+1)Ｋが比較領域ＣＭに供されており、これらについての画素差値Δmn(s+1)1〜Δmn(s+1)Kが求められている。従ってステップＺ７において走査画像データＣ(s+1)１〜Ｃ(S+1)Ｋを更新しても、ブロックマッチングの妨げにはならない。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
走査画像データＣｊｋの更新は、より具体的には、データ更新の拒否を示すフラグＦＬＧを用いる。比較領域ＣＭを求めるには走査領域ＣＡ内を行方向に走査するので、走査領域ＣＡに対する比較領域ＣＭの行方向のずれを示す行数ｓが更新される度に、フラグＦＬＧをセットする（データ更新が拒否される）。そしてステップＺ５において列数ｔがＫ−Ｎに至ったと判断された後、フラグＦＬＧがリセットされる（データ更新の拒否が解除される）。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
図１１は演算回路Ｑｍｎの他の構成を例示するブロック図である。図４に示された構成に対し、乗算器１１の前段にターゲット画像データＧｍｎの値からオフセットＯＦＤ０を差し引く減算回路を設けた構成を有している。当該減算回路はオフセットＯＦＤ０に値“−１”を乗算する（あるいは正負を反転する）乗算器（或いは反転器）１４と、乗算器１４の出力をターゲット画像データＧｍｎに加算する加算器１０とを含む。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
図１１に例示された構成では、更に、オフセットＯＦＤ０を採用するか否かを選択可能とするセレクタ１５も演算回路Ｑｍｎが有している。セレクタ１５には乗算器１４の出力と値“０”とが入力され、オフセットの採否を設定する信号ＯＦＤによっていずれを加算器１０に出力するかが制御される。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
このような減算回路を設けることにより、ターゲット領域に対してオフセットを施してから比較領域との類似性を判断することができる。またセレクタ１５を設けることにより、オフセットの採否を選択することができる。オフセットＯＦＤ０としてターゲット画像データＧｍｎの値によらない一定値を採用すれば、ターゲット領域についていわゆるＤＣオフセットを採用することができる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
図１２は演算回路Ｑｍｎの他の構成を例示するブロック図である。図１１に示された構成に対し、加算器１２の前段に比較画像データＣ(m+s)(n+t)の値からオフセットＯＦＳ２を差し引く減算回路を追加した構成を有している。当該減算回路はオフセットＯＦＳ２に値“−１”を乗算する（あるいは正負を反転する）乗算器（或いは反転器）１７と、乗算器１７の出力を比較画像データＣ(m+s)(n+t)に加算する加算器１６とを含む。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
図１２に例示された構成では、更に、オフセットＯＦＳ２を採用するか否かを選択可能とするセレクタ１８も演算回路Ｑｍｎが有している。セレクタ１８には乗算器１７の出力と値“０”とが入力され、オフセットの採否を設定する信号ＯＦＡによっていずれを加算器１６に出力するかが制御される。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
このような減算回路を設けることにより、比較領域に対してオフセットを施してからターゲット領域との類似性を判断することができる。またセレクタ１８を設けることにより、オフセットの採否を選択することができる。オフセットＯＦＳ２として比較画像データＣ(m+s)(n+t)の値によらない一定値を採用すれば、比較領域についてＤＣオフセットを採用することができる。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
図１２に示された構成において、オフセットＯＦＳ１，ＯＦＳ２として、それぞれターゲット画像データＧｍｎの平均値、比較画像データＣ(m+s)(n+t)の平均値を採用してもよい。この場合、それぞれターゲット領域、比較領域についていわゆるＡＣオフセットを採用することができる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
図１３及び図１４は、それぞれターゲット画像データＧｍｎの平均値、比較画像データＣ(m+s)(n+t)の平均値を求める構成を示すブロック図である。図１３、図１４で図示された構成は演算回路Ｑｍｎに含まれてもよいし、演算回路Ｑｍｎの外部に設けられてもよい。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
図１４では、累計回路３１がある行数ｓ、列数ｔについてのＭ・Ｎ個の比較画像データＣ(m+s)(n+t)の総和を出力し、除算回路３２が当該総和をＭ・Ｎで除している構成が例示されている。これにより第（Ｊ−ｓ＋１）行乃至第（Ｊ−ｓ＋Ｍ）行かつ第（Ｋ−ｔ＋１）列乃至第（Ｋ−ｔ＋Ｎ）列の画素に対応するＭ・Ｎ個の比較画像データＣ(m+s)(n+t)の平均値がオフセットＯＦＳ２として求められる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
図１５はマッチング判定回路ＭＣ（図６参照）の構成を例示する回路図である。マッチング判定回路ＭＣは信号ＣＡＬ，ＲＳＴ、データＬＯＣの他、累計値Ｄｓｔを順次に入力する。信号ＣＡＬはマッチング判定を許可する。信号ＲＳＴはマッチング判定のための初期値を設定する。信号ＲＳＴが一旦活性化してから信号ＣＡＬの活性化が開始し、あるターゲット領域についての全ての累計値Ｄｓｔが入力する間は信号ＣＡＬが活性化しつづける。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
比較器ＣＭＰにおいて、値ＭＩＮＶＡＬと累計値Ｄｓｔが比較される。比較器ＣＭＰは、累計値Ｄｓｔが値ＭＩＮＶＡＬよりも小さいときに活性化する第１出力（図１５では第１出力を出力する出力端に“Ａ＞Ｂ”と付記している）と、累計値Ｄｓｔが値ＭＩＮＶＡＬと等しいときに活性化する第２出力（図１５では第２出力を出力する出力端に“Ａ＝Ｂ”と付記している）とを出力する。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
以上の処理により、値ＭＩＮＶＡＬは、より小さな累計値Ｄｓｔによって更新される。よって、あるターゲット領域についての全ての累計値Ｄｓｔが（すなわちＷ個の累計値Ｄｓｔが）入力されれば、その中の最小値が値ＭＩＮＶＡＬとしてＤフリップフロップＤ１のＱ出力から得られることになる。かかる動作を得るためには、信号ＲＳＴの活性化によって累計値Ｄｓｔとして想定される以上の数値を値ＭＩＮＶＡＬの初期値としてＤフリップフロップＤ１に記憶させることが望ましい。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】０１２８
【補正方法】変更
【補正の内容】
【０１２８】
図１７は、あるターゲット領域についての全ての累計値Ｄｓｔが（すなわちＷ個の累計値Ｄｓｔが）入力された後の、ＤフリップフロップＤ２のＱ出力の例であり、位置情報ＰＳＦとして把握される。ここでは第３桁目が活性化しているため、信号ＲＳＴが活性化してから３番目に入力した累計値Ｄｓｔを与える位置（ｓ，ｔ）にある比較領域ＣＡが、最もターゲット領域ＴＡと類似していることが示されていることになる。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【０１３２】
クラスタデータＧ［３１：０］は８ビットずつに分岐してセレクタＬ１１，Ｌ１２，Ｌ１３，Ｌ１４に入力する。具体的には、クラスタデータＧ［３１：２４］がセレクタＬ１１の第１入力端（図中、“１”と付記された側の入力端：他のセレクタＬ１２，Ｌ１３，Ｌ１４についても同様）及びセレクタＬ１４の第２入力端に（図中、“０”と付記された側の入力端：他のセレクタＬ１２，Ｌ１３，Ｌ１１についても同様）与えられる。クラスタデータＧ［２３：１６］がセレクタＬ１２の第１入力端及びセレクタＬ１３の第２入力端に与えられ、クラスタデータＧ［１５：８］がセレクタＬ１３の第１入力端及びセレクタＬ１２の第２入力端に与えられ、クラスタデータＧ［７：０］がセレクタＬ１４の第１入力端及びセレクタＬ１１の第２入力端に与えられる。セレクタＬ１１，Ｌ１２，Ｌ１３，Ｌ１４はそれぞれの第１入力端に入力されたクラスタデータ及び第２入力端に入力されたクラスタデータのいずれか一方をターゲット画像データＧｍ１，Ｇｍ２，Ｇｍ３，Ｇｍ４として出力する。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
上述のようなデータのスワップはターゲット画像データのみならず、走査画像データにおいて行ってもよい。具体的には、走査画像データにおける画素データは、走査領域において同一行に属する画像の纏りに対応する画素データであるクラスタデータとして取り扱われてもよい。このようなデータの取り扱いは、第１記憶領域ＲＣＡのデータ更新が高速化する観点で望ましい。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】０１３８
【補正方法】変更
【補正の内容】
【０１３８】
【図１】この発明にかかる実施の形態において採用される走査領域ＣＡが有するＪ行Ｋ列に配置された画素を模式的に示す図である。
【図２】この発明にかかる実施の形態において採用されるターゲット領域ＴＡが有するＭ行Ｎ列に配置された画素を模式的に示す図である。
【図３】この発明にかかる実施の形態において、走査領域ＣＡと比較領域ＣＭとの関係を模式的に示す図である。
【図４】選択回路Ｓｍｎと演算回路Ｑｍｎとを示すブロック図である。
【図５】画素差値Δmnstを比較領域毎に、比較領域ＣＭの全体に渡って累積する構成を示すブロック図である。
【図６】本実施の形態にかかるブロックマッチングが実行される構成の概略を示すブロック図である。
【図７】マッチング判定を行うフローチャートである。
【図８】演算回路Ｑｍｎの他の構成を例示するブロック図である。
【図９】コアリング回路１９の第１の特性を示すグラフである。
【図１０】コアリング回路１９の第２の特性を示すグラフである。
【図１１】演算回路Ｑｍｎの他の構成を例示するブロック図である。
【図１２】演算回路Ｑｍｎの他の構成を例示するブロック図である。
【図１３】ターゲット画像データＧｍｎの平均値を求める構成を示すブロック図である。
【図１４】走査画像データＣ(m+s)(n+t)の平均値を求める構成を示すブロック図である。
【図１５】マッチング判定回路ＭＣの構成を例示する回路図である。
【図１６】信号ＲＳＴ，ＣＡＬ、データＬＯＣ、累計値Ｄｓｔ、及び動作クロックＣＬＫを示すタイミングチャートである。
【図１７】位置情報ＰＳＦの例を示す図である。
【図１８】第２記憶領域ＲＴＡの構成を例示するブロック図である。
【手続補正３２】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2009070055.tif 000001