(57)【要約】【課題】画像内で移動するオブジェクトを正確に追尾する。【解決手段】オブジェクト追尾装置１０は、除外領域検出部１１と追尾処理部１６から構成される。除外領域検出部１１は、画像内の黒帯を検出する黒帯検出部１２、画像内の直線エッジを検出する直線エッジ検出部１３、画像内の繰り返しパターンを検出する繰り返しパターン検出部１４、並びに、検出された黒帯、直線エッジ、および繰り返しパターンに基づいて除外領域を設定する除外領域設定部１５から構成される。追尾処理部１６は、追尾点の動きベクトルを検出する移動オブジェクト検出部１７、および、追尾点の動きを推定する追尾点推定部１８から構成される。本発明は、例えば、ビデオプレーヤ、ビデオレコーダ、テレビジョンチューナ、テレビジョン受像機などの画像信号を処理する電子機器に適用できる。【選択図】図３
2009223722.tif 000002
【特許請求の範囲】
【請求項１】
画像内で移動するオブジェクトを追尾する画像信号処理装置において、
動画像を構成する画像に除外領域を設定する設定手段と、
動画像を構成する画像内からオブジェクトを検出し、画像内の前記除外領域以外の領域を用いて、前記オブジェクトに対応する動きベクトルを検出する動きベクトル検出手段と、
検出された前記動きベクトルに基づき、前記オブジェクトの移動位置を推定する推定手段と
を含む画像信号処理装置。
【請求項２】
前記動きベクトル検出手段は、動画像を構成する画像内の前記除外領域以外の領域からオブジェクトを検出し、画像内の前記除外領域以外の領域を用いて、前記オブジェクトに対応する動きベクトルを検出する
請求項１に記載の画像信号処理装置。
【請求項３】
前記推定手段は、検出された前記動きベクトルに基づき、前記オブジェクトの移動位置として、前記除外領域以外の領域を推定する
請求項２に記載の画像信号処理装置。
【請求項４】
前記設定手段は、
動画像を構成する画像上に存在する黒帯を検出する黒帯検出手段と、
検出された前記黒帯に基づいて前記除外領域を決定する除外領域決定手段と
を含む
請求項２に記載の画像信号処理装置。
【請求項５】
前記黒帯検出手段は、
前記画像上の低輝度範囲を検出する第１の検出手段と、
検出された前記低輝度範囲内で前記黒帯の境界候補を検出する第２の検出手段と、
検出された前記低輝度範囲および前記境界候補に基づき、前記黒帯の境界を判定する判定する判定手段と
を含む
請求項４に記載の画像信号処理装置。
【請求項６】
画像内で移動するオブジェクトを追尾する画像信号処理装置の画像信号処理方法において、
画像信号処理装置が、
動画像を構成する画像に除外領域を設定し、
動画像を構成する画像内からオブジェクトを検出し、画像内の前記除外領域以外の領域を用いて、前記オブジェクトに対応する動きベクトルを検出し、
検出された前記動きベクトルに基づき、前記オブジェクトの移動位置を推定する
ステップを含む画像信号処理方法。
【請求項７】
画像内で移動するオブジェクトを追尾する画像信号処理装置の制御用のプログラムであって、
動画像を構成する画像に除外領域を設定し、
動画像を構成する画像内からオブジェクトを検出し、画像内の前記除外領域以外の領域を用いて、前記オブジェクトに対応する動きベクトルを検出し、
検出された前記動きベクトルに基づき、前記オブジェクトの移動位置を推定する
ステップを含む処理を画像信号処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置、画像信号処理方法、およびプログラムに関し、特に、画像内で移動するオブジェクトを追尾する場合に用いて好適な画像信号処理装置、画像信号処理方法、およびプログラムに関する。
【背景技術】
【０００２】
例えば、防犯カメラで撮影された画像から不審者を検出、追尾してノイズ除去などの画像処理を行ったり、サッカーなどの試合を撮影した画像の中から特定の選手の軌跡を解析する画像処理を行ったり、運動会で撮影した画像の中から我が子だけを追尾してトリミングしたりする画像処理を行なう場合、動画を構成する時系列の画像内で移動するオブジェクト（不審者、特定の選手、我が子などに相当）を追尾する処理が必要となる。
【０００３】
画像内で移動するオブジェクトを追尾する従来の方法としては、移動する物体を追尾対象として、その追尾対象内に設定した追尾点を追尾する方法、追尾対象が含まれる領域を推定し、領域単位で追尾する方法などが存在する。そして、いずれの従来方法でも、画像内で点や領域の動きベクトルを検出する処理が必要となる。
【０００４】
画像内の動きベクトルを検出する代表的な手法としては、ブロックマッチング法が知られている。ブロックマッチング法では、時系列に前後する２枚の画像のうちの一方の画像に所定のサイズ（水平ｘ画素×垂直ｙ画素）の画素ブロック（以下、マッチング領域と称する）を設け、他方の画像にマッチング領域よりも大きな探索領域を設けて、マッチング領域と探索領域とで画素値の差分絶対値総和を評価値として算出し、評価値が最小となる探索領域内の位置をマッチング領域の移動先と判断して、当該ブロック領域の動きベクトルを検出している。
【０００５】
ところで、画像内に黒帯が存在していると、上述したブロックマッチング法では以下のような不都合が生じてしまう。
【０００６】
例えば、図１に示すように、画像内の黒帯付近にマッチング領域を設けた場合、図２に示すように、算出される評価値は水平方向に移動しても変化が乏しくなり、評価値が最小となる位置を特定し難くなるので、正確な動きベクトルが検出されないことが高い確率で発生し得る。また、正確な動きベクトルが検出されなければ、検出される動きベクトルが時間的に不連続なものとなる。
【０００７】
したがって、不正確で時間的な連続性のない動きベクトルに基づいている限り、移動するオブジェクトを正確に追尾することは困難である。
【０００８】
そこで、画像内の黒帯を検出し、検出した黒帯付近ではブロックマッチングによる動きベクトルの検出を実行しないようにすることが考えられる。
【０００９】
なお、画像内の黒帯を検出する方法としては、画像信号のフレーム毎、低輝度レベルや隣接ラインの画素との差分などに基づいて黒帯と実質的な画像との境界位置を検出し、検出した境界位置の時間連続性を判定する方法（例えば、特許文献１を参照）、黒帯が画面端から所定ライン期間に存在すると仮定して黒帯を検出する方法（例えば、特許文献２を参照）などが提案されている。
【００１０】
【特許文献１】特開平９−２７０９６６号公報
【特許文献２】特開平７−２９８２００号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１などに記載されている上述した方法では、黒帯の輝度値が十分に低くなかったりした場合、黒帯の中に字幕やテロップなどが含まれていたりした場合、シーン途中で画面全体が低輝度なシーンになったりした場合などにおいて、フレーム毎の黒帯の境界位置を誤検出してしまうことがあり、これが黒帯の位置の時間連続性の判定に影響を及ぼし、さらに最終的な黒帯の位置の検出結果にも影響を及ぼしてしまうことがあった。
【００１２】
特許文献２などに記載されている上述した方法では、処理対象とする画像によっては、所定ライン期間の設定値に検出結果が左右されてしまうことがあった。
【００１３】
このように、黒帯が正確に検出されないと、ブロックマッチングを行なう領域から黒帯を正確に除外することができず、動きベクトルを正確に検出できないで、移動するオブジェクトを正確に追尾することが困難であった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、画像内で移動するオブジェクトを正確に追尾できるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の一側面である画像信号処理装置は、画像内で移動するオブジェクトを追尾する画像信号処理装置において、動画像を構成する画像に除外領域を設定する設定手段と、動画像を構成する画像内からオブジェクトを検出し、画像内の前記除外領域以外の領域を用いて、前記オブジェクトに対応する動きベクトルを検出する動きベクトル検出手段と、検出された前記動きベクトルに基づき、前記オブジェクトの移動位置を推定する推定手段とを含む。
【００１６】
前記動きベクトル検出手段は、動画像を構成する画像内の前記除外領域以外の領域からオブジェクトを検出し、画像内の前記除外領域以外の領域を用いて、前記オブジェクトに対応する動きベクトルを検出するようにすることができる。
【００１７】
前記推定手段は、検出された前記動きベクトルに基づき、前記オブジェクトの移動位置として、前記除外領域以外の領域を推定するようにすることができる。
【００１８】
前記設定手段は、動画像を構成する画像上に存在する黒帯を検出する黒帯検出手段と、検出された前記黒帯に基づいて前記除外領域を決定する除外領域決定手段とを含むようにすることができる。
【００１９】
前記黒帯検出手段は、前記画像上の低輝度範囲を検出する第１の検出手段と、検出された前記低輝度範囲内で前記黒帯の境界候補を検出する第２の検出手段と、検出された前記低輝度範囲および前記境界候補に基づき、前記黒帯の境界を判定する判定する判定手段とを含むようにすることができる。
【００２０】
本発明の一側面である画像信号処理方法は、画像内で移動するオブジェクトを追尾する画像信号処理装置の画像信号処理方法において、画像信号処理装置が、動画像を構成する画像に除外領域を設定し、動画像を構成する画像内からオブジェクトを検出し、画像内の前記除外領域以外の領域を用いて、前記オブジェクトに対応する動きベクトルを検出し、検出された前記動きベクトルに基づき、前記オブジェクトの移動位置を推定するステップを含む。
【００２１】
本発明の一側面であるプログラムは、画像内で移動するオブジェクトを追尾する画像信号処理装置の制御用のプログラムであって、動画像を構成する画像に除外領域を設定し、動画像を構成する画像内からオブジェクトを検出し、画像内の前記除外領域以外の領域を用いて、前記オブジェクトに対応する動きベクトルを検出し、検出された前記動きベクトルに基づき、前記オブジェクトの移動位置を推定するステップを含む処理を画像信号処理装置のコンピュータに実行させる。
【００２２】
本発明の一側面においては、動画像を構成する画像に除外領域が設定され、動画像を構成する画像内からオブジェクトが検出され、画像内の除外領域以外の領域を用いて、オブジェクトに対応する動きベクトルが検出される。そして、検出された動きベクトルに基づき、オブジェクトの移動位置が推定される。
【発明の効果】
【００２３】
本発明の一側面によれば、画像内で移動するオブジェクトを正確に追尾することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２５】
図３は、本発明の一実施の形態であるオブジェクト追尾装置の構成例を示している。このオブジェクト追尾装置１０は、入力される画像信号（動画像）の画像内で移動するオブジェクトを検出し、検出したオブジェクトを追尾するものである。このオブジェクト追尾装置１０は、例えば、防犯カメラで撮影された画像から不審者を検出、追尾してノイズ除去などの画像処理を行ったり、サッカーなどの試合を撮影した画像の中から特定の選手の軌跡を解析する画像処理を行ったり、運動会で撮影した画像の中から我が子だけを追尾してトリミングしたりする画像処理を行なう画像処理装置に適用することができる。
【００２６】
図３において、オブジェクト追尾装置１０は、画像内のオブジェクトを検出する処理などの処理範囲から除外する領域（以下、除外領域と称する）を検出する除外領域検出部１１、および画像内の動きを検出して追尾すべきオブジェクトを特定し、特定したオブジェクトを追尾する追尾処理部１６から構成される。
【００２７】
除外領域検出部１１は、画像内の黒帯を検出する黒帯検出部１２、画像内の直線エッジを検出する直線エッジ検出部１３、画像内の繰り返しパターンを検出する繰り返しパターン検出部１４、並びに、検出された黒帯、直線エッジ、および繰り返しパターンに基づいて除外領域を設定する除外領域設定部１５から構成される。
【００２８】
黒帯検出部１２は、図４Ａに示すように実質的な画像の上下に付加されている黒帯と、図４Ｂに示すように実質的な画像の左右に付加されている黒帯を検出し、検出した黒帯と実質的な画像との境界（以下、単に境界と称する）の位置を除外領域設定部１５に通知する。
【００２９】
次に、図５は、黒帯検出部１２の詳細な構成例を示している。黒帯検出部１２は、画像信号の各フレームにおける画素の輝度が低い範囲（低輝度範囲）を検出する低輝度範囲検出部２１、検出された低輝度範囲に存在する境界の候補を検出する境界候補検出部２２、検出される低輝度範囲と境界候補とに基づいてフレーム毎の境界の位置を判定する統合判定部２３、および、判定結果の時間的継続性に基づいて各フレームにおける境界の位置を後段に供給する出力処理部２５から構成される。
【００３０】
低輝度範囲検出部２１は、前段から入力される画像信号の各フレームを順に処理対象とし、処理対象のフレームの端（上、下、左、および右）から１ラインずつ順に注目ラインとし、さらに、図６に示すように、注目ライン上の画素を順に注目画素として、その輝度値が予め設定されている輝度閾値以下であるか否かを判定し、輝度値が輝度閾値以下である画素の数が予め設定されている第１の閾値以上である場合、当該注目ラインは低輝度範囲に含まれると判定し、当該ラインに低輝度ラインフラグを１に設定する。
【００３１】
なお、各フレームの縦ラインの画素数と横ラインの画素数とは異なるので、注目ラインが画像の上下にある場合と左右にある場合とは、第１の閾値として異なる値が設定されている。
【００３２】
このようにして、各フレームの注目ラインが低輝度範囲に含まれるか否かを判定することにより、図７に示すように、各フレームの端に低輝度範囲が検出される。なお、図７はフレームの上下の端に低輝度範囲が検出された例を示している。また当然ながら、黒帯が存在しないフレームにおいて低輝度範囲は検出されない。
【００３３】
境界候補検出部２２は、前段から入力される画像信号の各フレームを順に処理対象とし、処理対象のフレームの端（上、下、左、および右）で低輝度範囲検出部２１によって検出された低輝度範囲を１ラインずつ順に注目ライン、その隣のライン（次に注目ラインとなるライン）を隣接ラインとする。さらに、図８に示すように、注目ライン上の画素を順に注目画素として、隣り合う隣接ライン上の隣接画素との輝度値の差分絶対値を算出し、算出した輝度値の差分絶対値が予め設定されている差分閾値以上であるか否かを判定し、輝度値の差分絶対値が差分閾値以上である画素の数が予め設定されている第２の閾値以上である場合、当該注目ラインは境界候補であると判定する。
【００３４】
このように、境界候補が決定されることにより、例えば図９に示すように、黒帯内に字幕やテロップなどが表示されている場合においても、字幕やテロップなどの端を黒帯の境界として一意に検出してしまう（誤検出してしまう）ことなく、境界候補として検出することができる。
【００３５】
統合判定部２３は、低輝度範囲検出部２１によって検出される低輝度範囲と、境界候補検出部２２によって検出される境界候補とに基づき、フレーム毎に境界の位置を判定し、その時間的継続性を判定する。具体的には、フレームの上下端の境界候補、または左右端の境界候補のうち、フレーム端からの厚み、すなわち、黒帯の厚みが上下または左右でほぼ等しくなる組み合わせを検出し、検出した境界候補の組み合わせの時間的連続性をフレーム数としてカウントする。また、統合判定部２３は、上述したカウントした値や１フレーム前に境界の位置を保持するメモリ２４を内蔵している。
【００３６】
出力処理部２５は、統合判定部２３に判定された境界の位置の時間的継続性に基づき、各フレームにおける境界の位置を決定して除外領域設定部１５に通知する。なお、出力処理部２５は、統合判定部２３に内蔵されたメモリ２４の情報も適宜参照する。
【００３７】
図３に戻る。直線エッジ検出部１３は、従来既存の任意の方法を用いることにより、画像内の直線エッジを検出し、検出した直線エッジの位置情報を除外領域設定部１５に通知する。なお、ここで検出される直線エッジには、例えば図１０に示される画像（テニスコートの画像）のように直線が検出される他、例えば図１１に示すように、P in P(picture in picture)の輪郭、テロップ（字幕）を囲む枠、OSD(on screen display)（不図示）などが含まれる。
【００３８】
繰り返しパターン検出部１４は、従来既存の任意の方法を用いることにより、画像内の直線エッジを検出し、検出した繰り返しパターンの位置情報を除外領域設定部１５に通知する。
【００３９】
除外領域設定部１５は、黒帯検出部１２から通知される黒帯（の境界）の位置情報、直線エッジ検出部１３から通知される直線エッジの位置情報、および繰り返しパターン検出部１４から通知される繰り返しパターンの位置情報に基づいて除外領域を設定し、追尾処理部１６の移動オブジェクト検出部１７および追尾点推定部１８に通知する。
【００４０】
黒帯の位置情報については、例えば図１２に示すように、画像の上下に黒帯が検出された場合（同図は上の黒帯のみを示している）、追尾処理部１６における動きベクトル検出の際に設定されるマッチング領域の垂直幅に基づき、マッチング領域に黒帯に属する画素（図中に黒丸●で示す）が含まれるときのマッチング領域の中心画素（図中に白丸○で示す）が存在し得る領域（同図において破線より上側の領域）を除外領域に設定する。
【００４１】
また例えば図１３に示すように、画像の左右に黒帯が検出された場合（同図は左の黒帯のみを示している）、追尾処理部１６における動きベクトル検出の際に設定されるマッチング領域の水平幅に基づき、マッチング領域に黒帯に属する画素（図中に黒丸●で示す）が含まれるときのマッチング領域の中心画素（図中に白丸○で示す）が存在し得る領域（同図において破線より左側の領域）を除外領域に設定する。
【００４２】
直線エッジの位置情報については、例えば図１４Ａに示すように、画像内に水平方向の直線エッジed1が検出された場合、追尾処理部１６における動きベクトル検出の際に設定されるマッチング領域の垂直幅に基づき、マッチング領域に直線エッジed1が含まれるときのマッチング領域の中心画素が存在し得る領域（同図Ａに斜線で示す領域）を除外領域に設定する。
【００４３】
同様に、例えば図１４Ｂに示すように、画像内に垂直方向の直線エッジed2が検出された場合、追尾処理部１６における動きベクトル検出の際に設定されるマッチング領域の水平幅に基づき、マッチング領域に直線エッジed2が含まれるときのマッチング領域の中心画素が存在し得る領域（同図Ｂに斜線で示す領域）を除外領域に設定する。
【００４４】
なお、図示は省略するが、画像内に斜め方向の直線エッジが検出された場合にも同様に、追尾処理部１６における動きベクトル検出の際に設定されるマッチング領域のサイズに基づき、マッチング領域に検出された直線エッジが含まれるときのマッチング領域の中心画素が存在し得る領域を除外領域に設定する。
【００４５】
また、例えば図１４Ｃに示すように、画像内に複数の直線エッジが検出された場合、各直線エッジにそれぞれ対応する除外領域に重複する領域が発生するが、この重複する領域については除外領域に設定しない。すなわち、画像内に複数の直線エッジが検出された場合には、図１４Ｄに示すように、重複する領域を設けずに除外領域を設定する。
【００４６】
ただし、例えば図１５に示すように、画像内に複数の平行な直線エッジが検出された場合には、各直線エッジにそれぞれ対応する除外領域の重複する領域についても除外領域に設定する。
【００４７】
繰り返しパターンについては、例えば図１６に示すように、マッチング領域の全域に繰り返しパターンが含まれるときのマッチング領域の中心画素が存在し得る領域を除外領域に設定する。すなわち、例えば図１７に示すように、マッチング領域の一部に繰り返しパターンが含まれるときのマッチング領域の中心画素が存在し得る領域は除外領域に設定しない。
【００４８】
図３に戻る。追尾処理部１６は、移動オブジェクト検出部１７および追尾点推定部１８から構成される。
【００４９】
移動オブジェクト検出部１７は、前段から入力される画像信号の画像内の除外領域以外の領域からオブジェクトを検出し、検出したオブジェクトが含まれる領域を推定し、推定した領域内に追尾点を設けて追尾点の動きベクトルを検出する。だだし、この動きベクトルを算出する場合、マッチング領域の中心画素が除外領域内に位置しているときには動きベクトルを算出しない。
【００５０】
追尾点推定部１８は、移動オブジェクト検出部１７で検出された動きベクトルに基づき、追尾点の動き（次のフレームにおける追尾点の位置）を推定する。ただし、この推定に際して設定するマッチング領域の中心画素が除外領域内に位置している場合、検出される動きは正確ではないことが多いので、追尾点を予め設定されている乗換え候補に変更するようにする。そして再び、乗り換え後の追尾点に対するマッチング領域の中心画素が除外領域内に位置しているか否かを判断し、乗り換え後の追尾点に対するマッチング領域の中心画素が除外領域内に位置していないと判断するまで、追尾点を他の乗り換え候補に変更する。なお、この追尾点を乗り換え候補に変更することについては、例えば特開２００５−３０３９８３に記載されている方法を適用することができる。
【００５１】
また、追尾点の推定に際して設定する探索領域が除外領域にかかる場合には、追尾点の推定した動き先のマッチング領域の中心が除外領域内に位置していることを示しており、次のフレームの追尾点の動きを推定する際に、その追尾点の動きが不正確であり信用できないものとなる可能性が高い。そこで、可能な限り追尾点を安定して連続的に追尾できるように、追尾点を予め設定されている乗換え候補に変更するようにする。なお、この場合においても、乗り換え後の追尾点に対するマッチング領域の中心画素が除外領域内に位置しないと判断するまで、追尾点を他の乗り換え候補に変更する。
【００５２】
次に、オブジェクト追尾装置１０によるオブジェクト追尾処理について、図１８のフローチャートを参照して説明する。このオブジェクト追尾処理は、オブジェクト追尾装置１０に画像信号が供給されたことに対応して開始される。
【００５３】
ステップＳ１において、除外領域検出部１１の黒帯検出部１２は、画像内の黒帯を検出し、検出した黒帯と実質的な画像との境界の位置を除外領域設定部１５に通知する。
【００５４】
ここで、ステップＳ１の黒帯検出部１２による処理（以下、黒帯検出処理と称する）の詳細について、図１９を参照して説明する。
【００５５】
ステップＳ１０１において、黒帯検出部１２の低輝度範囲検出部２１は、前段から入力された画像信号の各フレームを順に処理対象とし、処理対象のフレームにおける低輝度範囲を検出する。このステップＳ１０１の低輝度範囲検出処理について、図２０のフローチャートを参照して詳述する。
【００５６】
この低輝度範囲検出処理は、前段から入力された画像信号の各フレームを順に処理対象として実行される。ステップＳ１１１において、低輝度範囲検出部２１は、注目するフレームの上端、下端、左端、および右端を順に注目し、ステップＳ１１２において、注目した端からフレーム中央に向かって１ラインずつ順に注目ラインに決定する。さらに、ステップＳ１１３において、図６に示されたように、注目ライン上の画素を順に注目画素に決定する。
【００５７】
ステップＳ１１４において、低輝度範囲検出部２１は、注目画素の輝度値が予め設定されている輝度閾値以下であるか否かを判定し、注目画素の輝度値が輝度閾値以下であると判定した場合、処理をステップＳ１１５に進め、注目ラインにおける画素のうち、輝度値が輝度閾値以下である画素の数を示す第１のカウンタ値cnt1を１だけインクリメントする。
【００５８】
反対に、ステップＳ１１４において、注目画素の輝度値が輝度閾値以下ではないと判定された場合、ステップＳ１１５の処理はスキップされる。
【００５９】
ステップＳ１１６において、低輝度範囲検出部２１は、現在の注目画素が注目ラインの最後の画素（端の画素）であるか否かを判定し、現在の注目画素が注目ラインの最後の画素ではないと判定した場合、処理をステップＳ１１３に戻して、それ以降の処理を繰り返す。その後、ステップＳ１１６において、現在の注目画素が注目ラインの最後の画素であると判定された場合、処理はステップＳ１１７に進められる。
【００６０】
ステップＳ１１７において、低輝度範囲検出部２１は、現在の注目ラインがフレームの中央のラインであるか否かを判定し、注目ラインがフレームの中央のラインではないと判定した場合、処理をステップＳ１１２に戻して、それ以降の処理を繰り返す。その後、ステップＳ１１７において、現在の注目ラインがフレームの中央のラインであると判定された場合、処理はステップＳ１１８に進められる。
【００６１】
ステップＳ１１８において、低輝度範囲検出部２１は、注目するフレームの上端、下端、左端、および右端を全て注目したか否か判定し、注目していない端が残っていると判定した場合、処理をステップＳ１１１に戻して、それ以降の処理を繰り返す。そして、ステップＳ１１８において、注目するフレームの上端、下端、左端、および右端が全て注目されたと判定された場合、処理はステップＳ１１９に進められる。この段階において、処理対象とするフレームの全てのラインが注目ラインとされ、それぞれに対応する第１のカウンタ値cnt1がカウントされたことになる。
【００６２】
ステップＳ１１９において、低輝度範囲検出部２１は、注目するフレームの上端、下端、左端、および右端を順に注目し、ステップＳ１２０において、注目した端からフレーム中央に向かって１ラインずつ順に注目ラインに決定する。
【００６３】
ステップＳ１２１において、低輝度範囲検出部２１は、注目ラインに対応する第１のカウンタ値cnt1が予め設定されている第１の閾値以上であるか否かを判定し、注目ラインに対応する第１のカウンタ値cnt1が第１の閾値以上であると判定した場合、処理をステップＳ１２２に進めて、注目ラインに対応する低輝度領域フラグを１に設定する。
【００６４】
反対に、ステップＳ１２１において、注目ラインに対応する第１のカウンタ値cnt1が第１の閾値以上ではないと判定された場合、低輝度範囲検出部２１は、注目ラインに対応する低輝度領域フラグを０に設定し、ステップＳ１２２の処理をスキップする。
【００６５】
ステップＳ１２３において、低輝度範囲検出部２１は、現在の注目ラインがフレームの中央のラインであるか否かを判定し、注目ラインがフレーム中央のラインではないと判定した場合、処理をステップＳ１２０に戻して、それ以降の処理を繰り返す。その後、ステップＳ１２３において、現在の注目ラインがフレーム中央のラインであると判定された場合、処理はステップＳ１２４に進められる。
【００６６】
ステップＳ１２４において、低輝度範囲検出部２１は、注目するフレームの上端、下端、左端、および右端を全て注目したか否か判定し、注目していない端が残っていると判定した場合、処理をステップＳ１１９に戻して、それ以降の処理を繰り返す。そして、ステップＳ１２４において、注目するフレームの上端、下端、左端、および右端が全て注目されたと判定された場合、当該低輝度範囲検出処理は終了される。
【００６７】
以上のように、処理対象とするフレームの各ラインが低輝度範囲に含まれるか否か判定され、この判定結果が低輝度ラインフラグとして設定されて、処理は図１９のステップＳ１０２にリターンされる。
【００６８】
図１９に戻る。ステップＳ１０２において、境界候補検出部２２は、前段から入力された画像信号の各フレームを順に処理対象とし、処理対象のフレームの端（上、下、左、および右）において低輝度範囲検出部２１によって検出された低輝度範囲における境界候補を検出する。このステップＳ１２の境界候補検出処理について、図２１のフローチャートを参照して詳述する。
【００６９】
この境界候補検出処理も低輝度範囲検出処理と同様、前段から入力された画像信号の各フレームを順に処理対象として実行される。ステップＳ１３１において、境界候補検出部２２は、注目するフレームの上端、下端、左端、および右端で検出された低輝度範囲を順に注目し、ステップＳ１３２において、注目した低輝度範囲の端からフレーム中央に向かって１ラインずつ順に注目ラインと隣接ラインを決定する。さらに、ステップＳ１３３において、注目ライン上の画素を順に注目画素に決定する。
【００７０】
ステップＳ１３４において、境界候補検出部２２は、注目画素と隣接画素との輝度値の差分絶対値を算出し、算出した輝度値の差分絶対値が予め設定されている差分閾値以上であるか否かを判定し、算出した輝度値の差分絶対値が差分閾値以上であると判定した場合、処理をステップＳ１３５に進め、注目ラインにおける画素のうち、隣接画素との輝度値の差分絶対値が差分閾値以上である画素の数を示す第２のカウンタ値cnt2を１だけインクリメントする。
【００７１】
反対に、ステップＳ１３４において、算出した輝度値の差分絶対値が差分閾値以上ではないと判定された場合、ステップＳ１３５の処理はスキップされる。
【００７２】
ステップＳ１３６において、境界候補検出部２２は、現在の注目画素が注目ラインの最後の画素（端の画素）であるか否かを判定し、現在の注目画素が注目ラインの最後の画素ではないと判定した場合、処理をステップＳ１３３に戻して、それ以降の処理を繰り返す。その後、ステップＳ１３６において、現在の注目画素が注目ラインの最後の画素であると判定された場合、処理はステップＳ１３７に進められる。
【００７３】
ステップＳ１３７において、境界候補検出部２２は、現在の注目ラインが注目している低輝度範囲のフレーム中央側の端のラインであるか否かを判定し、注目ラインが注目している低輝度範囲のフレーム中央側の端のラインではないと判定した場合、処理をステップＳ１３２に戻して、それ以降の処理を繰り返す。その後、ステップＳ１３７において、現在の注目ラインが注目している低輝度範囲のフレーム中央側の端のラインであると判定された場合、処理はステップＳ１３８に進められる。
【００７４】
ステップＳ１３８において、境界候補検出部２２は、注目するフレームの上端、下端、左端、および右端の低輝度範囲を全て注目したか否か判定し、注目していない端の低輝度範囲が残っていると判定した場合、処理をステップＳ１３１に戻して、それ以降の処理を繰り返す。そして、ステップＳ１３８において、注目するフレームの上端、下端、左端、および右端で検出された低輝度範囲が全て注目されたと判定された場合、処理はステップＳ１３９に進められる。この段階において、処理対象とするフレームにおいて検出された低輝度範囲の全てのラインが注目ラインとされ、それぞれに対応する第２のカウンタ値cnt2がカウントされたことになる。
【００７５】
ステップＳ１３９において、境界候補検出部２２は、注目するフレームの上端、下端、左端、および右端で検出された低輝度範囲を順に注目し、ステップＳ１４０において、注目した低輝度範囲の端からフレーム中央側に向かって１ラインずつ順に注目ラインに決定する。
【００７６】
ステップＳ１４１において、境界候補検出部２２は、注目ラインに対応する第２のカウンタ値cnt2が予め設定されている第２の閾値以上であるか否かを判定し、注目ラインに対応する第２のカウンタ値cnt2が第２の閾値以上であると判定した場合、処理をステップＳ１４２に進めて、注目ラインを境界候補（黒帯と実質的な画像の境界の候補）に設定する。
【００７７】
反対に、ステップＳ１４１において、注目ラインに対応する第２のカウンタ値cnt2が第２の閾値以上ではないと判定された場合、ステップＳ１２２の処理はスキップされる。
【００７８】
ステップＳ１４３において、境界候補検出部２２は、現在の注目ラインが注目している低輝度範囲のフレーム中央側の端のラインであるか否かを判定し、注目ラインが現在の注目ラインが注目している低輝度範囲のフレーム中央側の端のラインではないと判定した場合、処理をステップＳ１４０に戻して、それ以降の処理を繰り返す。その後、ステップＳ１４３において、現在の注目ラインが現在の注目ラインが注目している低輝度範囲のフレーム中央側の端のラインであると判定された場合、処理はステップＳ１４４に進められる。
【００７９】
ステップＳ１４４において、境界候補検出部２２は、注目するフレームの上端、下端、左端、および右端で検出された低輝度範囲を全て注目したか否か判定し、注目していない低輝度範囲が残っていると判定した場合、処理をステップＳ１３９に戻して、それ以降の処理を繰り返す。そして、ステップＳ１４４において、注目するフレームの上端、下端、左端、および右端で検出された全ての低輝度範囲が注目されたと判定された場合、当該境界候補検出処理は終了される。
【００８０】
以上のように、処理対象とするフレームで検出された低輝度範囲の各ラインが境界候補であるか否か判定される。この判定結果が統合判定部２３に供給されて、処理は図１９のステップＳ１０３にリターンされる。
【００８１】
図１９に戻る。ステップＳ１０３において、統合判定部２３は、低輝度範囲検出部２１によって検出された低輝度範囲と、境界候補検出部２２によって検出される境界候補とに基づき、フレーム毎の境界の位置を判定する。このステップＳ１０３の統合判定処理について、図２２のフローチャートを参照して説明する。
【００８２】
この低輝度範囲検出処理も、画像信号の各フレームに対して実行される。ステップＳ１５１において、統合判定部２３は、境界候補検出部２２によって検出された境界候補のうち、フレームの上側で検出された低輝度範囲の境界候補と、フレームの下側で検出された低輝度範囲の境界候補とを比較し、それぞれの厚み（すなわち、上側の黒帯の厚みと下側の黒帯の厚み）がほぼ同等となる境界候補の組み合わせ（以下、境界候補対と称する）を検出する。なお、低輝度範囲が検出されなかった場合や境界候補が検出されなかった場合、このステップＳ１５１の処理は省略することができる。
【００８３】
ステップＳ１５２において、統合判定部２３は、境界候補検出部２２によって検出された境界候補のうち、フレームの左側で検出された低輝度範囲の境界候補と、フレームの右側で検出された低輝度範囲の境界候補とを比較し、それぞれの厚み（すなわち、左側の黒帯の厚みと右側の黒帯の厚み）がほぼ同等となる境界候補の組み合わせ（以下、境界候補対と称する）を検出する。なお、低輝度範囲が検出されなかった場合や境界候補が検出されなかった場合、このステップＳ１５２の処理は省略することができる。
【００８４】
ステップＳ１５３において、統合判定部２３は、ステップＳ１５１またはＳ５２の処理の少なくとも一方で境界候補対が検出されたか否かを判定する。なお、画像信号に黒帯が含まれる場合、通常、フレームの上下端または左右端のいずれかに付加されているので、ステップＳ１５１またはＳ１５２の処理のどちらかで境界候補対が検出される。
【００８５】
ステップＳ１５３において、ステップＳ１５１またはＳ１５２の処理の少なくとも一方で境界候補対が検出されたと判定された場合、処理はステップＳ１５４に進められる。ステップＳ１５４において、統合判定部２３は、検出された境界候補対とほぼ同じ位置で１フレーム前においても境界候補対が検出されていたか否かを判定し、検出されていたと判定した場合、処理をステップＳ１５５に進める。
【００８６】
ステップＳ１５５において、統合判定部２３は、検出された境界候補対の時間的継続性を示す第３のカウンタ値cnt3を１だけインクリメントして、当該統合判定処理を終了する。
【００８７】
反対に、ステップＳ１５４において、検出された境界候補対とほぼ同じ位置で１フレーム前においても境界候補対が検出されていないと判定された場合、処理はステップＳ１５７に進められる。
【００８８】
ステップＳ１５７において、統合判定部２３は、検出された境界候補対の時間的継続性を示す第３のカウンタ値cnt3を０に初期化して、当該統合判定処理を終了する。
【００８９】
なお、ステップＳ１５３において、ステップＳ１５１およびＳ１５２の処理で境界候補対が検出されないと判定された場合、処理はステップＳ１５６に進められる。ステップＳ１５６において、統合判定部２３は、１フレーム前の境界位置が現フレームの低輝度範囲に含まれるか否かを判定し、含まれると判定した場合、第３のカウンタ値cnt3を維持したまま、当該統合判定処理を終了する。
【００９０】
反対に、ステップＳ１５６において、１フレーム前の境界位置が現フレームの低輝度範囲に含まれないと判定された場合、処理はステップＳ１５７に進められ、第３のカウンタ値cnt3は０に初期化されて、当該統合判定処理は終了される。
【００９１】
以上のように、検出された境界候補対の時間的継続性を示す第３のカウンタ値cnt3がインクリメントされるか、０に初期化されるか、またはその値が維持されて、処理は図１９のステップＳ１０４にリターンする。
【００９２】
図１９に戻る。ステップＳ１０４において、出力処理部２５は、統合判定部２３によって設定された、境界候補対の時間的継続性を示す第３のカウンタ値cnt3に基づき、各フレームにおける境界の位置を決定して後段に出力する。このステップＳ１０４の出力処理について、図２３のフローチャートを参照して詳述する。
【００９３】
ステップＳ１６１において、出力処理部２５は、統合判定部２３によって現フレーム上で境界候補対が検出されたか否かを判定し、検出されたと判定した場合、処理をステップＳ１６２に進める。ステップＳ１６２において、出力処理部２５は、検出された境界候補対に対する第３のカウンタ値cnt3が予め設定されている第３の閾値以上であるか否かを判定し、検出された境界候補対に対する第３のカウンタ値cnt3が第３の閾値以上であると判定した場合、処理をステップＳ１６３に進める。
【００９４】
ステップＳ１６３において、出力処理部２５は、現フレーム上で検出された境界候補対の位置を、境界の位置として除外領域設定部１５に通知する。
【００９５】
反対に、ステップＳ１６１において、統合判定部２３によって現フレーム上で境界候補対が検出されなかったと判定された場合、あるいは、ステップＳ１６２において、検出された境界候補対に対する第３のカウンタ値cnt3が第３の閾値以上ではないと判定した場合、処理はステップＳ１６４に進められる。
【００９６】
ステップＳ１６４において、出力処理部２５は、１フレーム前に出力した境界の位置を、現フレームの境界の位置を除外領域設定部１５に通知する。
【００９７】
以上のように、出力処理によれば、現フレーム上で境界候補対が検出され、且つ、それが時間的継続性を有しているならば、境界と認識してその位置を除外領域設定部１５に通知し、反対に、現フレーム上で境界候補対が検出されない場合、あるいは、検出されても時間的継続性を有していない場合、１フレーム前の境界の位置を除外領域設定部１５に通知する。以上で、黒帯検出処理は終了される。
【００９８】
ここで、以上説明した黒帯検出処理により、画像信号の各フレームに対応して出力される境界位置の例について、図２４乃至図２７を参照して説明する。
【００９９】
図２４は、フレームの上下端に黒帯が付加されている画像信号の推移を示しており、フレームの縦方向の画素数の一例としてその値が２４０である場合を示している。
【０１００】
すなわち、フレームｆ０までは、その上下端に厚さ２０画素の低輝度範囲が存在し、そのフレーム中央側の端だけが境界候補として検出されている状況である。フレームｆ１になると、その上下端に厚さ２０画素の低輝度範囲が存在し、そのフレーム中央側の端だけでなく、低輝度範囲内の字幕などに応じた複数の境界候補が検出されている状況である。フレームｆ２では、画面全体が低輝度範囲となり、境界候補が検出されている状況である。
【０１０１】
図２４のように、画像信号が推移した場合、フレームｆ０では、フレームの上下端の境界候補対として、検出されたフレームの上下端の境界候補対の位置、すなわち、上下端からそれぞれ２０画素の位置が境界位置として通知される。フレームｆ１では、上端に境界候補が増加するものの、時間的連続性のある境界候補対は１つであるので、引き続き、上下端からそれぞれ２０画素の位置が境界位置として通知される。そして、フレームｆ２では、境界候補は検出されないものの、１フレーム前のフレームｆ１に対応して出力した境界位置（フレームの上下端からそれぞれ２０画素の位置）が、検出された低輝度範囲に含まれるので、フレームｆ１に対応して出力した境界位置（フレームの上下端からそれぞれ２０画素の位置）が通知される。
【０１０２】
図２５乃至図２７は、フレームの上下端に黒帯が付加されている画像信号の推移のうち、その上端側の情報を示している。なお、図２５乃至図２７においては、第３のカウンタ値の比較対象となる第３の閾値を７としている。
【０１０３】
図２５は、黒帯検出処理が開始された直後（フレームｆ０乃至ｆ１１（図２４のフレームｆ０乃至ｆ２とは異なる））の例を示している。同図の場合、フレームｆ０乃至ｆ６においても、境界位置として上端から２０画素の位置が検出されているものの、時間的連続性がないので、フレームｆ６までは境界位置が通知されない。そして、フレームｆ７以降、検出された境界位置に時間的連続性がある（第３のカウンタ値が第３の閾値以上である）と判定されて、検出された境界位置（上端から２０画素の位置）が通知される。
【０１０４】
図２６は、暗いシーンであるために画面全体の輝度が低下したときの例を示している。同図の場合、フレームｆ１０３以降に画面全体の輝度が低下し、低輝度範囲が上端から１１９画素の位置まで拡大され、境界位置が検出されていないが、１フレーム前のフレームｆ１０２に対応して通知した境界位置（フレームの上端から２０画素の位置）が検出された低輝度範囲に含まれるので、フレームｆ１０２に対応して通知した境界位置（フレームの上端から２０画素の位置）が通知される。
【０１０５】
図２７は、黒帯が付加された映画などの画面から、黒帯のないコマーシャルの画面に切り替わったときの例を示している。同図の場合、フレームｆ２０３以降に低輝度範囲が消滅し、フレームｆ２０３で境界候補対が検出されないので第３のカウンタ値が０に初期化される。ただし、フレームｆ２０３乃至ｆ２０９では、新たな境界位置（フレームの上端から０画素の位置）の時間的連続性がないので、フレームｆ２０２に対応して通知した境界位置（フレームの上端から２０画素の位置）が通知される。そして、フレームｆ２１０以降、検出された境界位置に時間的連続性がある（第３のカウンタ値が第３の閾値以上である）と判定されて、検出された境界位置（上端から０画素の位置）が通知される。
【０１０６】
以上説明した黒帯検出処理によれば、画像信号にノイズのある場合、黒帯中に字幕、テロップなどを含む場合においても、高い精度で黒帯の境界を検出することができる。また、画像信号の途中に画面全体が暗くなるようなシーンが含まれていても、高い精度で黒帯の境界を検出することができる。
【０１０７】
以上のように、黒帯の境界位置が除外領域設定部１５に通知されて、処理は図１８に戻される。ステップＳ２において、直線エッジ検出部１３は、画像内の直線エッジを検出し、検出した直線エッジの位置情報を除外領域設定部１５に通知する。なお、上述したように、ここで検出される直線エッジには、画像内のP in Pの輪郭、テロップを囲む枠、OSDの輪郭なども含まれる。
【０１０８】
ステップＳ３において、繰り返しパターン検出部１４は、画像内の直線エッジを検出し、検出した繰り返しパターンの位置情報を除外領域設定部１５に通知する。
【０１０９】
なお、ステップＳ１乃至Ｓ３の処理は、説明の便宜上、ステップＳ１，Ｓ２，Ｓ３の順序で実行されると説明したが、その実行順序を変更したり、同時に平行して実行したりすることができる。
【０１１０】
ステップＳ４において、除外領域設定部１５は、黒帯検出部１２から通知された黒帯（の境界）の位置情報、直線エッジ検出部１３から通知された直線エッジの位置情報、および繰り返しパターン検出部１４から通知された繰り返しパターンの位置情報に基づいて除外領域を設定し、追尾処理部１６の移動オブジェクト検出部１７および追尾点推定部１８に通知する。
【０１１１】
ステップＳ５において、追尾処理部１６の移動オブジェクト検出部１７は、前段から入力された画像信号の画像内のオブジェクトを検出し、検出したオブジェクトが含まれる領域を推定し、推定した領域内に追尾点を設けて追尾点の動きベクトルを検出する。だだし、この動きベクトルを算出する場合、除外領域設定部１５から通知された除外領域内に、動きベクトル検出に際して設けるマッチング領域の中心画素が位置しているときには動きベクトルを算出しないようにする。
【０１１２】
ステップＳ６において、追尾処理部１６の追尾点推定部１８は、移動オブジェクト検出部１７で検出された動きベクトルに基づき、追尾点の動き（次のフレームにおける追尾点の位置）を推定し、推定結果を移動オブジェクトの位置情報として後段に出力する。
【０１１３】
ただし、この推定に際して設定するマッチング領域の中心画素が除外領域内に位置している場合、追尾点を予め設定されている乗換え候補に変更するようにする。そして再び、乗り換え後の追尾点に対するマッチング領域の中心画素が除外領域内に位置しているか否かを判断し、乗り換え後の追尾点に対するマッチング領域の中心画素が除外領域内に位置していないと判断するまで、追尾点を他の乗り換え候補に変更する。
【０１１４】
また、追尾点推定部１８は、追尾点の推定に際して設定する探索領域が除外領域にかかる場合には、追尾点を予め設定されている乗換え候補に変更するようにする。なお、この場合においても、乗り換え後の追尾点に対するマッチング領域の中心画素が除外領域内に位置しないと判断するまで、追尾点を他の乗り換え候補に変更する。以上で、オブジェクト追尾処理の説明を終了する。
【０１１５】
以上説明したオブジェクト追尾装置１０のオブジェクト追尾処理によれば、画像内の黒帯を正確に検出することができる。よって、検出された黒帯をブロックマッチングの際に設定するマッチング領域から正確に除外することができるので、動きベクトルを正確に検出することができ、結果的に、移動するオブジェクトを正確に追尾することが可能となる。
【０１１６】
また、画像の直線エッジおよび繰り返しパターンも検出することができる。よって、検出された直線エッジおよび繰り返しパターンもブロックマッチングを行なう際のマッチング領域から正確に除外することができるので、動きベクトルを正確に検出することができ、結果的に、移動するオブジェクトを正確に追尾することが可能となる。
【０１１７】
なお、本発明は、例えば、ビデオプレーヤ、ビデオレコーダ、テレビジョンチューナ、テレビジョン受像機などの画像信号を処理する電子機器に適用することができる。
【０１１８】
また、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１１９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２０】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０１２１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２２】
【図１】動きベクトル検出に際して設定するマッチング領域に対する黒帯の影響を説明するための図である。
【図２】動きベクトル検出に際して設定するマッチング領域に対する黒帯の影響を説明するための図である。
【図３】本発明の一実施の形態であるオブジェクト追尾装置の構成例を示すブロック図である。
【図４】画像信号の画面上の黒帯を説明する図である。
【図５】図３の黒帯検出部の構成例を示すブロック図である。
【図６】図５の低輝度範囲検出部の動作を説明する図である。
【図７】図５の低輝度範囲検出部の動作を説明する図である。
【図８】図５の境界候補検出部の動作を説明する図である。
【図９】境界候補の例を示す図である。
【図１０】画像信号の画面上の直線エッジの表示例を示す図である。
【図１１】直線エッジとして検出されるP in P、およびテロップの表示例を示す図である。
【図１２】画像の上下の黒帯に対応して設定される除外領域を示す図である。
【図１３】画像の左右の黒帯に対応して設定される除外領域を示す図である。
【図１４】直線エッジに対応して設定される除外領域を示す図である。
【図１５】直線エッジに対応して設定される除外領域を示す図である。
【図１６】オブジェクト内に繰り返しパターンが存在する場合を示す図である。
【図１７】オブジェクト内に繰り返しパターンが存在する場合を示す図である。
【図１８】オブジェクト追尾処理を説明するフローチャートである。
【図１９】図１８のステップＳ１を詳述するフローチャートである。
【図２０】図１９のステップＳ１０１を詳述するフローチャートである。
【図２１】図１９のステップＳ１０２を詳述するフローチャートである。
【図２２】図１９のステップＳ１０３を詳述するフローチャートである。
【図２３】図１９のステップＳ１０４を詳述するフローチャートである。
【図２４】黒帯検出処理を説明するための図である。
【図２５】黒帯検出処理による出力を説明するための図である。
【図２６】黒帯検出処理による出力を説明するための図である。
【図２７】黒帯検出処理による出力を説明するための図である。
【符号の説明】
【０１２３】
１０  オブジェクト追尾装置，  １１  除外領域検出部，  １２  黒帯検出部，  １３  直線エッジ検出部，  １４  繰り返しパターン検出部，  １５  除外領域設定部，  １６  追尾処理部，  １７  移動オブジェクト検出部，  １８  追尾点推定部，  ２１  低輝度範囲検出部，  ２２  境界候補検出部，  ２３  統合判定部，  ２４  メモリ，  ２５  出力処理部
【図１】
2009223722.tif 000003
【図２】
2009223722.tif 000004
【図３】
2009223722.tif 000005
【図４】
2009223722.tif 000006
【図５】
2009223722.tif 000007
【図６】
2009223722.tif 000008
【図７】
2009223722.tif 000009
【図８】
2009223722.tif 000010
【図９】
2009223722.tif 000011
【図１０】
2009223722.tif 000012
【図１１】
2009223722.tif 000013
【図１２】
2009223722.tif 000014
【図１３】
2009223722.tif 000015
【図１４】
2009223722.tif 000016
【図１５】
2009223722.tif 000017
【図１６】
2009223722.tif 000018
【図１７】
2009223722.tif 000019
【図１８】
2009223722.tif 000020
【図１９】
2009223722.tif 000021
【図２０】
2009223722.tif 000022
【図２１】
2009223722.tif 000023
【図２２】
2009223722.tif 000024
【図２３】
2009223722.tif 000025
【図２４】
2009223722.tif 000026
【図２５】
2009223722.tif 000027
【図２６】
2009223722.tif 000028
【図２７】
2009223722.tif 000029