(57)【要約】【課題】時系列画像から精度良く被写体の形状情報を獲得する。また、画像中の濃淡変化が小さい部分でも特徴点として抽出すると共にフレーム間の撮像装置の変動に対して安定し特徴点の対応づけをする。【解決手段】サブシーケンス特徴点抽出部１０４０は時系列画像の各サブシーケンスの画像中の特徴点座標を抽出する。ミニシーケンス特徴点抽出部１０９０は前記各サブシーケンスから派生した各ミニシーケンスの画像中の特徴点座標を抽出する。部分形状三次元形状復元部１０７０は補正された各サブシーケンスのカメラ運動から各サブシーケンス内の被写体の一部の三次元形状を復元する。ミニパーツ三次元復元部１１００は前記補正されたカメラ運動と前記抽出された各ミニシーケンスの特徴点座標とから各ミニシーケンス内の被写体の一部の三次元形状を復元する。復元部１０７０，１１００で復元された三次元形状は統合部１１２０にて統合される。【選択図】図１
2010140283.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で得た時系列画像から被写体の三次元形状を復元する三次元形状復元装置であって、
前記撮像装置で取得された時系列画像をサブシーケンスの画像列と前記サブシーケンスから派生するミニシーケンスの画像列とに分割する分割手段と、
前記得られた各サブシーケンスの画像中の特徴点座標を抽出するサブシーケンス特徴点抽出手段と、
前記抽出された各サブシーケンスの特徴点座標から各サブシーケンスの撮像装置運動を算出する運動算出手段と、
前記算出された各サブシーケンスの撮像装置運動から時系列画像の撮像装置運動を推定し、この推定に基づき各サブシーケンスの撮像装置運動を補正する運動補正手段と、
前記補正された撮像装置運動から各サブシーケンス内の被写体の一部の三次元形状を復元する第一復元手段と、
前記得られた各ミニシーケンスの画像中の特徴点座標を抽出するミニシーケンス特徴点抽出手段と、
前記補正された撮像装置運動と前記抽出された各ミニシーケンスの特徴点座標とから各ミニシーケンス内の被写体の一部の三次元形状を復元する第二復元手段と、
前記第一復元手段で復元された三次元形状と前記第二復元手段で復元された三次元形状とを統合して前記被写体の全体形状を得る統合手段と
を備える
ことを特徴とする三次元形状復元装置。
【請求項２】
各サブシーケンスで抽出したい特徴点群の幾何配置の関係性情報を持つモデルが予め学習により作成され、これを前記サブシーケンス特徴点抽出手段に供される複数の局所モデルとして保持する局所モデル記憶手段を備え、
前記サブシーケンス特徴点抽出手段は、前記局所モデル記憶手段から各サブシーケンスの局所モデルを読み込み、このモデルに基づき全画像中の特徴点を抽出し、この抽出した特徴点の画像座標から各サブシーケンスの計測行列を算出する
ことを特徴とする請求項１に記載の三次元形状復元装置。
【請求項３】
各ミニシーケンスで抽出したい特徴点群の幾何配置の関係性情報を持つモデルが予め学習により作成され、これを前記ミニシーケンス特徴点抽出手段に供される複数の広範囲モデルとして保持する広範囲モデル記憶手段を備え、
前記ミニシーケンス特徴点抽出手段は、前記広範囲モデル記憶手段から各ミニシーケンスの広範囲モデルを読み込み、このモデルに基づき全画像中の特徴点を抽出し、この抽出した特徴点の画像座標から各ミニシーケンスの計測行列を算出する
ことを特徴とする請求項１または２に記載の三次元形状復元装置。
【請求項４】
前記分割手段は、前記時系列画像を分割して複数のサブシーケンスを生成し、この各サブシーケンスをさらに分割して複数のミニシーケンスを生成する
ことを特徴とする請求項１から３のいずれか１項に記載の三次元形状復元装置。
【請求項５】
前記運動補正手段は、前記算出された撮像装置運動に、撮像時の撮像装置運動を拘束する条件を付加して時系列画像の撮像装置運動を推定し、この推定した時系列画像の撮像装置運動に基づき各サブシーケンスの撮像装置運動を補正する
ことを請求項１から４のいずれか１項に記載の三次元形状復元装置。
【請求項６】
前記統合手段は、各サブシーケンスから復元された被写体の一部の三次元形状と各サブシーケンスから派生した複数のミニシーケンスから復元された被写体の一部の三次元形状との重複点を有する特徴点対応テーブルに基づき、前記第一復元手段で復元された三次元形状と、前記第二復元手段で復元された三次元形状を、サブシーケンスごとの部分形状として統合し、この統合させた各サブシーケンスの部分形状をさらに一つの全体形状に統合する
ことを特徴とする請求項１から５のいずれか１項に記載の三次元形状復元装置。
【請求項７】
撮像装置で得た時系列画像から被写体の三次元形状を復元する三次元形状復元方法であって、
分割手段が、前記撮像装置で取得された時系列画像をサブシーケンスの画像列と前記サブシーケンスから派生するミニシーケンスの画像列とに分割する分割ステップと、
サブシーケンス特徴点抽出手段が、前記分割ステップで得られた各サブシーケンスの画像中の特徴点座標を抽出する第一抽出ステップと、
運動算出手段が、前記抽出された各サブシーケンスの特徴点座標から各サブシーケンスの撮像装置運動を算出する運動算出ステップと、
運動補正手段が、前記算出された各サブシーケンスの撮像装置運動から時系列画像の撮像装置運動を推定し、この推定に基づき各サブシーケンスの撮像装置運動を補正する補正ステップと、
第一復元手段が、前記補正された撮像装置運動から各サブシーケンス内の被写体の一部の三次元形状を復元する第一復元ステップと、
ミニシーケンス特徴点抽出手段が、前記分割ステップで得られた各ミニシーケンスの画像中の特徴点座標を抽出する第二抽出ステップと、
第二復元手段が、前記補正された撮像装置運動と前記抽出された各ミニシーケンスの特徴点座標とから各ミニシーケンス内の被写体の一部の三次元形状を復元する第二復元ステップと、
前記統合手段が、前記第一復元ステップで復元された三次元形状と前記第二復元ステップで復元された三次元形状とを統合して前記被写体の全体形状を得る統合ステップと
を有すること
ことを特徴とする三次元形状復元方法。
【請求項８】
各サブシーケンスで抽出したい特徴点群の幾何配置の関係性情報を持つモデルを予め学習により作成し、これを前記第一抽出ステップに供される複数の局所モデルとして局所モデル記憶手段が保持するステップをさらに有し、
前記第一抽出ステップでは、前記局所モデル記憶手段から各サブシーケンスの局所モデルを読み込み、このモデルに基づき全画像中の特徴点を抽出し、この抽出した特徴点の画像座標から各サブシーケンスの計測行列を算出する
ことを特徴とする請求項７に記載の三次元形状復元方法。
【請求項９】
各ミニシーケンスで抽出したい特徴点群の幾何配置の関係性情報を持つモデルを予め学習により作成し、これを前記第二抽出ステップに供される複数の広範囲モデルとして広範囲モデル記憶手段が保持するステップをさらに有し、
前記第二抽出ステップでは、前記広範囲モデル記憶手段から各ミニシーケンスの広範囲モデルを読み込み、このモデルに基づき全画像中の特徴点を抽出し、この抽出した特徴点の画像座標から各ミニシーケンスの計測行列を算出する
ことを特徴とする請求項７または８に記載の三次元形状復元方法。
【請求項１０】
前記統合ステップでは、各サブシーケンスから復元された被写体の一部の三次元形状と各サブシーケンスから派生した複数のミニシーケンスから復元された被写体の一部の三次元形状との重複点を有する特徴点対応テーブルに基づき、第一復元手段で復元された三次元形状と、第二復元手段で復元された三次元形状を、サブシーケンスごとの部分形状として統合し、この統合させた各サブシーケンスの部分形状をさらに一つの全体形状に統合する
ことを特徴とする請求項７から９のいずれか１項に記載の三次元形状復元方法。
【請求項１１】
請求項１から６のいずれか１項に記載の三次元形状復元装置を構成する各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像入力装置により取得した時系列画像データから被写体の三次元形状並びに画像入力装置の運動を取得するための技術に関するものである。
【背景技術】
【０００２】
コンピュータビジョン分野では、時系列画像から対象物の三次元形状を計測または獲得する研究が多くなされており、時系列画像からカメラの運動と被写体の三次元形状を同時に復元する代表的な手法に因子分解法がある（非特許文献１参照）。
【０００３】
因子分解法は画像列中における任意の画像上で発生した特徴点を他のフレーム間に渡って抽出、追跡した結果に、射影モデルに基づいた幾何拘束条件を与えることで、カメラ運動と物体形状を同時に復元することができる。このとき線形射影モデルに近似し特異値分解などによりノイズ除去を行うため、雑音にロバストであるという特徴を持つ。また、因子分解法は全ての特徴点が時系列画像の全フレームに渡って追跡できているという仮定が成り立つ場合のみ適応可能な手法である。即ち、特徴点がフレームアウトしたり、途中フレームから新しく発生したりしないことを前提としている。そのため、例えばターンテーブルに置いた対象物を一回転させながら撮影した場合や、カメラが対象物を一周するような状況では、特徴点が途中で隠れて見えなくなるため因子分解法を適応することができない。
【０００４】
この課題に対し、非特許文献２では時系列画像を特徴点の消失が発生しない任意の長さの複数画像列に分割し、各部分画像列において対象物の一部分の形状を復元し、統合することで対象物の全体形状復元を実現している。
【０００５】
尚、本発明に関連するＡｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌｓ（以下、ＡＡＭ）は非特許文献３に、クォータニオンは非特許文献４に各々記載されている。
【非特許文献１】Ｃ．Ｔｏｍａｓｉ  ａｎｄ  Ｔ．Ｋａｎａｄｅ：”Ｓｈａｐｅ  ａｎｄ  ｍｏｔｉｏｎ  ｆｒｏｍ  ｉｍａｇｅ  ｓｔｒｅａｍｓ  ｕｎｄｅｒ  ｏｒｔｈｏｇｒａｐｈｙ：ａ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｍｅｔｈｏｄ”Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，９（２），ｐｐ．１３７−１５４（１９９２）
【非特許文献２】浮田宗伯，尺長健：”透視投影因子分解法による広範囲画像系列からの３次元物体モデル生成”，電子情報通信学会技術報告，ＰＲＭＵ  Ｖｏｌ．９７，Ｎｏ．５９６  ｐｐ．８１−８８（１９９８）
【非特許文献３】Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｇ．Ｊ．Ｅｄｗａｒｄｓ，ａｎｄ  Ｃ．Ｊ．Ｔａｙｌｏｒ：” Ａｃｔｉｖｅ  ａｐｐｅａｒａｎｃｅ  ｍｏｄｅｌｓ”．ＩＥＥＥ  ＴＰＡＭＩ，２３（６）：６８１−６８５，２００１
【非特許文献４】Ｂ．Ｋ．Ｐ．Ｈｏｒｎ：”Ｃｌｏｓｅｄ−ｆｏｒｍ  ｓｏｌｕｔｉｏｎ  ｏｆ  ａｂｓｏｌｕｔｅ  ｏｒｉｅｎｔａｔｉｏｎ  ｕｓｉｎｇ  ｕｎｉｔ  ｑｕａｔｅｒｎｉｏｎｓ”Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ  Ａ，ｖｏｌ．〜４，ｐｐ．６２９−６４２，１９８７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記技術には以下のような課題がある。
【０００７】
一般に複数枚画像における特徴点の対応からの三次元形状算出において、画像間のカメラの動きが小さい場合、カメラの運動が大きい場合に比べ復元精度が大きく低下する。非特許文献２の手法では、画像列の分割によりカメラの動きが小さくなるため復元精度が低下する。
【０００８】
また、特徴点抽出、追跡の手法は様々あるが、画像中のエッジ情報やテクスチャの変化が大きい部分を特徴点として抽出し追跡する手法が多い。このような手法の場合、例えば人物の顔であれば眼尻のような濃淡変化の大きい部分は特徴点として抽出できても、頬や鼻のような比較的テクスチャの変化が小さい部分は特徴点を抽出することは困難である。またフレーム間のカメラの動きが大きい場合、特徴点の対応付けが難しくなり特徴点追跡結果の信頼性が低くなる。
【０００９】
本発明は、上記の問題点に鑑みてなされたものであり、その第一の課題は、特徴点の欠落や途中発生を伴う時系列画像において、画像列の分割を行っても精度良く被写体の形状情報を獲得できる三次元形状復元方法とその装置及びプログラムの提供にある。
【００１０】
本発明の第二の課題は、画像中の濃淡変化が小さい部分でも特徴点として抽出できると共にフレーム間の撮像装置の変動に対して安定して特徴点の対応づけを行える三次元復元方法とその装置及びプログラムの提供にある。
【課題を解決するための手段】
【００１１】
そこで、請求項１〜１１の発明は、映像のサブシーケンスを利用して各サブシーケンス内の被写体の一部の三次元形状を復元し、各サブシーケンスから派生したミニシーケンスを利用して各ミニシーケンス内の被写体の一部の三次元形状を復元し、これらの三次元形状を統合することにより、第一の課題を解決している。
【００１２】
また、請求項２，３，８，９の発明は、さらに、各サブシーケンスまたは各ミニシーケンスで抽出したい特徴点群の幾何配置の関係性情報を予め保持することにより、第二の課題を解決している。
【００１３】
すなわち、請求項１の三次元形状復元装置は、撮像装置で得た時系列画像から被写体の三次元形状を復元する三次元形状復元装置であって、前記撮像装置で取得された時系列画像をサブシーケンスの画像列と前記サブシーケンスから派生するミニシーケンスの画像列とに分割する分割手段と、前記得られた各サブシーケンスの画像中の特徴点座標を抽出するサブシーケンス特徴点抽出手段と、前記抽出された各サブシーケンスの特徴点座標から各サブシーケンスの撮像装置運動を算出する運動算出手段と、前記算出された各サブシーケンスの撮像装置運動から時系列画像の撮像装置運動を推定し、この推定に基づき各サブシーケンスの撮像装置運動を補正する運動補正手段と、前記補正された撮像装置運動から各サブシーケンス内の被写体の一部の三次元形状を復元する第一復元手段と、前記得られた各ミニシーケンスの画像中の特徴点座標を抽出するミニシーケンス特徴点抽出手段と、前記補正された撮像装置運動と前記抽出された各ミニシーケンスの特徴点座標とから各ミニシーケンス内の被写体の一部の三次元形状を復元する第二復元手段と、前記第一復元手段で復元された三次元形状と前記第二復元手段で復元された三次元形状とを統合して前記被写体の全体形状を得る統合手段とを備える。
【００１４】
請求項２の三次元形状復元装置は、請求項１の三次元形状復元装置において、各サブシーケンスで抽出したい特徴点群の幾何配置の関係性情報を持つモデルが予め学習により作成され、これを前記サブシーケンス特徴点抽出手段に供される複数の局所モデルとして保持する局所モデル記憶手段を備え、前記サブシーケンス特徴点抽出手段は、前記局所モデル記憶手段から各サブシーケンスの局所モデルを読み込み、このモデルに基づき全画像中の特徴点を抽出し、この抽出した特徴点の画像座標から各サブシーケンスの計測行列を算出する。
【００１５】
請求項３の三次元形状復元装置は、請求項１または２の三次元形状復元装置において、各ミニシーケンスで抽出したい特徴点群の幾何配置の関係性情報を持つモデルが予め学習により作成され、これを前記ミニシーケンス特徴点抽出手段に供される複数の広範囲モデルとして保持する広範囲モデル記憶手段を備え、
前記ミニシーケンス特徴点抽出手段は、前記広範囲モデル記憶手段から各ミニシーケンスの広範囲モデルを読み込み、このモデルに基づき全画像中の特徴点を抽出し、この抽出した特徴点の画像座標から各ミニシーケンスの計測行列を算出する。
【００１６】
請求項４の三次元形状復元装置は、請求項１から３のいずれかの三次元形状復元装置において、前記分割手段は、前記時系列画像を分割して複数のサブシーケンスを生成し、この各サブシーケンスをさらに分割して複数のミニシーケンスを生成する。
【００１７】
請求項５の三次元形状復元装置は、請求項１から４のいずれかの三次元形状復元装置において、前記運動補正手段は、前記算出された撮像装置運動に、撮像時の撮像装置運動を拘束する条件を付加して時系列画像の撮像装置運動を推定し、この推定した時系列画像の撮像装置運動に基づき各サブシーケンスの撮像装置運動を補正する。
【００１８】
請求項６の三次元形状復元装置は、請求項１から５のいずれかの三次元形状復元装置において、前記統合手段は、各サブシーケンスから復元された被写体の一部の三次元形状と各サブシーケンスから派生した複数のミニシーケンスから復元された被写体の一部の三次元形状との重複点を有する特徴点対応テーブルに基づき、前記第一復元手段で復元された三次元形状と、前記第二復元手段で復元された三次元形状を、サブシーケンスごとの部分形状として統合し、この統合させた各サブシーケンスの部分形状をさらに一つの全体形状に統合する。
【００１９】
請求項７の三次元形状復元方法は、撮像装置で得た時系列画像から被写体の三次元形状を復元する三次元形状復元方法であって、分割手段が、前記撮像装置で取得された時系列画像をサブシーケンスの画像列と前記サブシーケンスから派生するミニシーケンスの画像列とに分割する分割ステップと、サブシーケンス特徴点抽出手段が、前記分割ステップで得られた各サブシーケンスの画像中の特徴点座標を抽出する第一抽出ステップと、運動算出手段が、前記抽出された各サブシーケンスの特徴点座標から各サブシーケンスの撮像装置運動を算出する運動算出ステップと、運動補正手段が、前記算出された各サブシーケンスの撮像装置運動から時系列画像の撮像装置運動を推定し、この推定に基づき各サブシーケンスの撮像装置運動を補正する補正ステップと、第一復元手段が、前記補正された撮像装置運動から各サブシーケンス内の被写体の一部の三次元形状を復元する第一復元ステップと、ミニシーケンス特徴点抽出手段が、前記分割ステップで得られた各ミニシーケンスの画像中の特徴点座標を抽出する第二抽出ステップと、第二復元手段が、前記補正された撮像装置運動と前記抽出された各ミニシーケンスの特徴点座標とから各ミニシーケンス内の被写体の一部の三次元形状を復元する第二復元ステップと、前記統合手段が、前記第一復元ステップで復元された三次元形状と前記第二復元ステップで復元された三次元形状とを統合して前記被写体の全体形状を得る統合ステップとを有する。
【００２０】
請求項８の三次元形状復元方法は、請求項７の三次元形状復元方法において、各サブシーケンスで抽出したい特徴点群の幾何配置の関係性情報を持つモデルを予め学習により作成し、これを前記第一抽出ステップに供される複数の局所モデルとして局所モデル記憶手段が保持するステップをさらに有し、前記第一抽出ステップでは、前記局所モデル記憶手段から各サブシーケンスの局所モデルを読み込み、このモデルに基づき全画像中の特徴点を抽出し、この抽出した特徴点の画像座標から各サブシーケンスの計測行列を算出する。
【００２１】
請求項９の三次元形状復元方法は、請求項７または８の三次元形状復元方法において、各ミニシーケンスで抽出したい特徴点群の幾何配置の関係性情報を持つモデルを予め学習により作成し、これを前記第二抽出ステップに供される複数の広範囲モデルとして広範囲モデル記憶手段が保持するステップをさらに有し、前記第二抽出ステップでは、前記広範囲モデル記憶手段から各ミニシーケンスの広範囲モデルを読み込み、このモデルに基づき全画像中の特徴点を抽出し、この抽出した特徴点の画像座標から各ミニシーケンスの計測行列を算出する。
【００２２】
請求項１０の三次元形状復元方法は、請求項７から９のいずれかの三次元形状復元方法において、前記統合ステップでは、各サブシーケンスから復元された被写体の一部の三次元形状と各サブシーケンスから派生した複数のミニシーケンスから復元された被写体の一部の三次元形状との重複点を有する特徴点対応テーブルに基づき、第一復元手段で復元された三次元形状と、第二復元手段で復元された三次元形状を、サブシーケンスごとの部分形状として統合し、この統合させた各サブシーケンスの部分形状をさらに一つの全体形状に統合する。
【００２３】
請求項１１のプログラムは、請求項１から６のいずれかの三次元形状復元装置を構成する各手段としてコンピュータを機能させるプログラムである。
【発明の効果】
【００２４】
したがって、以上の発明によれば、特徴点の欠落や途中発生を伴うような時系列画像において、画像列の分割を行っても精度良く被写体の形状情報を獲得できる。
【００２５】
特に、請求項２，３，８，９の発明によれば、画像中の濃淡変化が小さい部分でも特徴点として抽出できると共にフレーム間の撮像装置の変動に対して安定した特徴点の対応づけができる。
【発明を実施するための最良の形態】
【００２６】
（実施形態１）
図１は発明に係る実施形態１の三次元形状復元装置の構成を示すブロック図である。
【００２７】
三次元形状復元装置１は、フレーム間のカメラの動きが大きい場合でも安定した特徴点追跡を可能にするためのサブシーケンスの特徴点抽出手段とミニシーケンスの特徴点抽出手段と、画像上のテクスチャ変化の小さい部分の特徴点の抽出を可能にするための局所モデル記憶手段と広範囲モデル記憶手段を備える。
【００２８】
三次元形状復元装置１の具体的な構成は図１の通りである。画像入力部１０１０はビデオカメラに例示される撮像装置から時系列画像を取得する。画像列分割部１０２０は画像入力部１０１０から伝送された時系列画像をサブシーケンスとミニシーケンスの２種類の短い画像列に分割する。局所モデル記憶部１０３０はサブシーケンス特徴点抽出部１０４０で使用するモデル情報を読み出し可能に保持している。サブシーケンス特徴点抽出部１０４０は前記サブシーケンス内の画像から特徴点を抽出する。カメラ運動算出部１０５０は前記サブシーケンスにおけるカメラの運動を算出する。カメラ運動補正部１０６０はカメラ運動算出部１０５０から伝送されたカメラ運動情報を補正する。部分形状三次元復元部１０７０は前記サブシーケンス中の被写体の一部の三次元形状を復元する。広範囲モデル記憶部１０８０はミニシーケンス特徴点抽出部１０９０で使用するモデル情報を読み出し可能に保持している。ミニシーケンス特徴点抽出部１０９０は前記ミニシーケンス内の画像から特徴点を抽出する。ミニパーツ三次元復元部１１００は前記ミニシーケンス内の被写体の一部の三次元形状を復元する。統合部１１２０は部分形状三次元復元部１０７０とミニパーツ三次元復元部１１００から伝送された複数の三次元形状データを一つに統合する。統合部１１２０は図９に示されたように部分形状統合部７００１と全体形状統合部７００２から構成される。対応テーブル記憶部１１１０は統合部１１２０で使用する特徴点の対応情報を保持している。出力部１１３０は統合部１１２０から伝送された全体形状データを出力する。
【００２９】
三次元形状復元装置１は、通常のコンピュータの構成要素、例えばＣＰＵ、メモリ（ＲＡＭ）と、ハードディスクドライブ装置と、撮像装置とネットワーク接続される通信デバイスなどのハートウェア資源とを備え、このハードウェア資源とインストール済みのソフトウェアとの協働によって上述の各機能ブロック１０１０〜１１３０に係る処理が実行される。そして、この処理によって得られた画像は図示省略のディスプイ（表示装置）にて適宜に表示される。また、記憶部１０３０，１０８０，１１１０にはハードディスクドライブ装置などの保存手段を利用することができる。この場合に各記憶部１０３０，１０８０，１１１０は必ずしも三次元形状復元装置１に内蔵する必要はなくネットワークを介したリモートの形態を利用してもよい。尚、後述の三次元形状復元装置２も同様である。
【００３０】
図２は三次元形状復元装置１による三次元形状復元を説明したフローチャートである。以下、図２を参照しながら三次元形状復元装置１の処理（Ｓ２０１０〜Ｓ２１００）について説明する。
【００３１】
Ｓ２０１０：ここでは画像入力部１０１０は、ビデオカメラ等の撮像装置からネットワーク経由で時系列データを取得するものとする。この画像入力部１０１０は前記通信デバイスなどにより実現され、前記取得した時系列画像データを画像列分割部１０２０に伝送する。尚、画像入力部１０１０は前記通信デバイスに限らず前記撮像装置と接続して時系列画像データを取得可能な他のデバイスを用いてもよい。
【００３２】
画像入力部１０１０に入力される時系列画像の例としては、被写体の周りを一周するように撮影した画像を用いる。例えば、図３のように固定されたカメラ１台の正面に被写体となる人物が立ち、カメラに対し顔を右から左、または左から右へ回させる一連の動作を撮影した映像を用いる。また、入力画像列の例として、任意の台数のカメラで被写体を囲むように配置して撮影した複数枚の画像や、一台の固定カメラでターンテーブル上に置かれた対象物が回転する状況を撮影した画像などを用いてもよい。
【００３３】
Ｓ２０２０：画像列分割部１０２０は入力された時系列画像を図４に示すように時系列画像（以下、全体画像列）をｋ個のサブシーケンスと、そのサブシーケンスをｎk個のミニシーケンスに分割する。サブシーケンスはサブシーケンス特徴点抽出部１０４０に、ミニシーケンスはミニシーケンス特徴点抽出部１０９０にそれぞれ伝送される。全体画像列からサブシーケンスへの分割では、全体画像列の全フレームは洩れなくサブシーケンスに属し、また隣接するサブシーケンスにおいて一部の画像が重複していてもよい。例えば２番目のサブシーケンスの最後の数フレームと、３番目のサブシーケンスの最初の数フレームが重複しており、同一画像であってもよい。サブシーケンスからミニシーケンスへの分割も、同様であり、一部の画像が重複していてもよい。
【００３４】
局所モデル記憶部１０３０は、あらかじめ生成された複数の局所モデルを保持しておき、保持しているデータを必要に応じてサブシーケンス特徴点抽出部１０４０に出力する。なお、局所モデルの生成にはＡＡＭを用いる。ＡＡＭはアピアランスモデルと呼ばれる統計的なモデルの作成と、モデル探索によるパラメータ調節の２つの工程から構成される生成モデルと未知画像のマッチング手法である。アピアランスモデルの作成工程では、物体の形状を表す特徴点の座標値と見えを表す輝度値の相関をパラメータとして持つ統計的モデルを作成する。モデル探索によるパラメータ調節工程は、生成したアピアランスモデルと入力した未知画像とのイメージ残差を最小化するように生成したアピアランスモデルのパラメータを変化させる最適化問題に帰着し、その最適化問題を解くことで入力未知画像と生成したモデルのマッチングを行うものである（ＡＡＭの基本原理については非特許文献３参照）。
【００３５】
以下で、アピアランスモデル作成について簡単に概説する。アピアランスモデルは特徴点を配置した学習画像データセットを使用して作成する。まず１枚の学習画像内の特徴点の座標を並べたベクトルを形状ベクトルｘとし、全学習画像の形状ベクトルの平均形状ｘ￣を求める。次に各学習画像において形状を平均形状ｘ￣で正規化し、正規化された形状内の輝度値を並べ、テクスチャベクトルｇを得る。形状ベクトルと同様に、全学習画像のテクスチャベクトルの平均テクスチャｇ￣を算出する。ｘとｇは次の式（１）のようにモデル化することができる。
【００３６】
【数１】
2010140283.tif 000003
【００３７】
ここで、Ｑs，Ｑgは固有ベクトルであり、ｃは形状とテクスチャの両方をコントロールするアピアランスパラメータである。アピアランスパラメータｃを用いることで、形状だけでなくテクスチャも表現することができる。また、逆に、ｃが求まれば、形状およびテクスチャを算出することが可能となる。また、ＡＡＭの第２工程であるモデル探索によるパラメータ調節により未知画像と作成したアピアランスモデルのマッチング行う。画像内から作成したアピアランスモデルと同じ形状、同じテクスチャを探索する際には、モデルの形状とテクスチャをあらわすアピアランスパラメータｃに加え、画像内におけるモデルの位置、大きさ、回転を考慮した新しいパラメータｐを用いる。画像データ内のアピアランスモデルとマッチングをとる部分の画素値から作成したテクスチャベクトルｇsと生成したモデルから算出したテクスチャベクトルｇmとのイメージ残差をｒ（ｐ）＝ｇs−ｇmとし、ｒ（ｐ）が最小となるようにｐを変化させ、最適解を求める。得られた最適解からｃを算出し、これから逆算することで、形状ベクトルｘ￣を得る。局所モデル記憶部１０３０では、学習画像データセットから得られたｘ￣，ｇ￣，Ｑs，Ｑgを１つのアピアランスモデルとして、あらかじめサブシーケンスの個数分作成して保持しておく。即ち、各々のサブシーケンスで使用するためのｋ個の学習データセットから生成されたｋ個の局所モデルを保持させておく。
【００３８】
また、第ｊ番目のサブシーケンス用の局所モデルは、そのサブシーケンス中で全て観測することができる特徴点の配置した学習画像を用いて作成する。例えば、人物の顔の特徴点を抽出する場合、両眉、両目、鼻、口などに特徴点を配置した画像を学習画像として使用する。
【００３９】
ＡＡＭは画像中における特徴点の配置を形状ベクトルｘの形で持つため、一般の濃淡変化の大きい部分のみを特徴点として抽出する方法とは異なり、抽出される特徴点間の幾何配置にゆるい関係性を保持することになる。そのため、本来濃淡変化が小さく、一般的な特徴点抽出方法では抽出されない部分をも、特徴点として抽出することが可能となる。本実施例の説明には、ＡＡＭを用いる例を使用したが、ＡＡＭの代わりに同様のモデル形状ベクトルのような特徴点配置の関係性を持つＡｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌやあらかじめ保持しておいた三次元モデルを使用してモデル当てはめを用いてもよい。
【００４０】
Ｓ２０３０：サブシーケンス特徴点抽出部１０４０は、局所モデル記憶部１０３０から読み出した局所モデルデータを用いて、全画像中の特徴点を抽出し、抽出した特徴点の画像座標から計測行列を生成する処理を繰り返し、全サブシーケンス分の計測行列を生成する。
【００４１】
具体的なサブシーケンス特徴点抽出部１０４０の処理手順を図５のフローチャートに示す。まず、第ｊ番目のサブシーケンス（Ｓ３０１０）において利用する局所モデルを局所モデル記憶部１０３０のモデルデータベースから読み出す（Ｓ３０３０，Ｓ３０４０）。次に、その局所モデルを用いて第ｊ番目のサブシーケンスの全フレームのモデル当てはめを行う（Ｓ３０５０）。モデルの当てはめには、ＡＡＭのモデル探索によるパラメータ調整処理を用いることにより画像座標を算出する。なお、第ｊ番目のサブシーケンスのフレーム数をＦ枚、抽出した特徴点の数をＰ個、ｉ番目のフレーム（Ｓ３０２０）から抽出されたｌ番目の特徴点の画像座標を（ｘil，ｙil）とする（但し、ｌ＝１，２，…，ｐ）。第ｊ番目のサブシーケンスの全フレームにおいて特徴点抽出処理が終了したら（Ｓ３０５０，Ｓ３０６０，Ｓ３０７０）、特徴点の画像座標を次の式（２）のように配置した計測行列Ｗjを生成する（Ｓ３０８０）。但し、ｘ￣f，ｙ￣fはそれぞれ、ｆフレーム目の特徴点座標の平均値である。これを全サブシーケンスに対して行い（Ｓ３０９０，Ｓ３１００）、計測行列データ（Ｗ1，Ｗ2，…，Ｗk）を生成し、カメラ運動算出部１０５０へ伝送する。
【００４２】
【数２】
2010140283.tif 000004
【００４３】
Ｓ２０４０：カメラ運動算出部１０５０は、サブシーケンス特徴点抽出部１０４０から伝送された計測行列データから因子分解法を用いて、サブシーケンスのカメラ運動を算出する（因子分解法の基本原理については、非特許文献１参照）。
【００４４】
以下で、因子分解法について概説する。まず、Ｆ枚の時系列画像から、Ｐ個の特徴点の追跡結果が得られているものとし、（２）式のような特徴点の重心に対する相対位置を要素に持つ２Ｆ×Ｐの行列である計測行列Ｗを定義する。今、ワールド座標系における特徴点ｐの３次元座標をｓp、カメラの姿勢を表すベクトルをｍf，ｎfで表す。ここで、簡単のためワールド座標の中心を対象物の中心にとり、焦点距離を１とすると、計測行列Ｗは次の式（３）のように、カメラ運動を表す運動行列Ｍ（２Ｆ×３）と立体形状を表す形状行列Ｓ（３×Ｐ）の２つの行列の積の形に分解することができる。
【００４５】
【数３】
2010140283.tif 000005
【００４６】
カメラ運動算出部１０５０は、上式により計測行列データ（Ｗ1，Ｗ2，…，Ｗk）からｋ個のカメラ運動行列（Ｍ1，Ｍ2，…，Ｍk）を算出し、カメラ運動補正部１０６０に送る。
【００４７】
Ｓ２０５０：カメラ運動補正部１０６０は、算出されたカメラ運動行列から全体画像列におけるカメラの動きを推定し、推定された動きに基づく拘束条件を用いてカメラ運動行列を補正する。
【００４８】
今、入力された全体画像列は図３に示すような対象物を中心とする相対的な回転運動を想定している。そこで、顔は常に一定方向（例えば右から左）に回転させる状態を撮影するものと仮定し、途中から逆方向に動きを変えたり、上下方向に振動することはないものとする。但し、顔を動かす速度は等速でなくてもよい。この時、カメラの運動は相対的に対象物を中心とする半径Ｒの球上を動くと仮定することができ、次の式（４）（５）（６）のような幾何拘束条件を定めることができる。
【００４９】
【数４】
2010140283.tif 000006
【００５０】
但し、ｆフレーム目におけるカメラ中心の座標をｔf、カメラ中心から対象物体重心までの奥行きをｚf、Ｒをｚfの平均値とし、θf，φfは球座標系の二つの偏角であるとする。因子分解法で使用したカメラの射影モデルに基づき、カメラ運動算出部１０５０で算出されたカメラ運動行列から、各フレームにおけるｔf，ｚf，θf，φfを算出し、上記拘束条件を満たすように、カメラ中心の座標ｔfを最適化する。最適化手法としては、最小二乗近似などを用いる。最適化されたカメラ中心の座標から逆算したカメラ運動行列（Ｍ’1，Ｍ’2，…，Ｍ’k）を補正されたカメラ運動行列として部分形状三次元復元部１０７０に送る。
【００５１】
Ｓ２０６０：部分形状三次元復元部１０７０は、補正されたカメラ運動行列を用いて、各サブシーケンスごとに部分形状を復元する。
【００５２】
具体的な部分形状三次元復元部１０７０の処理手順を図７のフローチャートを用いて説明する。まず、第ｊ番目のサブシーケンス（Ｓ５０１０）のカメラ運動の疑似逆行列Ｍj+を補正されたカメラ運動行列Ｍ’jを用いて次の式（７）より算出する（Ｓ５０２０）。
【００５３】
【数５】
2010140283.tif 000007
【００５４】
次に、サブシーケンスの部分形状を表す形状行列Ｓjは（３）式より、計測行列Ｗjとカメラ運動行列Ｍjが既知の場合、次の式（８）で与えられる（Ｓ５０３０）。
【００５５】
【数６】
2010140283.tif 000008
【００５６】
これらの処理をサブシーケンス数繰り返し（Ｓ５０４０，Ｓ５０５０，Ｓ５０２０）、各サブシーケンスの部分形状を表す形状行列（Ｓ1，Ｓ2，…，Ｓk）を得る。
【００５７】
一方、広範囲モデル記憶部１０８０は、あらかじめ生成された複数の広範囲モデルを保持しておき、保持しているデータを必要に応じてミニシーケンス特徴点抽出部１０９０に出力する。保持するモデルは、局所モデル記憶部１０３０と同様、ＡＡＭを用いる。ここでは、各々のミニシーケンスで使用するための全ミニシーケンス数分の広範囲モデルを保持しておく。ミニシーケンスはサブシーケンスよりカメラの動きが小さい画像列であるため、広範囲モデルは局所モデルと異なり、局所モデルよりもより広範囲に渡る部分から特徴点を配置したモデルとして作成することが可能である。また、ミニシーケンス用の広範囲モデルは、そのサブシーケンス中で全て観測することができる特徴点の配置した学習画像を用いて作成する。例えば、図３のような環境で撮影された画像列において、人物の顔の特徴点を抽出する場合、片眉、片目、輪郭などに特徴点を配置した画像を学習画像として使用することができる。また、局所モデル記憶部１０３０と同様、ＡＡＭの代わりに同様のモデル形状ベクトルのような特徴点配置の関係性を持つＡｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌやあらかじめ保持しておいた三次元モデルを使用してモデル当てはめを用いてもよい。
【００５８】
Ｓ２０７０：ミニシーケンス特徴点抽出部１０９０は、広範囲モデル記憶部１０８０から読み出した広範囲モデルデータを用いて、全画像中の特徴点を抽出し、抽出した特徴点の画像座標から計測行列を生成する処理を繰り返し、全ミニシーケンス分の計測行列を生成する。
【００５９】
具体的なミニシーケンス特徴点抽出部１０９０の処理手順を図６のフローチャートに示す。まず、第ｊ番目のミニシーケンス（Ｓ４０１０）において利用する広範囲モデルをモデルデータベースから読み出す（Ｓ４０３０，Ｓ４０４０）。次に、その広範囲モデルを用いて、前述の局所特徴点抽出処理と同様に、第ｊ番目のミニシーケンスの全フレームのモデル当てはめを行う（Ｓ４０５０）。第ｊ番目のミニシーケンスの全フレームにおいて特徴点抽出処理が終了したら（Ｓ４０５０，Ｓ４０６０，Ｓ４０７０）、特徴点の画像座標値から計測行列Ｗjiを生成する（Ｓ４０８０）。これを全ミニシーケンスに対して行い（Ｓ４０９０，Ｓ４１００，Ｓ４０２０）、計測行列データ（Ｗ11，Ｗ12，…，Ｗknk）を生成し、ミニパーツ三次元復元部１１００へ伝送する。
【００６０】
Ｓ２０８０：ミニパーツ三次元復元部１１００は、部分形状三次元復元部１０７０と同様に、Ｓ２０５０で補正されたカメラ運動行列を用いて、各ミニシーケンスごとに被写体の一部の三次元形状（以下、ミニパーツ）を復元する。
【００６１】
具体的なミニパーツ三次元復元部１１００の処理手順を図８のフローチャートに示す。まず、第ｉ番目のサブシーケンス（Ｓ６０１０）から派生した、第ｊ番目のミニシーケンス（Ｓ６０２０）のカメラ運動の疑似逆行列Ｍ+iを補正されたカメラ運動行列Ｍ+jを用いて算出する（Ｓ６０３０）。次に、ミニパーツの形状を表す形状行列Ｓijを算出する（Ｓ６０４０）。これらの処理を全ミニシーケンス数分繰り返し（Ｓ６０５０，Ｓ６０６０，Ｓ６０７０，Ｓ６０８０）、各ミニシーケンスのミニパーツを表す形状行列（Ｓ11，Ｓ12，…，Ｓknk）を得る。
【００６２】
Ｓ２０９０：統合部１１２０の部分形状統合部７００１が部分形状統合ステップ（Ｓ７００１）を実行する。
【００６３】
具体的な統合部１１２０の処理手順を図９のフローチャートに示す。
【００６４】
部分形状統合ステップ（Ｓ７００１）において、部分形状統合部７００１は、対応テーブル記憶部１１１０から読みだした重複点テーブルを用いて、各サブシーケンスごとに複数の三次元復元形状の統合処理を行う。まず、サブシーケンスの部分形状の座標系を基準座標系として、そのサブシーケンスの分割から派生したミニシーケンス（例えばｊ番目のミニシーケンス）のミニパーツのローカル座標系を、基準座標系に変換する変換行列を算出する（Ｓ７０１０，Ｓ７０２０）。座標変換行列算出処理の手段としては、例えば、非特許文献４のクォータニオンを用いた座標系統合方法を用いる。次に、各ミニパーツの形状行列に算出した座標変換行列を作用させ、派生元のサブシーケンス（例えばｉ番目のサブシーケンス）の基準座標系に変換する（Ｓ７０３０）。この処理を全ミニシーケンス数繰り返したのち（Ｓ７０４０，Ｓ７０５０）、各サブシーケンスの部分形状と統合するための部分形状平滑化処理Ｓ７０７０を行う（Ｓ７０６０〜Ｓ７０９０）。
【００６５】
Ｓ２１００：統合部１１２０の全体形状統合部７００２が全体形状統合ステップ（Ｓ７００２）を実行する。
【００６６】
すなわち、全体形状統合部７００２は各サブシーケンスの個数分の部分形状をまとめて一つの大きな全体形状にする。図９に示したように、部分形状統合部７００１と同様、任意の１つのサブシーケンスの部分形状の座標系を基準として選択し（Ｓ７１００）、その他のサブシーケンスの部分形状のローカル座標を基準座標系に変換する変換行列を算出する（Ｓ７１１０）。次に、各部分形状に算出した座標変換行列を作用させ、基準座標系に変換する（Ｓ７１２０）。この処理をサブシーケンス数回繰り返したのち（Ｓ７１３０，Ｓ７１４０）、重複する点の平滑化を行い、全体形状とする（Ｓ７１５０）。本実施例では、重複点の３次元位置の情報から複数の３次元復元結果を一つに統合するための手段としてクォータニオンを用いたが、クォータニオンの代わりに最小二乗近似を用いてもよい。
【００６７】
対応テーブル記憶部１１１０には、重複している特徴点（以下、重複点）の情報を持つ以下の二種類の重複点テーブルが保持されている。部分形状統合ステップＳ７００１で使用する重複点テーブルは、第ｉ番目のサブシーケンスから復元された部分形状と、第ｉ番目のサブシーケンスの分割から派生したｎi個のミニシーケンスから復元されたミニパーツとの重複点を示すものである。例えば、第ｉ番目のサブシーケンスから復元された部分形状Ｓi＝（ｓi1，ｓi2，…，ｓim）の各特徴点において、第ｊ番目のミニシーケンスから復元されたミニパーツＳij＝（ｓij1，ｓij2，…，ｓijl）と重複している点がある場合、図１０（ａ）のように対応する点が記入される。対応する点がない場合は、空欄となる。全体形状統合部Ｓ７００２で使用する重複点テーブルは、部分形状統合ステップＳ７００１において統合された各部分形状の重複点を示すものである。例えば、ｉ番目の部分形状Ｓi＝（ｓi1，ｓi2，…，ｓim）の各特徴点において、第ｊ番目の部分形状Ｓj＝（ｓj1，ｓj2，…，ｓjl）と重複している点がある場合、図１０（ｂ）のように対応する点が記入される。対応する点がない場合は空欄となる。
【００６８】
（実施形態２）
図１１は発明に係る実施形態２の三次元形状復元装置２の構成を示すブロック図である。三次元形状復元装置２は、時系列画像を取得する画像入力部８０１０と、画像入力部８０１０から伝送された時系列画像をサブシーケンスとミニシーケンスの２種類の短い画像列に分割する画像列分割部８０２０と、サブシーケンス内の画像から特徴点を抽出するサブシーケンス特徴点抽出部８０３０と、サブシーケンスにおけるカメラの運動を算出するカメラ運動算出部８０４と、カメラ運動算出部８０４０から伝送されたカメラ運動情報を補正するカメラ運動補正部８０５０と、サブシーケンス中の被写体の一部の三次元形状を復元する部分形状三次元復元部８０６０と、ミニシーケンス内の画像から特徴点を抽出するミニシーケンス特徴点抽出部８０７０と、ミニシーケンス内の被写体の一部の三次元形状を復元するミニパーツ三次元復元部８０８０と、部分形状三次元復元部８０６０とミニパーツ三次元復元部８０８０から伝送された複数の三次元形状データを一つにまとめる統合部８１００と、統合部８１００で使用する特徴点の対応情報を保持しておく対応テーブル記憶部８０９０と、統合部８１００から伝送された全体形状データを出力する出力部８１００から構成される。
【００６９】
本実施形態が実施形態１と異なる点は、被写体が建造物のような、画像中の濃淡情報が豊富で特徴点が抽出しやすい物体である場合において、サブシーケンス特徴点抽出部８０３０およびミニシーケンス特徴点抽出部８０７０の処理に、あらかじめ保持しておいたモデルを用いずに画像処理等から特徴点抽出と追跡を行い、計測行列を生成する。
【００７０】
また、本発明は、上述の実施形態１，２の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が前記記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、前記記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【００７１】
以上説明したように、発明に係る三次元形状復元装置１，２によれば、カメラの動きの大きい画像列から得られたカメラ運動情報から補正したカメラ運動行列を用いるので、カメラの動きが少ない短い画像列からでも精度よく被写体の三次元形状を復元することが可能になる。また、部分形状を統合するため被写体全体の三次元形状を復元することができる。したがって、従来手法と比べ、カメラの動きの大きい画像列から算出したカメラ運動情報を使用するため、分割された短い画像列における部分形状の復元精度低下を回避することが可能となる。
【００７２】
特に、三次元形状復元装置１によれば、予め特徴点追跡のための特徴点配置の関係性を持つモデルを複数所持しておくことで、画像中のテクスチャ変化の小さな部分でも安定して特徴点抽出、追跡ができるようなる。そして、このようなモデルベースの特徴点抽出および追跡により、画像中の濃淡変化の小さな部分でも特徴点として抽出でき、且つ、カメラの動きが大きい複数枚の画像においても安定した特徴点追跡が実現する。
【図面の簡単な説明】
【００７３】
【図１】発明の第一の実施形態に係る三次元形状復元装置の構成を示すブロック図。
【図２】発明に係る三次元形状復元方法のフローチャート。
【図３】画像入力部の入力画像列撮影状況の一例。
【図４】画像分割部における分割説明図。
【図５】サブシーケンス特徴点抽出部における処理の実行方法を示すフローチャート。
【図６】ミニシーケンス特徴点抽出部における処理の実行方法を示すフローチャート。
【図７】部分形状三次元復元部における処理の実行方法を示すフローチャート。
【図８】ミニパーツ三次元復元部における処理の実行方法を示すフローチャート。
【図９】統合部における処理の実行方法を示すフローチャート。
【図１０】対応点テーブル記憶部における重複点テーブルの一例。
【図１１】発明の第二の実施形態に係る三次元形状復元装置の構成を示すブロック図。
【符号の説明】
【００７４】
１，２…三次元形状復元装置
１０２０，８０２０…画像列分割部（分割手段）
１０４０，８０３０サブシーケンス特徴点抽出部（サブシーケンス特徴点抽出手段）
１０５０，８０４０…カメラ運動算出部（運動算出手段）
１０６０，８０５０…カメラ運動補正部（運動補正手段）
１０７０，８０６０…部分形状三次元復元部（第一復元手段）
１０９０，８０７０…ミニシーケンス特徴点抽出部（ミニシーケンス特徴点抽出手段）
１１００，８０８０…ミニパーツ三次元復元部（第二復元手段）
１１２０，８１００…統合部（統合手段）
１１１０，８０９０…対応テーブル記憶部
１０３０…局所モデル記憶部（局所モデル記憶手段）
１０８０…広範囲モデル記憶部（広範囲モデル記憶手段）
【図１】
2010140283.tif 000009
【図２】
2010140283.tif 000010
【図３】
2010140283.tif 000011
【図４】
2010140283.tif 000012
【図５】
2010140283.tif 000013
【図６】
2010140283.tif 000014
【図７】
2010140283.tif 000015
【図８】
2010140283.tif 000016
【図９】
2010140283.tif 000017
【図１０】
2010140283.tif 000018
【図１１】
2010140283.tif 000019