(57)【要約】【課題】様々な画像を良好に領域分割できる画像処理方法を提供する。【解決手段】本発明に係る画像処理システムは、処理対象の画像を構成する画素の１ないし複数の構成要素を 各々の画素を表す素子の素子状態として記録する素子状態演算手段と、各々の素子の素子状態を参照して、素子間の関係を算定して、その結果を素子間の結合状態として記録する結合状態演算手段と、各々の素子の結合状態を参照して、関連していた素子群を関連付けて、その結果を群状態として記録する群状態演算手段と、を含み、素子状態演算手段で初期値として表現した素子状態を、結合状態および群状態の何れかまたは両方を参照して再表現することで、周辺素子状態を反映した素子状態に変更した後に、記録した群状態を参照してシルエット情報を出力する。【選択図】図１
2016066297.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像を構成する画素の１ないし複数の構成要素を、各々の画素を表す素子の素子状態として記録する素子状態演算手段と、
前記素子状態演算手段で表現された各々の素子の素子状態を参照して、素子間の関係を算定して、その結果を素子間の結合状態として記録する結合状態演算手段と、
前記結合状態演算手段で表現された各々の素子の結合状態を参照して、関連していた素子群を関連付けて、その結果を群状態として記録する群状態演算手段と、
を含み、
該画像処理システムは、前記素子状態演算手段で初期値として表現した素子状態を、前記素子状態演算手段が 前記結合状態演算手段により演算された結合状態 および 前記群状態演算手段により演算された群状態の何れかまたは両方を参照して再表現することで、周辺素子状態を反映した素子状態に変更した後に、記録した前記群状態を参照してシルエット情報を出力する
ことを特徴とする画像内の物体または形状を領域分割する画像処理システム。
【請求項２】
前記画像処理システムは、前記素子状態演算手段で初期値として表現した素子状態を、結合状態および群状態の何れかまたは両方を参照して、少なくとも２回更新した後に、記録した前記群状態を参照してシルエット情報を出力する
こと特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記結合状態演算手段は、
前記素子状態演算手段により記述された素子状態 および 前記群状態演算手段により演算された群状態の、何れかまたは両方を参照する関数で導出処理することで結合状態を演算し、
該演算では、結合の両端となる素子の状態が、類似する場合には結合を強化し、類似しない場合には結合を減衰する関数を用いる
こと特徴とする請求項１または２に記載の画像処理システム。
【請求項４】
前記群状態演算手段は、
前記結合状態演算手段により演算された素子間の結合状態を参照して、結合関係が前もって定められた基準を満たす素子を一群としてグループ化する
こと特徴とする請求項１ないし３の何れか一項に記載の画像処理システム。
【請求項５】
前記群状態演算手段は、
前記結合状態演算手段により演算された素子間の結合状態を参照して、結合関係が前もって定められた基準を満たす素子を一群としてグループ化する際に、前記基準を満たす素子群の有した結合関係を表すパラメータの代表的な値 を算出し、該代表的な値 から外れ量の大きな素子を、該一群の構成要素から除外する処理を含む
こと特徴とする請求項１ないし４の何れか一項に記載の画像処理システム。
【請求項６】
前記素子状態演算手段は、
前記画像を構成する画素の構成要素として、色覚情報、輝度情報、エッジ情報、運動ベクトル情報の何れか一つ或いは複数を用いる
こと特徴とする請求項１ないし５の何れか一項に記載の画像処理システム。
【請求項７】
前記素子状態演算手段は、
素子状態の記述表現として、動的に状態が周期振動する振動子を用いたうえで、各々の素子を表す構成要素の値を、前記振動周期の値に反映させて、素子状態として表現する
こと特徴とする請求項１ないし６の何れか一項に記載の画像処理システム。
【請求項８】
前記画像処理システムは、
処理対象とする複数の画像から、該複数の画像に含まれた被写体の動きの構成要素を画像解析で算出し、
前記動きの構成要素を素子状態として使用して、初期値の素子状態を、周辺素子状態を反映した素子状態に更新を繰り返した後に、シルエット情報を出力する
こと特徴とする請求項１ないし７の何れか一項に記載の画像処理システム。
【請求項９】
情報処理システムによる画像内の物体または形状を領域分割する画像処理方法であって、
処理対象の画像を受け付ける画像取得工程と、
前記処理対象の画像を構成する画素の１ないし複数の構成要素を、各々の画素を表す素子の素子状態として表現処理する素子状態演算工程と、
前記素子状態演算工程で表現された各々の素子の素子状態を参照して、素子間の関係を算定して、その結果を素子間の結合状態として記録する結合状態演算工程と、
前記結合状態演算工程で表現された各々の素子の結合状態を参照して、関連していた素子群を関連付けて、その結果を群状態として記録する群状態演算工程と、
を含み、
該画像処理システムは、前記素子状態演算工程で初期値として表現した素子状態を、前記素子状態演算工程が前記結合状態演算工程により演算された結合状態 および 前記群状態演算工程により演算された群状態の何れかまたは両方を参照して再表現処理することで、周辺素子状態を反映した素子状態に変更した後に、記録した前記群状態を参照してシルエット情報を出力する
ことを特徴とする画像処理方法。
【請求項１０】
情報処理システムのプロセッサを、
処理対象の画像を構成する画素の１ないし複数の構成要素を、各々の画素を表す素子の素子状態として表現処理する素子状態演算手段と、
前記素子状態演算手段で表現された各々の素子の素子状態を参照して、素子間の関係を算定して、その結果を素子間の結合状態として記録する結合状態演算手段と、
前記結合状態演算手段で表現された各々の素子の結合状態を参照して、関連していた素子群を関連付けて、その結果を群状態として記録する群状態演算手段、
として動作させ、
更に、該画像処理システムに、前記素子状態演算手段で初期値として表現した素子状態を、前記素子状態演算手段が前記結合状態演算手段により演算された結合状態 および 前記群状態演算手段により演算された群状態の何れかまたは両方を参照して再表現処理することで、周辺素子状態を反映した素子状態に変更した後に、記録した前記群状態を参照してシルエット情報を出力させる
ことを特徴とする画像内の物体または形状を領域分割させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれる物体または形状のシルエットを領域分割するシステムに関する。
【背景技術】
【０００２】
画像処理分野では、処理対象の画像内の輪郭情報を様々な用途で利用する。応用分野としては、画像強調、鮮明化処理が挙げられる。また、一般物体認識や、顔認証、指紋認証、医療画像解析などに、輪郭情報から求めたシルエット情報を利用できる。
【０００３】
例示した顔認識技術や指紋認識技術では、画像から物体を認識する過程でシルエット情報を利用すると様々な利点がある。多くの研究で、シルエット情報を用いた特定物体認識技術がこれまでに開発されてきた。
【０００４】
一般物体認識技術の更なる研究開発がこの分野での今後の大きな課題である。この背景でシルエット情報を用いた一般物体認識技術も多くの研究者が現在取り組んでいる。
【０００５】
一般物体認識（General object recognition）は、制約の無い実世界シーンの画像の中に含まれる物体を一般的な名称（Category names）で認識する技術である。一般物体認識は、特定物体認識と異なり、一般的に認識すべき対象の特徴を予め限定することができない。また、一般物体認識は、認識すべき対象の教師データを数多く学習することも難しい課題を持っている。一般物体認識の研究では、シルエット情報を用いた物体認識方式が一つの有力な物体認識方式と考えられている。
【０００６】
画像処理に物体形状のシルエットを利用する手法を例示すれば、特許文献１ないし特許文献４に記載された手法が挙げられる。 
特許文献１に記載された認識手法では、認識対象の輪郭線（シルエット）を抽出し、そのシルエットの有する局部の曲率を用いて類似物体の同定を行っている。
【０００７】
特許文献２に記載された情報表現手法では、物体または形状の全体または一部の輪郭形状をひとつまたは複数の曲線に分割し、各曲線の曲がり具合と位置関係とを含むパラメータで表現する。これにより、幾何変換や遮蔽による画像改変に対してロバストな物体認識を可能にする物体または形状の情報表現方法を提供する。
【０００８】
特許文献３に記載されたテンプレートマッチング手法は、参照パターン及び分析画像にそれぞれ空間的バンドパスフィルタを作用させ、それぞれの出力を２種類の閾値で閾値処理した３値画像を取得し、それぞれの３値画像を参照して類似度を決定している。
【０００９】
特許文献４に記載された画像内の領域分割手法は、画像切出し処理では、エッジ抽出処理を行い、方向別ライン検出とラベリングとを行い、特異輪郭抽出処理を行う。この特異輪郭抽出処理では、基本的には、背景画像上のエッジと異なる方向ラベルを有するラインを被写体固有の輪郭線すなわち特異輪郭として抽出する。
【００１０】
特許文献１や特許文献２に記載された手法を用いて画像内に含まれる一般物体を認識するためには、画像からシルエット情報を抽出する必要がある。しかしながら、一般的な様々な画像から適切なシルエット情報を抽出することは容易ではない。
【００１１】
画像からシルエット情報を抽出する技術としては、画像内の輝度情報を空間的に微分処理することによりエッジを取り出し、エッジ情報から物体の輪郭情報を抽出することによってシルエット情報を抽出する方法が一般的である。
【００１２】
こうした微分処理によるエッジ抽出手法は、輝度の微分値がどの値を超えた場合に「エッジ」とし、どの値を超えない場合に「エッジ」としないかを決定する閾値を前もって与える必要がある。しかしながら、この手法で物体の輪郭をなすエッジ情報を抽出するためには、前もって、抽出すべきエッジ情報に適した閾値を知っておく必要があり、一般的な、初めて扱う画像に対して自動的にこれを行うことは困難である。
【００１３】
一方で、これらの課題を回避することのできる技術として、画像を構成するピクセルに帰属する情報を用いて、ピクセルをクラスタリングすることによってシルエット情報を抽出する技術もまた、提案されている（例えば、上記特許文献３、特許文献４）。
【００１４】
例えば、特許文献３に開示された技術は、画像にバンドパスフィルタを適用したうえで、出力値を二種類の閾値によって三値化し、画像を三種類のクラスターに分解する技術である。また、特許文献４に開示された技術は、画像内に含まれるエッジ情報からエッジ分布情報を抽出し、クラスタリングに利用する。この技術では、特異なエッジをもつピクセルをクラスタリング処理の初期核とし、初期核の近傍に位置しかつ類似度の強いピクセル（エッジ情報などピクセルに起因する情報で定義した値が閾値以内のピクセル）を各々のクラスターに取り込む処理を実施する。これらの技術は、エッジに関する閾値を前もって与える必要はない。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開平１０−０５５４４７号公報
【特許文献２】ＷＯ２０１２／０７０４７４Ａ１
【特許文献３】特開平０６−０７６０６２号公報
【特許文献４】特開平１０−１４９４４９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
上述したように、画像内に含まれる物体または形状を表現したシルエット情報は、画像処理の様々な用途に利用できる。
【００１７】
しかしながら、一般的な画像（内容が不明な画像）からシルエット情報を抽出することは容易ではない。 
一般物体認識と特定物体認識との関係と同様に、特定物体画像（内容が限定的な画像）からシルエット情報を抽出することに比べ、 一般的な画像から適切なシルエット情報を抽出することは、精度及び処理量に改善を要する。
【００１８】
また、例示した先行技術文献の手法に対する改善点は、予備知識を持たない識別対象画像から適切なシルエット情報を抽出するための適した、画素間のエッジ抽出処理時に用いる閾値や シルエット抽出の中心に据える初期核を、設定できないことが挙げられる。
【００１９】
特許文献１ないし４で開示された手法では、それぞれ画像毎に適した閾値を設定することが望ましい。また、特許文献４で開示された手法では、初期核の選定手法にも工夫が必要と考える。閾値や初期核選定の設定条件は、例えば、初めて扱う未知画像に対して前もって与えることは困難である。
【００２０】
未知画像を含む様々な画像から、その画像内容として含まれている物体または形状のシルエットを、汎用的に抽出する手法が望まれる。
【００２１】
本発明の目的は、上記課題を踏まえ、画像内容を領域分割することによって物体または形状のシルエット情報を抽出する 画像に対する汎用性が高い画像処理システム、画像処理方法、およびプログラムを提供することである。
【課題を解決するための手段】
【００２２】
本発明に係る画像処理システムは、処理対象の画像を構成する１ないし複数の画素の構成要素を、各々の画素を表す素子の素子状態として記録する素子状態演算手段と、前記素子状態演算手段で表現された各々の素子の素子状態を参照して、素子間の関係を算定して、その結果を素子間の結合状態として記録する結合状態演算手段と、前記結合状態演算手段で表現された各々の素子の結合状態を参照して、関連していた素子群を関連付けて、その結果を群状態として記録する群状態演算手段と、を含み、該画像処理システムは、前記素子状態演算手段で初期値として表現した素子状態を、前記素子状態演算手段が前記結合状態演算手段により演算された結合状態 および 前記群状態演算手段により演算された群状態の何れかまたは両方を参照して再表現することで、周辺素子状態を反映した素子状態に変更した後に、記録した前記群状態を参照してシルエット情報を出力することを特徴とする。
【００２３】
本発明に係る情報処理システムによる画像照合方法は、処理対象の画像を受け付ける画像取得工程と、前記処理対象の画像を構成する画素の１ないし複数の構成要素を、各々の画素を表す素子の素子状態として表現処理する素子状態演算工程と、前記素子状態演算工程で表現された各々の素子の素子状態を参照して、素子間の関係を算定して、その結果を素子間の結合状態として記録する結合状態演算工程と、前記結合状態演算工程で表現された各々の素子の結合状態を参照して、関連していた素子群を関連付けて、その結果を群状態として記録する群状態演算工程と、を含み、該画像処理システムは、前記素子状態演算工程で初期値として表現した素子状態を、前記素子状態演算工程が前記結合状態演算工程により演算された結合状態 および 前記群状態演算工程により演算された群状態の何れかまたは両方を参照して再表現処理することで、周辺素子状態を反映した素子状態に変更した後に、記録した前記群状態を参照してシルエット情報を出力することを特徴とする。
【００２４】
本発明に係るプログラムは、情報処理システムのプロセッサを、処理対象の画像を構成する画素の１ないし複数の構成要素を、各々の画素を表す素子の素子状態として表現処理する素子状態演算手段と、前記素子状態演算手段で表現された各々の素子の素子状態を参照して、素子間の関係を算定して、その結果を素子間の結合状態として記録する結合状態演算手段と、前記結合状態演算手段で表現された各々の素子の結合状態を参照して、関連していた素子群を関連付けて、その結果を群状態として記録する群状態演算手段、として動作させ、更に、該画像処理システムに、前記素子状態演算手段で初期値として表現した素子状態を、前記素子状態演算手段が前記結合状態演算手段により演算された結合状態 および 前記群状態演算手段により演算された群状態の何れかまたは両方を参照して再表現処理することで、周辺素子状態を反映した素子状態に変更した後に、記録した前記群状態を参照してシルエット情報を出力させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、画像内容を領域分割することによって物体または形状のシルエット情報を抽出する 画像に対する汎用性が高い画像処理システム、画像処理方法、およびプログラムを提供できる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の実施形態における画像処理システムの概略構成を示すブロック図である。
【図２】入力画像の一例を示す説明図である。
【図３】入力画像を圧縮した画像の一例を示す説明図である。
【図４】素子ペアの素子状態とその結合状態のダイナミクスの一例を示す説明図である。
【図５】素子ペアの素子状態とその結合状態のダイナミクスの別の一例を示す説明図である。
【図６】群状態の変化の一例を示す説明図である。
【図７】第１の実施形態における画像処理システムの動作の一例を示すフローチャートである。
【図８】第２の実施形態における画像処理システムの概略構成を示すブロック図である。
【図９】運動ベクトルを抽出する手順の一例を示す説明図である。
【図１０】抽出されたエッジ情報の一例を示す説明図である。
【図１１】第２の実施形態における画像処理システムの動作の一例を示すフローチャートである。
【図１２】第３の実施形態における画像処理システムの概略構成を示すブロック図である。
【図１３】第３の実施形態における画像処理システムの動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、本発明に係る実施形態について説明する。なお、本発明に関連が薄い構成や動作については、説明を簡略化又は省略する。 
まず、第１の実施形態を図１ないし図７を参照して説明する。
【００２８】
［第１の実施形態］ 
本実施形態を採用することにより、画像に対する汎用性が高い領域分割を精度よく実施するシステムを提供することが可能となる。
【００２９】
［構成の説明］ 
図１は、第１の実施形態に係る画像認識システム１の構成を示すブロック図である。 
図示の画像処理システム１は、情報処理の全体を管理する制御部１０と、処理対象とする画像データを取得する画像情報取得部２０と、取得した画像データなどを記憶する画像情報記憶部３０と処理結果出力部７０とを含む。また、画像処理システム１には、記憶手段として、素子状態情報記憶部４０と、結合状態情報記憶部５０と、群状態情報記憶部６０とが構築されている。また、画像処理システム１は、処理演算リソースとして、素子状態演算部１０１、結合状態演算部１０２、および群状態演算部１０３を含む。
【００３０】
制御部１０は、記憶手段を利用しながらシルエット抽出処理に関連する情報処理の全体動作を管理する。
【００３１】
画像情報取得部２０は、動画や写真などユーザが指定した画像データを本システムに取り込み、画像情報記憶部３０に記憶する。取り込み方法は、ユーザが指定した画像情報をそのまま取得してもよいし、演算量を省略するために、モザイク処理による圧縮などの前処理を施したうえで取得してもよい。 
画像情報取得部２０によって取得される画像データの例（赤い色のりんご）を、図２および図３に例示する。図２は取り込んだそのままの画像例を示す。図３は、取り込んだ画像にモザイク処理によって圧縮を施した画像例を示す。図２の例では、画素、すなわち素子は、源画像のピクセルであり、図３の例では、画素は、モザイクのパネルひとつひとつである。なお、動画像などから、任意の間隔などで自動的に収集して画像データを取り込むようにすることも可能である。
【００３２】
画像情報記憶部３０は、取得した画像データや前処理で得た画像データ、必要に応じて中間データ（素子状態情報・結合状態情報・群状態情報の算出に必要な情報）を記憶する。画像情報記憶部３０は、ＲＡＭ（Random Access Memory）などのメモリで構成してもよいし、ハードディスクドライブ（ＨＤＤ：Hard disk drive）で構成してもよく、記憶部であればよい。
【００３３】
素子状態情報記憶部４０は、画像データから取得した画像情報を記述する構成要素（ピクセルの色情報など）を各々の画素毎に抽出あるいは演算処理で求めることによって得た結果である素子状態情報を記憶する。素子状態情報は、１次元若しくは多次元の構成要素で表現すればよく、その記録方式は問わない。各々の画素を表す素子の素子状態は、素子状態演算部１０１で演算される。素子状態情報記憶部４０は、メモリで構成してもよいし、ハードディスクドライブで構成してもよく、記憶部であればよい。
【００３４】
結合状態情報記憶部５０は、素子状態情報記憶部４０に記憶された素子状態情報（多数の素子の状態情報）に含まれている個々の素子と素子の間の関係を、その素子ペアの結合状態情報として記憶する。素子ペアの結合状態は、結合状態演算部１０２で演算される。結合状態情報記憶部５０は、メモリで構成してもよいし、ハードディスクドライブで構成してもよく、記憶部であればよい。
【００３５】
群状態情報記憶部６０は、画像情報上で関連していた素子群を関連付けた結果である群状態を記憶する。群状態は、群状態演算部１０３で演算される。群状態情報記憶部６０は、メモリで構成してもよいし、ハードディスクドライブで構成してもよく、記憶部であればよい。
【００３６】
処理結果出力部７０は、情報処理を完了した群状態情報を参照して、物体のシルエットを抽出して出力する。例えば、処理結果出力部７０は、群状態情報記憶部６０に記録されている群状態情報（処理対象画像データ内の素子グループ抽出データ）を参照して物体や形状のデータを次の画像処理システムの求める形式にフォーマット変換して出力すればよい。また、ユーザに対して群データや輪郭、シルエットをモニターなどに出力してもよい。なお、出力形態は、どのような情報を出力してもよい。
【００３７】
素子状態演算部１０１は、画像データ（例、図２や図３の画像）に含まれていた各々の素子の有する画像情報（ピクセル、モザイクの１パネル）を記述する構成要素（色覚情報・輝度情報・エッジ情報・運動ベクトル情報など）を画素毎に素子状態として記述する。
また、素子状態演算部１０１は、画像データを参照や演算で求めた画素毎の構成要素の画像情報を素子状態情報として、素子状態情報記憶部４０に記録する。 
また、素子状態演算部１０１は、１度目の画素毎の素子状態の記述を初期値として、同様の表現処理を、結合状態情報 および 群状態情報の一方または両方を参照して繰り返す。繰り返し回数は、２回、３回・・・と更新を繰り返すことで、素子状態への周辺素子状態の反映度合が増す。更新の繰り返し回数は、回数や時間（総経過時間）などで上限を規定すればよい。また、更新の繰り返し回数の下限値を少なくとも２回と規定してもよい。また、更新による変化度合を参照して、更新を停止する仕組みを有してもよい。また、繰り返し上限値と更新を停止する仕組みを併せて採用してもよい。例えば、結合状態情報と群状態情報との変化が十分小さくなることで、更新を停止する仕組みを採用できる。より具体的には、素子状態演算部１０１は、結合状態情報と群状態情報を参照して、更新前後の状態を比較し、変化する要素の数が閾値以下であれば 更新による変化度合が十分小さいと判定してシルエット抽出処理に移行する、仕組みを用いればよい。これらの仕組みを素子グループ抽出アルゴリズムに組み込むことで、各々の素子に周辺素子状態を適度に反映させたシルエット抽出が行えるようになる。
【００３８】
素子状態演算部１０１は、例えば、画像構成要素取得手段と、素子状態変更手段により構成することができる。画像構成要素取得手段は、画像データを参照して、記述する素子毎の構成要素を取得して、素子毎の構成要素に基づいて素子状態情報（初回）を確定する。素子状態変更手段は、現在の素子状態（前回確定した素子状態情報）と 結合状態と群状態の一方又は両方に表れている周辺素子状態と に基づいて、素子状態を繰り返し変更（更新）する。現在の素子状態に周辺素子状態を反映させる手法は、結合状態や群状態を変数とした関数を用いて取り込めばよい。
【００３９】
結合状態演算部１０２は、素子状態演算部１０１が決定した各々の素子の素子状態を参照して、素子状態情報（多数の素子の状態情報）から任意の或いは前もってきめられたルールに基づいて選出された素子間の関係を演算して、その結果を素子間の結合状態情報として結合状態情報記憶部５０に記録する。
【００４０】
群状態演算部１０３は、結合状態情報を参照して、同じ集合に所属する素子群を決定して群状態情報記憶部６０に記録する。同じ集合に所属する素子の定め方は、素子間の結合の状態を参照する方法であれば、如何なる方法を用いてもよい。
【００４１】
ここで、本実施形態の一構成例を示して、素子状態演算部１０１、結合状態演算部１０２、及び 群状態演算部１０３の処理動作例を示す。 
本動作例では、画像構成要素取得手段は、如何なる画像の構成要素を取得しても構わないが、本実施形態では、画像データにおける素子（ピクセル）の輝度情報を用いることとする。
【００４２】
まず、画像構成要素取得手段は、取得した素子の値そのもの、或いは、それを代数的に変換した値を素子状態の初期値として決定して、素子状態記憶部４０に書き出す。 
次に、素子状態変更手段は、初期値を変更する際に、周辺素子の状態を参照して値を決定する。
【００４３】
素子状態を決定・変更する演算則として、如何なる演算則を用いても構わないが、例えば、下記式（１）を採用できる。この式（１）は、位相振動子モデルを表現している。
【数１】
2016066297.tif 000003
式（１）において、xijRが、i行j列におけるピクセルの素子状態を示す値であり、Ａ１、Ａ２、Ｂ１、Ｂ２、Ｃ１、Ｃ２はそれぞれ定数であり、DijRは、画像構成要素取得手段が取得した要素の値（ピクセルの輝度情報）である。
【００４４】
この式（１）のDijRを決定・変更する演算則として、例えば、下記式（２）、（３）、（４）に示す演算則を採用できる。なお、この演算則以外の演算則を用いても構わない。 
【数２】
2016066297.tif 000004
【数３】
2016066297.tif 000005
【数４】
2016066297.tif 000006
ρ、σはそれぞれ定数であり、rijは、i行j列におけるピクセルの要素の値（輝度情報）であり、si,j,u,vおよびWi,j,u,vは、群状態演算部１０３または結合状態演算部１０２により決定される値であり、μは、i行j列ピクセルに隣接するピクセルの集合である。μは、隣接ピクセルに限らず、如何なるピクセルの集合でも構わない。
【００４５】
上記数式を実装した素子状態演算部１０１によって演算された素子状態の一例を、図４および図５に示す。 
図４の１、２行目および図５の１、２行目は、上記式（１）に含まれる変数DijRの値、すなわち各々の素子の要素の値（ピクセルの輝度情報）を示している。 
図４の３行目および図５の３行目は、上記式（４）に含まれる変数Wi,j,u,v の値、すなわち結合状態の値を示している。 
図４は、結合が強化される例を、図５は、結合が減衰される例を示している。図４の素子状態では、１、２行目にそれぞれ示されている素子状態のダイナミクスが類似している。このため、図４の素子状態は、結果として、結合が強化される方向に進む。一方、図５の素子状態では、１、２行目に示されている素子状態のダイナミクスが類似していない。このため、図５の素子状態は、結果として、結合が減衰される方向に進む。 
このように、素子状態演算部１０１は、素子状態の記述表現として、動的に状態が周期振動する振動子を関数に含めて用いることができる。
【００４６】
結合状態演算部１０２は、素子状態演算部１０１が決定した素子と素子の状態を比較して素子と素子の間の結合状態を決定・変更する。結合の状態は、すべての素子と素子の間において決定してもよいし、何らかの幾何的関係を持つ素子間において決定してもよい。
【００４７】
ここでは、互いに隣接する素子間における結合の状態を決定する方法を例に説明する。この例では、結合状態演算部１０２は、i行j列におけるピクセルに対応する素子と、その隣接ピクセルであるu行v列におけるピクセルに対応する素子の間の結合を変数Wi,j,u,vで表現している。また、Wi,j,u,v の値は、結合状態の値を示している。 
結合状態演算部１０２は、Wi,j,u,vを、xijRおよびxuvRに関する演算式を用いて決定・更新する。例えば、式（５）、（６）に示す演算則を採用できる。 
【数５】
2016066297.tif 000007
【数６】
2016066297.tif 000008
Wth、wはそれぞれ定数であり、Wi,j,u,vは、上限値wmax、下限値wminに達するまで、式（５）に従うものとする。結合Wi,j,u,vに関する演算式は、式（５）、（６）に限ることはなく、xijRおよびxuvRに関する演算式であればどのような演算式でもよい。
【００４８】
群状態演算部１０３は、結合状態演算部１０２において決定・更新した結合状態に基づき、同じ集合に所属する素子（ピクセル）を決定する。同じ集合に所属する素子は、素子間の結合状態を参照する方法であれば、如何なる方法を用いてもよい。 
例えば、i行j列におけるピクセルと、u行v列におけるピクセルとの結合Wi,j,u,vがある閾値以上である場合、二つのピクセルを同一集合に所属するとみなす、という方法を用いる。この方法を採用すると、Wi,j,u,vとWi,j,m,nは共に閾値以上である一方、Wm,n,u,vが閾値以上ではないという場合が生じるため、そうした場合に対処するポリシーが必要である。例えば、集合内のある一つの素子との結合が閾値以上であればその素子を集合内に含めるか、集合内のすべての素子との結合が閾値以上であればその素子を集合内に含めるなどのポリシーである。ポリシーは、この二つに限る必要はなく、上記場合に対処できるポリシーであれば如何なる方法であっても構わない。
【００４９】
群状態演算部１０３は、上記、同じ集合に所属する素子（ピクセル）を決定する方法を採用するだけでもよいが、一群を表す代表的な値と大きく表現がずれる構成要素を、その群の構成要素から除外する処理を加えてもよい。 
ここで、一群を表す代表的な値と大きく表現がずれる構成要素を、その群の構成要素から除外する処理とは、例えば、同じ集合に所属する素子（ピクセル）の任意の値の平均値や重心値を算出し、その平均値や重心値から大きく離れる値を持つ素子（ピクセル）を除外する処理と示す。この処理を加えることで、より精度の高い群状態情報が演算できる。より具体的な一例では、代表的な値 として輝度情報を採用すれば、群ｋに所属するピクセル（その集合をφｋと表記する）の輝度情報の平均値Ikを用いて、下記式（７）で計算できる値si,j,u,vを式(４)に導入することで、平均値から大きく離れる値を持つ素子を除外できる。 
【数７】
2016066297.tif 000009
Ii,jはi行j列におけるピクセルにおける輝度情報であり、Ithは閾値である。 
式（７）のような関数を採用することで、群状態演算部１０３から素子状態演算部１０１に関連していた素子群の情報（群状態情報）を伝えられる。同様にして式（８）のような関数を採用することで、群状態演算部１０３から結合状態演算部１０２に関連していた素子群の情報を伝えられる。 
【数８】
2016066297.tif 000010
群状態演算部１０３は、上記式（７）のような関数を用いる方法で、素子状態演算部１０１に群状態情報を伝達する方法を採用してもよく、上記式（８）のような関数で、結合状態演算部１０２に群状態情報を伝達する方法を採用してもよい。また、それらの両方を採用してもよい。
【００５０】
この手法により、ピクセルが除外されていく様子を、可視化して図６で示す。 
図６の左図において太線で囲まれたピクセル群は、最初に決定されたピクセル群である。左図中の上方に５ピクセルの一群と、下方に３２ピクセルの一群がある。 
図６の中図において点線で囲まれたピクセル群（上方の一群）は、全体の中で平均値からのずれが閾値以上のピクセル群である。 
図６の右図の太線で囲まれたピクセル群は、平均値からのずれが閾値以上のピクセル群を除外処理で再決定されたピクセル群である。
【００５１】
［動作の説明］  
次に、第１の実施形態の動作例について説明する。図７は、本第１の実施形態に係る画像処理システム１の動作の例を示すフローチャートである。
【００５２】
まず、画像情報取得部２０は、ユーザが指定する対象画像データを取得して画像情報記憶部３０に記録する（Ｓ１００１）。画像データの取得は、ユーザが指定したものに限らず、システムが自動的に、半自動的に取得してもよい。 
次に、素子状態演算部１０１は、画像データ中の画素の構成要素を取得し、素子状態の初期値を決定（初回のみ）（Ｓ１００２）して、素子状態情報記憶部４０に記録する。また、素子状態演算部１０１は、素子状態の更新条件に従って更新を終えるか判別（Ｓ１００３）し、条件を満たすまで現在の素子状態および周辺素子状態に基づいて素子状態の変更（Ｓ１００４）を繰り返し、素子状態情報記憶部４０に記録する。 
結合状態演算部１０２は、素子状態演算部１０１が決定または更新した素子状態情報を参照して、各々の素子と素子の状態を比較して、素子と素子の間の結合状態を決定または変更し、結合状態情報記憶部５０に記録する（Ｓ１００５）。 
群状態演算部１０３は、結合状態演算部１０２が決定または更新した結合状態を参照して、群状態として同じ集合に所属する素子群を決定または変更し、群状態情報記憶部６０に記録する（Ｓ１００６）。 
図７に示した処理フローでは、Ｓ１００４、Ｓ１００５、Ｓ１００６との順にプロセッサがステップを進める。処理フローの変形例としては、Ｓ１００４、Ｓ１００５、Ｓ１００６を並列化して、何れかの状態情報が変更された際に、素子状態、結合状態、群状態を逐次更新するアルゴリズムを採用してもよい。また、別の処理フローの変形例は、Ｓ１００４、Ｓ１００５、Ｓ１００６を分散処理やマルチスレッド化して、それぞれ、素子状態、結合状態、群状態を逐次更新するアルゴリズムを採用してもよい。 
最後に、素子状態の更新条件を満たしてシルエット抽出処理に移行した際に、処理結果出力部７０は、上記素子グループ抽出処理で結果生成された集合を、物体形状のシルエットをなす領域情報として出力する（Ｓ１００７）。なお、後段に配置する画像処理システム（照合システムなど）での画像処理と本システムでの画像処理を並列化する場合、Ｓ１００７の処理をもループ内に入れ込んでもよい。
【００５３】
このように画像処理システムを動作させることによって、画像から物体形状のシルエット情報を良好に抽出することを可能にする画像処理が得られる。 
結果、未知画像を含む様々な対象画像から、所望の物体形状のシルエットを抽出されることが期待できる。
【００５４】
次に、第２の実施形態を図８ないし図１１を参照して説明する。
【００５５】
［第２の実施形態］
本実施形態を採用することにより、画像に対するより汎用性が高い領域分割を精度よく実施するシステムを提供することが可能となる。
【００５６】
［構成の説明］ 
図８は、第２の実施形態に係る画像処理システム２の構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。 
本第２の実施形態は、第１の実施形態において取得できた画像情報内の画像構成要素（色や輝度など）が明示的に記述されておらず、画像構成要素の取得に何らかの処理を伴う場合を想定している。こうした場合、第２の実施形態は、画像データを取得した後、画像構成要素を画像解析で算出する手法を採用する。また、画像データに画像情報が記述されていたとしても、画像解析に使用するパラメータが無い場合も本手法を用いればよい。 
このために、第２の実施形態は、画像構成要素演算部２０１を新たに設ける点が、第１の実施形態と異なる。このほか、いくつかの要素は第１の実施形態とは異なる機能を有す。
【００５７】
画像構成要素演算部２０１は、画像情報取得部２０によって取得される画像データに画像解析処理を行い、画像構成要素を演算することで抽出する。 
画像構成要素を出力する演算の一例として、時系列的に取得された同一対象を描写した複数画像から運動ベクトルを画像構成要素として抽出する例を、図９に示す。この場合、画像情報取得部２０は、ある時間間隔で撮影した少なくとも二枚の画像を取得し、それらの画像を比較して画像特徴の差分を運動ベクトルとして抽出する。この運動ベクトルは、入力した二枚の画像に含まれた被写体の動きを表現した画像情報（被写体の動きの構成要素）となる。 
多数枚の入力画像を用いる場合、画像構成要素演算部２０１は、基準となる画像を定め、その画像と前後の画像に含まれたそれぞれの被写体の動きの特徴を構成要素として画像解析で抽出することとしてもよい。 
例えば、三枚の入力画像を用いる場合、画像構成要素演算部２０１は、基準となる一枚の画像を決め、その基準となる画像とそれ以外の２枚の画像との間の差分値を利用してそれぞれの運動ベクトルを抽出する。その上で、画像構成要素演算部２０１は、基準となる画像との時刻差によって求めたそれぞれの運動ベクトルを正規化し、正規化した運動ベクトルを足し合わせ、その結果を画像内に含まれる被写体の動きの構成要素として採用することができる。 
運動ベクトルは「方位」と「大きさ」の二つの変数によって記述できる。画像構成要素演算部２０１は、構成要素として、この運動ベクトルの「方位」または「大きさ」の一方のみを、式（１）のxijRに対応させて演算してもよいし、「方位」と「大きさ」の両方を、式（９）と同様の方法で 複数種類のｘに対応させて演算しても良い。 
この手法であれば中心となる画像の他の構成要素（輝度や色）と被写体の動きの構成要素の一致が取れる。すなわち、後述する第３の実施形態に利用しやすい画像構成要素が得られる。
【００５８】
また、別の例として、画像内に乱雑に含まれるエッジ情報から一連の輪郭を抽出する例を、図１０に示す。画像情報取得部２０は、一枚の画像を取得するだけでよいが、一方で、画像構成要素演算部２０１は、ラプラシアンフィルタなどエッジ強調を行うフィルタを利用することで部分的なエッジを抽出する。
【００５９】
また、別の例では、画像構成要素演算部２０１は、Improved ＬＢＰ(Local Binary Pattern)で画像全体の画像特徴を記述する仕組みでも良い。
【００６０】
画像構成要素演算部２０１は、上記した複数の仕組みを並列的に動作させて、多次元の画像情報（素子の構成要素）を抽出してもよい。
【００６１】
以降の処理は、基本的に第１の実施形態と同一である。これにより、群状態演算部１０３は、類似する運動ベクトル群や、隣接するエッジの位置や方位の関係が類似する群を形成する一群を抽出することが可能になる。
【００６２】
［動作の説明］  
次に、第２の実施形態の動作例について説明する。図１１は、本第２の実施形態に係る画像処理システム２の動作例を示すフローチャートである。 本動作例の説明では、第１の実施形態との差分を説明する。 
画像構成要素演算部２０１は、画像情報取得部２０が、ユーザが指定する対象画像データを取得（Ｓ１００１）して画像情報記憶部３０に記録した後、その画像データから画像情報を抽出（Ｓ２００１）し、各素子の画像構成要素を取得（Ｓ１００２）する。以後は、第１の実施形態の処理動作と同様である。 
この処理過程で、画像処理システム２は、対象画像データからシルエットを抽出することに使用する画像情報（パラメータ）が明示的に記述されていないことを検出した後に、所要な画像情報を抽出することとしてもよい。
【００６３】
以上、第２の実施の形態を利用することで、画像データ又は画像情報内に、使用する画像構成要素が明示的に記述されていない場合においても、様々な画像から物体形状のシルエット情報を抽出することにより汎用性を付与できる。
【００６４】
次に、第３の実施形態を図１２および図１３を参照して説明する。 
［第３の実施形態］  
本実施形態を採用することにより、画像に対するより汎用性が高い領域分割を精度よく実施するシステムを提供することが可能となる。
【００６５】
［構成の説明］ 
図１２は、第３の実施形態に係る画像処理システム３の構成を示すブロック図である。なお、本発明に関連が薄い構成については、説明を簡略化又は省略する。
【００６６】
本第３の実施形態は、第１の実施形態又は第２の実施形態において取得された画像情報内に、素子の構成要素が複数種類ある、または使用可能である場合を想定している。こうした場合、第３の実施形態は、複数種類の構成要素を多次元の素子状態に反映させ、それらを統合して結合素子状態情報に反映させる手法を採用する。 
このために、第３の実施形態は、素子状態情報記憶部４０および素子状態演算部１０１を、それぞれ、複数種素子状態情報記憶部８０および複数種素子状態演算部３０１に変更する点が、第２の実施形態とは異なる。このほか、いくつかの要素は第２の実施形態とは異なる機能を有す。第１の実施形態をベースにする場合も同様である。
【００６７】
複数種素子状態情報記憶部８０は、画像データから取得した画像情報を記述する構成要素（ピクセルの色情報など）を各々の画素毎に抽出あるいは演算処理で求めることによって得た結果である素子状態情報を記憶する。素子状態情報は、多次元の構成要素で表現すればよく、その記録方式は問わない。各々の画素を表す素子の素子状態は、素子状態演算部１０１で演算される。複数種素子状態情報記憶部８０は、メモリで構成してもよいし、ハードディスクドライブで構成してもよく、記憶部であればよい。
【００６８】
複数種素子状態演算部３０１は、画像データに含まれていた各々の素子の有する画像情報を記述する構成要素（色覚情報・輝度情報・エッジ情報・運動ベクトル情報など）を画素毎に素子状態として記述する。 
また、複数種素子状態演算部３０１は、画像データを参照や演算で求めた画素毎の構成要素の画像情報を素子状態情報として、複数種素子状態情報記憶部８０に記録する。 
また、複数種素子状態演算部３０１は、素子状態演算部１０１と同様に、１度目の画素毎の素子状態の記述を初期値として、同様の記述を、結合状態情報 および 群状態情報の一方または両方を参照して繰り返す。繰り返し回数は、２回、３回・・・と更新を繰り返すことで、素子状態への周辺素子状態の反映度合が増す。
【００６９】
複数種素子状態演算部３０１で採用する演算式は、素子状態演算部１０１において式（１）として例示していた演算式を、式（９Ａ）から式（９Ｃ）のように使用する複数種の構成要素に対応した形に変更すればよい。 
【数９】
2016066297.tif 000011
式（９）においては、xijR , xijG , xijBは、それぞれ、i行j列におけるピクセル（素子）のRGB値を素子状態に反映させた値である。同様にして、式（２）から式（５）は、式（１０）から式（１３）までの一連の式群に変更させる。 
【数１０】
2016066297.tif 000012
【数１１】
2016066297.tif 000013
【数１２】
2016066297.tif 000014
【数１３】
2016066297.tif 000015
【００７０】
素子状態情報として記述する複数種類の構成要素を統合する枠組みは、この方法に限るわけではなく、素子状態情報を多次元に統合する方法であればどのような方法でも構わない。
【００７１】
［動作の説明］  
次に、第３の実施形態の動作例について説明する。図１３は、本第３の実施形態に係る画像処理システム３の動作の例を示すフローチャートである。本説明では、本動作例の説明では、第２の実施形態との差分を説明する。
【００７２】
複数種素子状態演算部３０１は、画像情報を記述する複数の構成要素を多次元で取得し、多次元の構成要素に基づいて多次元の素子状態の初期値を決定（Ｓ３００１）して、複数種素子状態情報記憶部８０に記録する。また、複数種素子状態演算部３０１は、素子状態の更新条件に従って更新を終えるか判別（Ｓ１００３）し、条件を満たすまで現在の素子状態および周辺素子状態に基づいて多次元の素子状態の変更（Ｓ３００２）を繰り返し、複数種素子状態情報記憶部８０に記録する。 
以降の処理は、基本的に第２の実施形態と同一である。これにより、群状態演算部１０３は、類似する運動ベクトル群や、隣接するエッジの位置や方位の関係が類似する画像領域を一群として抽出することが可能である。
【００７３】
以上、第３の実施の形態を利用することで、画像データ又は画像情報内に、使用する画像構成要素が明示的に記述されていない場合においても、様々な画像から物体形状のシルエット情報をより良好に抽出できる。結果、未知画像を含む様々な対象画像から、所望の物体形状のシルエットを抽出されることが期待できる。
【００７４】
なお、画像照合システムの各部は、ハードウェアとソフトウェアの組み合わせを用いて実現すればよい。ハードウェアで実現する形態では各部の全て又は一部をＬＳＩ（Large Scale Integration）上に構築すればよい。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（Random Access Memory）に画像処理プログラムが展開され、該プログラムに基づいて制御部（ＣＰＵ（Central Processing Unit））等のハードウェアを動作させることによって、各部を各種手段として機能させる。また、このプログラムは、記録媒体に非一時的に記録されて頒布されてもよい。当該記録媒体に記録されたプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
【００７５】
また、画像処理システムは、コンピュータやサーバ単体に構築できる。また、クラウドシステムやモバイル端末として構築してもよい。また、クラウドシステムと情報処理端末とをネットワークを介して組み合わせて、クラウド上でシルエット抽出処理を行う画像処理システムを構築してもよい。
【００７６】
上記実施の形態を別の表現で説明すれば、画像処理システムとして動作させる情報処理システムのプロセッサを、ＲＡＭに展開された画像処理プログラムに基づき、素子状態演算手段、結合状態演算手段、群状態演算手段、画像構成要素演算手段、複数種素子状態演算手段などとして動作させることで実現できる。
【００７７】
以上説明したように、本発明によれば、画像内容を領域分割することによって物体または形状のシルエット情報を抽出する画像に対する汎用性が高い画像処理システム、画像処理方法、およびプログラムを提供できる。
【００７８】
また、本発明の具体的な構成は前述の実施の形態に限られるものではなく、ブロック構成の分離併合、手順の入れ替えなどの、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
【００７９】
また、上記の実施形態の一部又は全部は、以下のようにも記載されうる。尚、以下の付記は本発明をなんら限定するものではない。
【００８０】
［付記１］ 
処理対象の画像を構成する画素の１ないし複数の構成要素を、各々の画素を表す素子の素子状態として記録する素子状態演算手段と、
前記素子状態演算手段で表現された各々の素子の素子状態を参照して、素子間の関係を算定して、その結果を素子間の結合状態として記録する結合状態演算手段と、
前記結合状態演算手段で表現された各々の素子の結合状態を参照して、関連していた素子群を関連付けて、その結果を群状態として記録する群状態演算手段と、
を含み、
該画像処理システムは、前記素子状態演算手段で初期値として表現した素子状態を、前記素子状態演算手段が 前記結合状態演算手段により演算された結合状態 および 前記群状態演算手段により演算された群状態の何れかまたは両方を参照して再表現することで、周辺素子状態を反映した素子状態に変更した後に、記録した前記群状態を参照してシルエット情報を出力する
ことを特徴とする画像内の物体または形状を領域分割する画像処理システム。
【００８１】
［付記２］ 
前記画像処理システムは、前記素子状態演算手段で初期値として表現した素子状態を、結合状態および群状態の何れかまたは両方を参照して、少なくとも２回更新した後に、記録した前記群状態を参照してシルエット情報を出力する
こと特徴とする上記付記に記載の画像処理システム。
【００８２】
［付記３］ 
前記結合状態演算手段は、
前記素子状態演算手段により記述された素子状態 および 前記群状態演算手段により演算された群状態の、何れかまたは両方を参照する関数で導出処理することで結合状態を演算し、
該演算では、結合の両端となる素子の状態が、類似する場合には結合を強化し、類似しない場合には結合を減衰する関数を用いる
こと特徴とする上記付記に記載の画像処理システム。
【００８３】
［付記４］ 
前記群状態演算手段は、
前記結合状態演算手段により演算された素子間の結合状態を参照して、結合関係が前もって定められた基準を満たす素子を一群としてグループ化する
こと特徴とする上記付記に記載の画像処理システム。
【００８４】
［付記５］ 
前記群状態演算手段は、
前記結合状態演算手段により演算された素子間の結合状態を参照して、結合関係が前もって定められた基準を満たす素子を一群としてグループ化する際に、前記基準を満たす素子群の有した結合関係を表すパラメータの代表的な値 を算出し、該代表的な値 から外れ量の大きな素子を、該一群の構成要素から除外する処理を含む
こと特徴とする上記付記に記載の画像処理システム。
【００８５】
［付記６］ 
前記素子状態演算手段は、
前記画像を構成する画素の構成要素として、色覚情報、輝度情報、エッジ情報、運動ベクトル情報の何れか一つ或いは複数を用いる
こと特徴とする上記付記に記載の画像処理システム。
【００８６】
［付記７］ 
前記素子状態演算手段は、
素子状態の記述表現として、動的に状態が周期振動する振動子を用いたうえで、各々の素子を表す構成要素の値を、前記振動周期の値に反映させて、素子状態として表現する
こと特徴とする上記付記に記載の画像処理システム。
【００８７】
［付記８］ 
前記画像処理システムは、
処理対象とする複数の画像から、該複数の画像に含まれた被写体の動きの構成要素を画像解析で算出し、
前記動きの構成要素を素子状態として使用して、初期値の素子状態を、周辺素子状態を反映した素子状態に更新を繰り返した後に、シルエット情報を出力する
こと特徴とする上記付記に記載の画像処理システム。
【００８８】
［付記９］ 
情報処理システムによる画像内の物体または形状を領域分割する画像処理方法であって、
処理対象の画像を受け付ける画像取得工程と、
前記処理対象の画像を構成する画素の１ないし複数の構成要素を、各々の画素を表す素子の素子状態として表現処理する素子状態演算工程と、
前記素子状態演算工程で表現された各々の素子の素子状態を参照して、素子間の関係を算定して、その結果を素子間の結合状態として記録する結合状態演算工程と、
前記結合状態演算工程で表現された各々の素子の結合状態を参照して、関連していた素子群を関連付けて、その結果を群状態として記録する群状態演算工程と、
を含み、
該画像処理システムは、前記素子状態演算工程で初期値として表現した素子状態を、前記素子状態演算工程が前記結合状態演算工程により演算された結合状態 および 前記群状態演算工程により演算された群状態の何れかまたは両方を参照して再表現処理することで、周辺素子状態を反映した素子状態に変更した後に、記録した前記群状態を参照してシルエット情報を出力する
ことを特徴とする画像処理方法。
【００８９】
［付記１０］ 
前記画像処理システムは、前記素子状態演算工程で初期値として表現した素子状態を、結合状態および群状態の何れかまたは両方を参照して、少なくとも２回更新した後に、記録した前記群状態を参照してシルエット情報を出力する
こと特徴とする上記付記に記載の画像処理方法。
【００９０】
［付記１１］ 
前記画像処理システムは、前記結合状態演算工程で、
前記素子状態演算工程で記述した素子状態 および 前記群状態演算工程で演算した群状態の、何れかまたは両方を参照する関数で導出処理することで結合状態を演算し、
該演算では、結合の両端となる素子の状態が、類似する場合には結合を強化し、類似しない場合には結合を減衰する関数を用いる
こと特徴とする上記付記に記載の画像処理方法。
【００９１】
［付記１２］ 
前記画像処理システムは、前記群状態演算工程で、
前記結合状態演算工程で演算した素子間の結合状態を参照して、結合関係が前もって定められた基準を満たす素子を一群としてグループ化する
こと特徴とする上記付記に記載の画像処理方法。
【００９２】
［付記１３］ 
前記画像処理システムは、前記群状態演算工程で、
前記結合状態演算工程により演算された素子間の結合状態を参照して、結合関係が前もって定められた基準を満たす素子を一群としてグループ化する際に、前記基準を満たす素子群の有した結合関係を表すパラメータの代表的な値 を算出し、該代表的な値 から外れ量の大きな素子を、該一群の構成要素から除外する処理を実行する
こと特徴とする上記付記に記載の画像処理方法。
【００９３】
［付記１４］ 
前記画像処理システムは、前記素子状態演算工程で、
前記画像を構成する画素の構成要素として、色覚情報、輝度情報、エッジ情報、運動ベクトル情報の何れか一つ或いは複数を用いる
こと特徴とする上記付記に記載の画像処理方法。
【００９４】
［付記１５］ 
前記画像処理システムは、前記素子状態演算工程で、
素子状態の記述表現として、動的に状態が周期振動する振動子を用いたうえで、各々の素子を表す構成要素の値を、前記振動周期の値に反映させて、素子状態として表現する
こと特徴とする上記付記に記載の画像処理方法。
【００９５】
［付記１６］ 
前記画像処理システムは、
処理対象とする複数の画像から、該複数の画像に含まれた被写体の動きの構成要素を画像解析で算出し、
前記動きの構成要素を素子状態として使用して、初期値の素子状態を、周辺素子状態を反映した素子状態に更新を繰り返した後に、シルエット情報を出力する
こと特徴とする上記付記に記載の画像処理方法。
【００９６】
［付記１７］ 
情報処理システムのプロセッサを、
処理対象の画像を構成する画素の１ないし複数の構成要素を、各々の画素を表す素子の素子状態として表現処理する素子状態演算手段と、
前記素子状態演算手段で表現された各々の素子の素子状態を参照して、素子間の関係を算定して、その結果を素子間の結合状態として記録する結合状態演算手段と、
前記結合状態演算手段で表現された各々の素子の結合状態を参照して、関連していた素子群を関連付けて、その結果を群状態として記録する群状態演算手段、
として動作させ、
更に、該画像処理システムに、前記素子状態演算手段で初期値として表現した素子状態を、前記素子状態演算手段が前記結合状態演算手段により演算された結合状態 および 前記群状態演算手段により演算された群状態の何れかまたは両方を参照して再表現処理することで、周辺素子状態を反映した素子状態に変更した後に、記録した前記群状態を参照してシルエット情報を出力させる
ことを特徴とする画像内の物体または形状を領域分割させるプログラム。
【００９７】
［付記１８］ 
前記画像処理システムに、
前記素子状態演算手段で初期値として表現した素子状態を、結合状態および群状態の何れかまたは両方を参照して、少なくとも２回更新させ、その後に、記録した前記群状態を参照してシルエット情報を出力させる
こと特徴とする上記付記に記載のプログラム。
【００９８】
［付記１９］ 
前記結合状態演算手段に、
前記素子状態演算手段により記述された素子状態 および 前記群状態演算手段により演算された群状態の、何れかまたは両方を参照する関数で導出処理することで結合状態を演算させ、
該演算では、結合の両端となる素子の状態が、類似する場合には結合を強化し、類似しない場合には結合を減衰する関数を用いる
こと特徴とする上記付記に記載のプログラム。
【００９９】
［付記２０］ 
前記群状態演算手段に、
前記結合状態演算手段により演算された素子間の結合状態を参照して、結合関係が前もって定められた基準を満たす素子を一群としてグループ化する
こと特徴とする上記付記に記載のプログラム。
【０１００】
［付記２１］ 
前記群状態演算手段に、
前記結合状態演算手段により演算された素子間の結合状態を参照して、結合関係が前もって定められた基準を満たす素子を一群としてグループ化する際に、前記基準を満たす素子群の有した結合関係を表すパラメータの代表的な値 を算出し、該代表的な値 から外れ量の大きな素子を、該一群の構成要素から除外する処理を実行させる
こと特徴とする上記付記に記載のプログラム。
【０１０１】
［付記２２］ 
前記素子状態演算手段に、
前記画像を構成する画素の構成要素として、色覚情報、輝度情報、エッジ情報、運動ベクトル情報の何れか一つ或いは複数を用いる
こと特徴とする上記付記に記載のプログラム。
【０１０２】
［付記２３］ 
前記素子状態演算手段に、
素子状態の記述表現として、動的に状態が周期振動する振動子を用いたうえで、各々の素子を表す構成要素の値を、前記振動周期の値に反映させて、素子状態として表現させる
こと特徴とする上記付記に記載のプログラム。
【０１０３】
［付記２４］ 
前記画像処理システムを、
処理対象とする複数の画像から、該複数の画像に含まれた被写体の動きの構成要素を画像解析で算出させ、
前記動きの構成要素を素子状態として使用して、初期値の素子状態を、周辺素子状態を反映した素子状態に更新を繰り返した後に、シルエット情報を出力する
ように動作させること特徴とする上記付記に記載のプログラム。
【０１０４】
［付記２５］
上記付記記載のプログラムを非一時的に記録した記録媒体。
【産業上の利用可能性】
【０１０５】
本発明によれば、画像から物体形状のシルエット情報を抽出することを可能にする画像処理処理を汎用性を有して提供できる。このため、様々な画像から物体形状の位置と形状を特定することができるため、シルエット情報を採用する様々な画像処理システムに利用できる。また、予備的情報を用いない画像処理技術に組み合わせることに相性が良い。
【符号の説明】
【０１０６】
１、２、３  情報処理システム（シルエット抽出システム）
１０    制御部（制御手段）
２０    画像情報取得部（画像情報取得手段）
３０    画像情報記憶部（画像情報記憶手段）
４０    素子状態情報記憶部（素子状態情報記憶手段）
５０    結合状態情報記憶部（結合状態情報記憶手段）
６０    群状態情報記憶部（群状態情報記憶手段）
７０    処理結果出力部（処理結果出力手段）
８０    複数種素子状態情報記憶部（素子状態情報記憶手段）
１０１  素子状態演算部（素子状態演算手段）
１０２  結合状態演算部（結合状態演算手段）
１０３  群状態演算部（群状態演算手段）
２０１  画像構成要素演算部（画像構成要素演算手段）
３０１  複数種素子状態演算部（素子状態演算手段）
【図１】
2016066297.tif 000016
【図４】
2016066297.tif 000017
【図５】
2016066297.tif 000018
【図７】
2016066297.tif 000019
【図８】
2016066297.tif 000020
【図１０】
2016066297.tif 000021
【図１１】
2016066297.tif 000022
【図１２】
2016066297.tif 000023
【図１３】
2016066297.tif 000024
【図２】
2016066297.tif 000025
【図３】
2016066297.tif 000026
【図６】
2016066297.tif 000027
【図９】
2016066297.tif 000028