適応信号処理の一般理論の探求 : 不動点近似と時変計量射影を軸にしてPursuing the General Theory of Adaptive Signal Processing : An Approach Based on Fixed Point
Approximation and Variable-Metric Projection
１．歴史的背景と研究目的
20 世紀中頃、A. N. Kolmogorov と N. Wiener によって（独立に）統計的アプローチに基づく最適線形フ
ィルタ理論が確立された(1)-(3)。最適線形フィルタ理論
は、ディジタル通信の歴史の中で、情報化時代のマグ
ナカルタとも言える C. E. Shannon の標本化定理（脚注：同定理は、1933 年にロシア人の V. A. Kotelnilov

湯川 正裕 (Masahiro YUKAWAI, Dr. Eng.)（当時 25 歳）によって発見されている。）と並ぶ大き新潟大学工学部電気電子工学科准教授

な貢献として位置づけられる (4)。最適線形フィルタは、(Department of Electrical and Electronic Engineering,
Associate Professor, Niigata University)

一般にウィナーフィルタと呼ばれるが、信号が統計的に定常であるという仮定の下で、所望信号とフィルタ

電子情報通信学会 IEEE EURASIP 会員
受賞：平成 2009 年度 電子情報通信学会学術奨励賞

平成 2009

出力の平均 2 乗誤差を最小にすることから、最小平均

年度 エリクソン・ヤングサイエンティストアワード

平成 2006

2 乗誤差 (MMSE: Minimum Mean Square Error) フ

年度 丹羽保次郎記念論文賞

平成 2005 年度 電子情報通信学会論

ィルタと呼ばれることもある。ここでは、MMSE フィ

文賞
研究専門分野：適応信号処理

スパース信号処理

ルタと呼ぶことにする。

カーネル適応フィルタ

MMSE フィルタは信号の統計量を用いて記述されるため、これを実現するためには、信号の統計量を事前に獲得しておく必要がある。正確な統計量の獲得は一般に困難であり、また、仮に獲得することができたとしても、実際に送受信される信号の統計的性質が変わってしまえば、もはや最適でなくなってしまう。素直に考えると、定期的に統計量の推定を行ない、これ
本稿では、不動点近似と時変計量射影に基に基づいて MMSE フィルタを再計算するというアプ

づく適応信号処理に関する研究成果を紹介する。これ

ローチ（バッチ処理）が考えられるが、これは極めては、2003 年に創始された適応信号処理パラダイム「適精巧で高コストなハードウェアが必要になるという欠応射影劣勾配法」の適用範囲を広げ、各応用に適した点があり、実時間処理には不向きである。これに代わ

適応信号処理アルゴリズムを開発する手助けとなるもるアプローチとして、適応フィルタが登場した。

あらましのである。適応射影劣勾配法は、不動点近似に基づく適応フィルタは、適当な初期フィルタ（ユークリッ

適応信号処理方式であり、学習同定法・アフィン射影

ド空間の点）からスタートして、観測データや先験情法・線形制約つき NLMS 法などを導出する指導原理

報を拠り所に MMSE フィルタに近づくようにフィルとなっている。また、これらの適応アルゴリズムの収タ係数を逐次的に更新していくアプローチであり、信束に関する決定論的解析が与えられており、適応信号号の統計的性質の変化等による MMSE フィルタの変処理の堅固な土台となっている。本研究では、適応射動にも追従することが可能である。このフィルタ係数

影劣勾配法の範疇に入らない有用な適応アルゴリズムの更新規則を与えるのが適応信号処理アルゴリズムでを包括する柔軟な枠組みを構築すべく、時変計量射影あり、1960 年に B. Widrow と M. E. Hoff Jr.によってという新たな概念を導入し、これらの適応アルゴリズ

提案された LMS (Least Mean Square) 法(5) を火種

ムの統一的な解析に成功した。歴史的背景と研究目的に、数多くの研究者達の手によって発展してきた。詳から本題へ進み、結びに将来の展望に関する個人的な細な発展の歴史については、文献(6)-(8) などを参照さ

所見を述べる。

れたい。適応フィルタの応用例を図１に示す。

1

TELECOM FRONTIER No.75 2012 SPRING

適応信号処理の一般理論の探求 : 不動点近似と時変計量射影を軸にしてPursuing the General Theory of Adaptive Signal Processing : An Approach Based on Fixed Point
Approximation and Variable-Metric Projection

図１

適応信号処理の応用例（多ユーザ干渉抑圧問題） 干渉波や雑音に埋もれた所望信号を復元することが目的

本稿では、これまでに提案されてきた種々の適応アの写像 T によって動かざる点のことを「不動点」といルゴリズムに対する統一的な視座を与えるとともに、う。例えば、X が実数全体の集合であるとする。実数

優れたアルゴリズムを導く指導原理を追究した研究のx を 0.5 倍する写像 T を考えたとき、不動点は x = 0 で一端を簡単に紹介する。一般に、適応アルゴリズムのある（実際、T (0) = 0×0.5 = 0）。一般に、不動点は一収束については統計的解析が主流であるが、独立性とつだけとは限らず、T の不動点を全て集めた集合を「T呼ばれる仮定を含む幾つかの非現実的な仮定が必要での不動点集合」という。では、何故、不動点が適応信ある他、個々のアルゴリズム毎に個別の解析が必要で号処理と関係するのだろうか。

あるため、研究する側の大変さに加えて、研究論文を

適応信号処理では、時々刻々変化する未知系を瞬時読む側にとってもこれら全ての解析を正確に理解する

データに基づいて推定・追従することが目的となる。

ことは極めて根気のいる作業であると言える。これら

従って、未知系を正確に求めるのに十分なデータを得の問題点を解決すべく、2003 年に不動点理論に基づくられる状況は、現実的に考え難い。何故なら、十分に決定論的解析への取り組みが開始された(9)。この決定

データを蓄えた頃には未知系が変化してしまっている論的解析に関する研究の一環として著者が携わったのかもしれないからである。このことから分かるのは、が本稿でご紹介する研究である。キーワードは「不動「最適な一点」を求めるよりも、「未知系を含んでいる

点近似」と「時変計量射影」である。これらの用語のと考えられる解の候補（集合 S とする）
」を特定し、説明も含めて、
次章以降、一連の研究について述べる。

集合 S の中の点を求める方が現実的であるということだ。集合の中のどの点を選ぶかによって推定精度が違

２. 不動点近似に基づく適応信号処理と決定論的解析

うのではないか、と思うかもしれない。確かにその通２.１ 不動点と適応信号処理りであるが、実際に得られるデータから特定できるの不動点という言葉に馴染みがない読者が多いと思うは「集合 S 」までであり、それ以上、候補を絞り込む（脚注：不動小数点と混同してはならない）。ある空間

ためには他の情報が必要である。先験情報が利用でき

X から同じ空間 X への写像 T が与えられたとする。こる場合には、それを効果的に利用する方法も本章で述
2

TELECOM FRONTIER No.75 2012 SPRING

適応信号処理の一般理論の探求 : 不動点近似と時変計量射影を軸にしてPursuing the General Theory of Adaptive Signal Processing : An Approach Based on Fixed Point
Approximation and Variable-Metric Projection
べる適応信号処理方式に含まれている。時々刻々変化

で、少し用語の説明をしておく。ある点 x から凸集合する未知系を追従する適応信号処理において最も重要

C への射影というのは、C の中で x に最も近い点を対な性質は「各時刻において未知系に必ず近づく」こと応させる写像である。例えば、球への射影は、球の中であり、これが保証されないアルゴリズムは不安定と心と x を直線で結び、それが球面と交わる点である（勿なり、発散してしまう危険性がある。しかし、分から論、球の中に x がある場合、射影は x 自身である）。

ない未知系に必ず近づくことをピンポイントで保証す

この例から分かるように、凸集合 C への射影の不動点

るのは現実的でない。これに代わる現実的な性質とし集合は集合 C である。言い換えると、集合 C は、
「Cて、集合 S は観測データから分かっているので「各時への凸射影」という写像の不動点集合として特徴づけ

刻において集合 S の全ての点に必ず近づく（脚注：こることができる。特に、凸集合が線形である場合、その性質は「Fejer monotone」と呼ばれる）」ことを目の幾何学的性質から直交射影という。また、劣勾配と標にするのが妥当であろう。

いうのは、勾配を微分不可能な関数に拡張した概念でさて、ここまで「集合の外にいること」を前提としあり、（凸関数の場合には）勾配の一般化になっているて議論してきた。それでは、「集合の中（境界を含む）（すなわち、関数が微分可能であるとき、劣勾配は勾にいる場合」には、どのような性質が望まれるだろう

配に一致する）。劣勾配の正確な定義は割愛するが、微か。この場合、既に未知系を表わす点にいる可能性も分不可能な尖った部分を含む関数を考えたとき、尖っあり、へたに動いてしまうと未知系から遠のいてしま

た点における接線は複数存在するが、それらの接線のう危険性がある。然るに、集合の中にいる場合は「動中の（任意の）一つだと思っていただければ結構であかない」
ことが望ましい。ここで不動点が姿を現わす。

る（脚注：連続な凸関数に対して劣勾配が必ず存在す

つまり、現在のフィルタを更新する規則を表現する写ることが知られている）。これが分かれば、射影（劣）像を Tk（k は時刻を表わす）としたとき、Tk の不動点勾配法を理解するのは難しくない。適当な初期値から集合が解の候補となるように Tk を設計すれば良いわ

スタートし、（劣）勾配の逆方向（つまり最急降下方向）けである。また、上で述べた「Fejer monotone」といに少しだけ動いて関数値を減少させる。次に、移動後う性質を満たす写像を構成するためには、集合が「閉の点が凸集合の外にいれば射影によって強制的に凸集じている（境界を含む）」ことと「凸である（凹みがな

合へ移し、逆に移動後の点が凸集合の中にいれば何もい）」ことが必要であることが分かっている。次節で登しない。もう少し正確に述べると、射影劣勾配法の第場する写像の不動点集合はこの性質を満たすことが分

一ステップは劣勾配射影と呼ばれるものであリ、劣勾

かっている。

配射影の不動点集合は関数値がゼロ以下となるベクトルの集合（ゼロレベル集合）となる。この２つの操作

２.２ 適応射影劣勾配法と決定論的解析を繰り返し行ない、
動かなくなった点が最小解となる。

不動点近似に基づく適応信号処理方式である「適応

さて、適応信号処理の場合、同じアプローチが適用

射影劣勾配法 (9),(10) 」とその決定論的解析を概説するできるだろうか？適応信号処理では、最小解（未知系）（不動点近似に基づく信号処理の詳細については、例

が時間とともに変化していくため、予め決められた最えば文献(11)を参照されたい）。凸集合上での最小化問

小化問題を解くだけでは不十分である。そのため、時題に対する解法として射影勾配法が有名であるが、こ間とともに変化する関数を考えるのが自然である。時

れは微分可能な凸関数に対してのみ適用することがで

系列データのような「時間の関数」を考えるといってきる。微分可能でない連続凸関数に対しては、幾つかいる訳ではない。フィルタ係数ベクトルを引数とするの条件の下で、ロシア人数学者 B. T. Polyak の射影劣実数値関数そのものが時間とともに変化するというこ

勾配法が利用できる(12)。適応射影劣勾配法は、射影劣とである。各時刻 k における関数を Θk とし、関数列勾配法の拡張であり、射影劣勾配法と学習同定法(13),(14)(Θ0,Θ1,Θ2、...)を考える。ここで、Θk は時刻 k で観測の類似性に着眼することで 2003 年に誕生した。ここされたデータによって決まり、その（凸制約集合上で
3

TELECOM FRONTIER No.75 2012 SPRING

適応信号処理の一般理論の探求 : 不動点近似と時変計量射影を軸にしてPursuing the General Theory of Adaptive Signal Processing : An Approach Based on Fixed Point
Approximation and Variable-Metric Projectionの）最小解集合が「その時刻における未知系」を特徴

注：フィルタ次数を N としたとき、超平面は N−1 次

付けるものである。適応アルゴリズムに要請される性元部分空間を平行移動したものであり、全空間を二つ

質は「各時刻で最小解集合に必ず近づくこと」と「関の部分に分割する）となる。これらの超平面へのユー数列(Θ0,Θ1,Θ2,...)を漸近的に最小化すること」である。

クリッド距離を Θk として選び、凸集合を全空間としこの複雑で難解に思える問題を解く手法が適応射影劣た場合、適応射影劣勾配法から学習同定法が導かれる。

勾配法である。適応射影劣勾配法の各ステップはとてすなわち、学習同定法は、瞬時誤差ゼロの超平面とのもシンプルである。適当な初期値からスタートして、距離を漸近的に最小化する方法とみることができる。

Θ0 の劣勾配の逆方向に少しだけ進み、射影によって凸

現在のデータだけでなく、過去の幾つかのデータに対集合上へ強制的に移動する。
（脚注：考慮すべき凸集合

しても同時に誤差をゼロにする集合（複数の超平面の（先験情報）がない場合は、ユークリッド空間全体を共通部分であり、線形多様体と呼ばれる集合になる）

凸集合としておけば、射影はないものと同じになる。）

を用いれば、アフィン射影法(15),(16)が得られる。更に、次の時刻では、新たに観測されたデータを用いて定義複数の超平面への平均距離を用いることで適応並列射される Θ1 の劣勾配の逆方向に少しだけ進み、射影に影劣勾配法(17)が得られる。同様にして、制約付きの適よって凸集合上へ強制的に移動する。射影劣勾配法に

応アルゴリズム(18)も得ることができる。

非常に良く似ているが、劣勾配を計算する関数が毎時刻変わる点が大きく異なる。つまり、各関数は、アル３. 時変計量射影に基づく適応信号処理パラダイム

ゴリズムにおいて一度きりしか考慮されない。適応射

３.１ 適応射影劣勾配法に含まれない適応アルゴ

影劣勾配法のイメージが伝わっただろうか。
「ある関数

リズム

値を減らして凸集合へ戻す、別の関数値を減らして凸第２章で述べたように、適応射影劣勾配法は様々な集合へ戻す、更に別の関数値を減らして・・・」とい適応アルゴリズムを導出する指導原理であり、また、う操作を繰り返すわけである。
「関数値を減らす操作」

統一的な決定論的解析を与えている。一方で、入力信が劣勾配射影であり、「凸集合へ戻す操作」が射影であ号の統計的性質や未知系に関する先験情報に基づく手る。関数の具体的な設計例は次節で紹介する。

法で、この枠組みに直接的に含まれないものがある。

最後に、適応射影劣勾配法の決定論的解析の概要を

一つ目は、変換領域適応アルゴリズム(19)である。これ述べる。第一に、各時刻で定義される関数 Θk の最小は、入力ベクトルに離散フーリエ変換や離散コサイン

解集合（未知系の候補）に必ず近づくことが保証され変換などの直交変換を施した後に、変換領域でパワーる。第二に、時間とともに変化する最小解集合が（有の正規化を行なうことで入力信号を擬似的に白色化す

限個の例外を除いて）共通部分を持つとき、ある緩いる手法である。これにより、強い有色性を持つ入力信条件の下で、適応射影劣勾配法が関数列(Θ0,Θ1,Θ2,...)

号（例えば音声信号など）に対する収束速度を大きくを漸近的に最小化することが示されている。第三に、改善できることが知られている。二つ目は、係数比例生成される点列の収束も保証され、収束点の特徴付け

型適応アルゴリズム(20)である。これは、未知系がスパも与えられている。強調すべきは、解析において、期ース（脚注：ベクトルの係数の多くがゼロ、もしくは待値演算などの統計的操作が一切使われていないこと

ゼロに近い値を取る場合、そのベクトルはスパースでである。例えば、学習同定法は平均収束することが知あるという）である場合（例えばエコー経路、通信路られているが、特定の状況を考えた場合、収束しないなど）、それを先験情報として利用することで収束速度例も示されている。

を向上させる手法である。具体的には、各時刻におけるフィルタ係数の絶対値に比例したステップサイズを

２.３ 適応アルゴリズムの具体例

各係数に割り当てることで、小さな係数はあまり更新

各時刻で観測されるデータに対して誤差をゼロにす

されなくなる一方、大きな係数は大きく更新され、結るフィルタの集合は、ユークリッド空間の超平面（脚果として収束速度が向上する。この他、LMS ニュート
4

TELECOM FRONTIER No.75 2012 SPRING

適応信号処理の一般理論の探求 : 不動点近似と時変計量射影を軸にしてPursuing the General Theory of Adaptive Signal Processing : An Approach Based on Fixed Point
Approximation and Variable-Metric Projection
ン適応アルゴリズムや準ニュートン適応アルゴリズム

本節で述べた有用な適応アルゴリズムを包括する一なども適応射影劣勾配法に含まれない。

般的枠組みの探求を次節で述べる。

最後にもう一つ、著者自身が提案した適応アルゴリ
ズムを紹介する。上述した係数比例型適応アルゴリズ

３.２ 時変計量射影と適応射影劣勾配法

ムは、未知系がスパースでない応用（例えば、多ユー

時変計量射影に基づく適応射影劣勾配法の研究は、

ザ干渉抑圧問題など）に対しては、その有効性を十分

３.１節で述べた適応アルゴリズムの各更新を２次計に発揮することができない。例えば、画像データのよ

量（すなわち、正定値行列を挟む形の内積から導かれ

うにある既知の基底（ウェーブレットなど）を用いてる計量）を用いた直交射影として解釈することから始スパースに表現できることが予め分かっている応用でまる。２次計量を用いる点を除けば、学習同定法と同あれば、その基底を用いてスパース化することができ

じ超平面に射影しているとみることができるのである。

る。しかし、一般にはこのような先験情報が得られる

従って、この計量が固定されてさえいれば、一般のヒとは限らない。このような場合にも、アルゴリズムのルベルト空間上で構築された適応射影劣勾配法の理論

収束速度を向上させたいという要求がある（多ユーザをそのまま適用することができる。しかし、問題は、

干渉抑圧問題の場合、収束速度を向上させることで、この計量が時間とともに変わってしまうのである。理

伝送レートが大きく改善される）。著者は、共役勾配法

由は、例えば変換領域適応アルゴリズムの場合、変換などで用いられるクリロフ部分空間に着目した。入力

領域におけるパワーの推定値が毎時刻変わるからであベクトルの共分散行列の固有値広がり（２ノルムの条る。通常、ヒルベルト空間における最適化では、内積件数）が十分小さい場合、未知系のほとんどのエネルを一つ定めるのが原則であり、計量が時間とともに変

ギーが低次元のクリロフ部分空間に集中することを明化してしまう状況は想定外である。そこで著者は、固らかにした。具体的には、未知系をクリロフ部分空間

定されたヒルベルト空間で収束を議論するという大原のベクトルで近似したときのエネルギー損失が、クリ

則を取り払ってみた。すると、途端におかしなことがロフ部分空間の次元を増やすことにより(a−1)/(a+1)

起こる。計量が変化すると言っても、それぞれの計量の指数乗で減衰することを証明した。ここで、a (≧1)

の定める空間においては確かに直交射影を計算するわは共分散行列の固有値広がりの正の平方根とする。つけである。ところが、一つの固定した計量の空間でア

まり、a の値が小さい程、早く減衰し、次元の小さなルゴリズムの振る舞いを考察してみると、極端な話、クリロフ部分空間で高精度な近似ができる、
すなわち、ある時刻では右に移動せよと言っていたものが、次のよりスパースな（ゼロに近い係数の多い）表現ができ

時刻では（180 度近く異なる）左の方へ移動せよといることになる。これを「疎構造化」と呼ぶ。疎構造化

うことが起こりうるのである。これでは、収束を証明された未知系に対して係数比例型適応アルゴリズムをする望みはないに等しい。しかし、ここで諦めるわけ

適用することで、収束速度が大幅に向上する。
しかし、にはいかないので、上で述べたような極端な状況が起そのまま適用してしまうと、各時刻における係数更新こらないための仮定が必要であると考える。そのためのために行列とベクトルの積を計算する必要があり、には、計量が急激に変化するのを防ぐ必要があるので、計算量が大きく増加してしまう。この問題を解決する

計量を定める正定値行列の変動量に規制をかける必要ために、小さな係数に対するステップサイズが収束速があることが直感的に分かる。
（脚注：実際、パワーの度に大きな影響を与えないことを発見し、これらのス推定値などは急激に変化することはなく、定常状態でテップサイズを全て一定にすることでフィルタ次数のはほぼ一定であると仮定できる。
）しかし、具体的にど

線形オーダーの計算量を実現することに成功した (21)。

のように規制したら良いだろうか。検討を重ねた結果、

また、詳細は省略するが、ある非凸離散最適化問題の最終的に、以下の仮定の下で、厳密な収束定理を与え解を閉じた形で与えることにより、収束特性を更に改ることに成功した(23)。仮定１．計量行列の固有値の有善することにも成功している(22)。

界性：各時刻で利用される計量行列の固有値が、ある
5

TELECOM FRONTIER No.75 2012 SPRING

適応信号処理の一般理論の探求 : 不動点近似と時変計量射影を軸にしてPursuing the General Theory of Adaptive Signal Processing : An Approach Based on Fixed Point
Approximation and Variable-Metric Projection
２つの正の定数の間に必ず存在する。仮定２．ある正ことで適応アルゴリズムが導かれる。文献(22)で導出

定値行列 G が存在して、各時刻で利用される計量行列

した計量が、並列射影型アルゴリズムへ拡張可能であと G の差の２ノルム（最大固有値）がある値より小さることを明らかにした(24)。図３、４に文献(24) の成果

くなる。ここで、「ある値」は、(i)仮定１で出てきた２の一部を記す。NLMS 法と比較すると、少しの計算量

つの定数、(ii)G の最大・最小固有値、(iii)ステップサの増加で MSE 曲線の収束速度を大きく改善できていイズの下限と上限、(iv)係数更新によるフィルタの変ることが確認できる。一方、RLS 法と比較すると、格動量、(v)更新前後のフィルタとベクトル z の誤差によ段に少ない計算量で高速な収束・追従性能を実現してって定まる。ここで、z は解の候補となる凸集合達（第いることが分かる。

２章を参照）の共通部分の中の点と思っていただきたい。
これによって、
３.１節で述べた全ての適応アルゴリ

４．結び

ズムを包括する一般的枠組みを構築することができた。

本稿では、適応信号処理の一般理論を探求した研究

図２に適応射影劣勾配法と本研究の関係を記す（赤丸として、不動点近似と時変計量射影に基づく適応射影で囲んだ部分が本研究成果によって新たに取り扱うこ劣勾配法を紹介した。信号処理研究の著しい進展によとができるようになったアルゴリズムである）。

って信号処理の手法が多様化していく中、これらを体系的に整理し、統一的な視座を手に入れることは、我々

３.３ 並列時変計量射影型適応アルゴリズムの導出

人類に大きな恩恵をもたらすに違いない。本研究成果

本節では、３.２節で紹介した枠組みを使って導出しは、適応射影劣勾配法による強固な体系の幹を太くす

た適応アルゴリズムを紹介する。基本的なアイディアることで枝を広げ、新しい実（科学技術）を産出するは適応並列劣勾配射影法(17)と同様であり、文献 (22) の可能性を高めることができたのではないかと考えていアルゴリズムを並列化することで、並列計算に適したる。適応信号処理の応用範囲は、もはや音声・音響・適応アルゴリズムを導出することである。時変計量射

通信に留まらない。本稿では触れなかったが、適応射影に基づく適応射影劣勾配法を、複数の時刻で得られ

影劣勾配法は「分散型信号処理」や「再生核を用いたた観測データで決まる超平面への平均距離（ただし、非線形オンライン学習」などとも関連して進展し、応距離は各時刻で定義される計量で定まる）に適用する用の裾野を広げている(25),(26)。また、適応射影劣勾配法

適応射影劣勾配法
時変計量に基づく適応射影劣勾配法
学習同定法

変換領域 NLMS 法

アフィン射影法

係数比例型 NLMS 法

適応並列劣勾配射影法

クリロフ PNLMS 法

制約つき NLMS 法

準ニュートン NLMS 法
LMS ニュートン法

図２．時変計量を用いた適応射影劣勾配法の拡張

6

TELECOM FRONTIER No.75 2012 SPRING

適応信号処理の一般理論の探求 : 不動点近似と時変計量射影を軸にしてPursuing the General Theory of Adaptive Signal Processing : An Approach Based on Fixed Point
Approximation and Variable-Metric Projection

図３

均 2 乗誤差（MSE）曲線（フィルタ次数 256 の場合）

図４

フィルタ次数と計算量（乗算数）の関係

7

TELECOM FRONTIER No.75 2012 SPRING

適応信号処理の一般理論の探求 : 不動点近似と時変計量射影を軸にしてPursuing the General Theory of Adaptive Signal Processing : An Approach Based on Fixed Point
Approximation and Variable-Metric Projection
filtering. John Wiley & Sons, (2003).

を凸解析の枠組みの外（非凸集合の場合）へ拡張する
試みも海外で始められている(27)。日本発祥の適応信号(9) 山田功、射影型適応アルゴリズムの新展開—射影

処理方式は、既に海を越えて伝わり、進化を続けてい劣こう配法による統一的視点とその応用、電子情る。近い将来、日本の科学技術者にも広く理解され、報通信学会誌、Vol.86, No.8, pp.654–658, (2003).

実用化が進行していくことを願う。なお、適応射影劣(10) I. Yamada and N. Ogura "Hybrid Steepest

勾配法とその周辺について、2010 年にミュンヘン工科

Descent Method for Variational Inequality

大学（独国）で著者が担当した集中講義の講義ノート

Problem over the Fixed Point Set of Certain

を Web で公開しているので参考までに紹介させていQuasi- Nonexpansive Mappings", Numerical

ただく(28)。

Functional Analysis and Optimization, Vol.25,
No.7&8, pp. 619-655, (2004).

謝辞：適応射影劣勾配法についてご教授いただいた恩(11) I. Yamada, M. Yukawa, and M. Yamagishi,

師であり、本研究プロジェクトの研究代表者である山Fixed-Point Algorithms forInverse Problems in

田功教授（東京工業大学）に心より深謝する。第２章

Science and Engineering, ser. Optimizationの執筆に当たり、ICASSP2012（京都）における同教

and ItsApplications. New York: Springer, 2011,

授のチュートリアル(29)を参考にさせていただいた。

Vol. 49, ch. 17, pp. 345–390.
(12) B. T. Polyak, “Minimization of unsmooth

USSR Computational Mathematics and Mathematical Physics, Vol. 9, No. 3,functionals,”

参考文献(1) N. Kolmogorov, “Sur l'interpolation et extrapolation des suites stationaires,” Comptes Rendus de

pp. 14–29, (1969).

l'Academie des Sciences, Vol. 208, pp. 2043–2045,(13) J. Nagumo and J. Noda, “A learning method forsystem identification,” IEEE Trans. Automat.

(1939).

Contr., Vol. 12, No. 3, pp. 282–287, (June 1967).

(2) A. N. Kolmogorov, “Interpolation and extrapolation,” Bulletin de l'Academie des Sciences de(14) A. E. Albert and L. S. Gardner Jr., Stochastic

U.S.S.R., Vol. Series Mathematics 5, pp. 3–14,

Approximation and Nonlinear Regression, MIT(1941).

Press, Cambridge, Mass, USA, (1967).
(15) 雛元孝夫・前川禎男、“拡張された学習同定法、”(3) N. Wiener, Extrapolation, Interpolation, andSmoothing of Stationary Times Series: With

電学論、Vol. 95-C, pp. 227–234, (Oct. 1975).

Engineering Applications. Cambridge, MA: MIT(16) 尾関和彦・梅田哲夫、“アフィン空間への直交射影

Press, (1949).

を用いた適応フィルタアルゴリズムとその諸性
質、” 信学論(A)、Vol. J67-A, No. 2, pp. 126–132,(4) J. G. Proakis, Digital communications, 4th ed.
New York: McGraw-Hill, (2001).

(Feb. 1984).

(5) B. Widrow and M. E. Hoff Jr., “Adaptive(17) I. Yamada, K. Slavakis, and K. Yamada, “Answitching circuits,” in IRE WESCON Conv.

efficient robust adaptive filtering algorithm

Rec., Vol. 4, pp. 96–104, (1960).

based

processing. Englewood Cliffs, NJ: Prentice-projection(18) M-L. R. Campos, S. Werner, J. A. Apolinario.

(7) S. Haykin, Adaptive Filter Theory, 4th ed. New

Constrained adaptive algorithm em- ploying
Householder transformation. IEEE Trans. on

Jersey: Prentice Hall, (2002).
Sayed,

subgradientVol. 50, No. 5, pp. 1091–1101, (May 2002).

Hall, (1985).

L.

paralleltechniques,” IEEE Trans. Signal Processing,(6) B. Widrow and S. D. Stearns, Adaptive signal(8) A.

on

FundamentalsofSignal Processing Vol. 50 No. 9, pp. 2187-2195,

adaptive
8

TELECOM FRONTIER No.75 2012 SPRING

適応信号処理の一般理論の探求 : 不動点近似と時変計量射影を軸にしてPursuing the General Theory of Adaptive Signal Processing : An Approach Based on Fixed Point
Approximation and Variable-Metric Projection(2002).

97–123, (Jan. 2011).

(19) S. S. Narayan, A. M. Peterson, and M. J.

(27) Y. Kopsinis, K. Slavakis, S. Theodoridis, and S.

Narasimha,“Transform domain LMS algorithm,”

McLaughlin. Generalized thresholding sparsity-

IEEE Transactions on Acoustics, Speech, andaware algorithm for low complexity online learning.

Signal Processing, Vol. 31, No. 3, pp. 609–615,

In(1983).

Conference on Acoustics, Speech, and Signal(20) D.

L.

Duttweiler,“Proportionate

normalized

Proceedings

of

the

IEEE

International

Processing (ICASSP), pp. 3277--3280, Kyoto: Japan,

least-mean-squares adaptation in echo cancelers,”(March 2012).

IEEE Transactions on Speech and Audio
Processing, Vol. 8, No. 5, pp. 508–517, (2000).

(28) hQttp://telecom0.eng.niigata-u.ac.jp/yukawa/le(21) M. Yukawa, ``Krylov-proportionate adaptive(29) S. Theodoridis, I. Yamada, and K. Slavakis,

filtering techniques not limited to sparse"Learning in the context of set theoretic estimation:systems,'' IEEE Trans. Signal Processing, Vol.

an efficient and unifying framework for adaptive

57, No. 3, pp. 927--943, (March 2009).

machine learning and signal processing," Tutorial

cture.html

at ICASSP 2012, Kyoto: Japan, (March 2012).

(22) M. Yukawa and W. Utschick, “A fast stochastic
gradient algorithm: Maximal use of sparsification
benefits under computational constraints,'' IEICE

Trans. Fundamentals, Vol. E93-A, No. 2, pp.
467--475, (February 2010).
(23) M. Yukawa and I. Yamada, ``A unified view ofadaptive variable-metric projection algorithms,''
EURASIP

JournalonAdvancesin

Signal

Processing, Vol. 2009, Article ID 589260, pp. 1-13,(2009).
(24) Masahiro Yukawa and Isao Yamada, "Settheoretic adaptive filtering based on datadriven sparsification,'' International Journal of

Adaptive Control and Signal Processing, Vol.
25, pp. 707--722, Wiley, (2011).
(25) R. L. G. Cavalcante, A. Rogers, N. R. Jennings, andI. Yamada, "Distributed Asymptotic Minimizationof Sequences of Convex Functions by a Broadcast
Adaptive Subgradient Method," IEEE Journal of

Selected Topics in Signal Processing, Vol. 5, No. 4,
pp. 739-753, (Aug. 2011).
(26) S. Theodoridis, K. Slavakis, and I. Yamada,“Adaptive learning in a world of projections: aunifying framework for linearand nonlinear
classification and regression tasks,” IEEE

この研究は、平成１９年度ＳＣＡＴ研究助成の対象としてSignal Processing Magazine, Vol. 28, No. 1, pp.

採用され、平成２０年度～２２年度に実施されたものです。
9

TELECOM FRONTIER No.75 2012 SPRING