特集「ネットワーク情報理論」［研究詳解］

統計数理（2009）
第 57 巻 第 2 号 233–251
c 2009 統計数理研究所


情報センシングと多端子情報源符号化
大濱 靖匡

†

（受付 2009 年 1 月 16 日；改訂 3 月 23 日；採択 3 月 24 日）

要

旨センサネットワークの理論構築に多端子情報理論が深く関与することが指摘されている．本
論文は，センサネットワークを利用した情報センシングのプロセスが多端子情報理論の問題として，どのように定式化されるのかを述べる．また，定式化により得られた符号化問題について，これまでどのような結果が得られているのかについて述べる．
キーワード： センサネットワーク，多端子情報理論，分散符号化，多補助者問題，CEO
問題．
1.

はじめに

多数のセンサデバイスをネットワークで結んだ通信システムを用いて情報センシングや遠隔制御を行うセンサネットワークとよばれる技術が注目を集めている．現在，環境測定，セキュ
リティ，知的空間の構築，大災害時の救助活動など多方面へのセンサネットワークの応用が検討されている．
従来の通信ネットワークと著しく異なり，センサネットワークの構成要素である信号源，センサ出力，ネットワークには，不安定性，不確実性などの種々の拘束条件が課せられている．
この制約下で，センシングの高度化や情報通信，制御の最適化を図る必要がある．これは，センサネットワークの基本課題の 1 つである．
センサネットワークの要素技術の関与する学術研究分野は，センシング，信号処理，統計学，
情報理論，通信理論，情報ネットワーク，人工知能，制御理論，システム理論など，極めて多方面にわたる．各分野の既存成果の組み合わせにより，センサネットワークを設計，構築して提供することが可能であり，このような研究開発が精力的に進められている．しかし，これだ
けでは，提供されるシステムの性能を客観的に評価できない．センサネットワークの基本課題を解決し，また，その設計，構築の客観的指針を得るためには，分野横断的視点から，センサ
ネットワークを取り扱う理論的枠組みを確立し，その枠組みにおいてシステムの限界と可能性
を数理的に明らかにする必要がある．
情報通信の数理的基礎といえば，1948 年にシャノンが築いた情報理論がある．これは，1970
年代に入り，多端子情報理論とよばれる多数の送受信者による情報通信を扱う理論へ発展した．
ある情報信号が複数の地点に分散配置されたセンサによりセンシングされる場合を考える．
分散センサの得た情報信号に関するデータは，ネットワークを介して一箇所に集められ，そこで情報信号に関する推論が行われる．このような分散センサによる信号推定システムは，センサネットワークにおける情報センシングのプロセスと捉えることが出来る．一方，このような†

徳島大学大学院 ソシオテクノサイエンス研究部：〒770–8506 徳島市南常三島町 2–1

統計数理

234

第 57 巻

第 2 号 2009

通信システムの理論的モデルは，多端子情報理論における主要研究対象として，これまで研究されてきたものの一つである．
本稿では，センサネットワークを用いた情報センシングのプロセスが多端子情報源に対する分散符号化の問題として，自然な形で定式化できることを明らかにする．さらに定式化された分散符号化の問題に関するこれまでの研究結果について述べる．
2.

センサネットワークの理論的モデル

集合 Xi に値をとる確率変数 Xi , i = 0, 1, 2, . . . , L を考える．これら (L + 1) 個の確率変数は相関を持つものとする．本稿では，Xi のとる値の集合 Xi , i = 0,1, 2, . . . , L が有限集合，または実数の場合を考える．前者の場合，(X0 , X1 , . . . , XL ) の従う同時確率分布 pX0 X1 ···XL を

pX0 X1 ···XL = {pX0 X1 ···XL (x0 , x1 , . . . , xL )}(x0 ,x1 ,...,xL )∈X0 ×X1 ×···×XLと記す．後者の場合は確率分布を確率密度関数に置き換えた定義になる．確率変数が実数に値をとる場合に関しては，本稿では，X0 , X1 , . . . , XL が (L + 1) 次元ガウス分布に従う場合を主に扱う．
{(X0,t , X1,t , . . . , XL,t )}∞(X0,t , X1,t , . . . ,XL,t )t=1 を定常無記憶情報源とする．各 t = 1, 2, . . . に対し，は，(X0 , X1 , . . . , XL ) と同一の分布に従うものとする．情報源から発生する長さ n の確率変数の列を X i = Xi,1 Xi,2 · · ·Xi,n と記す．
さて，離れた (L + 1) 個の地点において，X 0 ，X 1 , . . . , X L が個別に観測される場合を考える．
これらの (L + 1) 個のデータ系列は，それぞれの地点で独立に符号化され，復号器へ送られる．
復号器は，送られてくる符号化データから X 0 の推定値 X̂ 0 を出力する．このようなセンサネッ
トワークによる情報センシングの様子を図 1 に示す．X 0 が情報センシングにより推定したい信号である．残りの L 個のデータ系列は復号器において符号化された形で X 0 の推定のための補助情報として働く．センサネットワークによる情報センシングのプロセスの理論的モデルを図 2に示す．この図に示された通信システムは，形式的には次のように述べられる．各 i = 0, 1, . . . , Lに対し，情報源から発生する長さ n のデータ系列 X i は，符号器 ϕi により各々独立に ϕi (X i ) と符号化され，これらは，復号器 ψ に送られる．復号器 ψ は，ϕi (X i ), i = 0, 1, . . . , L を入力として
X 0 の推定値 X̂ 0 を出力する．ここで，符号器 ϕi , i = 0, 1, . . . , L は，ϕi : Xin → Mi = {1, 2, . . . , Mi }なる写像で定義され，以下の伝送率制約を満たす．
1(2.1)
log Mi ≤ Ri + δ, i = 0, 1, . . . , Ln

図 1. センサネットワークによる情報センシング．

情報センシングと多端子情報源符号化

図 2.

235

センサネットワークの理論的モデル．

ここで δ は予め任意に決められた正数である．なお，本稿を通じて対数の底は 2 であるとする． 復号器 ψ は ψ : M0 ×M1 × · · · × ML → X0n で定義される．伝送率制約（2.1）を満たす符号器と復号器の組 (ϕ0 , ϕ1 , . . . , ϕL , ψ) 全体からなる集合を Fδ(n) (R0 , R1 , . . . , RL ) と書く．歪測度d(x, y), (x, y) ∈ X02 を x = y のとき 0，それ以外のとき正の有限値をとるものと定義する．デー
タ系列 X 0 とその推定値
X̂ 0 = ψ(ϕ0 (X 0 ), ϕ1 (X 1 ), . . . , ϕL (X L ))との一致の尺度として，以下の平均歪を考える．
1
Ed(X0,t , X̂0,t )n t=1
n∆(X 0 , X̂ 0 ) =与えられた D > 0 と任意の δ > 0 に対し，整数 n0 (δ) が存在して，任意の n ≥ n0 (δ) に対し，
(n)(ϕ0 , ϕ1 , . . . ,ϕL , ψ) ∈Fδ (R0 ,R1 , . . . , RL ) なる符号器，復号器の組が存在して，∆(X 0 ,X̂ 0 ) ≤ D + δとなるとき，伝送率ベクトル (R0 , R1 , . . . , RL ) は，許容であると定義する．許容であるような伝送率ベクトル全体からなる集合 RL (D) を伝送率・歪領域とよぶ． RL (D) の具体形を明らかにすることが基本問題である．
条件（2.1）は通信回線に対する容量制約を表す．この制約は上記の問題設定において本質的である．実際，X0 が有限集合の場合，その要素の個数を |X0 | として，R0 ≥ log |X0 | ならば，符号器 ϕ0 は X 0 を誤りなしで送れる．したがって，容量制約がなければ，他の L 本の通信回線が不要となり，問題自体が意味をなさない．
次に，L 個の符号器が，いずれも X 0 を観測できる場合を考える．この場合は，単一情報源に対する符号化の基本定理より RL (D) は
L


(2.2)

Ri ≥ RX0 (D)i=0を満たす伝送率ベクトルからなる領域となる．ここで，RX0 (D) は伝送率・歪関数（rate-distortionfunction）とよばれる量である．この関数の X0 が有限集合の場合の定義は次のようになる．
V = {V (x̂0 |x0 ) }(x0 ,x̂0 )∈X 2 を X0 の元が与えられた下での X0 上の条件付確率分布とし，X02 に0

値をとる確率変数の組 (X0 , X̂0 ) の同時分布を pX0 (x0 )V (x̂0 |x0 ), (x0 , x̂0 ) ∈ X02 と定めたとき

RX0 (D) =min

V :Ed(X0 ,X̂0 )≤D

I(X0 ; X̂0 )で定義される．ここで I(X0 ; X̂0 ) は X0 と X̂0 との間の相互情報量を表す．これは X̂0 のエントロピーH(X̂0 ) = −pX̂0 (x̂0 ) log pX̂0 (x̂0 )x̂0 ∈X0

236

統計数理

pX̂0 (x̂0 ) =第 57 巻

第 2 号 2009

pX0 (x0 )V (x̂0 |x0 ), x̂0 ∈ X0

x0 ∈X0と X0 が与えられた下での X̂0 の条件付エントロピー
H(X̂0 |X0 ) = −pX0 (x0 )V (x̂0 |x0 ) log V (x̂0 |x0 )(x0 ,x̂0 )∈X02との差 H(X̂0 ) − H(X̂0 |X0 ) で表現できる．X0 が実数の場合の RX0 (D) の定義は，確率分布を2
確率密度関数に置き換え，和を積分に換えればよい．特に X0 の従う分布が平均 0，分散 σX
02のガウス分布で，歪み測度 d が 2 乗誤差 d(x, y) = (x − y) の場合，RX0 (D) は陽に求められ
 2 
σX 0
1
(2.3)
RX0 (D) = log+
2
Dとなる．ここで，log + [a] = max{log a, 0}．X0 が有限集合に値をとる場合およびガウス分布に従う場合の各場合に対する RX0 (D) の概形を図 3 に示す．以上のことから各符号器が X 0 を観測できる場合も，新しい問題は生じない．
これまでの考察からわかるように，定式化された問題において，観測データの不確実性，通信回線に課せられる厳しい容量制約といったセンサネットワークの有する拘束条件は，極めて本質的な意味を持つ．
3.

情報源出力が有限集合に値をとる場合

伝送率・歪領域 RL (D) を求める問題は，L 補助者問題とよばれ，現在も一般には未解決である．一方，この問題は，多端子情報源符号化における主要課題の一つであり，多端子情報源
符号化に関する研究のこれまでの発展とも密接に関係している．
ここでは，情報源からの出力系列が有限集合に値をとる場合を考える．この場合について，
L 補助者問題の多端子情報源符号化の研究における位置づけとともに，この問題に関するこれまでの結果を述べる．
3.1 補助情報が 1 つの場合
L = 1 の場合の通信システムを図 4 に示す．この場合の R1 (D) を求める問題は，1 補助者問題とよばれる．特に，R1 ≥ log |X1｜，すなわちデータ X 1 が誤りなしで復号器へ送られる場合

図 3.

関数 RX0 (D) の概形．

情報センシングと多端子情報源符号化

237

を考える
（図 5 参照）．図 5 の通信システムの符号化に関する結果が Slepian and Wolf（1973）によって与えられた．
定理 1.（Slepian and Wolf（1973））
R1 (0) ∩ {R1 ≥ log |X1｜} = {R0 ≥ H(X0 |X1 )}上記の Slepian and Wolf（1973）の結果は，多端子情報源符号化の研究の出発点とみなされている．この結果は，次の 2 つの結果へ拡張された．
定理 2.（Wyner（1975）, Ahlswede and Körner（1975）） R1 (0) は，次の 3 条件を満たす (R0 , R1 ) 全体からなる領域で与えられる．
1）有限集合 U1 に値をとる補助確率変数 U1 が存在し，(X0 , X1 ) との同時確率分布 pX0 X1 U1 (x0 ,x1 , u1 ), (x0 , x1 , u1 ) ∈ X0 × X1 × U1 について
(3.1)

pX0 X1 U1 (x0 , x1 , u1 ) = pX0 X1 (x0 , x1 )pU1 |X1 (u1 |x1 ) .

条件（3.1）は，確率変数の組 (X0 , X1 , U1 ) に関するマルコフ鎖の条件 X0 → X1 → U1 と等価である．
2） |U1 | ≤ |X1 | + 2 .
3） R0 ≥ H(X0 |U1 ), R1 ≥ I(X1 ; U1 ) .
領域 R1 (0) の概形を図 6 に示す．
定理 3.（Wyner and Ziv（1976）） U0 を有限集合 U0 に値をとる確率変数，ψ̃ を ψ̃ : U0 ×
X1 → X0 なる写像とし，


(3.2)

RWZ (D) =min(U0 ,ψ̃):U0 →X0 →X1 ,|U0 |≤|X0 |+1,
Ed(X,ψ̃(U0 ,X1 ))≤D

I(U0 ; X0 |X1 )とおく．ここで，I(U0 ; X0 |X1 ) = H(U0 |X1 ) − H(U0 |X0 X1 ) は，X1 が与えられたときの U0 と
X0 との間の条件付相互情報量を表す．このとき次が成り立つ．
R1 (D) ∩ {R1 ≥ log |X1 |} = {R0 ≥ RWZ (D)}

図 4.

図 5.

X 1 が補助情報として働くシステム．

X 1 が復号器において補助情報として得られるシステム．

238

統計数理

第 57 巻図 6.

第 2 号 2009

R1 (0) の概形．

Wyner（1975）, Ahlswede and Körner（1975）, Wyner and Ziv（1976）
は，上記の結果を導く際に，新たに，補助確率変数を用いた符号化の手法を導入している．R1 (D) については，Beger
により，領域の内界が計算されているが，完全な解決は得られていない．
et al.（1979）
3.2 補助情報が 2 つ以上の場合
補助情報が 2 つ以上の場合は， D = 0 の場合に限っても完全な解決は得られていない． L =によって与2, D = 0 の場合の 2 補助者問題の一例題に対する解が， Körner and Marton（1979）
えられた．彼らは，Xi = {0, 1}, i = 0, 1, 2 で (X1 , X2 ) が以下の 2 値対称分布⎧ 1−p⎪, x1 = x2 のとき⎨
2
pX1 X2 (x1 , x2 ) =⎪⎩ p , x = x のとき122に従い，かつ，X0 がこれらの排他的論理和 X0 = X1 ⊕ X2 である特別な場合に，この特殊性を最大限に利用し，領域 R2 (0) がR2 (0) = {(R0 , R1 , R2 ) : R0 + R1 ≥ H(X0 ), R0 + R2 ≥ H(X0 ) }となることを示した．
一方，Wyner（1975）, Ahlswede and Körner（1975）が D = 0 の場合の 1 補助者問題に対する符号化定理を証明する際に導入した補助確率変数に基づく符号化の手法を拡張することにより
R2 (0) の内界を得ることができる．これを WAK 領域とよぶことにする． WAK 領域は，以下の 3 条件を満たす (R0 , R1 , R2 ) 全体からなる領域の閉凸包で与えられる．
1）有限集合 U1 × U2 に値をとる補助確率変数 (U1 , U2 ) が存在し，確率変数の組 (X0 , X1 , X2 , U1 ,U2 ) はマルコフ鎖の条件 U1 U2 → X1 X2 → X0 , U1 → X1 → X2 → U2 を満たす．
2） |U1 | ≤ |X1 | + 7，|U2 | ≤ |X2 | + 7 .
3） R0 ≥ H(X0 |U1 U2 ), R1 ≥ I(U1 ; X1 |U2 ), R2 ≥ I(U2 ; X2 |U1 ) , R1 + R2 ≥ I(U1 U2 ; X1 X2 ) .

ここで，領域 A の閉凸包とは，A に属する任意の 2 点を結ぶ線分上の点からなる領域の閉包をとったものである．
Körner and Marton（1979）
は，彼らの扱った例題に対して， WAK 領域と彼らの決定した領域 R2 (0) とを比較し，WAK 領域が R2 (0) に一致し得ないことを示した．この結果は，2 補助者問題の解決には，1 補助者問題とは異る新たな符号化の手法が必要であることを示唆している．一方，Gelfand and Pinsker（1979）は情報源が次の相関条件を満たす場合に注目した．

情報センシングと多端子情報源符号化239

条件． X0 が与えられた条件の下で X1 , X2 , . . . , XL が条件付独立（Conditionally Independent）
である．
この相関条件を CI 条件とよぶことにする．これは，同時確率分布 pX0 X1 ···XL が以下の形を持つことを意味する．
(3.3)

pX0 X1 ···XL (x1 , x2 , . . . , xL ) = pX0 (x0 )LpXi |X0 (xi |x0 )i=1

Gelfand and Pinsker（1979）
は，情報源が CI 条件を満たす場合に領域 RL (0) を決定し，これがL 個の補助確率変数を用いた形で表現できることを示した．これは 2 補助者問題において，次が成り立つことを意味する．

定理 4.（Gelfand and Pinsker（1979）） L = 2 の場合において，情報源が CI 条件を満たせば，WAK 領域は領域 R2 (0) と一致する．
3.3 CEO 問題（3.3）で与えられる CI 条件を満たす場合について，R0 = 0 の場合
情報源 (X0 , X1 , . . . , XL ) がの符号化，即ち補助情報の符号化データのみから，情報源出力 X 0 を復号する問題は，CEO問題とよばれている．これは，図 7 に示すように，補助情報のみから情報センシングを行うシ
ステムとみなすこともできる． CEO は，最高経営責任者（Chief Executive Oﬃcer）の略である．
CEO 問題の枠組みを図 8 に示す．X0 が与えられた下での Xi , i = 1, 2, . . . , L の条件付確率分布
pXi |X0 の定義する雑音通信路を
Wi = pXi |X0 = {pXi |X0 (xi |x0 )}(x0 ,xi )∈X0 ×Xi

とおく．CI 条件より，信号 X 0 は，各 i = 1, 2, · · · , L について，統計的に独立な雑音を通信路
Wi から被る．各符号器 ϕi は，通信路 Wi から出力される信号 X 0 の雑音版 X i を観測し，これを符号化して，CEO へ送る．CEO は，送られてくる L 個の符号化データから復号器 ψ を用
いて信号 X 0 の推定値 X̂ 0 を出力する．CEO 問題では，歪測度 d(x, y), (x, y) ∈ X02 として，
d(x, y) = dH (x, y) =01

x = y のとき ,それ以外のときにより，定式化され研究さで与えられるハミング歪を考える．CEO 問題は，Berger et al.（1996）
れた．彼らは，雑音通信路 Wi が同一の確率特性をもつ場合，即ち Xi = X1 , Wi = W1 , i = 2, . . . , L

図 7. 補助情報のみからなる情報センシング．

統計数理

240

図 8.

第 57 巻

第 2 号 2009

CEO 問題の枠組み．

となる場合を扱い，伝送率・歪領域 RL (D) ∩ {R0 = 0} について，伝送率ベクトルの和の下限と D との関係を表す以下の量を定義した．


DL (R) =min(0,R1 ,...,RL )∈RL (D) ,L
i=1 Ri ≤R

D

さらに，L が十分大の場合を考え，DL (R) の極限


D(R) = lim DL (R)L→∞の関数形を論じた．一方，伝送率・歪領域 RL (D) ∩ {R0 = 0} における伝送率ベクトルの和の下限と D との関係を表す量として以下の量を定義することもできる．


RL (D) =L

min(0,R1 ,...,RL )∈RL (D)Ri, R(D) = lim RL (D)

i=1

L→∞

R(D) と D(R) は，互いに逆関数の関係にあることが容易に確かめられる．X0 = x ∈ X0 が与えられた下での確率変数 Xi の条件付分布を確率分布にもつ確率変数を Xi (x) と書く．Berger etは，X1 (x), X2 (x), . . . が有限個の未知パラメータ x ∈ X0 により指定される独立同分布al.（1996）（i.i.d.）確率変数列になることに着目し，統計的仮説検定問題と情報源符号化の手法を組み合わせた手法を用いて，CEO 問題を考察した．その結果，D が十分小さいときの R(D) の漸近式が(3.4)

D(R) ≈ 2−ζ(pX0 ,W1 )Rの形になることを示し，ζ(pX0 , W ) の計算可能な表式を得た．有限の L に対する RL (D) ∩ {R0 = 0}の決定問題は依然として未解決である． Berger et al.（1996）は，L が無限大の場合の漸近論を考察することにより，L の有限性に起因する難しさをある意味で回避したといえる．また，Lが十分大きく，符号器の容量制約の総計が R 以下に押えられるという設定は，センサネット
ワークにおいて，実用上も意味のある問題設定といえる．以上の点で彼らの得た結果は大変興味深い．
次に，Berger et al.（1996）が得た ζ(pX0 , W1 ) の具体形について述べる．関数 ζ(pX0 , W1 ) は形
式的には次のように定義される．


ζ(pX0 , W1 ) = limR→∞− log D(R)R

は，次の結果を得た．
Berger et al.（1996）
定理 5.（Berger et al.（1996））確率変数 Q を (X0 , X1 ) と独立な有限集合 Q 上の分布 PQ (q)をもつ確率変数とし，集合 Q の要素数は
|Q| =

|X0 |
2

+2

情報センシングと多端子情報源符号化241を満たすとする．確率変数 U を有限集合 U に値をとる確率変数で，その要素数は

|X0 |
|U| =
+ |X1 | |Q| + 12を満たすとする．与えられた X1 = x1 , Q = q に対する U 上の任意の条件付き確率分布を PU |X1 Q(u|x1 , q) とし，⎧
⎪
PU |X0 Q (u|x0 , q) =W1 (x1 |x0 )PU |X1 Q (u|x1 , q)⎪⎪⎪⎪
x1 ∈X1
⎪
⎪
⎪
 λ
⎪

⎨ M (λ) (x , x |q) =PU |X0 Q (u|x1 , q)PU1−λ12|X0 Q (u|x2 , q)
u∈U
⎪
⎪
⎪
⎪
⎪
min max E[− log M (λ) (x1 , x2 |q)]⎪⎪x1 ,x2 ∈X 0≤λ≤1⎪⎪E(pX0 , W1 ) = max⎩
PU |Y Q ,PQ
I(X1 ; U |X0 , Q)と定義する．このとき，(3.5)

ζ(pX0 , W1 ) = E(pX0 , W1 )が成り立つ．
3.4 2 値ハミング CEO 問題
関数 E(pX0 , W1 ) は，ζ(pX0 , W1 ) を時間変数 n，エージェントの総数 L のいずれの極限操作も含まない形で陽に表現したものである．これを単一文字化（single letterization）の表現とよぶ．
関数 E(pX0 , W1 ) は，ζ(pX0 , W1 ) の単一文字化の表現を与えるものであるが，補助確率変数を用いたかなり複雑な形をしている．E(pX0 , W1 ) をより簡単な形にすることは出来ないであろう
か．特に，ある例題に関しては，その特殊性を利用することにより，ζ(pX0 , W1 ) のより解析的な形を得ることが出来ないだろうか．このような考察から，著者は，Oohama（2006b）において，CEO 問題の最も簡単な例題の 1 つである 2 値ハミング CEO 問題について ζ(pX0 , W1 ) のより具体的な特徴付けを試みた．
2 値ハミング CEO 問題では，X0 = X1 = {0, 1}, pX0 (0) = pX0 (1) = 12 とし， W1 をクロスオー
バー確率を θ, 0 ≤ θ ≤ 12 とする 2 値対称通信路とする．即ち

W1 (x1 |x0 ) = dH (x0 , x1 )(1 − θ) + (1 − dH (x0 , x1 ))θ , (x0 , x1 ) ∈ {0, 1}2とする．2 値ハミング CEO 問題に対する結果を述べるために，いくつかの定義を行う． U を有限
集合 U に値をとる確率変数，Q を {0, 1} に値をとる確率変数とし，PU Q = {PU Q (u, q)}(u,q)∈U ×{0,1}を確率変数の組 (U, Q) の従う有限集合 U × {0, 1} 上の確率分布とする．(X0 , X1 , U, Q) の従う同時確率分布について
PX0 X1 U Q (x0 , x1 , u, q) = PQ (q)PX0 X1 (x0 , x1 )PU |X1 Q (u|x1 , q)が成り立つ場合を考える．
PX1 |U Q = {PX1 |U Q (0|u, q), PX1 |U Q (1|u, q)}(u,q)∈U ×{0,1}を X1 = {0, 1} 上の条件付き確率分布とする．
β(u, q) = PX1 |U Q (0|u, q), α(u, q) = PX0 |U Q (0|u, q) = β(u, q) ∗ θ

統計数理

242

第 57 巻

第 2 号 2009

とおく．ここで a ∗ b = a(1 − b) + b(1 − a) である．次にS(r) =(PU Q (u, q), β(u, q))(u,q)∈U ×{0,1} : |U| ≤ 3 ,u∈U

PU |Q (u|q)β(u, q) =
1for q ∈ {0, 1},
2

PU Q (u, q) [h(α(u, q)) − h(β(u, q))] ≤ r(u,q)∈U ×{0,1}

とおく．ここで h(·) は 2 値エントロピー関数である．またλ
F (λ, r|θ) =min
2PU Q (u, q)α(u, q)1−λ α(u, q)(PU Q (u,q),β(u,q))(u,q)∈U×{0,1} ∈S(r)(u,q)∈U ×{0,1}

とおく．ここで a = 1 − a である．さらにG(r|θ) = max [− log F (λ, r|θ)]0≤λ≤1

とおく．関数 F (λ, r|θ)，G(r|θ) が以下の性質をもつことを容易に確かめられる．
性質 1. a）固定した各 λ ∈ [0, 1] に対し，F (λ, r|θ) は，r について，単調減少かつ下に凸であり，F (λ, 0|θ) = 1 を満たす．
b）G(r|θ) は，r についての単調増加関数であり，かつ G(0|θ) = 0 を満たす．
このとき，Oohama（2006b）によれば，次が成り立つ．
定理 6. 0 ≤ r ≤ R をみたす r が存在して，任意の δ > 0 に対し，

− log DL (R)L r G
(3.6)
θ − τ (L, δ) ≤r
LRが成り立つ．ここで τ (L, δ) は，ある正数で limL →∞ τ (L, δ) = 0 を満たす．
が，ζ(pX0 , W1 ) = E(pX0 , W1 )定理 6 は，2 値対称通信路の対称性を利用し，Berger et al.（1996）
を導くのに用いた議論を多少変更することにより得られる．
（3.6）
において，L → ∞ として，次
いで R → ∞ とすると以下の系を得る．
系 1.
ζ(pX0 , W1 ) ≥dG(r|θ)
.
dr
r=0

上記の下限は， ζ(pX0 , W1 ) に一致すると予想しているが，現在その証明は得られていない．
Berger et al.（1996）が得た定理 5 において，ζ(pX0 , W1 ) は，確率変数 Q, U に関する最適化問題の形で与えられている． 2 値ハミング CEO 問題において，|X0 | = 2 として，定理 5 の結果に従い，確率変数 Q, U のとる値の集合の要素数を計算すると |Q| = 3，|U| = 10 となる．一方，系 1
において，ζ(pX0 , W1 ) の下限を求めるには，補助確率変数 Q, U に関する最適化問題を解く必要がある．これらの確率変数のとる値の集合の要素数を計算すると |Q| = 2，|U| = 3 である．このことから，系 1 で与えられる ζ(pX0 , W1 ) の下限は，最適化問題に関わる補助確率変数の値域の要素数の大幅な低減をもたらしていることが分かる．
次に，ζ(pX0 , W1 ) のより具体的な上界と下界を導出する． 0 ≤ z ≤ 1 に対し，g(z) を h(z) の逆関数で 0 ≤ g(z) ≤ 12 を満たすものとする．0 ≤ s ≤ 1 に対し，次の 2 つの関数を定義する．

情報センシングと多端子情報源符号化243

f0 (s) = s + h(θ ∗ g(1 − s)) − 11f1 (s) = − log θ ∗ g(1 − s)θ ∗ g(1 − s) − 1
2

初等的な計算により，関数 f0 (s), f1 (s) が次の性質を満たすことを証明できる．
性質 2. √ a）0 ≤ θ ≤ 12 に対し，f0 (s) は，0 ≤ s ≤ 1 について単調増加でかつ下に凸である．
5b） 5−2≤ θ ≤ 12 に対し，f1 (s) は，0 ≤ s ≤ 1 について単調増加でかつ下に凸である．
10
f1 (s)
1c）
f0 (0) = f1 (0) = 0 ,
lim
=
− 1.
s→+0 f0 (s)4θ(1 − θ)
このとき，Oohama（2006b）によれば，次の定理が成り立つ．
定理 7. 0 ≤ s ≤ L なる s が存在して任意の δ > 0 に対し，
s
s
f1
f1
−
log
D
(R)
L
L
(3.7)
≤2 L
s  − τ (L, δ) ≤
s
R
f0
f0
L
L
が成り立つ．ここで τ (L, δ) は，limL→∞ τ (L, δ) = 0 を満たす正数である.
そこで（3.7）において L → ∞ とし，次いで R → ∞ とすると次の系を得る．
系 2.

√
5−2 5
≤ θ ≤ 12 ，なる θ に対し，
10



1
1
− 1 ≤ ζ(p, W ) ≤ 2−1
4θ(1 − θ)
4θ(1 − θ)が成り立つ．
定理 7 の最初の不等式は，定理 6 の最初の不等式から導かれる．具体的には，S(r/L) に属する (PU Q (u, q), β(u, q))(u,q)∈U ×{0,1} として，Q を他のすべての確率変数と独立になるように
とり，
⎧
1
⎪
⎪
⎪ U = {0, 1} , PU (0) = PU (1) = 2 ,
⎪
⎪
⎨

s
, ∀q ∈ {0, 1} ,β(1, q) = β(0, q) = g 1 −
⎪
L
⎪
⎪



s
⎪
s
s
r
⎪
⎩
= +h p∗g 1−− 1 = f0
L L
L
Lととる．さらに λ = 1/2 ととれば

1 r 
, θ
log F
 

2 L
r
L
s
G
θ ≥ −
r
L
f0
L


≥

f1
f0

s
L
s
L

が成り立つ．これと定理 6 の最初の不等式より，定理 7 の最初の不等式が従う．定理 7 の 2 番目の不等式を証明するためには，確率の下界を与える新たな不等式が必要になる．Ui , i = 1, 2, . . . , Lをそれぞれ有限集合 Ui に値をとる確率変数とする．確率変数 Ui , i = 1, 2, . . . , L は，以下を満たすとする．
PU L Y X (uL , y, x) = PXY (x, y)

L

i=1

PUi |Y (ui |y) , (x, y, uL ) ∈ {0, 1}2 × U L

統計数理

244

第 57 巻

第 2 号 2009次にξ(uL ) = min{PU L X (uL , 0), PU L X (uL , 1)}ξ(uL ) = max{PU L X (uL , 0), PU L X (uL , 1)}

とおく．明らかに ξ(uL ) + ξ(uL ) = PU L (uL ) である．このとき次の補題が成立する．
補題 1. 任意の 0 ≤ λ ≤ 1 に対し，⎡ξ(uL ) ≥ ⎣uL ∈U Lξ(uL )λ ξ(uL )

1−λ

⎤1

λ

⎦

uL ∈U Lが成り立つ．
上記の補題から，(− log DL (R)) /R の上界を導出できる．その詳細は省略する．
4.

情報源出力が連続値をとる場合

情報源からの出力データが連続値をとる場合について，L = 1，R1 = ∞ の場合の R0 の下限を求める問題は，Wyner（1978）が考察した． Wyner（1978）
は，この下限を決定し，さらに，これが定理 3 における関数 RWZ (D) を確率変数が連続値をとる場合へ拡張したもので与えられることを示した．また，L = 2 で R0 = 0 の場合は，Yamamoto and Ito（1980），Flyn and Gray
（1987）
が議論し，RL (D) ∩ {R0 = 0} の内界を得ている．情報源出力が連続値をとる場合の一般論に関しては，これら以外の結果は殆んど得られていない．一方，情報源がガウス型の場合については，幾つかの具体的結果が得られている．ここではそれらの結果を述べる．
4.1 ガウス型情報源の場合
ここでは，情報源がガウス型情報源で，歪み測度 d が 2 乗誤差 d(x, y) = (x − y)2 の場合を考える．L = 1, R1 → ∞ の場合は，Wyner and Ziv（1976），Wyner（1978）が解決した．Oohama（1997）は，彼らが得た結果の拡張を試み，L = 1 の場合の領域 R1 (D) を決定した．さらに，L
補助者問題について，情報源が有限集合に値をとる場合に Gelfand and Pinsker（1979）が得た結果を情報源がガウス型で，2 乗誤差歪みの場合へ拡張した．ガウス型情報源の場合，CI 条件
2は，Xi = X0 + Ni , i = 1, 2, . . . , L と書ける．ここで，X0 は，平均 0，分散 σXのガウス型確率02
変数，Ni , i = 1, 2, . . . , L は，平均 0，分散 σNの独立なガウス型確率変数であり，これらは，
X0i
とも独立である．Oohama（2005a）は，情報源が上記の CI 条件を満たす場合に領域 RL (D) を決定した．この結果は L = 1 の場合に Oohama（1997）
が得た結果を特別な場合として含む．結果を述べるために Λ = {1, 2, . . . , L} とおき，また，S ⊆ Λ に対し，rS = {ri }i∈S なる記法を用いる．D > 0, ri ≥ 0, i ∈ Λ および S ⊆ Λ に対し，次の量を定義する．

−1
 1 

1
1
1
+
−2ri
JS (rS , D) = log
+
·
1−2
2
2
σX
σ2
D
0
i∈S Ni

ここで，S = ∅ に対しては，J∅ (r∅ , D) = J(D) と記す．さらに，R∗L (D) = (R0 , R1 , . . . , RL ) : ある ri ≥ 0, i ∈ Λ が存在し, 任意の i ∈ Λ と任意の S ⊆ Λ に対しRi ≥ ri , R0 +

i∈S

Ri ≥ JΛ−S (rΛ−S , D) +


i∈S

ri

情報センシングと多端子情報源符号化245

なる集合を定義する．このとき次の結果が成り立つ．
定理 8. ガウス型情報源が CI 条件を満たすとき，RL (D) = R∗L (D) が成り立つ．
CI 条件を満たさない一般のガウス型情報源については，Pandya et al.（2004b）が領域の外界を計算した．彼らは，Oohama（1997）が L = 1 の場合に用いた手法を L ≥ 2 の場合に適用することにより結果を得た．この結果は外界の評価としては弱く，完全解は得られていない．
4.2 ガウス CEO 問題
情報源が CI 条件を満たすガウス型で，平均 2 乗歪の場合において，R0 = 0 のときの伝送率・歪領域 RL (D) ∩ {R0 = 0} を求める問題は，ガウス CEO 問題とよばれる．ガウス CEO 問題の枠組みを図 9 に示す．定理 8 より，この問題の解は， R∗L (D) ∩ {R0 = 0} で与えられる．ガ2
2
ウス CEO 問題は，Yamamoto and Ito（1980）が初めて考察し，L = 2 で σN
= σN
の場合に，
1
2
∗
R2 (D) ∩ {R0 = 0} の内界を計算した．彼らの得た内界は最適である．即ち R2 (D) ∩ {R0 = 0}と一致する．
以下では，定理 8 より，Oohama（1998）が ガウス CEO 問題に対して得た結果が簡単に導出できることを述べる．ガウス CEO 問題において，Ni , i = 1, 2, . . . , L の雑音レベルが同一の値
2
σN= σ 2 である場合に RL (D), R(D) を CEO 問題と同様に定義する．雑音レベル σ が 0 の場
i合，各符号器は X 0 そのものを観測できる．よって，（2.2）
で R0 = 0 とすることにより，直ちに
 2 
σX 0
1
(4.1)
R(D) = RL (D) = RX0 (D) = log+
2
Dを得る．雑音レベルが正の場合に，分散符号化による性能劣化を明らかにすることが問題である．
ガウス CEO 問題は，Viswanathan and Berger（1997）が初めて研究した．彼らは，X1 (x),X2 (x), . . . が x ∈ X0 を未知の実数パラメータとする i.i.d. 確率変数列とみなせることに注目し，統計学におけるパラメータ推定問題と情報源符号化を組み合わせた符号化の手法によりガウス
CEO 問題を考察し，R(D) の逆関数 D(R) について，R >> 1 における漸近形の上界，下界を導出したが，漸近式の完全形は得ることができなかった．一方，Oohama（1998）は，彼らとは異なる多端子情報源符号化の立場からこの問題を考察し，R(D) の形を完全に決定した．
さて，簡単な計算により，定理 8 から次の系を得る．
系 3.
(4.2)

RL (D) = −

図 9.



2
L
log 1 − R̂(D) + RX0 (D)2L

ガウス CEO 問題の枠組み．

統計数理

246

ここで，


R̂(D) =

σ2
2
2σX
0



第 57 巻

第 2 号 2009

+
2
σX

0
− 1 , [a]+ = max{a, 0} .
D

系3の（4.2）において，L → ∞ とすると
(4.3)

R(D) =（ log e）· R̂(D) + RX0 (D)となり，Oohama（1998）の得た結果が導かれる．
（4.3）の右辺第一項である（ log e）· R̂(D) が分
散符号化による性能劣化を表す項になる．
R(D) および RX0 (D) の概形を図 10 に示す．正数 D が十分小さいとき，（4.3）より(4.4)

R(D) ≈（ log e）·

2

σX 0
σ2
·
2
2σX
D
0

あるいは，これと同等な(4.5)

2
D(R) ≈（ log e）· σX
·
0

σ2
1
·
2
2σX
R
0

なる漸近式が成立する．漸近式（4.5）は Viswanathan and Berger（1997）が予想した．Oohama（1998）の得た R(D) の完全形は，彼らの予想が正しかったことを示している．
Berger et al.（1996）
が CEO 問題の解として得た漸近式（3.4）では， D(R) が 2−R のオーダーになるのに対し，ガウス CEO 問題の解として得られた漸近式（4.5）では，D(R) は 1/R のオー
ダーになる．この違いは，大変興味深い．Berger et al.（1996）
は，前者の漸近式を導くのに，統計的仮説検定の議論を用いた．一方，Viswanathan and Berger（1997）
は，後者の漸近式が統計的パラメータ推定の議論から導かれることを述べている．このようなオーダーの違いは，統計学における仮説検定において得られる結果とパラメータ推定において得られる結果のオーダーの違いに一致している．（表 1 参照）
この事実は，Viswanathan and Berger（1997）
が指摘し，統計学と情報理論の深い結びつきを示す興味深い事実であると述べている．
4.3 観測信号が同一でない場合
これまで，各センサが，同一の信号 X0 の雑音信号を観測する場合を扱ってきた．一般には，図 11 に示すように，必ずしも同一でない信号が，雑音に汚された形で観測される場合があり得る．このような場合の情報センシングの理論的モデルが図 12 に示されている．図において Y L = (Y1 , Y2 , . . . , YL ) を相関を有する L 個のガウス型確率変数からなるベクトルとし，

図 10.

R(D) および RX0 (D) の概形．

情報センシングと多端子情報源符号化
表 1.

247

統計学と情報理論の結びつき．

Xi = Yi + Ni , i ∈ Λ, とする．各 Xi は，Yi の雑音に汚された観測値である．このシステムにおいて，平均 2 乗歪
L∆(Y L , Ŷ ) =

(4.6)

1 
(Yi,t − Ŷi,t )2n i=1 t=1Lnを与えられた値 D 以下にするような伝送率ベクトル RL = (R1 , R2 , . . . , RL ) の占める領域 R̃L (D)を求めることが基本問題である．
この問題は，Pandya et al.（2004a）, Zhang and Wicker（2005）
が考察した．その後，Oohama（2005b, 2006a, 2008）
は，伝送率・歪領域 R̃L (D) の内界と外界を計算し，さらに Oohama（2008）
は情報源の相関が，それほど強くない場合に，両者が一致することを示した．
Oohama（2005b, 2006a, 2008）の得た結果を述べるために，幾つかの関数，集合を定義する．
実数 ri ≥ 0, i = 1, 2, . . . , L に対し，Ni (ri ), i = 1, 2, . . . , L を L 個の独立な平均 0 のガウス確率変数
2
で，分散が σN/(1 − 2−2ri ) で与えられるとする．ΣN L (rL ) を N L (r L ) の分散行列とする．非
i

図 11.

観測信号が同一でない場合の情報センシング．

図 12.

同一でない情報信号の推定の理論的モデル．

統計数理

248

第 57 巻

第 2 号 2009

負ベクトル r L に対し，αi = αi (r L ), i = 1, 2, . . . , L を Σ−1+ Σ−1の L 個の固有値とする．
YL
N L (r L )S ⊆ Λ および θ > 0 に対し，以下の関数を定義する．



Σ−1
= Σ−1
,
N L (rS c )N L (r L ) 
rS =0
 2r
⎡
⎤
2 i
⎢
⎥
 1
i∈S
JS (r L , θ) = log+ ⎢ ⎥⎣  −12 ⎦−1
ΣY L + ΣN L (rS c )  θ
次に，条件 tr[(Σ−1+ Σ−1)−1 ] ≤ D を満たす非負ベクトル r L 全体からなる集合を BL (D)YL
N L (r L )とし，∂BL (D) を BL (D) の境界とする．即ち，tr[(Σ−1+ Σ−1)−1 ] = D を満たす非負ベクト
YL
N(r L )
ル r L 全体からなる集合とする．
L


!
+
−1
[ξ − α−1=Di ] + αii=1を満たす非負の数 ξ を考え，次の関数を定義する．
θ(D, r L ) =

L


+
−1
[ξ − α−1i ] + αi!

i=1

さらに次の集合を定義する．
R̂L (θ, r L ) =
(out)

R̃L

RL :
"



(D) =



Ri ≥ JS (r L , θ) for any S ⊆ Λ .

i∈SR̂L (θ(D, r L ), r L )r L ∈BL (D)(in)R̃L (D) = conv

⎧
⎨

"

⎩ L

R̂L (θ(D, r ), r )Lr ∈∂BL (D)

L

⎫
⎬
⎭

ここで，conv{A} は集合 A の凸包を表す．Oohama（2005b, 2006a）は，次の結果を得た．
定理 9.
(in)

(out)

R̃L (D) ⊆ R̃L (D) ⊆ R̃L

(D) .

(out)
式の形において，内界 R̃(in)(D) の違いは僅かである．情報源出力を規定
L (D) と外界 R̃Lする確率変数 Y1 , Y2 , . . . , YL が独立であれば，両者が一致することが容易に分かる．我々が興味を持つのは，これらの確率変数が相関をもつ場合である．Oohama（2008）は，内界と外界が一致するための十分条件を具体的に与えた．Oohama（2008）の得た結果の詳細はここでは省略するが，この結果によれば， Ni の分散が比較的大きく，このことによって Y1 , Y2 , . . . , YL の相関が比較的小さくなる場合，内界と外界は一致する．

5.

関連する話題と今後の課題

分散センサからの符号化データを用いて発生信号の値を推定する問題をこれまで扱ってきた．
集められた符号化データをもとに如何なる情報処理を行うかにより，様々な符号化問題が提起される．例えば分散センサからの符号化データに基づき，発生信号の分布に関する統計的推論を行う問題が考えられる．これは，情報理論における符号化の理論と，統計学における仮説検定，未知母数推定の理論の双方に関わる新しい理論的枠組を提起する．この方面の研究につい情報センシングと多端子情報源符号化

249ては，Han and Amari（1998）に詳しい解説がある．特に，Han and Kobayashi（1992）は，実際的な設定の下で，この問題を考察し，結果を得ている．
本稿では，センサの配置が分散型の場合を扱った．センサの配置が縦列型の場合については，システムの定式化と理論解析が Draper and Wornell（2004）によってなされている．またこの論文では，縦列配置型センサネットワークと多端子情報源符号化における縦列接続型符号化シ
ステムとの関係が述べられている．縦列接続型符号化システムは，Yamamoto（1981）により初が拡張を行っている．こめて定式化され，研究された．その後，Gu and Eﬀros（2005a, 2005b）
れらの研究成果がセンサネットワークの理論的モデルとしてどのような意味を持つかについて
は，今後さらに検討を進めていく必要があると思われる．
多端子情報源符号化の分野では，1973 年の Slepian and Wolf の研究以来，様々な多端子通信システムの符号化問題が研究されてきた．最近，山本（2006）により，このような符号化問題に対するこれまでの研究成果が紹介されている．これらの中には，本稿では，触れられなかったものも幾つかある．それらの符号化システムとセンサネットワークとの関連について，検討の余地があると思われる．
理論限界を達成する符号器，復号器の設計問題については，本稿では全く触れることができなかった．通信路符号化におけるシャノン限界に迫る符号手法として LDPC 符号，ターボ符号がある．これらの符号化技術を用いて，多端子符号化システムの理論限界を達成する通信を実現しようという試みが，近年特に欧米において盛んに行われている．
本稿で述べてきた様に，センサネットワークの理論的定式化により提起される多端子情報源の分散符号化システムに関しては，現在も未解決の問題が多数ある．これらの問題の解決は容易ではないが， CEO 問題のように現実のシステムにおいて意味のある設定や状況を考えることは，問題解析の手法を拡げ，新たな理論展開を生みだす可能性を持つ．センサネットワーク
による情報センシングの理論の構築には，多端子情報理論の枠組みとともに，現実のシステムの本質を捉え，これを理論的モデルに反映させる視点が必要であると思われる．

参 考 文 献Ahlswede, R. F. and Körner, J.（1975）. Source coding with side information and a converse fordegraded broadcast channels, IEEE Transactions on Information Theory, 21, 629–637.
Berger, T., Houswright, K. B., Omura, J. K., Tung, S. and Wolfowitz, J.（1979）. An upper boundon the rate distortion function for source coding with partial side information at the decoder,IEEE Transactions on Information Theory, 25, 664–666.
Berger, T., Zhang, Z. and Viswanathan, H.（1996）. The CEO problem, IEEE Transactions on Information Theory, 42, 887–902.
. Side information aware coding strategies for sensor netDraper, S. C. and Wornell, G. W.（2004）
works, IEEE Journal on Selected Areas in Communications, 22, 966–976.
. Encoding of correlated observations, IEEE Transactions on
Flynn, T. J. and Gray, R. M.（1987）
Information Theory, 33, 773–787.
. Source coding with incomplete side information（in Russian）,
Gelfand, S. I. and Pinsker, M. S.（1979）
Problemy Peredachi Informatsii, 15, 45–57.
Gu, W-H. and Eﬀros, M.（2005a）. Source coding for a multihop network, Proceeding of the 2005
Data Compression Conference, Snowbird, Utah, p. 461.
. Source coding for a multihop network, Proceeding of the 2005
Gu, W-H. and Eﬀros, M.（2005b）
International Symposium on Information Theory, Adelaide, Australia, 2335–2339.

統計数理

250

第 57 巻

第 2 号 2009

Han, T. S. and Amari, S.（1998）. Statistical inference under multiterminal date compression, IEEE
Transactions on Information Theory, 44, 2300–2324.
. Multiterminal ﬁltering for decentralized detection systems,
Han, T. S. and Kobayashi, K.（1992）
IEICE Transaction Communications, E75-B, 437–444.
. How to encode the module-two sum of binary sources, IEEE
Körner, J. and Marton, K.（1979）
Transactions on Information Theory, 25, 219–221.
Oohama, Y.（1997）. Gaussian multiterminal source coding, IEEE Transactions on Information Theory, 43, 1912–1923.
. The rate-distortion function for the quadratic Gaussian CEO problem, IEEE
Oohama, Y.（1998）
Transactions on Information Theory, 44, 1057–1070.
Oohama, Y.（2005a）. Rate-distortion theory for Gaussian multiterminal source coding systems withseveral side informations at the decoder, IEEE Transactions on Information Theory, 51, 2577–
2593.
Oohama, Y.（2005b）. Rate distortion region for separate coding of correlated Gaussian remote observations, Proceedings of the 43nd Allerton Conference, Allerton, IL, 2237–2246.
. Separate source coding of correlated Gaussian remote sources, Proceedings of
Oohama, Y.（2006a）
Information Theory and Applications Inaugural Workshop, UCSD, California.
Oohama, Y.（2006b）. The Hamming binary CEO problem, Proceedings of the 29th Information Theory and Its Applications, 351–354.
. Rate distortion region for distributed source coding of correlated Gaussian reOohama, Y.（2008）
mote sources, Proceedings of the IEEE International Symposium on Information Theory,
Toronto, Canada, 41–45.
Pandya, A., Kansal, A., Pottie, G. and Srivastava, M.（2004a）. Fidelity and resource sensitive data
gathering, Proceedings of the 42nd Allerton Conference, Allerton.
. Lossy source coding of multiple
Pandya, A., Kansal, A., Pottie, G. and Srivastava, M.（2004b）
Gaussian sources: m-helper problem, Proceedings of IEEE Information Theory Workshop,
San Antonio, Texas, 34–38.
Slepian, D. and Wolf, J. K.（1973）. Noiseless coding of correlated information sources, IEEE Transactions on Information Theory, 19, 471–480.
Viswanathan, H. and Berger, T.（1997）. The quadratic Gaussian CEO problem, IEEE Transactions
on Information Theory, 43, 1549–1559.
. On source coding with side information at the decoder, IEEE Transactions on
Wyner, A. D.（1975）
Information Theory, 21, 294–300.
Wyner, A. D.（1978）. The rate-distortion function for source coding with side information at the
decoder-II: General sources, Information and Control, 38, 60–80.
. The rate-distortion function for source coding with side information
Wyner, A. D. and Ziv, J.（1976）
at the decoder, IEEE Transactions on Information Theory, 22, 1–10.
Yamamoto, H.（1981）. Source coding theory for cascade and branching communication systems, IEEE
Transactions on Information Theory, 27, 299–308.
山本 博資（2006）. [招待講演] 通信ネットワークへのレートひずみ理論の拡張，電子情報通信学会技術研究報告，IT2005–74, 57–62.
Yamamoto, H. and Itoh, K.（1980）. Source coding theory for multiterminal communication systems
with a remote source, Transactions of the IECE of Japan, E63, 700–706.
. On the rate region of the vector Gaussian CEO problem, Proceedings
Zhang, X. and Wicker, S.（2005）of the 2005 Conference on Information Science and Computer Engineering, the Johns Hopkins
University.

Proceedings of the Institute of Statistical Mathematics Vol. 57, No. 2, 233–251 (2009)

251

Information Sensing and Multiterminal Source Coding
Yasutada Oohama
Department of Information Science and Intelligent Systems, University of Tokushima

Construction of a theoretical framework to treat sensor networks has a close connection with multiterminal information theory. In this paper we explain how a process of
signal sensing in a sensor network is formulated as a coding problem of multiterminal information theory. We further explain previous results on the formulated coding problem.

Key words: Sensor network, multiterminal information theory, distributed source coding, many-helpone problem, CEO problem.