数理解析研究所講究録 1253 巻 2002 年 95-99

95
Channels and Conditional Expectations
over Functional Analysis
東京工業大学名春教授
梅垣壽春 (HISAHARU UMEGAKI)

Shannon 情報理論の核心の部分に当たる Chamek(情報路, 或いは通信路と訳される) の数理構造を, 確率論の基本概念である Conditional Expectations 上に函数解析的方法を展開
本論文では,させることにより理論の進展を論ずる.

\S 1. 序論
情報 Entropy, Sampling Function, 符号理論などと共に, 天才 Shannon は大論

文「通信の数学的理論」 (A Mathematical Theory of Communication, 1948 年) を発1988 年には 40 周年を記念して Shamon
は来日し, 京都賞が授与された. Shannon Theory を基軸として, やがて情報時代表し, 情報時代の幕が切って落とされた.の幕開けを迎えることとなる.

Professor C. E. Shannon は, 本年 2 月逝去された. 苑に心から哀悼の意を捧げ
度い.
$\mathrm{f}\mathrm{i}2$. Message Spaces と情報源

有限集合 $A$ を一つの alphabet:$A=\{x^{(1)}, x^{(2)}, \ldots, x^{(a)}\}$( {ま $A$ の元の個数)$a$とし, 単位時間毎に何れかの x(力を $A$ から取り出すとする. その始点時刻を , 終$s$

点時刻を$t$( $s\leq$ も$s,$ $t\inZ$) とすると,tkが得られる.

index$A$の文字の鎖 (タリ)$=sx_{k}=(x_{s}, x_{s+1}, \ldots, x_{t})$(2.1)

全体) とする. っまり,I ま time-interval $s\leq k\leq t$ 上の $A$ の要素の時系列である. 数学的展開を進める為に, 有限集合 $A$ の両側可算無限直積を
ここで,$s,$$s+1,$ $\ldots,$ $t\in Z$ ($=\mathrm{i}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{g}\mathrm{e}\mathrm{r}\mathrm{s}$$\Pi_{k=s}^{t}x_{k}$$A^{Z}=\Pi_{-\infty<k<\infty}A_{k}=\cdots\cross A_{-m}\cross\cdots\cross A_{-1}\cross A_{0}\cross A_{1}\cross A_{2}\cross\cdots$$(A_{k}=A, k\in Z--\{\ldots, -m, -m+1, \ldots, -2, -1,0,1,2, \ldots\})$(2.2)

96とすると,$A^{Z}$.

は Tychon0ff 積位祖によって (可算) compact 距離空間で,不連結である.の要素は単に (無限積) $Ylx$ で表し, 特に, 始点が , 終点が$A^{Z}$である文字鎖を記号$t(s\ovalbox{\tt\small REJECT} t, s,t\in Z)$

さらに全
$s$

$[x_{\epsilon}^{\mathrm{o}}\ldots x_{[mathring]_{t}}]=\{\Pi x_{k}\in A^{Z};x_{k}=x_{k}^{\mathrm{O}}(s\leq k\leq t)\}$によって表す. これを message と呼ぶ. これは集合論的には $A$ の文字の無限列の集団であり, 空間$A^{Z}$の部分集合である. message は積位相空間の clopen set$A^{Z}$で, これの全体は可算集合族で, 空間 $A^{Z}$ の位相基をなす, i.e.,$A^{Z}$

は全不連結で

この $A^{Z}$ を message 空間と呼ぶ.

ある.

空間

$A^{Z}$は距離化可能である. この距離は次の方法で定義すればよい: まず$d(x^{(\mathrm{j})},x^{(k)})=|j-k|/a$とし,これを用いて任意の二元に対して, 距離を$\Pi y_{k}\in A^{Z}$$\Pi x_{k},$$\rho(\Pi_{X_{k}}, \Pi y_{k})=\sum_{k=-\infty}^{\infty}\frac{d(x_{k},y_{k})}{2^{|2k|}}$と定義すれば$A^{Z}$

sage は clopen in\S 3. 情報源$T$を$A^{Z}$の Tychon0ff 積位相と同相となる.

各 mes-であり, 任意の clopen set は messages の有限直和となる.

$[A^{Z},\mu]$$\mathcal{P}_{T}(A^{Z})=\triangle${$\mu\in \mathcal{P}(A^{Z});\mu$$C(A^{Z})^{*}$の unit ball の$\prime p_{T}(A^{Z})\subset \mathcal{P}(A^{Z})$$\mathcal{P}(A^{Z})=\triangle$「 $A^{Z}$ 上の正則な確率測は $T$ に関して不変} とする. 連続函数空間

は $\sup$-norm によって Banach 空間であり,dual 空間
且つ$A^{Z}$$A^{Z}$上の Shift 変換, i.e., $T(\Pi x_{k})=\Pi x_{k+1},$度の全体」,$C(A^{Z})$1 ま距離空間となり,$\mathcal{P}(A^{Z}),$$\mathcal{P}_{T}(A^{Z})$は共に $C(A^{Z})$ のconvex subsets で, 共に弱 位相に関して compact“である. Krein-Milman の定理にょって,$\mathcal{P}(A^{Z}),$$\mathcal{P}_{T}(A^{Z})$は共に十分多くの端点を有する. そこで, 同等関係がは端点 in」 なる有効な characterization が知られてぃる. ergo 市 な$\mathrm{r}_{\mu}\in \mathcal{P}_{T}(A^{Z})$$\mathrm{e}\mathrm{r}\mathrm{g}\mathrm{o}\mathrm{d}\mathrm{i}\mathrm{c}\Leftrightarrow$$\mathcal{P}_{T}(A^{Z})$$\mu$$\mathrm{c}$全体を er$\mathcal{P}_{T}(A^{Z})$

一般に, 対$\mu$のと記す.

$[A^{Z}, \mu](\mu\in \mathcal{P}_{A})$を情報源, ergo 市 オ$\mathrm{c}$$\mu$のとき,$[A^{Z},\mu]$を ergodic

情報源と名付けられる. これらの構成は続果で活躍する.

\S 4. Channels and Averaging Operators
$A,$

$B$

を 2 種類の mlphabets の集合対とする. 直積 $C=A\cross B$ も第 3 の mlphabetsと見なせる. これら各々に対する message 空間:
可測を$(\sigma-)$集合体をそれぞれ$\mathcal{P}(A^{Z}),$$\mathcal{P}(B^{Z}),$$\mathcal{P}(C^{Z})$$\mathcal{F}_{A},$$F_{B},$$F_{C}$$A^{Z},$ $B^{Z},$ $C^{Z}(=(A\crossB)^{Z})$の Borelで表す. 各々の上で正則な確率測度全体で表し, また各 message 空間上の shift 変換は同一記号

97$T$をもって表す. この変換 $T$ は各々の空間$A^{Z},$$C^{Z}$$B^{Z},$上で ‘homeomorphism’ である.

次に ‘channels’ の概念を定義する.

:$\nu(\cdot, \cdot)$

2 変数函数$A^{Z}\cross \mathcal{F}_{B}arrow[0,1]$が条件

(C.1)
(C.2)

$\forall x\in A^{Z}${こ対して $\nu(x, \cdot)\in P(B^{Z})$ .

$\forall F\in F_{B}$に対しては FA-可測.

$\nu(\cdot, F)$) を channel という. ここにで,の函数表示は $\nu(x, F)(x\in A^{Z}, F\in \mathcal{F}_{B})$ . この channel system
を output space (出力源) という. 更を input space (入力源),おいて,を満足するとき, 組 $[A^{Z}, \nu, B^{Z}]$ (或いは単に $\nu=\nu(\cdot,$$\cdot)$$[A^{Z}, \nu, B^{Z}]$$\cdot$$\nu$$B^{Z}$$A^{Z}$に,channek の定常性について(C.3) $\nu(Tx, F)=\nu(x, T^{-1}F),$ $x\in A^{Z},$ $F\in F_{B}$ .
を仮定するとき,$[A^{Z}, \nu, B^{Z}]$苑で, shift 変換 $T$ はChamel
積空間$\nu$を定常 channel という.に於いても同一の記号 $T$ を用いる (前出).に於いて, input space$[A^{Z}, \nu, B^{Z}]$$A^{Z}\cross B^{Z}$$B^{Z}$を, または単に$A^{Z}$,output space$B^{Z}$

及ひそれらのはすべて compact metric spaces であり, 各々上の正則な確率測度の全体を $P(A^{Z}),$$P(B^{Z}),$$P(A^{Z}\cross B^{Z})$, また,shift

これの全体を $P_{T}(A^{Z})$ で表す (を定常情報源といい,に関して不変な $\mu\in P(A^{Z})$$T$$A^{Z}$の関連事項は \S 3 で記載ずみ).

\S 5. Averaging Operators A$\mathfrak{U}:’\mathrm{a}\mathrm{l}\mathrm{g}\mathrm{e}\mathrm{b}\mathrm{r}\mathrm{a}$$\mathfrak{B}:\mathfrak{U}$の

このとき,$*\mathrm{s}\mathrm{u}\mathrm{b}\mathrm{a}\mathrm{l}\mathrm{g}\mathrm{e}\mathrm{b}\mathrm{r}\mathrm{a},$$[mathring]_{A}$:

もち, $AI=I,$$h\in \mathfrak{U}$.

で単位元$\mathfrak{U}arrow \mathfrak{B}$$I$

Conditional Expectations$1J$をもつ.とする.

$I\in \mathfrak{B}$が averaging operator (平均作用素)$([mathring]_{A}f)^{*}=_{\mathrm{o}}[mathring]_{A}f^{*},$$A((Af)g)=[mathring]_{A}f\cdot Ag\circ$この operator $A$ を記号$\#$を用いて’ 更 (ニ,$Af=f^{\mathfrak{h}}$は$*\mathrm{a}\mathrm{l}\mathrm{g}\mathrm{e}\mathrm{b}\mathrm{r}\mathrm{a}$の構造をもつが,Expectation relative toの$\sigma$

for some-subfield$(\Gamma, F_{\Gamma}, P)$$\mathcal{F}_{0}$上に於いて,$\mathfrak{U}=$を定めると, Conditional$F_{0}l\grave{\grave{1}}$$E[f/\mathcal{F}_{0}](\cdot)$

によって表示される.

$F_{\Gamma}$

は線形性を$[mathring]_{A}(f^{*}f)=h^{*}h$

こよって表す.

平均作用素の典型的な例として, 一般の確率空間$L^{\infty}(\Gamma)$$\Leftrightarrow[mathring]_{A}\triangle$

このとき,

(

$=\triangle([mathring]_{A}f)(\cdot)=f^{\mathfrak{h}}(\cdot)\triangle$

この operation

とおく)$[mathring]_{A}=\cdot\#$が正に ’$\mathrm{a}\mathrm{l}\mathrm{g}\mathrm{e}\mathrm{b}\mathrm{r}\mathrm{a}$$L^{\infty}(\Gamma)$

上の Averaging Operator となる.

これの非可換版が von Neumann algebras 上に発展し, Non-Commutative
Conditional Expectations を形成し, 更に, これが量子観測論 (Quantum Measure$\overline{\fbox\frac{\Xi}{\beta}\mathrm{f}}$ment Theory) の von Neumann 定式に発展する (cf. [5,6,7,9,10]).

98
前 \S からの構成も含めて更に興味を覚えることは, ergodicities (情報源及ひ Chamek の双方の) を捉えることで, ここでもこれの骨子は Krein-Milmann$[\ovalbox{\tt\small REJECT}$大定理であり, 上述の Conditional Expectation の展開は, Radon-Nikodym の大定理がその構成の key-points となっていることで, 現代数学の特に函数解析分野の中心的な 2 つの基礎定理が情報基礎理論構築の key point となっている. これは大書すべきことである.
次 [こ chaxmel $[A^{Z}, \nu, B^{Z}]$ そのものが Averaging Operator$\mathrm{f}\mathrm{i})\mathrm{r}\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{a}\mathrm{t}\mathrm{e}$}こよって上の連続函数空間 (複素数値) を $C(A^{Z}\cross B^{Z})$ で表す.

$A^{Z}\cross B^{Z}$$\forall f\in C(A^{Z}\cross B^{Z})$$\forall f,$

このに対して$f^{\mathfrak{h}}(x)= \int_{\mathrm{Y}}f(x, y)\nu(x, dy)=f^{\mathfrak{h}}(x, y)\triangle$

すると,$farrow f^{\mathfrak{h}}$されることを示そう.

直積空間
とき,:

$A\circ$$g\in C(A^{Z}\cross B^{Z})\}$$(f^{\mathfrak{h}}g)^{\#}(x,y)$(右辺$=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}$. on$y\in \mathrm{Y}$).

こ対して
$=$

$\int_{\mathrm{Y}}f^{\mathfrak{h}}(x,y)g(x,y)\nu(x,dy)$$=f^{\mathfrak{h}}(x) \int_{\mathrm{Y}}g(x,y)\nu(x,dy)$$=f^{\mathfrak{h}}(x)g^{\mathfrak{h}}(x)=(f\cdot g^{\#})^{\mathfrak{h}}(x,y)$

さらに, 対応
逆に,$farrow f^{\mathfrak{h}}$$\exists \mathrm{A}\mathrm{v}\mathrm{e}\mathrm{r}\mathrm{a}\mathrm{g}\mathrm{i}\mathrm{n}\mathrm{g}$.の線形性は明らかである.

Operator$A\circ(=\cdot\#)$: $C(A^{Z}\cross B^{Z})\ni farrow f^{\mathfrak{h}}\in C(A^{Z})$ ならば,

for $f\in C(A^{Z}\cross B^{Z})$$\xi_{x}(f)=f^{\mathrm{Q}}(x)\triangle$-Riesz 積分表示定理によって,に対して,正則な probabffity measure):が次の様に積分表示される,
とおくと,$\forall x\in A^{Z}$$\xi_{x}(\cdot)$$\exists\mu_{x}$(空間$B^{Z}$

上の$\forall f\in C(A^{Z}\cross B^{Z})$

に対して

.

$\xi_{x}(f)=\int_{B^{Z}}f(x,y)d\mu_{x}(y)=f^{\mathrm{Q}}(x)(=f^{\mathrm{Q}}(x,y))=A^{\mathrm{o}}f(x,y)$こうして,$\forall x\in A^{Z}$$\mathrm{r}_{\nu(x,\cdot)}(=\mu_{x}(\cdot))\triangle$に対して定まる$\mu_{x}$(5.1)

が chaxmel の条件を満足してぃる. 即ち,が正に chmmel $[A^{Z}, \nu, B^{Z}]$ である」 ということである. 更に詳し

く述べれば,』に対して, input space をAveraging Operatorとする channelが unique に定まり定理 5.1.
を $B^{Z}$$A=\circ$$\nu(\cdot, \cdot)$$\nu(x, F)=\mu_{x}(F)$ここで, 測度$\mu_{x}$,$x\in A^{Z},$$F\subset B^{Z}$.

は等式 (5.1) I こよって得られた確率測度である.

$A^{Z}$, output space99
この定理によって本論文を閉じることに致したいが, 函数解析の手法は更に可$\circ$

能で, 特に, 作用素 $A$ , channel$\nu(x, \cdot)$

は Hilbert 空間上の諸概念及び Fourier 解析の関連領域にも発展し, 興味ある展開がなされる.

参考文献[1] R. B. Ash, Information Theory, Dover Publ., 1990
theorem and Riesz’s representaRandon-Nikod[2] Mieko Hirahara, On the genemlized Randon-Nikodymtion theorems, Tokyo Institute of Technology, Thesis, 1972, 230 pages.
[3] R. S. Ingarden, Simplified axioms for infomation without probabihty, Prace Matematyczne 9(1965), 273-282.
[4] EEfflR
国澤清典・梅垣壽春, 情報理論の進歩, 岩波書店, ]1965.
[5] M. Nakamura and H. Umegaki, On von Neumann theory of measuoements in quantum
statistics, Math. Japanicae7(1962),Japanicae 7(1962), 151-157.
[6] Y. Nakamura, Ergodicity and capacity of infomation
infOmal channels with noise sources, J.
Math. Soc. Japan 27 (1975), 213-221.
[7] M. Ohya and D. Petz, Quantum entropy and its use, Springer, 1993.
Bell System Tech. J. 27[8] C. E. Shannon, A mathematical theory of communication,comml(1948), 379-423, 623-656.
[9] H. Umegaki, Conditional expectation in an opemt‘
operator algebra, TMJ. 6(1954), 177-181,ibid 14 (1962),, ibid 8(1956), 86-100, , III K\={o}dai Math. Sem. Rep. 11 (1959);$\mathrm{T}\mathrm{h}\mathrm{e}_{\mathrm{L}}^{\epsilon}$$\cdot \mathrm{f}\mathrm{f}\mathrm{l}\mathrm{f}\underline{\mathrm{f}\mathrm{i}}\ovalbox{\tt\small REJECT}\Leftrightarrow,$$\mathrm{f}\mathrm{f}\mathrm{l}\mathrm{f}\mathrm{f}\mathrm{l}\mathfrak{B}_{\mathrm{P}m\emptyset\not\in\#,:\epsilon\Re\ovalbox{\tt\small REJECT} f\Xi}^{3\mathrm{A}}\backslash \mathrm{E}\mathrm{J},$$u_{n}$$\mathrm{I}\mathrm{I}$$\mathrm{I}\mathrm{I}$$\mathrm{I}\mathrm{V}$59-85.

[10] H. Umegaki, Conditional expectations と Sampling functions を巡る函数解析, 京都大学数理解析研究所講究録, 2000 年 6 月.