\[ \mathbf { R } _ { \mathbf { y } 1 } = \sum _ { i = 1 } ^ { M } N _ { i } \mathrm { E } _ { \mathbf { Y } } \left[ \mathbf { y } _ { i } \right] = \sum _ { i = 1 } ^ { M } N _ { i } \overline { { \mathbf { y } } } _ { i } \eqno ( 7 1 ) \]

\[ \mathbf { R } _ { \mathbf { x } 1 } = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } \mathbf { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \mathbf { x } _ { i j } \right] = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } \mathbf { L } _ { \mathbf { x } _ { i j } } ^ { - 1 } \left( \mathbf { U } ^ { T } \mathbf { W } \mathbf { \overline { { F } } } _ { i j } - L _ { i j } \mathbf { J } \mathbf { \overline { { y } } } _ { i } \right) \eqno ( 7 2 ) \]

\[ \mathbf { R _ { y } } = \sum _ { i = 1 } ^ { M } N _ { i } \mathrm { E } _ { \mathbf { Y } } \left[ \mathbf { y _ { i } } \mathbf { y } _ { i } ^ { T } \right] = \sum _ { i = 1 } ^ { M } N _ { i } \left( \mathbf { L _ { y _ { i } } ^ { - 1 } } + \mathbf { \overline { { y } } _ { i } \overline { { y } } _ { i } ^ { T } } \right) \eqno ( 7 3 ) \]

\[ \begin{array} { l l l } { { \displaystyle { \bf R _ { x y } } = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } [ { \bf E _ { Y , X } } \left[ { \bf x } _ { i j } { \bf y } _ { i } ^ { T } \right] = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } [ { \bf E _ { Y } } \left[ { \bf L } _ { { \bf x } _ { i j } } ^ { - 1 } \left( \hat { \zeta } _ { i j } - L _ { i j } { \bf J } _ { { \bf y } _ { i } } \right) { \bf y } _ { i } ^ { T } \right] } } & { { \displaystyle ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ( 7 4 ) } } \\ { { \displaystyle ~ ~ ~ ~ ~ = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } { \bf L } _ { { \bf x } _ { i j } } ^ { - 1 } \left( { \bf U } ^ { T } { \bf W } { \bf \bar { F } } _ { i j } { \bf \bar { y } } _ { i } ^ { T } - L _ { i j } { \bf J } { \bf E _ { Y } } \left[ { \bf y } _ { i } { \bf y } _ { i } ^ { T } \right] \right) } } & { { \displaystyle ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ( 7 5 ) } } \end{array} \]

\[ \begin{array} { r l r } { \mathbf { R } _ { \mathbf { x } } = \displaystyle \sum _ { i = 1 } ^ { M } \displaystyle \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } \mathbf { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \mathbf { x } _ { i j } \mathbf { x } _ { i j } ^ { T } \right] } & { } & { { } ( 7 6 ) } \\ { \quad } & { = \displaystyle \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } \left( \mathbf { L } _ { \mathbf { x } _ { i j } ^ { - 1 } } ^ { - 1 } + \mathbf { L } _ { \mathbf { x } _ { i j } ^ { - 1 } } ^ { - 1 } \mathbf { E } _ { \mathbf { Y } } \left[ \left( \mathbf { U } ^ { T } \mathbf { W } \mathbf { \overline { { F } } } _ { i j } - L _ { i j } \mathbf { J } \mathbf { y } _ { i } \right) \left( \mathbf { U } ^ { T } \mathbf { W } \mathbf { \overline { { F } } } _ { i j } - L _ { i j } \mathbf { J } \mathbf { y } _ { i } \right) ^ { T } \right] \mathbf { L } _ { \mathbf { x } _ { i j } } ^ { - 1 } \right) } & { } & { { } ( 7 7 ) } \\ { \quad } & { = \displaystyle \sum _ { i = 1 } ^ { M } \displaystyle \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } \left( \mathbf { L } _ { \mathbf { x } _ { i j } ^ { - 1 } } ^ { - 1 } + \mathbf { L } _ { \mathbf { x } _ { i j } ^ { - 1 } } ^ { - 1 } \left( \mathbf { U } ^ { T } \mathbf { W } \mathbf { \overline { { F } } } _ { i j } \mathbf { \overline { { F } } } _ { i j } ^ { T } \mathbf { W } \mathbf { U } \right. \right. } & { } \\ { \quad } & { \quad \left. \left. - L _ { i j } \mathbf { U } ^ { T } \mathbf { W } \mathbf { \overline { { F } } } _ { i j } \mathbf { \overline { { F } } } _ { i j } ^ { T } \mathbf { J } ^ { T } - L _ { i j } \mathbf { J } \mathbf { \overline { { y } } } _ { i } \mathbf { \overline { { F } } } _ { i j } ^ { T } \mathbf { W } \mathbf { U } \right. \right. } & { } \\ { \quad } & { \quad \left. \left. - L _ { i j } ^ { 2 } \mathbf { J } \mathbf { K } \mathbf { \overline { { F } } } _ { i j } \mathbf { \overline { { F } } } _ { i j } ^ { T } \mathbf { J } \right) \mathbf { L } _ { \mathbf { x } _ { i j } } ^ { - 1 } \right) } & { } & { { } ( 7 8 ) } \end{array} \]

# 3.3 M-step MD

We assume a more general prior for the hidden variables:

\[ P \left( \mathbf { y } _ { i } \right) = \mathcal { N } \left( \mathbf { y } _ { i } | \mu _ { \mathbf { y } } , \Lambda _ { \mathbf { y } } ^ { - 1 } \right) \eqno ( 7 9 ) \]

\[ P \left( \mathbf { x } _ { i j } | \mathbf { y } _ { i } \right) = \! \mathcal { N } \left( \mathbf { x } _ { i j } | \mathbf { H } \mathbf { y } _ { i } + \mu _ { \mathbf { x } } , \mathbf { \Lambda } _ { \mathbf { x } } ^ { - 1 } \right) \eqno ( 8 0 ) \]

To minimize the divergence we maximize

\[ \begin{array} { l l } { { \displaystyle Q ( \mu _ { \mathbf { y } } , \mathbf { A } _ { \mathbf { y } } , \mathbf { H } , \mu _ { \mathbf { x } } , \mathbf { A } _ { \mathbf { x } } ) = \sum _ { i = 1 } ^ { M } \mathbf { E } _ { \mathbf { Y } } \left[ \ln \mathcal { N } \left( \mathbf { y } _ { i } | \mu _ { \mathbf { y } } , \mathbf { A } _ { \mathbf { y } } ^ { - 1 } \right) \right] + \sum _ { j = 1 } ^ { H _ { i } } \mathbf { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \ln \mathcal { N } \left( \mathbf { x } _ { i j } | \mathbf { H } \mathbf { y } _ { i } + \mu _ { \mathbf { x } } , \mathbf { A } _ { \mathbf { x } } ^ { - 1 } \right) \right] } } & { { \displaystyle ( 8 1 ) } } \\ { { \displaystyle } } & { { \displaystyle = \frac { M } { 2 } \ln | \mathbf { A } _ { \mathbf { y } } | - \frac { 1 } { 2 } \mathrm { t r } \left( \mathbf { A } _ { \mathbf { y } } \sum _ { i = 1 } ^ { M } \mathbf { E } _ { \mathbf { Y } } \left[ \left( \mathbf { y } _ { i } - \mu _ { \mathbf { y } } \right) \left( \mathbf { y } _ { i } - \mu _ { \mathbf { y } } \right) ^ { T } \right] \right) } } \\ { { \displaystyle } } & { { \displaystyle ~ ~ ~ + \frac { H } { 2 } \ln | \mathbf { A } _ { \mathbf { x } } | - \frac { 1 } { 2 } \mathrm { t r } \left( \mathbf { A } _ { \mathbf { x } } \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } \mathbf { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \left( \mathbf { x } _ { i j } - \mathbf { H } \mathbf { y } _ { i } - \mu _ { \mathbf { x } } \right) \left( \mathbf { x } _ { i j } - \mathbf { H } \mathbf { y } _ { i } - \mu _ { \mathbf { x } } \right) ^ { T } \right] \right) } } \\ { { \displaystyle } } & { { \displaystyle + \, \mathrm { c o n s t } } } \end{array} \]

\[ \frac { \partial Q ( \mu _ { \mathbf { y } } , \mathbf { A } _ { \mathbf { y } } , \mathbf { H } , \mu _ { \mathbf { x } } , \mathbf { \Lambda } _ { \mathbf { x } } ) } { \partial \mu _ { \mathbf { y } } } = \frac { 1 } { 2 } \sum _ { i = 1 } ^ { M } \mathbf { \Lambda } _ { \mathbf { y } } \mathbf { E } _ { \mathbf { Y } } \left[ \mathbf { y } _ { i } - \mu _ { \mathbf { y } } \right] = \mathbf { 0 } \quad \implies \qquad \qquad \qquad ( 8 3 ) \]

\[ \mu _ { \mathbf { y } } = { \frac { 1 } { M } } \sum _ { i = 1 } ^ { M } \operatorname { E } _ { \mathbf { Y } } \left[ \mathbf { y } _ { i } \right] \qquad \qquad \qquad \qquad \qquad \qquad ( 8 4 ) \]