\[ \frac { \partial \mathcal { Q } ( \mathcal { M } ) } { \partial \mathbf { W } } = \frac { N } { 2 } \left( 2 \mathbf { W } ^ { - 1 } - \mathrm { d i a g } ( \mathbf { W } ^ { - 1 } ) \right) - \frac { 1 } { 2 } \left( \mathbf { K } + \mathbf { K } ^ { T } - \mathrm { d i a g } ( \mathbf { K } ) \right) = \mathbf { 0 } \eqno ( 6 1 ) \]

where \( \mathbf { K } = \mathbf { S } - 2 \mathbf { C } \tilde { \mathbf { V } } ^ { T } + \tilde { \mathbf { V } } \mathbf { R } _ { \tilde { \mathbf { y } } } \tilde { \mathbf { V } } ^ { T } \), so

\[ \begin{array} { r l r } { \mathbf { W } ^ { - 1 } = \displaystyle \frac { 1 } { N } \frac { \mathbf { K } + \mathbf { K } ^ { T } } { 2 } \qquad \qquad \qquad \qquad \qquad } & { ( 6 2 ) } \\ & { \displaystyle \qquad = \displaystyle \frac { 1 } { N } \left( \mathbf { S } _ { \phi } - \tilde { \mathbf { V } } \mathbf { C } ^ { T } - \mathbf { C } \tilde { \mathbf { V } } ^ { T } + \tilde { \mathbf { V } } \mathbf { R } _ { \tilde { \mathbf { y } } } \tilde { \mathbf { V } } ^ { T } \right) \qquad \qquad \qquad } & { ( 6 3 ) } \\ & { \displaystyle \qquad = \displaystyle \frac { 1 } { N } \left( \mathbf { S } - \tilde { \mathbf { V } } \mathbf { C } ^ { T } \right) \qquad \qquad \qquad \qquad \qquad } & { ( 6 4 ) } \end{array} \]

Finally, we need to evaluate the expectations \( \operatorname { E } _ { \mathbf { Y } } \left[ \tilde { \mathbf { y } } _ { i j } \right] \) and \( \operatorname { E } _ { \mathbf { Y } } \left[ \Tilde { \mathbf { y } } _ { i j } \Tilde { \mathbf { y } } _ { i j } ^ { T } \right] \) and compute \( \mathbf { R } _ { \tilde { \mathbf { y } } } \) and C.

\[ \mathbf { C } = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } \mathbf { F } _ { i j } \mathbf { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \tilde { \mathbf { y } } _ { i j } \right] ^ { T } = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } \mathbf { F } _ { i j } \left[ \begin{array} { l } { \mathbf { E } _ { \mathbf { Y } } \left[ \mathbf { y } _ { i } \right] } \\ { \mathbf { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \mathbf { x } _ { i j } \right] } \\ { 1 } \end{array} \right] ^ { T } = \left[ \mathbf { C } _ { \mathbf { y } } \quad \mathbf { C } _ { \mathbf { x } } \quad \mathbf { F } \right] \mathbf { \Psi } \left( \mathbf { \tilde { y } } _ { i } \right) \mathbf { G } _ { i } = \mathbf { 0 } . \]

Now

\[ \begin{array} { r } { \mathrm { E } _ { \mathbf { Y } } \left[ \mathbf { y } _ { i } \right] = \overline { { \mathbf { y } } } _ { i } \eqno ( 6 6 ) } \end{array} \]

\[ \operatorname { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \mathbf { x } _ { i j } \right] = \operatorname { E } _ { \mathbf { Y } } \left[ \overline { { \mathbf { x } } } _ { i j } \right] = \mathbf { L } _ { \mathbf { x } _ { i j } } ^ { - 1 } \left( \widetilde { \zeta } _ { i j } - L _ { i j } \mathbf { J } \overline { { \mathbf { y } } } _ { i } \right) \eqno ( 6 7 ) \]

\[ \mathbf { C } _ { \mathbf { y } } = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } \mathbf { F } _ { i j } \mathbf { \overline { { y } } } _ { i } ^ { T } = \sum _ { i = 1 } ^ { M } \mathbf { F } _ { i } \mathbf { \overline { { y } } } _ { i } ^ { T } \eqno ( 6 8 ) \]

\[ \mathbf { C } _ { \mathbf { x } } = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } \mathbf { F } _ { i j } \left( \boldsymbol { \tilde { \zeta } } _ { i j } - L _ { i j } \mathbf { J } \mathbf { \overline { { y } } } _ { i } \right) ^ { T } \mathbf { L } _ { \mathbf { x } _ { i j } } ^ { - 1 } \eqno { ( 6 9 ) } \]

\[ \mathbf { R } _ { \mathbf { \widetilde { y } } } = { \left[ \begin{array} { l l l l l l l l } { \mathbf { R } _ { \mathbf { y } } } & { \mathbf { R } _ { \mathbf { y x } } } & { \mathbf { R } _ { \mathbf { y 1 } } } & { } & { } & { } & { } & { } \\ { \mathbf { R } _ { \mathbf { x y } } } & { \mathbf { R } _ { \mathbf { x } } } & { \mathbf { R } _ { \mathbf { x 1 } } } & { } & { } & { } & { } & { } & { } \\ { \mathbf { R } _ { \mathbf { y 1 } } ^ { T } } & { \mathbf { R } _ { \mathbf { x 1 } } ^ { T } } & { } & { } & { } & { } & { } & { } & { } \end{array} \right] } \qquad \qquad \qquad \qquad \qquad \qquad ( 7 0 ) \]

Now

\[ \mathbf { R } _ { \mathbf { y } 1 } = \sum _ { i = 1 } ^ { M } N _ { i } \mathrm { E } _ { \mathbf { Y } } \left[ \mathbf { y } _ { i } \right] = \sum _ { i = 1 } ^ { M } N _ { i } \overline { { \mathbf { y } } } _ { i } \eqno ( 7 1 ) \]

\[ \mathbf { R } _ { \mathbf { x } 1 } = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } \mathbf { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \mathbf { x } _ { i j } \right] = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } \mathbf { L } _ { \mathbf { x } _ { i j } } ^ { - 1 } \left( \mathbf { U } ^ { T } \mathbf { W } \mathbf { \overline { { F } } } _ { i j } - L _ { i j } \mathbf { J } \mathbf { \overline { { y } } } _ { i } \right) \eqno ( 7 2 ) \]

\[ \mathbf { R _ { y } } = \sum _ { i = 1 } ^ { M } N _ { i } \mathrm { E } _ { \mathbf { Y } } \left[ \mathbf { y _ { i } } \mathbf { y } _ { i } ^ { T } \right] = \sum _ { i = 1 } ^ { M } N _ { i } \left( \mathbf { L _ { y _ { i } } ^ { - 1 } } + \mathbf { \overline { { y } } _ { i } \overline { { y } } _ { i } ^ { T } } \right) \eqno ( 7 3 ) \]

\[ \begin{array} { l l l } { { \displaystyle { \bf R _ { x y } } = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } [ { \bf E _ { Y , X } } \left[ { \bf x } _ { i j } { \bf y } _ { i } ^ { T } \right] = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } [ { \bf E _ { Y } } \left[ { \bf L } _ { { \bf x } _ { i j } } ^ { - 1 } \left( \hat { \zeta } _ { i j } - L _ { i j } { \bf J } _ { { \bf y } _ { i } } \right) { \bf y } _ { i } ^ { T } \right] } } & { { \displaystyle ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ( 7 4 ) } } \\ { { \displaystyle ~ ~ ~ ~ ~ = \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } { \bf L } _ { { \bf x } _ { i j } } ^ { - 1 } \left( { \bf U } ^ { T } { \bf W } { \bf \bar { F } } _ { i j } { \bf \bar { y } } _ { i } ^ { T } - L _ { i j } { \bf J } { \bf E _ { Y } } \left[ { \bf y } _ { i } { \bf y } _ { i } ^ { T } \right] \right) } } & { { \displaystyle ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ( 7 5 ) } } \end{array} \]

\[ \begin{array} { r l r } { \mathbf { R } _ { \mathbf { x } } = \displaystyle \sum _ { i = 1 } ^ { M } \displaystyle \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } \mathbf { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \mathbf { x } _ { i j } \mathbf { x } _ { i j } ^ { T } \right] } & { } & { { } ( 7 6 ) } \\ { \quad } & { = \displaystyle \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } \left( \mathbf { L } _ { \mathbf { x } _ { i j } ^ { - 1 } } ^ { - 1 } + \mathbf { L } _ { \mathbf { x } _ { i j } ^ { - 1 } } ^ { - 1 } \mathbf { E } _ { \mathbf { Y } } \left[ \left( \mathbf { U } ^ { T } \mathbf { W } \mathbf { \overline { { F } } } _ { i j } - L _ { i j } \mathbf { J } \mathbf { y } _ { i } \right) \left( \mathbf { U } ^ { T } \mathbf { W } \mathbf { \overline { { F } } } _ { i j } - L _ { i j } \mathbf { J } \mathbf { y } _ { i } \right) ^ { T } \right] \mathbf { L } _ { \mathbf { x } _ { i j } } ^ { - 1 } \right) } & { } & { { } ( 7 7 ) } \\ { \quad } & { = \displaystyle \sum _ { i = 1 } ^ { M } \displaystyle \sum _ { j = 1 } ^ { H _ { i } } L _ { i j } \left( \mathbf { L } _ { \mathbf { x } _ { i j } ^ { - 1 } } ^ { - 1 } + \mathbf { L } _ { \mathbf { x } _ { i j } ^ { - 1 } } ^ { - 1 } \left( \mathbf { U } ^ { T } \mathbf { W } \mathbf { \overline { { F } } } _ { i j } \mathbf { \overline { { F } } } _ { i j } ^ { T } \mathbf { W } \mathbf { U } \right. \right. } & { } \\ { \quad } & { \quad \left. \left. - L _ { i j } \mathbf { U } ^ { T } \mathbf { W } \mathbf { \overline { { F } } } _ { i j } \mathbf { \overline { { F } } } _ { i j } ^ { T } \mathbf { J } ^ { T } - L _ { i j } \mathbf { J } \mathbf { \overline { { y } } } _ { i } \mathbf { \overline { { F } } } _ { i j } ^ { T } \mathbf { W } \mathbf { U } \right. \right. } & { } \\ { \quad } & { \quad \left. \left. - L _ { i j } ^ { 2 } \mathbf { J } \mathbf { K } \mathbf { \overline { { F } } } _ { i j } \mathbf { \overline { { F } } } _ { i j } ^ { T } \mathbf { J } \right) \mathbf { L } _ { \mathbf { x } _ { i j } } ^ { - 1 } \right) } & { } & { { } ( 7 8 ) } \end{array} \]

# 3.3 M-step MD

We assume a more general prior for the hidden variables:

\[ P \left( \mathbf { y } _ { i } \right) = \mathcal { N } \left( \mathbf { y } _ { i } | \mu _ { \mathbf { y } } , \Lambda _ { \mathbf { y } } ^ { - 1 } \right) \eqno ( 7 9 ) \]

\[ P \left( \mathbf { x } _ { i j } | \mathbf { y } _ { i } \right) = \! \mathcal { N } \left( \mathbf { x } _ { i j } | \mathbf { H } \mathbf { y } _ { i } + \mu _ { \mathbf { x } } , \mathbf { \Lambda } _ { \mathbf { x } } ^ { - 1 } \right) \eqno ( 8 0 ) \]

To minimize the divergence we maximize

\[ \begin{array} { l l } { { \displaystyle Q ( \mu _ { \mathbf { y } } , \mathbf { A } _ { \mathbf { y } } , \mathbf { H } , \mu _ { \mathbf { x } } , \mathbf { A } _ { \mathbf { x } } ) = \sum _ { i = 1 } ^ { M } \mathbf { E } _ { \mathbf { Y } } \left[ \ln \mathcal { N } \left( \mathbf { y } _ { i } | \mu _ { \mathbf { y } } , \mathbf { A } _ { \mathbf { y } } ^ { - 1 } \right) \right] + \sum _ { j = 1 } ^ { H _ { i } } \mathbf { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \ln \mathcal { N } \left( \mathbf { x } _ { i j } | \mathbf { H } \mathbf { y } _ { i } + \mu _ { \mathbf { x } } , \mathbf { A } _ { \mathbf { x } } ^ { - 1 } \right) \right] } } & { { \displaystyle ( 8 1 ) } } \\ { { \displaystyle } } & { { \displaystyle = \frac { M } { 2 } \ln | \mathbf { A } _ { \mathbf { y } } | - \frac { 1 } { 2 } \mathrm { t r } \left( \mathbf { A } _ { \mathbf { y } } \sum _ { i = 1 } ^ { M } \mathbf { E } _ { \mathbf { Y } } \left[ \left( \mathbf { y } _ { i } - \mu _ { \mathbf { y } } \right) \left( \mathbf { y } _ { i } - \mu _ { \mathbf { y } } \right) ^ { T } \right] \right) } } \\ { { \displaystyle } } & { { \displaystyle ~ ~ ~ + \frac { H } { 2 } \ln | \mathbf { A } _ { \mathbf { x } } | - \frac { 1 } { 2 } \mathrm { t r } \left( \mathbf { A } _ { \mathbf { x } } \sum _ { i = 1 } ^ { M } \sum _ { j = 1 } ^ { H _ { i } } \mathbf { E } _ { \mathbf { Y } , \mathbf { X } } \left[ \left( \mathbf { x } _ { i j } - \mathbf { H } \mathbf { y } _ { i } - \mu _ { \mathbf { x } } \right) \left( \mathbf { x } _ { i j } - \mathbf { H } \mathbf { y } _ { i } - \mu _ { \mathbf { x } } \right) ^ { T } \right] \right) } } \\ { { \displaystyle } } & { { \displaystyle + \, \mathrm { c o n s t } } } \end{array} \]

\[ \frac { \partial Q ( \mu _ { \mathbf { y } } , \mathbf { A } _ { \mathbf { y } } , \mathbf { H } , \mu _ { \mathbf { x } } , \mathbf { \Lambda } _ { \mathbf { x } } ) } { \partial \mu _ { \mathbf { y } } } = \frac { 1 } { 2 } \sum _ { i = 1 } ^ { M } \mathbf { \Lambda } _ { \mathbf { y } } \mathbf { E } _ { \mathbf { Y } } \left[ \mathbf { y } _ { i } - \mu _ { \mathbf { y } } \right] = \mathbf { 0 } \quad \implies \qquad \qquad \qquad ( 8 3 ) \]

\[ \mu _ { \mathbf { y } } = { \frac { 1 } { M } } \sum _ { i = 1 } ^ { M } \operatorname { E } _ { \mathbf { Y } } \left[ \mathbf { y } _ { i } \right] \qquad \qquad \qquad \qquad \qquad \qquad ( 8 4 ) \]