$$
\begin{array}{l} \log p _ {\theta} (\mathbf {x}, \mathbf {y} | \mathbf {c}) \\ = \log \int_ {\mathbf {z} _ {\mathbf {x}}} \sum_ {\mathbf {z} _ {\mathbf {y}}} p _ {\theta} (\mathbf {x} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c}) \cdot \\ p _ {\theta} (\mathbf {y} | \mathbf {z} _ {\mathbf {x}}, \mathbf {z} _ {\mathbf {y}}, \mathbf {c}) p _ {\psi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {c}) p _ {\psi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {c}) d _ {\mathbf {z} _ {\mathbf {x}}} \\ = \log \int_ {\mathbf {z _ {x}}} p _ {\theta} (\mathbf {x} | \mathbf {z _ {x}}, \mathbf {y}, \mathbf {c}) p _ {\psi} (\mathbf {z _ {x}} | \mathbf {c}) \frac {q _ {\phi} (\mathbf {z _ {x}} | \mathbf {x} , \mathbf {c})}{q _ {\phi} (\mathbf {z _ {x}} | \mathbf {x} , \mathbf {c})}. \\ \sum_ {\mathbf {z _ {y}}} p _ {\theta} (\mathbf {y} | \mathbf {z _ {y}}, \mathbf {c}) p _ {\psi} (\mathbf {z _ {y}} | \mathbf {z _ {x}}, \mathbf {c}) \frac {q _ {\phi} (\mathbf {z _ {y}} | \mathbf {z _ {x}} , \mathbf {y} , \mathbf {c})}{q _ {\phi} (\mathbf {z _ {y}} | \mathbf {z _ {x}} , \mathbf {y} , \mathbf {c})} d _ {\mathbf {z _ {x}}} \\ = \log \int_ {\mathbf {z} _ {\mathbf {x}}} p _ {\theta} (\mathbf {x} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c}) p _ {\psi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {c}) \frac {q _ {\phi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {x} , \mathbf {c})}{q _ {\phi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {x} , \mathbf {c})} \\ \cdot \mathbb {E} _ {q _ {\phi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c})} \left[ \frac {p _ {\theta} (\mathbf {y} | \mathbf {z} _ {\mathbf {y}} , \mathbf {c}) p _ {\psi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}} , \mathbf {c})}{q _ {\phi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y} , \mathbf {c})} \right] d _ {\mathbf {z} _ {\mathbf {x}}} \\ = \log \mathbb {E} _ {q _ {\phi} (\mathbf {z} | \mathbf {x}, \mathbf {c})} \left\{\frac {p _ {\theta} (\mathbf {x} | \mathbf {z} _ {\mathbf {x}} , \mathbf {y} , \mathbf {c}) p _ {\psi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {c})}{q _ {\phi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {x} , \mathbf {c})}. \right. \\ \mathbb {E} _ {q _ {\phi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c})} \left[ \frac {p _ {\theta} (\mathbf {y} | \mathbf {z} _ {\mathbf {y}} , \mathbf {c}) p _ {\psi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}} , \mathbf {c})}{q _ {\phi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y} , \mathbf {c})} \right] \} \\ \geq \mathbb {E} _ {q _ {\phi} (\mathbf {z} | \mathbf {x}, \mathbf {c})} \{\log \frac {p _ {\theta} (\mathbf {x} | \mathbf {z} _ {\mathbf {x}} , \mathbf {y} , \mathbf {c}) p _ {\psi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {c})}{q _ {\phi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {x} , \mathbf {c})} + \\ \log \mathbb {E} _ {q _ {\phi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c})} \left[ \frac {p _ {\theta} (\mathbf {y} | \mathbf {z} _ {\mathbf {y}} , \mathbf {c}) p _ {\psi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}} , \mathbf {c})}{q _ {\phi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y} , \mathbf {c})} \right] \} \\ = \mathbb {E} _ {q _ {\phi} (\mathbf {z} | \mathbf {x}, \mathbf {c})} [ \log p _ {\theta} (\mathbf {x} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c}) ] \\ - \mathrm {D} _ {\mathrm {K L}} \left[ q _ {\phi} \left(\mathbf {z} _ {\mathbf {x}} | \mathbf {x}, \mathbf {c}\right) | | p _ {\psi} \left(\mathbf {z} _ {\mathbf {x}} | \mathbf {c}\right) \right] + \mathbb {E} _ {q _ {\phi} (\mathbf {z} | \mathbf {x}, \mathbf {c})} \left\{\right. \\ \log \mathbb {E} _ {q _ {\phi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c})} \left[ \frac {p _ {\theta} (\mathbf {y} | \mathbf {z} _ {\mathbf {y}} , \mathbf {c}) p _ {\psi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}} , \mathbf {c})}{q _ {\phi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y} , \mathbf {c})} \right] \} \\ \geq \mathbb {E} _ {q _ {\phi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {x}, \mathbf {c})} [ \log p _ {\theta} (\mathbf {x} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c}) ] \\ - \mathrm {D} _ {\mathrm {K L}} \left[ q _ {\phi} \left(\mathbf {z} _ {\mathbf {x}} | \mathbf {x}, \mathbf {c}\right) | | p _ {\psi} \left(\mathbf {z} _ {\mathbf {x}} | \mathbf {c}\right) \right] \\ + \mathbb {E} _ {q _ {\phi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {x}, \mathbf {c})} \{\mathbb {E} _ {q _ {\phi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c})} [ \log p _ {\theta} (\mathbf {y} | \mathbf {z} _ {\mathbf {y}}, \mathbf {c}) ] \\ \left. - \mathrm {D} _ {\mathrm {K L}} \left[ q _ {\phi} \left(\mathbf {z} _ {\mathbf {y}} \mid \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c}\right) \mid | p _ {\psi} \left(\mathbf {z} _ {\mathbf {y}} \mid \mathbf {z} _ {\mathbf {x}}, \mathbf {c}\right) \right] \right\} \\ \approx \mathbb {E} _ {q _ {\phi} (\mathbf {z} _ {\mathbf {x}} | \mathbf {x}, \mathbf {c})} [ \log p _ {\theta} (\mathbf {x} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c}) ] \\ - \mathrm {D} _ {\mathrm {K L}} \left[ q _ {\phi} \left(\mathbf {z} _ {\mathbf {x}} | \mathbf {x}, \mathbf {c}\right) | | p _ {\psi} \left(\mathbf {z} _ {\mathbf {x}} | \mathbf {c}\right) \right] \\ + \mathbb {E} _ {q _ {\phi} (\mathbf {z} _ {\mathbf {y}} | \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c})} [ \log p _ {\theta} (\mathbf {y} | \mathbf {z} _ {\mathbf {y}}, \mathbf {c}) ] \\ - \mathrm {D} _ {\mathrm {K L}} \left[ q _ {\phi} \left(\mathbf {z} _ {\mathbf {y}} \mid \mathbf {z} _ {\mathbf {x}}, \mathbf {y}, \mathbf {c}\right) \right\| p _ {\psi} \left(\mathbf {z} _ {\mathbf {y}} \mid \mathbf {z} _ {\mathbf {x}}, \mathbf {c}\right) \\ \end{array}
$$