$$
\begin{array}{l} \left| \underset {\widetilde {X} \sim \widetilde {S}} {\mathbf {E}} [ \widetilde {X} ^ {\top} A \widetilde {X} ] - \underset {X \sim D} {\mathbf {E}} [ (H ^ {\dagger / 2} X) ^ {\top} A (H ^ {\dagger / 2} X) ] \right| \\ = \left| \left\langle A, \underset {\widetilde {X} \sim \widetilde {S}} {\mathbf {E}} [ \widetilde {X} \widetilde {X} ^ {\top} ] - \underset {X \sim D} {\mathbf {E}} [ (H ^ {\dagger / 2} X) (H ^ {\dagger / 2} X) ^ {\top} ] \right\rangle \right| \\ = \left| \left\langle A, \left(\mathbf {C o v} _ {\widetilde {X} \sim \widetilde {S}} [ \widetilde {X} ] + \mathbf {E} _ {\widetilde {X} \sim \widetilde {S}} [ \widetilde {X} ] \mathbf {E} _ {\widetilde {X} \sim \widetilde {S}} [ \widetilde {X} ] ^ {\top}\right) - \left(\widetilde {\Sigma} + \widetilde {\mu} \widetilde {\mu} ^ {\top}\right) \right\rangle \right| \\ \leq \left| \left\langle A, \mathbf {C o v} _ {X \sim \widetilde {S}} [ X ] - \widetilde {\Sigma} \right\rangle \right| + \left| \left\langle A, \underset {X \sim \widetilde {S}} {\mathbf {E}} [ X ] \underset {X \sim \widetilde {S}} {\mathbf {E}} [ X ] ^ {\top} - \widetilde {\mu} \widetilde {\mu} ^ {\top} \right\rangle \right| \quad (\text {t r i a n g l e i n e q u a l i t y}) \\ \leq \left\| _ {\widetilde {X} \sim \widetilde {S}} ^ {\mathbf {C o v}} [ \widetilde {X} ] - \widetilde {\Sigma} \right\| _ {\mathrm {F}} + \left\| _ {\widetilde {X} \sim \widetilde {S}} ^ {\mathbf {E}} [ \widetilde {X} ] \right. _ {\widetilde {X} \sim \widetilde {S}} ^ {\mathbf {E}} [ \widetilde {X} ] ^ {\top} - \widetilde {\mu} \widetilde {\mu} ^ {\top} \left\| _ {\mathrm {F}} \right. (\text {v a r i a t i o n a l d e f i n i t i o n o f F r o b e n i u s n o r m}) \\ = \left\| \mathbf {E} _ {\widetilde {X} \sim \widetilde {S}} [ (\widetilde {X} - \widetilde {\mu}) (\widetilde {X} - \widetilde {\mu}) ^ {\top} ] - \widetilde {\Sigma} + \left(\mathbf {E} _ {\widetilde {X} \sim \widetilde {S}} [ \widetilde {X} ] - \widetilde {\mu}\right) \left(\mathbf {E} _ {\widetilde {X} \sim \widetilde {S}} [ \widetilde {X} ] - \widetilde {\mu}\right) ^ {\top} \right\| _ {\mathrm {F}} \\ + \left\| _ {\widetilde {X} \sim \widetilde {S}} ^ {\mathbf {E}} [ \widetilde {X} ] _ {\widetilde {X} \sim \widetilde {S}} [ \widetilde {X} ] ^ {\top} - \widetilde {\mu} \widetilde {\mu} ^ {\top} \right\| _ {\mathrm {F}} \\ \leq \left\| \mathbf {E} _ {\widetilde {X} \sim \widetilde {S}} [ (\widetilde {X} - \widetilde {\mu}) (\widetilde {X} - \widetilde {\mu}) ^ {\top} ] - \widetilde {\Sigma} \right\| _ {\mathrm {F}} + \left\| \left(\mathbf {E} _ {\widetilde {X} \sim \widetilde {S}} [ \widetilde {X} ] - \widetilde {\mu}\right) \left(\mathbf {E} _ {\widetilde {X} \sim \widetilde {S}} [ \widetilde {X} ] - \widetilde {\mu}\right) ^ {\top} \right\| _ {\mathrm {F}} \\ + \left\| _ {\widetilde {X} \sim \widetilde {S}} ^ {\mathbf {E}} [ \widetilde {X} ] _ {\widetilde {X} \sim \widetilde {S}} [ \widetilde {X} ] ^ {\top} - \widetilde {\mu} \widetilde {\mu} ^ {\top} \right\| _ {\mathrm {F}} \\ \stackrel {(a)} {\leq} \left\| \mathbf {E} _ {X \sim \widetilde {S}} [ (X - \widetilde {\mu}) (X - \widetilde {\mu}) ^ {\top} ] - \widetilde {\Sigma} \right\| _ {\mathrm {F}} + 3 \left\| \mathbf {E} _ {X \sim \widetilde {S}} [ X ] - \widetilde {\mu} \right\| _ {2} ^ {2} \\ \leq 0. 1 \| \widetilde {\Sigma} \| _ {\mathrm {o p}} + 0. 0 3 \| \widetilde {\Sigma} \| _ {\mathrm {o p}} \tag {using(9)} \\ <   1 / \alpha , \quad \text {(u s i n g I t e m 3)} \\ \end{array}
$$