\begin{array} { r l } & { d _ { \omega ^ { * } ( P _ { r } , P _ { G _ { \hat { \theta } ^ { * } } } ) } ( \hat { P } _ { r } , { P } _ { G _ { \hat { \theta } ^ { * } } } ) - \operatorname* { i n f } _ { \theta \in \Theta } d _ { \omega ^ { * } ( P _ { r } , P _ { G _ { \theta } } ) } ( \hat { P } _ { r } , P _ { G _ { \theta } } ) } \\ & { = d _ { \omega ^ { * } ( \hat { \theta } ^ { * } ) } ( \hat { P } _ { r } , { P } _ { G _ { \hat { \theta } ^ { * } } } ) - d _ { \omega ^ { * } ( { \Tilde { \theta } } ) } ( \hat { P } _ { r } , \hat { P } _ { G _ { \Tilde { \theta } } } ) } \\ & { \quad + d _ { \omega ^ { * } ( { \Tilde { \theta } } ) } ( \hat { P } _ { r } , \hat { P } _ { G _ { \Tilde { \theta } } } ) - d _ { \omega ^ { * } ( \Tilde { \theta } ) } ( \hat { P } _ { r } , P _ { G _ { \Tilde { \theta } } } ) } \\ & { \le d _ { \omega ^ { * } ( \hat { \theta } ^ { * } ) } ( \hat { P } _ { r } , { P } _ { G _ { \hat { \theta } ^ { * } } } ) - d _ { \omega ^ { * } ( { \hat { \theta } ^ { * } } ) } ( \hat { P } _ { r } , \hat { P } _ { G _ { \hat { \theta } ^ { * } } } ) } \\ & { \quad + d _ { \omega ^ { * } ( { \Tilde { \theta } } ) } ( \hat { P } _ { r } , \hat { P } _ { G _ { \Tilde { \theta } } } ) - d _ { \omega ^ { * } ( \Tilde { \theta } ) } ( \hat { P } _ { r } , P _ { G _ { \Tilde { \theta } } } ) } \\ & { = \mathbb { E } _ { X \sim \hat { P } _ { r } } [ \phi ( D _ { \omega ^ { * } ( \hat { \theta } ^ { * } ) } ( X ) ) ] + \mathbb { E } _ { X \sim P _ { G _ { \hat { \theta } ^ { * } } } } [ \psi ( D _ { \omega ^ { * } ( \hat { \theta } ^ { * } ) } ( X ) ) ] } \\ & { \quad - \left( \mathbb { E } _ { X \sim \hat { P } _ { r } } [ \phi ( D _ { \omega ^ { * } ( \hat { \theta } ^ { * } ) } ( X ) ) ] + \mathbb { E } _ { X \sim \hat { P } _ { G _ { \hat { \theta } ^ { * } } } } [ \psi ( D _ { \omega ^ { * } ( \hat { \theta } ^ { * } ) } ( X ) ) ] \right) } \\ & { \quad + \mathbb { E } _ { X \sim \hat { P } _ { r } } [ \phi ( D _ { \omega ^ { * } ( \Tilde { \theta } ) } ( X ) ) ] + \mathbb { E } _ { X \sim \hat { P } _ { G _ { \Tilde { \theta } } } } [ \psi ( D _ { \omega ^ { * } ( \Tilde { \theta } ) } ( X ) ) ] } \\ & { \quad - \left( \mathbb { E } _ { X \sim \hat { P } _ { r } } [ \phi ( D _ { \omega ^ { * } ( \Tilde { \theta } ) } ( X ) ) ] + \mathbb { E } _ { X \sim { P } _ { G _ { \Tilde { \theta } } } } [ \psi ( D _ { \omega ^ { * } ( \Tilde { \theta } ) } ( X ) ) ] \right) } \\ & { = \mathbb { E } _ { X \sim P _ { G _ { \hat { \theta } ^ { * } } } } [ \psi ( D _ { \omega ^ { * } ( \hat { \theta } ^ { * } ) } ( X ) ) ] - \mathbb { E } _ { X \sim \hat { P } _ { G _ { \hat { \theta } ^ { * } } } } [ \psi ( D _ { \omega ^ { * } ( \hat { \theta } ^ { * } ) } ( X ) ) ] } \\ & { \quad + \mathbb { E } _ { X \sim \hat { P } _ { G _ { \Tilde { \theta } } } } [ \psi ( D _ { \omega ^ { * } ( \Tilde { \theta } ) } ( X ) ) ] - \mathbb { E } _ { X \sim { P } _ { G _ { \Tilde { \theta } } } } [ \psi ( D _ { \omega ^ { * } ( \Tilde { \theta } ) } ( X ) ) ] } \\ & { \le 2 \operatorname* { s u p } _ { \omega \in \Omega , \theta \in \Theta } \left| \mathbb { E } _ { X \sim P _ { G _ { { \theta } } } } [ \psi ( D _ { \omega } ( X ) ) ] - \mathbb { E } _ { X \sim \hat { P } _ { G _ { { \theta } } } } [ \psi ( D _ { \omega } ( X ) ) ] \right| . } \end{array}