\begin{array} { r l } & { \mathbb { E } \| \Pi _ { C _ { f y } } \big [ \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ) \big ] - h _ { t + 1 } \| ^ { 2 } } \\ & { = \mathbb { E } \| \Pi _ { C _ { f y } } \big [ \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ) \big ] - \Pi _ { C _ { f y } } \big [ \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ; \xi _ { t + 1 } ) + ( 1 - \hat { \beta } _ { t + 1 } ) \big ( h _ { t } - \nabla _ { y } f ( x _ { t } , y _ { t } ; \xi _ { t + 1 } ) \big ) \big ] \| ^ { 2 } } \\ & { \leq \mathbb { E } \| \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ) - \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ; \xi _ { t + 1 } ) - ( 1 - \hat { \beta } _ { t + 1 } ) \big ( h _ { t } - \nabla _ { y } f ( x _ { t } , y _ { t } ; \xi _ { t + 1 } ) \big ) \| ^ { 2 } } \\ & { = \mathbb { E } \| ( 1 - \hat { \beta } _ { t + 1 } ) ( \nabla _ { y } f ( x _ { t } , y _ { t } ) - h _ { t } ) + \hat { \beta } _ { t + 1 } ( \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ) - \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ; \xi _ { t + 1 } ) ) } \\ & { \quad - ( 1 - \hat { \beta } _ { t + 1 } ) \big ( \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ; \xi _ { t + 1 } ) - \nabla _ { y } f ( x _ { t } , y _ { t } ; \xi _ { t + 1 } ) - ( \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ) - \nabla _ { y } f ( x _ { t } , y _ { t } ) ) \big ) \| ^ { 2 } } \\ & { \mathop { = } ^ { ( i ) } ( 1 - \hat { \beta } _ { t + 1 } ) ^ { 2 } \mathbb { E } \| \nabla _ { y } f ( x _ { t } , y _ { t } ) - h _ { t } \| ^ { 2 } + \mathbb { E } \big [ \| \hat { \beta } _ { t + 1 } \big ( \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ) - \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ; \xi _ { t + 1 } ) \big ) } \\ & { \quad - ( 1 - \hat { \beta } _ { t + 1 } ) \big ( \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ; \xi _ { t + 1 } ) - \nabla _ { y } f ( x _ { t } , y _ { t } ; \xi _ { t + 1 } ) - ( \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ) - \nabla _ { y } f ( x _ { t } , y _ { t } ) ) \big ) \| ^ { 2 } \big ] } \\ & { \leq ( 1 - \hat { \beta } _ { t + 1 } ) ^ { 2 } \mathbb { E } \| \nabla _ { y } f ( x _ { t } , y _ { t } ) - h _ { t } \| ^ { 2 } + 2 \hat { \beta } _ { t + 1 } ^ { 2 } \mathbb { E } \| \big ( \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ) - \nabla f ( x _ { t + 1 } , y _ { t + 1 } ; \xi _ { t + 1 } ) \| ^ { 2 } } \\ & { \quad + 2 ( 1 - \hat { \beta } _ { t + 1 } ) ^ { 2 } \| \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ; \xi _ { t + 1 } ) - \nabla _ { y } f ( x _ { t } , y _ { t } ; \xi _ { t + 1 } ) - ( \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ) - \nabla _ { y } f ( x _ { t } , y _ { t } ) ) \| ^ { 2 } } \\ & { \mathop { \leq } ^ { ( i i ) } ( 1 - \hat { \beta } _ { t + 1 } ) ^ { 2 } \mathbb { E } \| \nabla _ { y } f ( x _ { t } , y _ { t } ) - h _ { t } \| ^ { 2 } + 2 \hat { \beta } _ { t + 1 } ^ { 2 } \sigma ^ { 2 } + 2 ( 1 - \hat { \beta } _ { t + 1 } ) ^ { 2 } \| \nabla _ { y } f ( x _ { t + 1 } , y _ { t + 1 } ; \xi _ { t + 1 } ) - \nabla _ { y } f ( x _ { t } , y _ { t } ; \xi _ { t + 1 } ) \| ^ { 2 } } \\ & { \mathop { \leq } ^ { ( i i i ) } ( 1 - \hat { \beta } _ { t + 1 } ) ^ { 2 } \mathbb { E } \| \nabla _ { y } f ( x _ { t } , y _ { t } ) - h _ { t } \| ^ { 2 } + 4 ( 1 - \hat { \beta } _ { t + 1 } ) ^ { 2 } L _ { f } ^ { 2 } \eta _ { t } ^ { 2 } \big ( \mathbb { E } \| \tilde { x } _ { t + 1 } - x _ { t } \| ^ { 2 } + \mathbb { E } \| \tilde { y } _ { t + 1 } - y _ { t } \| ^ { 2 } \big ) } \\ & { \quad + 2 \hat { \beta } _ { t + 1 } ^ { 2 } \sigma ^ { 2 } , } \end{array}