\begin{array} { r l } & { \mathbb { E } \left\| \frac { 1 } { n S } \sum _ { i = 1 } ^ { n } \sum _ { s = 0 } ^ { S - 1 } \nabla _ { y } g _ { c _ { i } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { i , s } ^ { k , t } \right) \right\| ^ { 2 } } \\ { = } & { \frac { 1 } { n ^ { 2 } } \sum _ { i = 1 } ^ { n } \mathbb { E } \left\| \frac { 1 } { S } \sum _ { s = 0 } ^ { S - 1 } \nabla _ { y } g _ { c _ { i } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { i , s } ^ { k , t } \right) \right\| ^ { 2 } } \\ & { + \frac { 1 } { n ^ { 2 } } \sum _ { 1 \leq i \neq j \leq n } \mathbb { E } \left\langle \frac { 1 } { S } \sum _ { s = 0 } ^ { S - 1 } \nabla _ { y } g _ { c _ { i } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { i , s } ^ { k , t } \right) , \frac { 1 } { S } \sum _ { s = 0 } ^ { S - 1 } \nabla _ { y } g _ { c _ { j } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { j , s } ^ { k , t } \right) \right\rangle } \\ { = } & { \frac { 1 } { n ^ { 2 } S ^ { 2 } } \sum _ { i = 1 } ^ { n } \sum _ { s = 0 } ^ { S - 1 } \mathbb { E } \left\| \nabla _ { y } g _ { c _ { i } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { i , s } ^ { k , t } \right) \right\| ^ { 2 } } \\ & { + \frac { 1 } { n ^ { 2 } } \sum _ { 1 \leq i \neq j \leq n } \mathbb { E } \left\langle \frac { 1 } { S } \sum _ { s = 0 } ^ { S - 1 } \nabla _ { y } g _ { c _ { i } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { i , s } ^ { k , t } \right) , \frac { 1 } { S } \sum _ { s = 0 } ^ { S - 1 } \nabla _ { y } g _ { c _ { j } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { j , s } ^ { k , t } \right) \right\rangle } \\ { \leq } & { \frac { 2 } { n ^ { 2 } S ^ { 2 } } \sum _ { i = 1 } ^ { n } \sum _ { s = 0 } ^ { S - 1 } \mathbb { E } \left\| \nabla _ { y } g _ { c _ { i } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { i , s } ^ { k , t } \right) - \nabla _ { y } g _ { c _ { i } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) \right) \right\| ^ { 2 } } \\ & { + \frac { 2 } { n ^ { 2 } S ^ { 2 } } \sum _ { i = 1 } ^ { n } \sum _ { s = 0 } ^ { S - 1 } \mathbb { E } \left\| \nabla _ { y } g _ { c _ { i } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) \right) - \nabla _ { y } g \left( x ^ { k } , y ^ { * } ( x ^ { k } ) \right) \right\| ^ { 2 } } \\ & { + \frac { 1 } { n ^ { 2 } } \sum _ { 1 \leq i \neq j \leq n } \mathbb { E } \left\langle \frac { 1 } { S } \sum _ { s = 0 } ^ { S - 1 } \nabla _ { y } g _ { c _ { i } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { i , s } ^ { k , t } \right) , \frac { 1 } { S } \sum _ { s = 0 } ^ { S - 1 } \nabla _ { y } g _ { c _ { j } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { j , s } ^ { k , t } \right) \right\rangle } \\ { \leq } & { \frac { 2 ( \sigma _ { g , 1 } ^ { 2 } + \sigma _ { g } ^ { 2 } ) } { n S } + \frac { 1 } { n ^ { 2 } } \sum _ { 1 \leq i \neq j \leq n } \mathbb { E } \left\langle \frac { 1 } { S } \sum _ { s = 0 } ^ { S - 1 } \nabla _ { y } g _ { c _ { i } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { i , s } ^ { k , t } \right) , \frac { 1 } { S } \sum _ { s = 0 } ^ { S - 1 } \nabla _ { y } g _ { c _ { j } ^ { k , t } } \left( x ^ { k } , y ^ { * } ( x ^ { k } ) ; \xi _ { j , s } ^ { k , t } \right) \right\rangle , } \end{array}