\begin{array} { r l } & { \quad \frac { 1 } { m } \sum _ { i \in [ m ] } \sum _ { k = 0 } ^ { K - 1 } \frac { \gamma _ { k } } { \gamma } \mathbb { E } _ { t } \Vert \tilde { \mathbf { g } } _ { i , k } ^ { t } \Vert ^ { 2 } } \\ & { = \frac { 1 } { m } \sum _ { i \in [ m ] } \sum _ { k = 0 } ^ { K - 1 } \frac { \gamma _ { k } } { \gamma } \mathbb { E } _ { t } \Vert ( 1 - \alpha ) \mathbf { g } _ { i , k , 1 } ^ { t } + \alpha \mathbf { g } _ { i , k , 2 } ^ { t } \Vert ^ { 2 } } \\ & { = \frac { 1 } { m } \sum _ { i \in [ m ] } \sum _ { k = 0 } ^ { K - 1 } \frac { \gamma _ { k } } { \gamma } \mathbb { E } _ { t } \Vert \mathbf { g } _ { i , k , 1 } ^ { t } + \alpha ( \mathbf { g } _ { i , k , 2 } ^ { t } - \mathbf { g } _ { i , k , 1 } ^ { t } ) \Vert ^ { 2 } } \\ & { \leq \frac { 2 } { m } \sum _ { i \in [ m ] } \sum _ { k = 0 } ^ { K - 1 } \frac { \gamma _ { k } } { \gamma } \left( \mathbb { E } _ { t } \Vert \nabla F _ { i } ( \mathbf { x } _ { i , k } ^ { t } ) \Vert ^ { 2 } + \alpha ^ { 2 } \mathbb { E } _ { t } \Vert \nabla F _ { i } ( \Breve { \mathbf { x } } _ { i , k } ^ { t } ) - \nabla F _ { i } ( \mathbf { x } _ { i , k } ^ { t } ) \Vert ^ { 2 } \right) + \sigma _ { l } ^ { 2 } } \\ & { \leq \frac { 2 } { m } \sum _ { i \in [ m ] } \sum _ { k = 0 } ^ { K - 1 } \frac { \gamma _ { k } } { \gamma } \left( \mathbb { E } _ { t } \Vert \nabla F _ { i } ( \mathbf { x } _ { i , k } ^ { t } ) \Vert ^ { 2 } + \alpha ^ { 2 } L ^ { 2 } \rho ^ { 2 } \mathbb { E } _ { t } \Vert \nabla F _ { i } ( \mathbf { x } _ { i , k } ^ { t } ) \Vert ^ { 2 } \right) + \sigma _ { l } ^ { 2 } } \\ & { \leq \frac { 4 } { m } \sum _ { i \in [ m ] } \sum _ { k = 0 } ^ { K - 1 } \frac { \gamma _ { k } } { \gamma } \mathbb { E } _ { t } \Vert \nabla F _ { i } ( \mathbf { x } _ { i , k } ^ { t } ) - \nabla F _ { i } ( \mathbf { z } ^ { t } ) + \nabla F _ { i } ( \mathbf { z } ^ { t } ) - \nabla F ( \mathbf { z } ^ { t } ) + \nabla F ( \mathbf { z } ^ { t } ) \Vert ^ { 2 } + \sigma _ { l } ^ { 2 } } \\ & { \leq \frac { 1 2 L ^ { 2 } } { m } \sum _ { i \in [ m ] } \sum _ { k = 0 } ^ { K - 1 } \frac { \gamma _ { k } } { \gamma } \mathbb { E } _ { t } \Vert \mathbf { x } _ { i , k } ^ { t } - \mathbf { z } ^ { t } \Vert ^ { 2 } + 1 2 \mathbb { E } _ { t } \Vert \nabla F ( \mathbf { z } ^ { t } ) \Vert ^ { 2 } + ( 1 2 \sigma _ { g } ^ { 2 } + \sigma _ { l } ^ { 2 } ) } \\ & { \leq \frac { 1 2 L ^ { 2 } } { m } \sum _ { i \in [ m ] } \sum _ { k = 0 } ^ { K - 1 } \frac { \gamma _ { k } } { \gamma } \mathbb { E } _ { t } \Vert \mathbf { x } _ { i , k } ^ { t } - \mathbf { x } ^ { t } + \mathbf { x } ^ { t } - \mathbf { u } ^ { t } + \mathbf { u } ^ { t } - \mathbf { z } ^ { t } \Vert ^ { 2 } } \\ & { \quad + 1 2 \mathbb { E } _ { t } \Vert \nabla F ( \mathbf { z } ^ { t } ) \Vert ^ { 2 } + ( 1 2 \sigma _ { g } ^ { 2 } + \sigma _ { l } ^ { 2 } ) } \\ & { \leq \frac { 2 4 L ^ { 2 } } { m } \sum _ { i \in [ m ] } \sum _ { k = 0 } ^ { K - 1 } \frac { \gamma _ { k } } { \gamma } \mathbb { E } _ { t } \Vert \mathbf { x } _ { i , k } ^ { t } - \mathbf { x } ^ { t } \Vert ^ { 2 } + 2 4 L ^ { 2 } \Vert \mathbf { x } ^ { t } - \mathbf { u } ^ { t } + \mathbf { u } ^ { t } - \mathbf { z } ^ { t } \Vert ^ { 2 } + ( 1 2 \sigma _ { g } ^ { 2 } + \sigma _ { l } ^ { 2 } ) } \\ & { \quad + 1 2 \mathbb { E } _ { t } \Vert \nabla F ( \mathbf { z } ^ { t } ) \Vert ^ { 2 } } \\ & { \leq \frac { 2 4 L ^ { 2 } } { m } \sum _ { i \in [ m ] } \sum _ { k = 0 } ^ { K - 1 } \frac { \gamma _ { k } } { \gamma } \mathbb { E } _ { t } \Vert \mathbf { x } _ { i , k } ^ { t } - \mathbf { x } ^ { t } \Vert ^ { 2 } + \frac { 2 4 L ^ { 2 } \lambda ^ { 2 } ( 1 - 2 \gamma ) ^ { 2 } } { \gamma ^ { 2 } } \frac { 1 } { m } \sum _ { i } \mathbb { E } _ { t } \Vert \hat { \mathbf { g } } _ { i } ^ { t - 1 } \Vert ^ { 2 } } \\ & { \quad + 1 2 \mathbb { E } _ { t } \Vert \nabla F ( \mathbf { z } ^ { t } ) \Vert ^ { 2 } + ( 1 2 \sigma _ { g } ^ { 2 } + \sigma _ { l } ^ { 2 } ) . } \end{array}