\begin{array} { r l } { \mathbb { E } _ { t - 2 \tau } \Big \lVert \bar { \theta } _ { t + 1 } - \theta ^ { * } \Big \rVert ^ { 2 } } & { \le \mathbb { E } _ { t - 2 \tau } \Big \lVert \bar { \theta } _ { t } - \theta ^ { * } \Big \rVert ^ { 2 } + 2 \alpha \mathbb { E } _ { t - 2 \tau } \Big \langle \bar { g } ( \bar { \theta } _ { t } ) , \bar { \theta } _ { t } - \theta ^ { * } \Big \rangle + 4 \alpha ^ { 2 } \mathbb { E } _ { t - 2 \tau } \Big \lVert \bar { g } ( \bar { \theta } _ { t } ) \Big \rVert ^ { 2 } } \\ & { + 3 0 \alpha \xi _ { 1 } ( c _ { 1 } + c _ { 2 } ) \mathbb { E } _ { t - 2 \tau } \Big \lVert \bar { \theta } _ { t } - \theta ^ { * } \Big \rVert ^ { 2 } } \\ & { + 2 \left\{ 8 \alpha ^ { 2 } \tau ^ { 2 } c _ { 4 } ^ { 2 } \mathbb { E } _ { t - 2 \tau } \left[ \left\| \bar { \theta } _ { t } - \theta ^ { * } \right\| ^ { 2 } \right] + 1 4 \alpha ^ { 2 } \tau ^ { 2 } \frac { d _ { 2 } ^ { 2 } } { N K } + \frac { 5 2 L _ { 2 } ^ { 2 } \alpha ^ { 4 } \tau } { 1 - \rho ^ { 2 } } \right. } \\ & { \left. + 4 \alpha ^ { 2 } c _ { 4 } ^ { 2 } \tau \sum _ { s = 0 } ^ { \tau } E _ { t - 2 \tau } [ \Delta _ { t - s } ] + 3 2 0 0 \alpha ^ { 2 } c _ { 1 } ^ { 2 } c _ { 4 } ^ { 2 } \tau ^ { 3 } \Gamma ^ { 2 } ( \epsilon , \epsilon _ { 1 } ) + 4 \alpha ^ { 2 } c _ { 1 } ^ { 2 } \tau ^ { 2 } \Gamma ^ { 2 } ( \epsilon , \epsilon _ { 1 } ) \right\} } \\ & { + \frac { 9 d _ { 2 } ^ { 2 } } { N K } \alpha ^ { 2 } + 3 6 L _ { 2 } ^ { 2 } \alpha ^ { 4 } + 4 \alpha ^ { 3 } L _ { 1 } G ^ { 2 } + 2 \alpha ^ { 3 } L _ { 2 } G + \left( \frac { 4 \alpha } { \xi _ { 2 } } + 2 \alpha ^ { 3 } L _ { 1 } \right) \mathbb { E } _ { t - 2 \tau } [ \Delta _ { t - \tau } ] } \\ & { + \alpha \left( \frac { 4 } { \xi _ { 3 } } + 3 \xi _ { 1 } ( c _ { 1 } + c _ { 2 } ) + \frac { 4 } { \xi _ { 2 } } + \alpha ^ { 2 } \left( 2 4 ( c _ { 1 } + c _ { 2 } ) ^ { 2 } + 1 6 \right) \right) \mathbb { E } _ { t - 2 \tau } [ \Delta _ { t } ] } \\ & { + 2 \alpha B ( \epsilon , \epsilon _ { 1 } ) G + 4 \alpha ^ { 2 } B ^ { 2 } ( \epsilon , \epsilon _ { 1 } ) + 2 4 \alpha ^ { 2 } ( c _ { 1 } + c _ { 2 } ) ^ { 2 } \Gamma ^ { 2 } ( \epsilon , \epsilon _ { 1 } ) } \\ & { + 3 \alpha \xi _ { 1 } ( c _ { 1 } + c _ { 2 } ) \Gamma ^ { 2 } ( \epsilon , \epsilon _ { 1 } ) + 2 \alpha ^ { 3 } L _ { 1 } \Gamma ( \epsilon , \epsilon _ { 1 } ) G } \\ & { \le \mathbb { E } _ { t - 2 \tau } \Big \lVert \bar { \theta } _ { t } - \theta ^ { * } \Big \rVert ^ { 2 } + 2 \alpha \mathbb { E } _ { t - 2 \tau } \Big \langle \bar { g } ( \bar { \theta } _ { t } ) , \bar { \theta } _ { t } - \theta ^ { * } \Big \rangle + 4 \alpha ^ { 2 } \mathbb { E } _ { t - 2 \tau } \Big \lVert \bar { g } ( \bar { \theta } _ { t } ) \Big \rVert ^ { 2 } } \\ & { + \left( 3 0 \alpha \xi _ { 1 } ( c _ { 1 } + c _ { 2 } ) + 1 6 \alpha ^ { 2 } \tau ^ { 2 } c _ { 4 } ^ { 2 } \right) \mathbb { E } _ { t - 2 \tau } \Big \lVert \bar { \theta } _ { t } - \theta ^ { * } \Big \rVert ^ { 2 } } \\ & { + \frac { 9 + 2 8 \tau ^ { 2 } } { N K } \alpha ^ { 2 } d _ { 2 } ^ { 2 } + 3 6 \left( 1 + \frac { 3 \tau } { 1 - \rho ^ { 2 } } \right) L _ { 2 } ^ { 2 } \alpha ^ { 4 } + 4 \alpha ^ { 3 } L _ { 1 } G ^ { 2 } + 2 \alpha ^ { 3 } L _ { 2 } G } \\ & { + \left( \frac { 4 \alpha } { \xi _ { 1 } } + 2 \alpha ^ { 3 } L _ { 1 } \right) \mathbb { E } _ { t - 2 \tau } [ \Delta _ { t - \tau } ] + \alpha ( \frac { 9 } { \xi _ { 1 } } + 9 \xi _ { 1 } ) ( c _ { 1 } + c _ { 2 } ) \mathbb { E } _ { t - 2 \tau } [ \Delta _ { t } ] + 8 \alpha ^ { 2 } c _ { 4 } ^ { 2 } \tau \sum _ { s = 0 } ^ { \tau } E _ { t - 2 \tau } [ \Delta _ { t - s } ] } \\ & { + 2 \alpha B ( \epsilon , \epsilon _ { 1 } ) G + 4 \alpha ^ { 2 } B ^ { 2 } ( \epsilon , \epsilon _ { 1 } ) + 2 4 \alpha ^ { 2 } ( c _ { 1 } + c _ { 2 } ) ^ { 2 } \Gamma ^ { 2 } ( \epsilon , \epsilon _ { 1 } ) } \\ & { + 3 \alpha \xi _ { 1 } ( c _ { 1 } + c _ { 2 } ) \Gamma ^ { 2 } ( \epsilon , \epsilon _ { 1 } ) + 2 \alpha ^ { 3 } L _ { 1 } \Gamma ( \epsilon , \epsilon _ { 1 } ) G } \\ & { + 6 4 0 0 \alpha ^ { 2 } c _ { 1 } ^ { 2 } c _ { 4 } ^ { 2 } \tau ^ { 3 } \Gamma ^ { 2 } ( \epsilon , \epsilon _ { 1 } ) + 8 \alpha ^ { 2 } c _ { 1 } ^ { 2 } \tau ^ { 2 } \Gamma ^ { 2 } ( \epsilon , \epsilon _ { 1 } ) } \end{array}