\begin{array} { r l } { \mathcal { B } _ { 2 2 } } & { = \Big \langle \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \big [ g _ { i } ( \theta _ { t , k } ^ { ( i ) } ) - g _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } ) - \bar { g } _ { i } ( \theta _ { t , k } ^ { ( i ) } ) + \bar { g } _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } ) \big ] , \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rangle } \\ & { \le \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \Big \lVert g _ { i } ( \theta _ { t , k } ^ { ( i ) } ) - g _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } ) - \bar { g } _ { i } ( \theta _ { t , k } ^ { ( i ) } ) + \bar { g } _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } ) \Big \rVert \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert \ ( \mathrm { C a u c h y - S c h w a r z ~ i n e q u a l i t y } ) } \\ & { \le \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \left[ \Big \lVert g _ { i } ( \theta _ { t , k } ^ { ( i ) } ) - g _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } ) \Big \rVert + \Big \lVert \bar { g } _ { i } ( \theta _ { t , k } ^ { ( i ) } ) - \bar { g } _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } ) \Big \rVert \right] \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert } \\ & { \stackrel { ( a ) } { \le } \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \left[ 2 \Big \lVert \theta _ { t , k } ^ { ( i ) } - \theta _ { t - \tau , k } ^ { ( i ) } \Big \rVert + 2 \Big \lVert \theta _ { t , k } ^ { ( i ) } - \theta _ { t - \tau , k } ^ { ( i ) } \Big \rVert \right] \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert } \\ & { \le \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \left[ 4 \Big \lVert \theta _ { t , k } ^ { ( i ) } - \bar { \theta } _ { t } \Big \rVert + 4 \Big \lVert \bar { \theta } _ { t } - \bar { \theta } _ { t - \tau } \Big \rVert + 4 \Big \lVert \bar { \theta } _ { t - \tau } - \theta _ { t - \tau , k } ^ { ( i ) } \Big \rVert \right] \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert \ ( \mathrm { T r i a n g l e ~ i n e q u a l i t y } ) } \\ & { \le 4 \delta _ { t } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert + 4 \Big \lVert \bar { \theta } _ { t } - \bar { \theta } _ { t - \tau } \Big \rVert \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert + 4 \delta _ { t - \tau } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert } \\ & { \stackrel { ( b ) } { \le } \frac { 2 } { \xi _ { 2 } } \Delta _ { t } + \frac { 2 } { \xi _ { 2 } } \Delta _ { t - \tau } + ( 2 \xi _ { 2 } + 4 \xi _ { 2 } ) \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert ^ { 2 } + \frac { 2 } { \xi _ { 2 } } \Big \lVert \bar { \theta } _ { t } - \bar { \theta } _ { t - \tau } \Big \rVert ^ { 2 } } \\ & { \le \frac { 2 } { \xi _ { 2 } } \Delta _ { t } + \frac { 2 } { \xi _ { 2 } } \Delta _ { t - \tau } + 1 2 \xi _ { 2 } \Big \lVert \bar { \theta } _ { t } - \theta ^ { * } \Big \rVert ^ { 2 } + ( 1 2 \xi _ { 2 } + \frac { 2 } { \xi _ { 2 } } ) \Big \lVert \bar { \theta } _ { t } - \bar { \theta } _ { t - \tau } \Big \rVert ^ { 2 } \quad ( \mathrm { E q } ~ ) } \end{array}