\begin{array} { r l } { \mathbb { E } _ { t - \tau } [ \mathcal { B } _ { 2 3 } ] } & { = \Big \langle \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \mathbb { E } _ { t - \tau } \big [ g _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } ) - \bar { g } _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } ) \big ] , \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rangle } \\ & { \le \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert \Big \lVert \mathbb { E } _ { t - \tau } \left[ g _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } ) - \bar { g } _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } ) \right] \Big \rVert \ ( \mathrm { C a u c h y - S c h w a r z ~ i n e q u a l i t y } ) } \\ & { = \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert \Big \lVert \mathbb { E } _ { t - \tau } \left[ - A _ { i } ( O _ { t , k } ^ { ( i ) } ) ( \theta _ { t - \tau , k } ^ { ( i ) } - \theta _ { i } ^ { * } ) + Z _ { i } ( O _ { t , k } ^ { ( i ) } ) + \bar { A } _ { i } ( \theta _ { t - \tau , k } ^ { ( i ) } - \theta _ { i } ^ { * } ) \right] \Big \rVert } \\ & { \le \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert \left\{ \Big \lVert \mathbb { E } _ { t - \tau } ( A _ { i } ( O _ { t , k } ^ { ( i ) } ) - \bar { A } _ { i } ) ( \theta _ { t - \tau , k } ^ { ( i ) } - \theta _ { i } ^ { * } ) \Big \lVert + \Big \lVert \mathbb { E } _ { t - \tau } \left[ Z _ { i } ( O _ { t , k } ^ { ( i ) } ) \right] \Big \rVert \right\} } \\ & { \stackrel { ( a ) } { \le } \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert \left\{ L _ { 1 } \rho ^ { \tau K + k } \Big \lVert \theta _ { t - \tau , k } ^ { ( i ) } - \theta _ { i } ^ { * } \Big \lVert + L _ { 2 } \rho ^ { \tau K + k } \right\} } \\ & { \le \frac { 1 } { N K } \sum _ { i = 1 } ^ { N } \sum _ { k = 0 } ^ { K - 1 } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert \left\{ L _ { 1 } \rho ^ { \tau K + k } \left[ \Big \lVert \theta _ { t - \tau , k } ^ { ( i ) } - \bar { \theta } _ { t - \tau } \Big \rVert + \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \lVert + \Big \lVert \theta ^ { * } - \theta _ { i } ^ { * } \Big \lVert \right] + L _ { 2 } \rho ^ { \tau K + k } \right\} } \\ & { \stackrel { ( b ) } { \le } \alpha ^ { 2 } L _ { 1 } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert \delta _ { t - \tau } + \alpha ^ { 2 } L _ { 1 } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \lVert ^ { 2 } + \alpha ^ { 2 } L _ { 1 } \Gamma ( \epsilon , \epsilon _ { 1 } ) G + \alpha ^ { 2 } L _ { 2 } G } \\ & { \le \alpha ^ { 2 } L _ { 1 } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \rVert ^ { 2 } + \alpha ^ { 2 } L _ { 1 } \Delta _ { t - \tau } + \alpha ^ { 2 } L _ { 1 } \Big \lVert \bar { \theta } _ { t - \tau } - \theta ^ { * } \Big \lVert ^ { 2 } + \alpha ^ { 2 } L _ { 1 } \Gamma ( \epsilon , \epsilon _ { 1 } ) G + \alpha ^ { 2 } L _ { 2 } G } \\ & { \stackrel { ( c ) } { \le } 2 \alpha ^ { 2 } L _ { 1 } G ^ { 2 } + \alpha ^ { 2 } L _ { 2 } G + \alpha ^ { 2 } L _ { 1 } \Delta _ { t - \tau } + \alpha ^ { 2 } L _ { 1 } \Gamma ( \epsilon , \epsilon _ { 1 } ) G , } \end{array}