\begin{array} { r l } & { \Big \| \bar { g } ( \theta ) - \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \bar { g } _ { i } ( \theta ) \Big \| = \Big \lVert \Phi ^ { T } \bar { D } ( \bar { T } _ { \mu } \Phi \theta - \Phi \theta ) - \frac { 1 } { N } \Big ( \sum _ { i = 1 } ^ { N } \Phi ^ { T } D ^ { ( i ) } ( T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta ) \Big ) \Big \rVert } \\ & { \stackrel { ( a ) } { \le } \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \Big \lVert \Phi ^ { T } \bar { D } ( \bar { T } _ { \mu } \Phi \theta - \Phi \theta ) - \Phi ^ { T } D ^ { ( i ) } ( T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta ) \Big \rVert } \\ & { \stackrel { ( b ) } { \le } \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \Bigg \lVert \bar { D } \Big [ \frac { 1 } { N } \sum _ { j = 1 } ^ { N } R ^ { ( j ) } + \gamma \frac { 1 } { N } \sum _ { j = 1 } ^ { N } P ^ { ( j ) } \Phi \theta - \Phi \theta \Big ] - D ^ { ( i ) } ( T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta ) \Bigg \rVert } \\ & { \le \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \Bigg \lVert \bar { D } \Big [ \frac { 1 } { N } \sum _ { j = 1 } ^ { N } R ^ { ( j ) } + \gamma \frac { 1 } { N } \sum _ { j = 1 } ^ { N } P ^ { ( j ) } \Phi \theta - \Phi \theta \Big ] - \bar { D } ( T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta ) } \\ & { \quad + \bar { D } ( T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta ) - D ^ { ( i ) } ( T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta ) \Bigg \rVert } \\ & { \stackrel { ( c ) } { \le } \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \Big \lVert \bar { D } \Big [ \frac { 1 } { N } \sum _ { j = 1 } ^ { N } R ^ { ( j ) } + \gamma \frac { 1 } { N } \sum _ { j = 1 } ^ { N } P ^ { ( j ) } \Phi \theta - \Phi \theta \Big ] - \bar { D } ( T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta ) \Big \rVert } \\ & { + \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \Big \lVert \bar { D } ( T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta ) - D ^ { ( i ) } ( T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta ) \Big \rVert } \\ & { \le \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \Big \lVert \bar { D } \Big \rVert \Big \lVert \frac { 1 } { N } \sum _ { j = 1 } ^ { N } R ^ { ( j ) } - R ^ { ( i ) } \Big \rVert + \gamma \Big \lVert \frac { 1 } { N } \sum _ { j = 1 } ^ { N } P ^ { ( j ) } - P ^ { ( i ) } \Big \rVert \Big \lVert \Phi \theta \Big \rVert } \\ & { + \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \Big \lVert \bar { D } - D ^ { ( i ) } \Big \rVert \Big \lVert T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta \Big \rVert } \\ & { \stackrel { ( d ) } \le \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \Big \lVert \frac { 1 } { N } \sum _ { j = 1 } ^ { N } R ^ { ( j ) } - R ^ { ( i ) } \Big \rVert _ { 2 } + \gamma \Big \lVert \frac { 1 } { N } \sum _ { j = 1 } ^ { N } P ^ { ( j ) } - P ^ { ( i ) } \Big \rVert \Big \lVert \Phi \theta \Big \rVert } \\ & { + \frac { 1 } { N } \sum _ { i = 1 } ^ { N } \Big \lVert \bar { D } - D ^ { ( i ) } \Big \rVert \Big \lVert T _ { \mu } ^ { ( i ) } \Phi \theta - \Phi \theta \Big \rVert } \\ & { \stackrel { ( e ) } \le \Big [ \epsilon _ { 1 } + \gamma \sqrt { n } \epsilon \lVert \Phi \theta \rVert + \Big [ 2 ( n - 1 ) \epsilon + \mathcal { O } ( \epsilon ^ { 2 } ) \Big ] \lVert \Phi \theta \rVert } \\ & { \le H \Big [ \mathcal { O } ( \epsilon _ { 1 } ) + \gamma \sqrt { n } \epsilon + 2 ( n - 1 ) \epsilon + \mathcal { O } ( \epsilon ^ { 2 } ) \Big ] = B ( \epsilon , \epsilon _ { 1 } ) . } \end{array}