$$
\begin{array} { l } \zeta _ { k , W } \quad \frac { 2 \log ( 2 | \Phi | | \Psi | k H / \delta ) } { W } \\ \lambda _ { k , W } \quad O ( d \log ( | \Phi | \min \{ k , W \} T H / \delta ) ) \\ \alpha _ { k , W } \quad \sqrt { 2 W A \zeta _ { k , W } + \lambda _ { k , W } d } = O ( \sqrt { 4 A \log ( 2 | \Phi | | \Psi | k H / \delta ) + \lambda _ { k , W } d } ) \\ \tilde { \alpha } _ { k , W } \quad 5 \sqrt { 2 W A \zeta _ { k , W } + \lambda _ { k , W } d } \\ \beta _ { k , W } \quad \sqrt { 9 d A ( 2 W A \zeta _ { k , W } + \lambda _ { k , W } d ) + \lambda _ { k , W } d } \\ \eta \quad \sqrt { \frac { L \log A } { K } } \\ \Delta _ { \mathcal { H } , \mathcal { I } } ^ { P } & \sum _ { h \in \mathcal { H } } \sum _ { i \in \mathcal { I } } \max _ { ( s , a ) \in \mathcal { S } \times \mathcal { A } } \left\| P _ { h } ^ { \star , i + 1 } ( \cdot | s , a ) - P _ { h } ^ { \star , i } ( \cdot | s , a ) \right\| _ { T V } \\ \Delta _ { \mathcal { H } , \mathcal { I } } ^ { \sqrt { P } } & \sum _ { h \in \mathcal { H } } \sum _ { i \in \mathcal { I } } \max _ { ( s , a ) \in \mathcal { S } \times \mathcal { A } } \sqrt { \left\| P _ { h } ^ { \star , i + 1 } ( \cdot | s , a ) - P _ { h } ^ { \star , i } ( \cdot | s , a ) \right\| _ { T V } } \\ \Delta _ { \mathcal { H } , \mathcal { I } } ^ { \phi } & \sum _ { h \in \mathcal { H } } \sum _ { i \in \mathcal { I } } \max _ { ( s , a ) \in \mathcal { S } \times \mathcal { A } } \left\| \phi _ { h } ^ { \star , i + 1 } ( s , a ) - \phi _ { h } ^ { \star , i } ( s , a ) \right\| _ { 2 } \\ \Delta _ { \mathcal { H } , \mathcal { I } } ^ { r } & \sum _ { h \in \mathcal { H } } \sum _ { i \in \mathcal { I } } \max _ { ( s , a ) \in \mathcal { S } \times \mathcal { A } } \left\| r _ { h } ^ { \star , i + 1 } ( s , a ) - r _ { h } ^ { \star , i } ( s , a ) \right\| _ { 2 } \\ \Delta _ { \mathcal { H } , \mathcal { I } } ^ { \pi } & \sum _ { h \in \mathcal { H } } \sum _ { i \in \mathcal { I } } \max _ { s \in S }   \left\| \pi _ { h } ^ { \star , i } ( \cdot | s ) - \pi _ { h } ^ { \star , i - 1 } ( \cdot | s )   \right\| _ { T V } \\ f _ { h } ^ { k } ( s , a ) & \| P _ { h } ^ { k } ( \cdot | s , a ) - P _ { h } ^ { \star , k } ( \cdot | s , a ) \| _ { T V } \\ U _ { h , \phi } ^ { k , W } & \sum _ { i = 1   {\lor} k - W } ^ { k - 1 }   {\mathbb E} _ { s _ { h }   {\sim} ( P ^ { \star , i } , {\widetilde {\pi}} ^ { i ) } , a _ { h }   {\sim} {\mathcal U} ( {\mathcal A} ) }   [   \phi ( s _ { h } , a _ { h } ) (   \phi ( s _ { h } , a _ { h } )   ) ^ {\top} ] +   \lambda _ { k , W } I _ { d } \\ {\hat U} _ { h } ^ { k , W } & \sum _ {{\breve D} _ { h } ^ {(k , h + 1)}}   {\hat {\phi}} _ { h } ( s _ { h } , a _ { h })   {\hat {\phi}} _ { h } ( s _ { h } , a _ { h } ) ^ {\top} +   \lambda _ { k , W } I _ { d } \\ W _ { h , \phi } ^ { k , W } & \sum _ { i = 1   {\lor} k - W } ^ { k - 1 }   {\mathbb E} _ {(s _ { h } , a _ { h })   {\sim} ( P ^ { \star , i } , {\widetilde {\pi}} ^ { i ) } )}   [   \phi ( s _ { h } , a _ { h } ) (   \phi ( s _ { h } , a _ { h } )   ) ^ {\top} ] +   \lambda _ { k , W } I _ { d } \\ b _ { h } ^ { k } & \operatorname * { m i n }   \left\{   \alpha _ { k , W }   \|   {\hat {\phi}} _ { h } ^ { k } ( s _ { h } , a _ { h } )   \|   ( U _ { h , {\widehat {\phi}} ^ { k }} ^ { k , W }) ^ {- 1}   , 1   \right\} \\ {\hat b} _ { h } ^ { k } & \operatorname * { m i n }   \left\{   {\widetilde {\alpha}} _ { k , W }   \|   {\hat {\phi}} _ { h } ^ { k } ( s _ { h } , a _ { h } )   \|   ( {\widehat U} _ { h , {\widehat {\phi}} ^ { k }} ^ { k , W }) ^ {- 1}   , 1   \right\} \\ & = 0. 0 5, 0. 0 5, 0. 0 5, 0. 0 5, 0. 0 5, 0. 0 5, 0. 0 5, 0. 0 5, 0. 0 5, 0. 0 5, 0. 0 5, 0. 0 5, 0. 0 5, 0.
$$