これらの手法によって得られたポリシー関数・q関数は、プランニングにおけるヒューリスティック関数を同様、実行時に探索を誘導する役目を持っている。