La mayoría de los algoritmos RL operan estimando la función de valuación, aunque los algoritmos genéticos, la programación genética, y el recocido simulado, pueden resolver problemas de RL sin considerar valores, buscando directamente en el espacio de políticas.