方式就是将奖励值存储在一个表格（Q-table）中，但是这种方式受限于状态和动作空间的数目。
函数逼近."Q"-学习可以结合函数逼近。 这使得在更大的状态空间中使用 Q-学习，即使状态空间是连续的。 一个解决方案是以使用人工神经网络来进行函数逼近。。函数逼近的方法在一些问题中会有很好的加速效果，某些时候算法可以通过早期经验的总结可以在一些未出现的状态中依然可以有很好的效果。
变种.
深度Q-学习.这是一个由DeepMind公司开发