He went on to introduce Markovian decision problems in 1957 and in 1958 he published his first paper on stochastic control processes where he introduced what is today called the Bellman equation.
Siya ang nagpunta sa kitang ipakilala sa Markovian desisyon ng problema sa 1957 at sa 1958 siya nai-publish na ang kanyang unang papel sa stochastic control proseso kung saan siya ay nagpasimula ng kung ano ang ngayon ay tinatawag na ang Bellman equation.