Desde 1850 Roon ocupou vários postos de comando e foi designado a várias missões importantes. O príncipe Guilherme tornou-se regente em 1857 e dois anos depois indicou Room à comissão de reorganização do exército. Com o apoio de Edwin von Manteuffel e do novo chefe do estado-maior prussiano, Helmuth von Moltke, Roon pôde considerar seus planos adotados. Seu objetivo era criar uma nação militarizada, para estender o sistema de Scharnhorst e adaptá-lo às alterações da Prússia. Para alcançá-lo ele propôs um serviço universal de três anos e um reserva ("Landwehr"), para a defesa do país quando o exército estivesse em combate. Ao final da guerra sardo-austríaca (1859), Roon sucedeu Eduard von Bonin como ministro da guerra e dois anos depois o ministério da marinha também estava sob seu controle. Sua proposta de reorganização recebeu forte oposição. Após anos de disputas e com o forte apoio de Otto von Bismarck e de Moltke a sua reforma prevaleceu.