Etter dette ble Roon en nasjonalhelt og en av de mest populære menn i Preussen. Hans reformer ble etter hvert kopiert over hele Sentral-Europa. Han ble forfremmet til general i infanteriet ved utbruddet av Den østerriksk-prøyssiske krig, og var selv tilstede ved slaget ved Königgrätz og fikk Den sorte ørns orden på Nikolsburg på veien til Wien. Hans system for organisering av hæren ble tatt i bruk av hele Det nordtyske forbund etter 1866, og gis æren for den store tyske seieren i Den fransk-prøyssiske krig i 1870-71, som førte til den tyske riksgrunnleggelse. 50-årsdagen for hans innrullering i hæren ble feiret i Versailles den 19. januar 1871, hvor keiseren uttrykte sin takknemlighet for hans tjenester for landet og riket. Han ble adlet til greve og etterfulgte Bismarck som Preussens statsminister. På grunn av dårlig helse måtte han trekke seg allerede året etter. 1. januar 1873 ble han utnevnt til generalfeltmarskalk.