Roon lahir di Pleushagen, dekat Kolberg (Kołobrzeg), di Pomerania. Keluarganya berasal dari Flemish dan bermukim di Pomerania. Ayahnya, seorang perwira Angkatan Darat Prusia, meninggal pada masa pendudukan Prancis (lihat Peperangan era Napoleon), dan pada masa mudanya, Roon dibesarkan oleh nenek pihak ibunya di sebuah negara pada saat Perang Kebebasan.