Waldemar là con trai của Albrecht Graf von Roon, người đóng một vai trò quan trọng đến thắng lợi của Phổ trong các cuộc chiến tranh thống nhất nước Đức. Thuở nhỏ, ông học trung học tại Berlin và Bonn, sau đó tốt nghiệp các trường thiếu sinh quân ở Wahlstatt và Berlin. Vào ngày 1 tháng 5 năm 1855, Roon nhập ngũ, với quân hàm Trung úy trong Trung đoàn Bộ binh Cận vệ số 1. Từ năm 1859 cho đến năm 1862, ông học tại Học viện Quân sự ở Berlin. Vào năm 1854, ông được phong cấp Đại úy trong Bộ Tổng tham mưu Phổ và với cương vị này ông đã tham gia trong các cuộc Chiến tranh Đức-Đan Mạch năm 1864 và Chiến tranh Áo-Phổ năm 1866. Vào năm 1869, ông lên quân hàm Thiếu tá trong Bộ Tổng tham mưu và với chức vụ này ông đã tham gia trong cuộc Chiến tranh Pháp-Đức (1870 – 1871). Vào năm 1877, ông được bổ nhiệm làm Tư lệnh của Trung đoàn Phóng lựu Cận vệ số 2 (Hoàng đế Franz), đóng quân tại Stettin. Vào năm 1883, ông được thăng quân hàm Thiếu tướng và trở thành Tư lệnh của Lữ đoàn Bộ binh Cận vệ số 4. Kể từ năm 1886, ông là Cục trưởng Cục thanh tra dân binh I và là Sĩ quan chỉ huy của Posen. Đến năm 1888, ông lên quân hàm Trung tướng. Cùng năm đó, ông đã nghỉ hưu.