Schimmelmann đã nhập ngũ trong quân đội Phổ vào năm 1834 và cùng năm đó ông được phong quân hàm thiếu úy. Trong các năm 1846 – 1847, ông được chuyển vào Cục Đo đạc Địa hình của Bộ Tổng tham mưu Phổ. Từ năm 1848 cho đến năm 1853, ông được thuyên chuyển sang Trường Chiến tranh "Allgemeinen Kriegsschule". Được thăng quân hàm trung úy vào năm 1848, ông được bổ nhiệm vào một chức Quyền đại đội trưởng ("Kompanieführer") trong Trung đoàn Dân binh Cận vệ số 4 vào năm 1849. Tiếp theo đó, ông tham gia chiến đấu trong chiến dịch tại Baden và lại được bổ nhiệm vào Cục Đo đạc Địa hình. Vào năm 1850, ông được thăng quân hàm đại úy trong Bộ Tổng tham mưu. Cùng năm đó, ông được lên cấp bậc thiếu tá trong Bộ Tham mưu của Sư đoàn số 16 và trở thành giám đốc các trường sư đoàn ("Divisionsschulen") tổng hợp của các Sư đoàn số 15 và số 16. Vào năm 1855, ông được chuyển sang Bộ Tham mưu của Chính quyền quân sự ("Militärgouvernement") tỉnh Rhein. Ba năm sau, ông được bổ nhiệm làm phụ tá cá nhân của Nhiếp chính vương Wilhelm. Vào năm 1859, ông được phong cấp bậc Thượng tá, và vào năm 1861 ông lên cấp Đại tá và sĩ quan hầu cận của tân vương Wilhelm I, đồng thời là Tư lệnh của Trung đoàn Bắn súng hỏa mai số 39. Cùng năm đó, ông được phong cấp chỉ huy Quân đoàn danh dự của Pháp. Vào năm 1865, ông lên chức Thiếu tướng và được ủy nhiệm làm Lữ trưởng của Lữ đoàn Bộ binh số 9. Ông đã chỉ huy lữ đoàn của mình trong cuộc Chiến tranh Áo-Phổ năm 1866 và tham chiến trong trận đánh quyết định ở Königgrätz-Sadowa. Vì những thành tích của mình, vào ngày 20 tháng 9 năm 1866 Schimmelmann được tặng thưởng Huân chương Quân công cao quý nhất của Phổ. Vào năm 1870, ông được lên quân hàm Trung tướng và lãnh chức Tư lệnh của Sư đoàn số 17. Với đơn vị này, ông đã tham gia cuộc Chiến tranh Pháp-Đức (1870 – 1871), tham chiến trong trận đánh đẫm máu ở Gravelotte-St. Privat và cuộc vây hãm Metz. Vào năm 1871, ông được cử làm quan trấn thủ Magdeburg.