Waldersee trat im am 22. Februar 1806 als Junker in das Dragonerregiment „König von Bayern“ Nr. 1 der Preußischen Armee ein. Am 23. November 1812 wurde er Premierleutnant. Er machte den Feldzug 1813 als Stabsrittmeister im Regiment Gardes du Corps mit und nahm an den Kämpfen bei Großgörschen, Bautzen, Großbeeren und Leipzig teil. Am 5. Juni 1815 wurde er zum Rittmeister und am 30. März 1819 zum Major befördert. Nach längerer Friedenszeit wurde er am 21. September 1832 Führer des 3. Ulanenregiments und am 25. September 1832 zum Regimentskommandeur ernannt. Am 18. Februar 1834 wurde Waldersee als Kommandeur zum Regiment Gardes du Corps versetzt. In dieser Stellung folgte am 30. März 1834 seine Beförderung zum Oberstleutnant sowie am 30. März 1836 zum Oberst. Am 25. März 1841 wurde er Kommandeur der 2. Garde-Kavallerie-Brigade und am 7. April 1842 zum Generalmajor befördert. Am 14. Februar 1848 wurde er Chef der Garde-Kavallerie-Brigade und am 8. Mai 1849 zum Generalleutnant befördert. Vom 15. August 1856 bis 14. August 1864 war er Kommandierender General des V. Armee-Korps in Posen, dazwischen erfolgte am 18. September 1858 seine Beförderung zum General der Kavallerie. Das Korps gab Waldersee am 13. Juni 1859 ab und wurde anschließend Gouverneur von Posen. Zwischen dem 18. Mai 1864 und 1. Mai 1870 war er Gouverneur von Berlin und während der Abwesenheit von Generalfeldmarschall Friedrich von Wrangel anlässlich des Deutschen Krieges 1866 mit der Wahrnehmung der Stelle als Oberbefehlshaber in den Marken beauftragt.