Waldersee besuchte das Friedrich-Wilhelms-Gymnasium in Berlin und trat anschließend am 13. August 1848 als Füsilier in das Kaiser Alexander Garde-Grenadier-Regiment Nr. 1 der Preußischen Armee ein. Während der Revolution 1849 war er mit seinem Regiment an der Niederschlagung von Straßenkämpfen in Dresden beteiligt. Im weiteren Verlauf seiner Militärkarriere wechselte Waldersee 1857 von der Infanterie zur Kavallerie über und wurde am 18. Dezember 1864 Rittmeister und Eskadronchef im Dragoner-Regiment Nr. 6. Als solcher nahm er im Deutschen Krieg 1866 an den Kämpfen bei Dermbach, Hammelburg, Roßbrunn und Uettingen sowie der Beschießung von Würzburg teil. Für seine Leistungen erhielt Waldersee den Roten Adlerorden IV. Klasse mit Schwertern.