Grev Waldersee var av en gammel prøyssisk adelsfamilie, hvor både faren Franz Graf von Waldersee og onkelen Friedrich Graf von Waldersee var generaler og onkelen var prøyssisk krigsminister i perioden 1854–6. november 1858.