Prins Ludwig av Battenberg ble født i Graz i Østerrike, der faren tjenestegjorde som offiser i den østerriksk-ungarske hæren. Han tilbragte barndommen på Schloss Heiligenberg i Hessen.