Caprivi var av slovensk opprinnelse. Familien, med det opprinnelige navnet , stammet fra Koprivnik i Kočevski Rog, men hadde senere slått seg ned i Schlesien i Preussen. Han var eldste sønn av den prøyssiske og Leopold von Caprivi (1797–1865), medlem av , og hans hustru Emilie Köpke (1803–1871). Moren stammet fra et borgerlig hjem. Faren var teologiprofessor og leder for Berlinisches Gymnasium zum Grauen Kloster Gustav Köpke.