Alexis Leger ble født på Pointe-à-Pitre på øya Guadeloupe i Karibia. Hans oldefar, en advokat, hadde bosatt seg på Guadeloupe i 1815. Hans bestefar og far var også advokater; hans far var også medlem av byrådet. Familien eide to plantasjer, den ene (La Joséphine) for kaffeproduksjon, og den andre (Bois-Debout) for sukkerproduksjon.