Moren døde i barsel da sønnen Jacob ble født, som foreldrenes tredje barn. Faren Pontus De la Gardie druknet i 1585 i nærheten av Narva.