Ernst Zachrisson var først gift med Anselma Josefa Herrera, datter av en kaptein i spansk tjeneste i Panama. I slutten av 1840-årene dro ektefellen og parets fire barn fra Panama til Zachrissons slektsgård i Skåne, mens Ernst Zachrisson ble værende i Panama. Han giftet seg på nytt med María del Carmen Vallarino, som han fikk ni barn med. Sønnen Carlos Ernesto Zachrisson fra hans første ekteskap forpaktet farens kaffeplantasjer i Guatemala. Ernst Zachrisson ble farfar til den guatemalanske finansministeren Carlos O. Zachrisson og oldefar til jordbruksminister Roberto Zachrisson.