Retzius var sønn av Anders Retzius, gift med Anna Hierta-Retzius (datter av Aftonbladets grunnlegger Lars Johan Hierta) med hvis formue han finansierte sin forskning med etter at han hadde frasagt seg sitt professorat.