Han var sønn av presten og naturforskeren Michael Sars og Maren Cathrine Sars, f. Welhaven. Dikteren Johan Sebastian Welhaven var hans morbror. Broren, Georg Ossian Sars, var zoolog. Søsteren Eva var gift med Fridtjof Nansen. Ernst og Georg Ossian forble ugifte og boende hjemme hos sin mor der de delte sitt gamle gutte­værelse. Moren Maren Sars gjorde, ifølge Narve Fulsås, Sars-huset til et kultursenter i hovedstaden.