Sars var gift med Maren Cathrine Welhaven Sars (1802–1898) som var søster til Johan Sebastian Welhaven. De fikk åtte barn som vokste opp. Blant de mest kjente er historieprofessor Johan Ernst Sars, marinbiolog og professor i zoologi Georg Ossian Sars og sangerinnen Eva Helene Sars Nansen som var gift med Fridtjof Nansen.