Søren Bugge var sønn av kjøpmannen Lars Sørensen Bugge og Anne Else Schultz fra Århus. Selv var han gift med Gidsken Edvardine Røring, datter av sorenskriver Edvard Røring. Hans fettere på morssiden var dikteren Edvard Storm og brødrene J. E. og Chr. Colbjørnsen. Han var far til biskop Peder Olivarius Bugge og farfar til pedagogen Frederik Moltke Bugge og presten Søren Bruun Bugge.