Morits Skaugen er sønn til skipsreder Morits Skaugen senior. Hans farfar Isak Martinius Skaugen var født på husmannsplassen Skauen i Gjerpen og startet som dekksgutt, før han ble skipper og skipsreder under første verdenskrig. Han er gift med Grace Reksten Skaugen, Hilmar Rekstens datter, og de har to barn.