Han ble gift i 1929 med Aasta Marie Jentoft (1900–1979), datter av skipsreder Ove Daniel Jentoft (1867–1929). Han var fetter av Henriette Bie Lorentzen. Familien Groth stammer fra Frederik Christian Groth (død ca. 1800), som innvandret til Norge fra Tyskland ca. 1750 og ble stadsmusikus og organist i Drammen.