Han vokste opp i Vadsø som sønn av skattefogd og stortingsrepresentant Erling Johannes Norvik (1899–1964) og Mosse Esbensen (1896–1970). Morfaren Andreas Brodtkorb Esbensen (1870–1937) var kjøpmann og ordfører i Vadsø. På farssiden var Erling Norvik fetter av industrimannen Harald Norvik (1946–).