Hans foreldre var skuespillerparet Henny Skjønberg og Eugen Skjønberg. Hans bror var skuespiller og regissør Pål Skjønberg. Espen Skjønberg var gift to ganger: første gang med danseren Margrete Ree (1921–1976) i 1947; andre gang med skuespilleren Mona Hofland (1929–2010) fra 1959 til hun døde i 2010. Hans sønn fra første ekteskap er skuespiller og regissør Jo Skjønberg.