Han var gift med ballettdanser Hanne Skram (1937-2017) og er far til komponist Henrik Skram og onkel til sangeren og låtskriveren Eva Weel Skram.