Han var sønn av jernbanedirektør Gustav Skram (tidligere Schram) og Ida Johanne Hoë. Han var også lillebroren til Henriette Skram (født 1841, død 1929).