Walnum var sønn av Ole Walnum og Else Marie Greger,han var gift med Else Maria Meyer Hersleb, datter av Jørgen Sverdrup Hersleb og enke etter Tøger Bech. Else Hersleb var den eldste søster av teologen Svend Borchmann Hersleb. og de hadde en rekke barn.