Kong Olav V bodde på Skaugum fram til 1968, da han i forbindelse med bryllupet mellom daværende kronprins Harald og Sonja Haraldsen ga gården videre. Tradisjonen med å bruke Skaugum som residens for kronprinsparet fortsatte, og det er nå kronprins Haakon og kronprinsesse Mette-Marit som bor der. Stedet er ikke åpent for besøkende.