Holsts kone, Marianne Heiberg, var søster av Karin Stoltenberg, og Holst var dermed svoger med sin forgjenger Thorvald Stoltenberg og onkel til Jens Stoltenberg.