Høiby var far til Mette-Marit Tjessem Høiby (senere kronprinsesse Mette-Marit), morfar til Marius Borg Høiby, prinsesse Ingrid Alexandra og prins Sverre Magnus og svigerfar til kronprins Haakon. Han hadde også tre andre barn fra sitt første ekteskap og flere barnebarn. Han ble i 1984 skilt fra sin første kone, moren til kronprinsessen, men inngikk et firemåneders ekteskap med den da 34 år gamle Renathe Barsgård i 2005. Kjendisbladet betalte for bryllupet.