Høiby er eldre bror av kronprinsesse Mette-Marit og sønn av Sven O. Høiby. Han var gift med Wenke Lindal Høiby. I 2014 giftet han seg med Louise Dedichen.