Torstein Bugge Høverstads farfar var pedagogen Torstein Høverstad. Hans mormor og morfar var barnebokforfatter og tekstilkunstner Pet Bugge, og arkitekt Alf Bugge.