Thore Albert Boyes foreldre var høyesterettsadvokat Thorvald Boye (1871–1943) og Mia Esmarch (1880–1966). Han giftet seg i 1945 med Nøste Siem (1918–1999) som var datter av kommandørkaptein Ole Siem og søster til industrileder Martin Siem. De to var blitt kjent da Thore var dommerfullmektig i Tromsø 1936–38.