Perlini stammt aus einer Eishockeyfamilie. Sein Vater Fred absolvierte acht NHL-Spiele für die Toronto Maple Leafs und über 250 AHL-Spiele. Er war zuletzt in England aktiv. Der jüngere Bruder Brendan, der in England geboren wurde, steht seit 2016 bei den Arizona Coyotes in der NHL unter Vertrag. Der Onkel Kevin Conway, Bruder von Bretts Mutter, ging bereits Mitte der 1980er Jahre nach England und spielte – wie Brett – für die britische Nationalmannschaft. Er gehört der bis 2019 letzten britischen Mannschaft an, die 1994 an einer Weltmeisterschaft der höchsten Leistungsstufe teilnahm.