Die Familie seines Vaters war jahrhundertelang im Dienst der Republik Venedig. Sein Großgroßonkel Pietro di Brazzà Savorgnan war Afrikaforscher und regierte Französisch-Äquatorialafrika aus der von ihm gegründeten Hauptstadt Brazzaville. Sein Großvater mütterlicherseits Ulrich von Hassell war führender Oppositioneller gegen Adolf Hitler und in den Staatsstreichversuch gegen das NS-Regime und Adolf Hitler am 29. Juli 1944 verwickelt. Seine Mutter Fey von Hassell wurde Sippenhäftling der SS so wie er selbst und sein Bruder Roberto. Sie wurden in der Folge von ihrer Mutter getrennt und kamen in ein Waisenhaus nach Tirol, bis sie von ihrer Großmutter Ilse von Tirpitz im Mai 1945 gerettet wurden.