Han representerte Italia i svømming i Sommer-OL 1952 og 1956, før han ett år senere la sporten på hylla. Han tok sølvmedalje under Middelhavslekene i Alexandria i 1951. Spencer var også en god vannpolospiller, og var med i noen konkurranser. I tillegg til svømmekarrieren hadde han også en doktorgrad i jus. I tillegg hadde han fly- og helikopter-serfikat. Bud pleide av og til å fly til og fra filmsettet.