I 1943 flyttet familien fra Venezia i Italia til Tyskland, og her tilbrakte han store deler av sin tidlige barndom. Senere, da Terrence var 12 år, flyttet de til Roma. En av hans store hobbyer var svømming, og han begynte å svømme for romalaget Lazio. Det var her han ble kjent med Bud Spencer, som den gang het Carlo Pedersoli, ettersom de svømte for samme lag.