Stamp, eldstemann av fem barn, ble født den 22. juli 1938 i Stepney i London. Foreldrene var Ethel Esther og Thomas Stamp. Chris Stamp (1942-2012), manager for The Who og Jimi Hindrix, var hans bror. Siden faren var borte i lengre perioder i Handelsflåten ble Terence oppdratt av moren, bestemoren og tantene. Han idoliserte skuespiller Gary Cooper gjennom barndommen, etter at han og moren hadde sett Beau Geste på kino. En annen tidlig inspirasjon var James Dean.