Norman begynte karrieren i Norwich City i 1952. Han spilte 35 ligakamper i klubben fram til 1955 da Tottenham Hotspur kjøpte ham for 18 000 pund.