Han ble født Gary Barrymore Raymond i Brixton, London som den yngste av tre sønner i en teaterfamilie. Hans mor døde mens han var svært ung. Han tok utdannelse ved The Royal Academy of Dramatic Art og ble i 1950-årene en del av Royal Shakespeare Company hvor han spilte i flere av klassikerne.