Han ble født George Morris Baker i Varna, Bulgaria av britiske foreldre. Hans far var en britisk forretningsmann og honorær visekonsul i Bulgaria, mens hans mor var en irsk Røde Kors-arbeider som var i Bulgaria for å hjelpe til med å bekjempe kolera. Etter utbruddet av andre verdenskrig tok moren ham med til England. Han så aldri sin far igjen. Han ble utdannet ved og ble i ung alder opptatt av skuespill.