Shaffer fikk sin utdannelse ved St Paul's School i London og deretter et stipend for Trinity College ved Universitetet i Cambridge, hvor han studerte historie. Han var kullgruvearbeider under den andre verdenskrig som en av «Bevin Boys», menn som ble utskrevet som en del av verneplikt. Han hadde deretter en rekke jobber, inkludert å arbeide i bokhandel og assistent i et bibliotek, før han oppdaget sitt talent for drama.