Fisher ble oppdratt i et anglikansk hjem, og ble utdannet ved Marborough og Exeter College i Oxford. Han var assisterende master ved Marlborough College da han bestemte seg for å bli ordinert, og i 1913 ble han prest. I disse tider hadde offentlige engelske skoler nær tilknytning til Church of England, og det var ikke uvanlig at skolens ledere var ordinerte. Dette var spesielt vanlig for rektorer.