女中的老幺。父亲乔治·费雪，是一位事业有成的艺术品商人，这使得他的童年生活相当顺遂，受到其母亲、三位姊姊与一位哥哥的溺爱。不过在他14岁时，母亲卡蒂·费雪过世，18个月后，费雪的父亲因几次不明智的交易，而失去了事业。费雪是一位早成的学生，16岁正在哈罗公学就读的时候，就已经在一场称为「尼尔德奖章」（Neeld Medal）的论文竞赛中胜出。由于费雪的视力很差，当他学习数学的时候，并不使用纸笔等需要动用视觉的方法。例如面对几何学问题的时候，并不将其视觉化，而是以代数操作方式处理。除了数学以外，他也对生物学