Gowers var sønn av William Gowers og Ann Venable. Etter fullført skolegang ved Christ Church School i Oxford, studerte han medisin ved University College London, hvor en av hans læremestre var William Jenner.