I 1504 ble han biskop av Rochester. Hans mangel på personlige ambisjoner fikk ham til å avslå rikere bispeseter, for pliktene i Englands minste bispedømme, selv om han gjennomførte dem samvittighetsfullt, ga ham tid til sine akademiske sysler. Fisher var en kjenner av den katolske tradisjon, og stod i kontakt med en rekke andre humanister (blant annet med Erasmus av Rotterdam, som besøkte ham i juni 1516, og Stephen Gardiner).