I 1657 ble blev Gerhardt diakon i Nikolaikirken i Berlin, men ble blandet inn i striden mellom reformerte og lutheranere, noe som førte til at han ble avsatt fra tjenesten i 1666 etter at den lokale kurfyrste, som selv hadde forlatt den lutherske tro, forlangte hans underskrift på et såkalt toleransedikt som innebar at kurfyrstens forordninger om kirke og tro måtte adlydes framfor de lutherske bekjennelsesskrifter. Gerhardt var deretter privatlærer i en rekke år, men endte med å bli erkediakon i Lübben i Spreewald utenfor Berlin hvor han senere også døde.