Kidder war das achte von neun Kindern eines Sattlers und studierte ab 1649 als Stipendiat (Sizar) am Emmanuel College der University of Cambridge mit dem Bachelor-Abschluss 1652/53 und dem Magister Artium 1656. Im Jahr 1655 wurde er Fellow seines College. 1659 bis zu seiner Entlassung wegen Abweichung von der vorgegebenen Lehre 1662 war er Pfarrer (Rektor) von Stanground in Huntingdonshire und, nachdem er den Konformitäts-Eid geleistet hatte, 1664 bis 1674 von Reyn Parva in Essex. 1674 wurde er "Preacher at the Rolls" und er war 1674 bis 1691 Rektor von St. Martin Outwich in London (vergeben von der Kaufmannsgilde, Merchant Taylor´s Company). Außerdem hatte er 1681 bis 1691 eine Pfründe in Norwich und er war 1689 bis 1691 Dean der Kathedrale von Peterborough und im selben Zeitraum königlicher Kaplan von Queen Mary und Wilhelm von Oranien. 1691 bis zu seinem Tod war er Bischof von Bath und Wells. Er starb im Bischofspalast in Wells in Somerset beim Großen Sturm vom November 1703, als der Schornstein auf sein Bett fiel.