Gjerpen prestegård var P.A. Munchs barndomshjem. Familien Quisling bodde også her i en årrekke, idet Jon Lauritz Qvisling var prost i Gjerpen og skrev mye om lokalhistorie og kirkehistorie.