Det største godset i Penn er Segraves Manor, som tilhørte adelsfamilien Penn. Sybil Penn var amme for kong Edvard VI og dronning Elisabeth I. William Penn, som delstaten Pennsylvania er oppkalt etter, kommer også fra denne familien. I 1735 døde Roger Penn uten mannlige arvinger, og godset gikk derfor over til hans søster, som var gift med lord Curzon.