瑞的名字来源于古英语"preost"和"burh"，意思是“牧师守卫之地”。原因是13世纪时此地存在着有护卫的赫里福德主教宅邸。899年至904年时称作"Preosdabyrig"。1086年的末日审判书的记载则是"Presteberie"，当时即属于赫里福德教会所辖，有18位居民。1249年赫里福德主教准许此地在每週举行集市，八月则举办为期三日的年度集市。 在中世纪末期由于切尔滕纳姆的崛起，佩斯贝瑞自15世纪开始衰败，18世纪其辖区已经和切尔滕纳姆完全重叠。当地建有哥特复兴式的一战纪念碑， 201