Tuttavia prima di questa fine il castello rivestì una certa importanza. Henry de Bohun, I conte di Hereford (1176-1220) e la moglie Maud, nipote di Godfrey de Mandeville ed erede della famiglia, ne fecero la loro residenza principale ed il loro figlio Humphrey de Bohun, II conte di Hereford (1208 circa-24 settembre 1275) divenne Conte di Essex e Conestabile d'Inghilterra, divenendo il secondo dei molti altri de Bohun che avrebbero vissuto lì. La fortuna dei Bohun per altro crebbe con gli anni quando Humphrey de Bohun, IV conte di Hereford sposò Elisabetta d'Inghilterra (1282-1316) figlia di Edoardo I d'Inghilterra. Il più giovane dei suoi figli, William de Bohun, I conte di Northampton (1312 circa-1360) partecipò alla prima fase della Guerra dei cent'anni escogitando alcune delle tecniche che portarono agli inglesi le vittorie alla Battaglia di Morlaix, Battaglia di Crécy e all'Assedio di Calais (1346), servigi per i quali venne fatto conte. Il fratello maggiore di William, Humphrey de Bohun, VI conte di Hereford morì nel 1361 senza lasciare eredi e Pleshey passò al figlio maggiore di William Humphrey di Bohun, VII conte di Hereford. Qui la storia dei Bohun si unisce a quella dei Gloucester, la figlia di quest'ultimo, Eleanor de Bohun (1366 circa- 3 ottobre 1399) sposò Thomas Woodstock, I duca di Gloucester che venne poi fatto decapitare.