没落。亨利四世夺取王位后，任命小彼得为城堡治安官。1399年10月，他的年俸从10磅涨到100马克（66磅8先令）。1400年，小彼得被赐予了一块德比郡的封地，这片封地原属于卡斯提尔主教托马斯·默尔克，因其涉嫌谋害国王而被褫夺。14-15世纪 ，兰开斯特公爵的领地得以持续扩张，财产不断增加。1392年前后，冈特的约翰给城堡大厅和大殿装上了玻璃窗，还进行了一些其他位置的整修。1393年左右，他组织修缮了一座吊桥并在1399年前后改善了城堡的管道系统，用上了两年前作为罚金收取来的铅。1415年阿金库尔战