荣发展的15世纪上半叶，莫蒂默家族却几乎没有在拉德洛城堡待过。埃德蒙在1425年去世，没有子嗣。埃德蒙的侄子理查继承了城堡，理查也将城堡作为自己的办公处，在1440年代末至1450年代常住于城堡中。理查的儿子，即后来的爱德华四世也在城堡中长大。玫瑰战争中，拉德洛城堡几乎没有被战火波及，只有1459年小规模的卢德福德桥战役（Battle of Ludford Bridge）发生于拉德洛镇外。第二代什鲁斯伯里伯爵约翰·塔尔伯特和爱德蒙·德·拉·马尔（Edmund de la Mare）曾短暂地宣告对城堡