四世一直将城堡把掌控在自己手中，第五代边境伯爵埃德蒙在1413年才拿回城堡，但旋即被派往法国，继续和法国的战争。在拉德洛镇因羊毛和布匹贸易而繁荣发展的15世纪上半叶，莫蒂默家族却几乎没有在拉德洛城堡待过。埃德蒙在1425年去世，没有子嗣。埃德蒙的侄子理查继承了城堡，理查也将城堡作为自己的办公处，在1440年代末至1450年代常住于城堡中。理查的儿子，即后来的爱德华四世也在城堡中长大。玫瑰战争中，拉德洛城堡几乎没有被战火波及，只有1459年小规模的卢德福德桥战役（Battle of Ludford B