330年失势被杀，他的遗孀琼继承了城堡。虽然拉德洛城堡是莫蒂默家的重要财产，但在接下里的半个多世纪中，莫蒂默家的继承人都因过于年幼而无法真正获得城堡的所有权。罗杰·莫蒂默的儿子艾德蒙曾短暂地拥有过一段时间城堡，但在1331年就又传给莫蒂默的孙子罗杰·莫蒂默二世。1358年，城堡又传到莫蒂默二世的儿子埃德蒙·莫蒂默手里。莫蒂默二世和他的儿子都常年因百年战争而无暇顾及城堡，委托城堡给别人管理。1381年，埃德蒙的儿子、第三位罗杰·莫蒂默继承城堡。但他年纪不大，理查二世让一群贵族接管了城堡。1398年罗杰去世