暂地宣告对城堡的所有权，理查则在1460年战死。不过爱德华次年继位之后就夺回了城堡。爱德华四世经常住在城堡中，不过没有怎么进行扩建，只有城堡北部的高塔（Great Tower）可能被他改建过。1473年，他把自己的儿子，即未来的爱德华五世及约克公爵什鲁斯伯里的理查送到城堡中居住，而此时的城堡也是刚成立的威尔士边境议会（Council in the Marches of Wales）所在地。此时的拉德洛城堡已经失去军事用途，基本是作为居住型的城堡存在。爱德华五世在1483年去世，亨利七世在1485年即位后