Примерно столетие спустя новый особняк был построен на отвоеванной у Темзы земле, к юго-востоку от первого замка. Он был перестроен после 1428 года и стал лондонской резиденцией Йорков во время Войны роз. В замке были провозглашены король Эдуард IV и королева Мария I.