在他们的叔父理查三世登基后被关进伦敦塔，从此失踪，一般认为被害，究竟他们身上发生了什么至今仍是个谜。在伦敦塔被囚最久的是理查三世的外甥威廉·德·拉·波尔，他因涉嫌阴谋反对新建立的都铎王朝新君亨利七世，于1502年被捕并被关押直至1539年去世。如其他城堡一样，伦敦塔作为要塞的军事用途随着火炮的发明而荒废了。然而该塔一直被用作军械局总部，直到1855年。偶尔该塔还被用作监狱，甚至在两次世界大战中。1780年，塔中关押了唯一的一个美国犯人，亨利·劳伦斯，前大陆会议的主席。在第一次世界大战中，11个德国间谍被