被用作军械局总部，直到1855年。偶尔该塔还被用作监狱，甚至在两次世界大战中。1780年，塔中关押了唯一的一个美国犯人，亨利·劳伦斯，前大陆会议的主席。在第一次世界大战中，11个德国间谍被在塔里枪决。1941年8月15日，约瑟夫·雅各布斯下士成为了第二次世界大战中最后一个被枪决的德国间谍。接下来的一年，希特勒的副手鲁道夫·赫斯被在此关押了4天。滑铁卢兵营，现在存放皇冠珠宝的地方，作为"第一燧发枪手营（伦敦市团）"服役到1950年代；1952年克雷双胞胎因没有报告国家兵役，短暂地关押在此，使他们加入该塔最后的