런던탑은 1100년(더럼 주교 래널프 플램바드)부터 1952년(크레이 형제)까지 종종 감옥으로 쓰였지만, 그것이 주된 기능은 아니었다. 15세기 후반에는 장미 전쟁의 와중에 에드워드 5세와 요크 공작 슈루즈베리의 리처드 형제가 런던탑에 갇혔다가 행방이 묘연해진 런던탑의 두 왕자 사건이 발생하기도 하였다. 16세기와 17세기에 런던탑은 많은 인사들을 감금하던 장소였는데, 즉위 이전의 엘리자베스 1세, 월터 롤리와 엘리자베스 롤리 부부 같은 사람들이 런던탑으로 보내졌다. 이로 인해 누군가가 감옥에 갔다는 뜻을 가진 관용구인 ‘탑으로 갔다’(Sent to the Tower)가 탄생하기도 했다.