Også i denne bygningen ble mange viktige fanger plassert, direkte under løytnantens oppsyn. Ifølge tradisjonen var den første av dem Anne Boleyn og den neste Katarina Howard, Henrik VIIIs henholdsvis andre og femte hustru som begge ble henrettet på Tower Green. Det er mulig at Katarina ble holdt der, men historien om Anne stemmer ikke; bygningen ble reist i 1540, fire år etter at hun ble henrettet. Det kan være en kjerne av sannhet i historien, dersom hun ble plassert i bygningen som tidligere lå på stedet, men det virker usannsynlig at den hadde høy nok standard for en dronning, selv en som var dømt for høyforræderi. I rådskammeret i den øvre etasjen er et minnesmerke over kruttkomplottet; Guy Fawkes ble avhørt i dette rommet både før og etter han ble torturert. Den siste fangen i bygningen var Rudolf Hess, som satt der i fire dager i mai 1941.