I tudortiden satt en rekke høytstående personer fengslet i Bell Tower, blant annet Thomas More, Arbella Stuart og antagelig James Scott, 1. hertug av Monmouth. Ifølge tradisjonen skal også Elizabeth I ha sittet der som prinsesse i Maria Is regjeringstid. Et stykke av muren utenfor kalles av den grunn Elizabeth Walk. Det er dog mer sannsynlig at hun satt i Lanthorn Tower, som hadde en langt høyere standard.