Under andre verdenskrig ble Tower et oppsamlingssenter for krigsfanger. Omkring 180 fanger var innom Tower på vei til krigsfangeleirer i det nordlige England, de fleste av dem fra Luftwaffe eller fra ubåter. To av fangene var spesielle: Den tyske generalkonsulen til Island, Dr. Gerlach, satt der i tre og en halv måned i 1940, og Rudolf Hess satt i Queen's House i fire dager i april 1941. Rollen som fengsel ble avsluttet med henrettelsen av spionen Josef Jakobs på skytebanen den 14. august 1941.