Im 16. und 17. Jahrhundert diente der White Tower als Arsenal der Truppen in der Stadt. Als sich der Große Brand von London auf den Tower zubewegte, lagerten mehrere hundert Fässer mit Schießpulver im Gebäude. Bevor das Feuer jedoch bis zum White Tower vordringen konnte, wechselte die Windrichtung.