La Torre Blanca, que da nombre al castillo entero, fue construido por Guillermo el Conquistador en 1078, convirtiéndose en símbolo de la opresión en Londres por parte de la nueva élite gobernante.