El trabajo en la Torre Blanca, que da nombre al castillo entero, se considera que empezó en 1078, aunque la fecha exacta no se conoce.