La Tour blanche, qui donne son nom à l'ensemble du château, a été construite par Guillaume le Conquérant, duc de Normandie, en 1078.