Le donjon, l'un des mieux conservés de l'époque romane, fut bâti par Foulques Nerra, quatrième comte d'Anjou. Une analyse dendrochronologie réalisée sur des restes de poutres situe l’abatage des bois entre 1013 et 1035.