Lo más probable es que durante el siglo XII la estructura de madera fuera reemplazada por un castillo hecho con arenisca local aunque no hay pruebas documentales de estos restos.