Bien pronto el castillo pasó a manos de los Palol que era una familia de linaje fundamentalmente militar.