La primera familia señorial conocida de Puivert fue la familia Congost, con diversos miembros adeptos a la religión cátara.