Autour de cette forteresse, la vie du village s'est organisée au Moyen Âge. Place protestante en 1590, elle fut détruite par ordre du roi Louis XIII en 1622. Le château est reconstruit au avec des jardins et des pièces d'eau. Pendant la Guerre de Vendée, Vezins fut le théâtre d'opérations sanglantes, et après le passage des colonnes infernales en 1794, il ne restait que des ruines calcinées y compris au château. Seules quelques maisons du bourg ont résisté.