C’est sur les terres de la seigneurie d’Aubigny que son petit-fils, Bérault Stuart (vers 1450-† 1508 ; d'Aubigny, fils de John/Jean Stuart, d'Aubigny), ambassadeur et homme de guerre, connu pour ses campagnes au service du roi de France en Italie, construisit le corps du logis principal en brique et pierre, de , ainsi que la chapelle du château de la Verrerie. Il mourut en 1508, en Écosse près d’Édimbourg, alors qu’il avait été envoyé en mission secrète par auprès du roi . La chapelle, dédiée à la Vierge, a été consacrée en 1511.