Son fils Artus Gouffier de Boissy (1475-1519 ; fils de Philippine de Montmorency) suit Charles VIII et Louis XII pendant les guerres d'Italie où il reçut la terre de Caravaz – titre devenu "marquisat de Carabas" dans "Le Chat Botté" de Charles Perrault – il s'intéressa à l'art de ce pays et a pu véritablement commencer l'importante collection d'art familiale. C'est alors qu'il se voit confier l'éducation du jeune duc d'Angoulême, en devenant gouverneur du futur François I. Il sera à ses côtés à Marignan et sera nommé Grand-maître de France en 1515. Peu de temps avant sa mort en 1519, il reçoit de François I, le titre de duc de Roannez et devient pair de France. Il entreprend alors la construction de l'actuel château : on lui doit la galerie basse de l'aile nord et celle de la collégiale au sud, achevée par sa veuve, Hélène de Hangest, mais disparue puisque reconstruite par le maréchal-duc François d'Aubusson de La Feuillade entre 1670 et 1680 (François III d'Aubusson (1631-1691) épousa en 1667 l'héritière Charlotte Gouffier, 1633-1683, petite-fille de Louis et arrière-arrière-arrière-petite-fille d'Artus : elle lui apporta en dot le domaine d'Oiron le 6/04/1667).