Il est le fils de Louis François Marie de Gouzillon de Bélizal, (1788-1863), officier de la Légion d'Honneur et de Marie Célestine Louise Le Veneur de La Villechapron (1809-1871). Il est le petit-fils d'André-Marie de Gouzillon, (1741-1795), de Kermeno, seigneur du fief de Bélizal, en Saint-Mathieu de Morlaix, (Finistère), chef d'escadre de la Marine Royale, chevalier de l'Ordre royal de Saint-Louis, débarqué à Quiberon avec les troupes royalistes de la Marine du Régiment Hector, venues d'Angleterre, tué le , au combat de Plouharnel, lors de la Bataille de Quiberon.