Son père, Guillaume Stoltz, alsacien optant, pratique l'alto et enseigne la musique au Lycée national de Nancy. À neuf ans, Gaston entre au Conservatoire de Nancy où il étudie le solfège, l'alto et le piano, ainsi que l'harmonie avec Guy Ropartz. À Paris, il se perfectionne avec Théophile Laforge à l’alto et suit en auditeur libre les cours de contrepoint de Georges Caussade. Il joue dans les orchestres Colonne, Pasdeloup et Lamoureux. Admis en 1910 au Conservatoire de Paris dans la classe de trombone de Louis Allard, il y obtient son premier prix en juin 1912. Malgré ce brillant succès au trombone, son instrument de prédilection restera l'alto, et accessoirement la viole d’amour, pour le solo du "Jongleur de Notre-Dame" de Massenet. De retour à Nancy, il devient altiste au sein de l'orchestre du Conservatoire. Mobilisé dans le d'infanterie du Colonel Courtot de Cissey, il est grièvement blessé en août 1914 à la bataille du Léomont.