Bondesønnen Gossec ble i seksårsalder korgutt ved stiftskirka i Walcourt, senere ved i Maubeuge. Han ble deretter medlem av kapellet i Maubeuges Peterskirke og fikk den første undervisningen i fiolin, klaver, harmonilære og komposisjon av lederen, Jean Vanderbelen. Fra 1741 til 1751 var Gossec korgutt ved Vårfruekatedralen i Antwerpen og fikk ytterligere musikkundervisning av domkapellmester André-Joseph Blavier.