Etter 13. november 1537 finnes ikke Gomberts navn lengre i hoffets regnskaper. Årsaken til at han forsvant så brått er ifølge Girolamo Cardano at han ble tatt for seksuell omgang med en korgutt, og dømt til straffarbeid på galeiene. Han skrev likevel noen komposisjoner som straffange, og Cardano forteller at disse rørte keiseren slik at han benådet Gombert. Han fikk ikke komme tilbake til hoffet, men siden han fortsatt hadde en prebende, sannsynligvis i Tournai, kunne han leve resten av sitt liv uten økonomiske bekymringer. Gomberts navn fantes ikke i listen over geistlige som leste messer i Tournai, så forbrytelsen hans førte sannsynligvis til at han ikke lengre hadde kirkelige verv.