Net als zijn broer, Leon de Burbure de Wesembeek, bleef hij orangist na de Belgische afscheuring. In oktober 1832 kwam hij in problemen toen hij samen met Prudens Van Duyse een Oranjegezind artikel publiceerde in "Le Journal de Gand". Ze werden beschuldigd van smaad aan de Belgische vlag en riskeerden een veroordeling. De zaak werd echter geseponeerd. Gustave werd daarop de dirigent van het muziek van het 'Belgisch Legioen' in Dendermonde.