Daar kan geen waarborg wees dat ek 'n groot jazz-musikant sal word nie, maar ten minste sal ek weet dat ek die regte ding doen. Ek wil nie in die roetine van die moderne konsertpianis se lewe val nie en wil ook nie op die goedkoop triomfe van die Barok-soustrein ry nie.
Hy het in jazz "die ritmiese dryfveer, die risiko, die absolute kontras met die bleek, akademiese benadering wat ek geleer het," gevind  Hy het ook die baritonsaksofoon gespeel.
In die 1960's het Gulda 'n Prelude en Fuga geskryf met 'n tema wat die Swing genre voorstel. Keith Emerson het so baie van Gulda se Fuga gehou dat hy dit gereeld in die 1970's in Emerson, Lake & Palmer-konserte opgevoer het. 'n Ateljee-weergawe is ook uitgereik op Emerson, Lake & Palmer se The Return of the Manticore].
In 1980 het hy sy Concerto vir Tjello en Blaasinstrument Orkes geskryf, wat al "so beweeglik soos dit lighartig is" genoem is, en wat uit vyf bewegings bestaan "waarby jazz, 'n minuet, rock, 'n katspoegie polka, 'n mars en 'n kadens met twee plekke waar 'n tjellis moet improviseer, betrokke is".
Hierdie ongewone praktyke, tesame met sy weiering om soms die gebruiklike reëls ten opsigte van bekleding na te kom (hy is op berugte wyse tydens 'n Suid-Duitse konsert vergelyk met 'n Serwiese koppelaar of die program van sy konserte vooraf af te kondig het aan hom die bynaam die "terroris pianis" besorg.  In 1988 het hy 'n opvoering gekanselleer nadat amptenare van die Salzburg-fees beswaar gemaak het teen sy insluiting van die jazz-musikant Joe Zawinul op die program.  Toe die Weense Musiekakademie ter erkenning van sy prestasies aan hom die Beethoven Ring toegeken het , het hy dit aanvaar, maar dit later weer heroorweeg en die prys terugbesorg.  Hy het, ten einde reklame te maak vir 'n konsert in 1999, sy eie dood in 'n persverklaring afgekondig sodat die konsert in die Wene Konzerthaus kon dien as 'n opstandingspartytjie.