Selv om han likte noe moderne musikk, var han stort sett enten negativ eller ambivalent til populærmusikken. Han likte å gå på jazzkonserter med venner i sin ungdom, og har nevnt jazz i sine skrifter. Ved en anledning kritiserte han The Beatles for «bad voice leading», men kunne like artister som Petula Clark og Barbra Streisand. Det var en gjensidig beundring mellom ham og jazzpianisten Bill Evans, som spilte inn sitt verk på Goulds Steinway & Sons' CD 318 flygel.