Han oppnådde tidlig suksess, først med «Swanee», fremført av Al Jolson i . Gerswhins første orkestrale verk var Rhapsody in Blue, urfremført med Paul Whitmans orkester i 1924, under tittelen . Flere musikal-oppsetninger fulgte (, blant de mest kjente), hvorfra man fikk en serie med kjente melodier som og . Et flertall er ansett som amerikanske klassikere og med i «The Great American Songbook». Hans bror, Ira Gershwin, figurerte som tekstforfatter på de fleste av disse. Folkeoperaen «Porgy & Bess» opptok ham i over ett år, fra 1934, og fikk sin urfremføring i New York i 1935 med den amerikansk-norske Anne Brown i en av hovedrollene.