Gershwin ble født i New York City til Morris (Moishe) og Rose Gershovitz som forandret familienavnet til Gershvin lenge før sønnene ble berømte. (det ble ikke stavet "Gershwin" før senere). Sky og tilbakeholden som han var i sin ungdom, tilbragte han mye av tiden hjemme hvor han leste, men fra barneskolen og gjennom college spilte han en prominent rolle i flere av skolens aktiviteter. Han ble uteksaminert fra Townsend Harris High School i 1914 hvor han møtte Yip Harburg som han hadde et livslangt vennskap med. Han gikk på City College i New York, men droppet ut.