John Legends første store opptreden på plate kom da han spilte piano på Lauryn Hills ”Everything Is Everything” fra 1998. I soulmiljøet i Philadelphia jobbet Legend seg sikkert framover. Han tok engelsk på universitetet, men brukte mer tid på å lage musikk, både i A Cappella-gruppen han var medlem i, som dirigent for et kirkekor og som soloartist på klubber og talentshow. I 2000 hadde han utvidet området for sine faste sceneopptreder fra Philadelphia til byer som New York, Boston, Atlanta og Washington D.C..