Simon ble først kjent som ene halvparten i Simon & Garfunkel, hvor han spilte sammen med Art Garfunkel. Hans karriere fikk et oppsving da han i 1986 og 1990 laget to plater i samarbeid med musikere fra Sør-Afrika.