Green begynte å synge gospel da han var veldig ung. Han gikk over til å synge soul på slutten av 1960-tallet og slo igjennom i 1972 med låten «Let's Stay Together». Suksessen ble fulgt opp med hiter som «I'm Still in Love With You», «Call Me» og «Sha-La-La (Make Me Happy)». Han vendte tilbake til sine gospel-røtter på slutten av 1970-tallet og fortsatte i den banen frem til 1988 da han begynte å synge «verdslig» musikk igjen.