Conley startet sin karriere på slutten av 1950-tallet og var sterkt inspirert av Sam Cooke. Han var en god venn av Otis Redding, og sammen skrev de låten «Sweet Soul Music» som han fikk en stor hit med i 1967. Etter dette fikk han aldri noen større hiter igjen.