Su primer éxito fue el sencillo «Fire and Rain» de su segundo álbum "Sweet Baby James" (1970), disco que ocupa el puesto 103 de la lista de los 500 mejores álbumes de todos los tiempos de la revista "Rolling Stone".