Frecuentaba los mejores clubs de jazz, como el Five Spot o el Village Vanguard, En este período fue cuando Southern descubrió y se obsesionó con la obra del escritor británico Henry Green, que ejerció una notable influencia en sus primeros trabajos, convirtiéndole en uno de sus más ardientes seguidores.