La carrera de Southern entró en declive rápidamente en la década de 1970: sus trabajos en el cine disminuyeron, sus libros y relatos se fueron reduciendo, y adquirió reputación de drogadicto fuera de control.