Nitzsche ble født i Chicago i Illinois, men flyttet i 1955 som 18-åring til Los Angeles for å prøve å etablere seg som jazzsaksofonist.