Navnet ble opprinnelig brukt bare om de to nordligste kommunene i fylket, Bykle og Valle. Området nedenfor ble kalt . I neste omgang forskjøv grensen for Setesdal seg sørover til Bygland med Byglandsfjord. Man brukte da begrepene Øvre- og Nedre Setesdal. I dag regner man at hele dalføret fra Bykle til og med kommunene Iveland og Evje og Hornnes hører til Setesdal. Mer enn halvparten av tidligere Aust-Agders areal tilhørte Setesdalskommunene. Området var tidligere en del av distriktet Råbyggelaget i Agder, dengang kystområdene gikk under navnet Agdesiden.