Klubben ble grunnlagt i 1920 med navnet (KSK Klagenfurt) og hadde da lilla og hvite drakter. Tre år senere ble de slått sammen med Amateur-SK Klagenfurt og i 1927 med Klagenfurter SK. Navnet SK Austria Klagenfurt dukket derfor opp samme år. I 1963 rykket lagen opp til den daværende toppdivisjonen i Østerrike, Staatsliga. De var ikke stabile i den øverste divisjonen, men mellom 1966 og 1970 og 1973-1975 var de i Staatsliga. Da serien ble forandret til Bundesliga, kom Austria Klagenfurt igjen opp på det øverste nivået i 1983, og holdt seg der til 1989. Laget var aldri et topplag, og femteplassene fra 1966 og 1968 var de beste plasseringene.