Klubben ble grunnlagt i 1921 og var i flere år lillebror i Baskerland bak både Real Sociedad og Athletic Bilbao. I 1930 lyktes klubben for første gang å rykke opp i øverste divisjon La Liga, hvor den overlevde i tre sesonger før den rykket ned igjen og forble i lavere divisjoner. På midten av 1980-tallet var klubbens økonomi merkbart dårlig, og fra å forhindre konkurs ble Alavés tvunget til å selge sin kommende storspiller, målvakten Andoni Zubizarreta, til Athletic Bilbao.