Na trase súčasnej A2 boli za hitlerovskej éry po anšluse Rakúska naplánované ríšske diaľnice 88 a 83. K realizácii týchto projektov nedošlo z dôvodu vypuknutia druhej svetovej vojny. Po vojne sa výstavba sústredila predovšetkým na diaľnicu A1, ale v 60. rokoch sa postupne rozbehli stavebné práce aj na A2. Prvý úsek južne od Viedne začali stavať 6. mája 1959 a sprevádzkovali ho o tri roky neskôr, 26. mája 1962. Výstavba sa neskôr presunula do zložitého alpského terénu a bolo potrebné preraziť až 20 tunelov v celkovej dĺžke vyše 18 kilometrov, čo je takmer 5 percent z celkovej dĺžky diaľnice. Posledný úsek medzi mestami Völkermarkt a Klagenfurt otvorili 26. novembra 1999. Stavebné práce však pokračovali ďalej na dostavbe druhých tubusov niektorých dlhých tunelov. Definitívne boli ukončené až v decembri 2007.