Albas bestefar, Fadrique Álvarez de Toledo, gav Alba tidlig en militær utdannelse. Alba deltok i slaget ved Pavia i 1525, trass sin unge alder. I 1535 deltok han i beleiringen av Tunis, og senere ledet han forsvaret av Perpignan i seieren over franskmennene. I 1547 utmerket han seg i slaget ved Mühlberg, der Johann Fredrik I av Sachsen ble beseiret. Han deltok også i den påfølgende beleiringen av Wittenberg, der Johann Fredrik ble tvunget til å gå av som kurfyrste.