El 5 de diciembre de 1565, Alfonso se casó con su segunda esposa Bárbara de Austria (30 de abril de 1539 - 19 de septiembre de 1572), la octava hija del emperador Fernando I de Habsburgo y Ana Jagellón de Hungría y Bohemia.