Terceiro filho do rei Fernando II das Duas Sicílias e de sua segunda esposa, a arquiduquesa Maria Teresa da Áustria, Afonso nasceu como quarto na linha de sucessão ao trono do Reino das Duas Sicílias (precedido por seus irmãos Alberto, Conde de Castrogiovanni e Luís, Conde de Trani e por seu meio irmão Francisco, herdeiro presuntivo da coroa). Seus avós paternos foram o rei Francisco I das Duas Sicílias e a infanta Maria Isabel da Espanha; enquanto seus avós maternos foram o arquiduque Carlos, Duque de Teschen (herói austríaco, vencedor da Batalha de Aspern-Essling) e a princesa Henriqueta de Nassau-Weilburg. Diferente da mãe e das irmãs, o príncipe herdou o temperamento alegre e festivo do pai.