1845年2月23日下午13点35分，阿方索在巴西帝国里约热内卢的圣克里斯托弗宫出生，全名阿方索·佩德罗·德·阿尔坎塔拉·克里斯蒂亚诺·利奥波多·费利佩·欧仁尼奥·米格尔·加布里埃尔·拉斐尔·贡萨加。他的名字源自家族先辈葡萄牙国王若昂一世之子，创立布拉干萨王朝的布拉干萨公爵阿方索。由于父亲是皇帝佩德罗二世，他一出生就是布拉干萨王朝巴西皇室成员，名字前还有尊称“唐”（勋爵，）。阿方索是皇帝佩德罗一世的孙子，还是葡萄牙女王玛丽亚二世的侄儿。他的母亲是两西西里的特雷莎·克里斯蒂娜，因而他是两西西里国王弗朗切斯科