Su infancia transcurrió entre el Palacio de su abuela materna, la Duquesa de Parcent (su abuela la marquesa de Belvís de las Navas se casó en segundas nupcias con el Duque de Parcent), y el castillo familiar de la familia Hohenlohe en Bohemia. Cuando Alfonso contaba 22 años, el patrimonio y rentas de su familia habían disminuido considerablemente, al perder sus posesiones en Checoslovaquia por la Primera Guerra Mundial, en México a causa de la Revolución Mexicana y muchas propiedades que la familia poseía en España sufrieron daños en la guerra civil.