Alfonso era nieto de Vicente Cabeza de Vaca y Fernández de Córdoba, IX marqués de Portago, ministro de Instrucción Pública y alcalde de Madrid.