Alfonso Ussía es hijo segundo de Luis de Ussía y Gavaldá, II conde de los Gaitanes, y de su mujer María de la Asunción Muñoz-Seca y Ariza.