Elvira era hija legítima del capitán Luis Francisco de Góngora, natural de Córdoba, y Francisca Pérez de Inurrigarro, de origen andaluz.