Fue hijo de Félix José de Ayala Medina y Calderón y María Josefa de Gudiño y Toledo, quienes casaron el 23 de febrero de 1743 en la ciudad de Panamá.