Se casó con Francisca Dávila-Ponce de León y Zea y tuvieron una hija, María Luisa Ulloa y Dávila-Ponce de León, primera marquesa de Torre Milanos, que a su vez casó con Enrique de Eizmendi y Sagarminaga.