Han var gift med María Jerónima Moctezuma y Jofre de Loaiza som stammet fra en av de siste aztekiske keiserne. Med henne fikk han to døtre før hun døde, og Sarmiento y Valladares giftet seg på ny.