Además, era hermano mayor de Martín Suárez de Toledo III casado con Francisca de Moscoso y de la Vega, la hija del mestizo Inca Garcilaso de la Vega, nieta de la princesa inca Isabel Chimpu Ocllo y tataranieta del emperador incaico Túpac Yupanqui.