Vino acompañado de su esposa, una dama de noble alcurnia llamada Teresa de Castro y de la Cueva, que resultó ser así la primera virreina que radicó en el Perú y cuyo nombre sería perennizado mediante la fundación de la villa de Castrovirreyna (1591), elevada luego a la categoría de ciudad.