Como de la Torre había enviudado en 1544 de Catalina de Feria y Villegas, contrajo nuevamente matrimonio con Ana Gutiérrez; esta moría también y de la Torre, cuando tenía 72 años, casa por tercera vez en julio de 1551 con doña Beatriz de Padilla Casillas y Narváez, natural de Granada, hija del Capitán D.