Sin embargo Juan de la Torre y Díaz Chacón, vivió en Arequipa durante 50 años; luego es lógico suponer que esa casa señorial fue construida por este caballero que, salvo las salidas castrenses que hizo para participar en las guerras de banderías peruanas, siempre estuvo viviendo en Arequipa.