Ha pertenecido a varios dueños, comenzando por la idea de doña Isabel de Guevara de unir las casas de Isabel Barrios y la de Alonso Ortiz en el siglo XVI.