Fue construido en el solar de un antiguo edificio donde, según la tradición, vivió Iván de Vargas, quien, en el siglo XI, dio alojamiento y trabajo a san Isidro.