Au début, les murailles sont construites uniquement en terre battue. Pendant le règne de l'empereur Longqing (1568), elles sont renforcées par la pose de briques bleues sur le sommet et les faces extérieures des murs en terre. Sous le règne de l'empereur Qianlong de la dynastie Qing (1781), les murailles sont agrandies, des dispositifs de drainage y sont installés, ainsi que des créneaux. D'autres modifications diverses sont apportées au murailles qui, a la fin des travaux, ont l'aspect qu'on leur connait à l'heure actuelle. À la chute de la dynastie Qing, les remparts commencent à se détériorer. Dans une certaine mesure, les autorités républicaines procèdent à l'entretien des murailles, qui sont alors en mauvais état. En effet, dans la première décennie du , les Remparts de Xi'an sont considérés comme étant d'une importance stratégique, bien que des murailles similaires, situées dans d'autres provinces du pays, soient démolies après la Révolution chinoise de 1911. En 1926, pendant les combats de l'Expédition du Nord, les fortifications sont bombardées, ce qui entraîne de graves dommages structurels; mais la ville située à l'intérieur des remparts n'est pas touchée. Pendant la Seconde Guerre mondiale, lorsque les Japonais effectuent des bombardements aériens de 1937 à 1940, les habitants construisent environ , utilisés comme abris antiaériens, à l'intérieur de la large base des remparts. Quelques ouvertures sont également pratiquées à travers les murailles, comme passages pouvant servir à évacuer la ville. Plus tard encore, de nouvelles portes permettant la circulation à travers les Remparts de Xi'an sont construites sous le régime républicain.