Harrismith wurde 1849 gegründet. Die Stadt wurde nach dem Briten Sir Henry George Wakelyn Smith benannt, der meist Sir Harry Smith genannt wurde. Er war damals Gouverneur der Kapkolonie und hatte die Voortrekker ermutigt, die Kolonie Natal nicht zu verlassen. Ursprünglich sollte die Stadt 25 Kilometer westlich entfernt entstehen, wo heute der Ort Aberfeldy liegt. Dort befanden sich aber zu wenige Quellen, so dass die Stadt im Januar 1850 an der heutigen Stelle errichtet wurde. 24 Jahre später erhielt Harrismith Stadtrechte. Während des Goldrauschs in Kimberley war Harrismith eine wichtige Durchgangsstation auf dem Weg zum Hafen in Durban. Im Ersten und Zweiten Burenkrieg waren die Stadt und ihre Umgebung Schauplatz mehrerer Schlachten. Die Mehrheit der Bevölkerung war britischen Ursprungs, aber Bürger des damaligen, von Buren regierten Oranje-Freistaates. Im Vorort Intabazwe, auch 42nd Hill genannt, lebten zur Zeit der Apartheid vor allem Basotho. Später zogen viele Zulu dorthin, so dass die Bevölkerungsgruppen annähernd gleich groß sind.