År 1812, under det fjärde xhosakriget, upprättade den brittiske överstelöjtnanten John Graham sitt högkvarter på platsen där staden nu ligger. Runt där han hade sitt högkvarter växte en stad upp som först kallades Grahams' Town, men som nu heter Grahamstown. När kriget var slut stannade Graham kvar och gifte sig med Johanna Catharina Cloete, en ättling till den förste nybyggaren i Kapkolonin. Paret fick tre döttrar och en son. 1912 restes ett monument vid det träd där han tog beslut om att anlägga staden.