Tydens die Kaapse grensoorloë (1779–1877) in die Oos-Kaap het die Britse militêre bevelhebbers Fort Buffalo, Fort Glamorgan, Need's Camp, Fort Murray, Fort Hill, Fort Hardinge en Fort Beresford langs die Buffelsrivier laat bou om die bevoorradingsroetes na King William's Town te beskerm. Fort Buffalo en Fort Glamorgan was teen die hoogte aan die westeroewer van die mond van die Buffelsrivier, net bo die huidige hawe van Oos-Londen en op die terrein van die Fort Glamorgan Gevangenis. Slegs die oorspronklike kruithuis bestaan nog. Tydens die Oorlog van die Byl (die Sewende Grensoorlog, 1846–47) het die goewerneur van die Kaapkolonie, sir Peregrine Maitland, probleme ondervind om troepe vinnig by die leërhoofkwartier in King William's Town te kry en hulle van voedsel en krygstuig te voorsien. Waterloobaai met Fort Dacres is as hawe ondoeltreffend beskou. Die keuse het op die mond van die Buffelsrivier geval en in 1847 is begin met die opmeet en bou van Fort Buffalo. Dit het bestaan het uit 'n kaserne, mure met skietgate, magasyne en 'n kruithuis. Daar is ook 'n kaai vir skepe gebou.