General Jacob Glen Cuyler, landrost i distriktet Uitenhage, oppkalte området mellom elvene Sundays og Fish «Albany» etter Albany i New York som han kom fra. Albany ble fokuset for bosetning av nybyggerne i 1820 av Kappkoloniens nye britiske herrer. Det var en av de største immigrasjonsbølgene av britiske nybyggere til Afrika og var en milepæl i dannelsen av det anglo-afrikanske folk. Grahamstown, Bathurst og Port Alfred ble viktige landsbyer i Albany etter ankomsten til nybyggerne i 1820.