Las raíces de Fort Beaufort se remontan a una misión de 1816 del reverendo Joseph Williams de la London Missionary Society. En 1822, el Coronel Maurice Scott del Royal Warwickshire Regiment estableció cerca una frontera military contra los xhosas de Maqoma, que llamó Fort Beaufort en honor al duque de Beaufort, padre de Lord Charles Henry Somerset, primer gobernador británico de la Colonia del Cabo (1814-1826). Tras la 6º Guerra xhosa (1834–1835), el gobernador Sir Benjamin d'Urban autorizó la edificación de un fuerte al lado de la frontera militar con un hospital militar, barracas de infantería, etc.