Beaufort ist der Name einer französischen Burg, die im historischen Zusammenhang mit der britischen Adelsfamilie Sommerset steht. Der Name übertrug sich später auf die Stadt und gründet sich auf Lord Charles Somerset, dem Duke of Beaufort, nach dem das hier 1823 errichtete Fort benannt wurde. Bedeutende Sehenswürdigkeiten sind die Reste des alten Forts mit einem Befestigungsturm, dem "Martello Tower". Dieser Turm wurde 1837 errichtet. Das Fort diente als militärischer Posten in einer Kette von Befestigungsanlagen, die im Zuge der Grenzkriege zwischen Xhosa-Stämmen und britischen Truppen im 19. Jahrhundert entstand.