Frederiksted domineres som i kolonitiden av det røde og hvite Fort Frederik fra 1750-tallet. Fortet har en særlig historisk betydning både for USA og Danmark-Norge. Herfra kom den første salutt som anerkjennelse for selvstendigheten til Amerikas Forenede Stater i 1776, og det var også herfra generalguvernør Peter von Scholten frigav slavene i juli 1848. Derav dagens tilnavn Freedom City. Både fortet og byen fikk navnet sitt etter Kong Frederik V, men ble i den danske kolonitiden aldri kalt annet en Westenden på grunn av sin beliggenhet på øya.