I 1570 hadde Fraser-familien bygget Fraserburgh Castle ved Kinnaird Head, og i løpet av et år ble det bygget en kirke for området. Alexander Fraser bygde en havn i byen i 1579, fikk et charter som etablerte den som en baroniburgh i 1588 og sikret retten til å endre navnet fra Faithlie til Fraserburgh i 1592.