I løpet av 1700- og 1800-tallet vokste befolkningen i Fraserburgh med topper på grunn av sesongbasert sysselsetting. Fra en befolkning på anslagsvis 1682 i 1755, ble det registrert en befolkning på rundt 2000 i 1780, hvorav 1000 bodde i selve byen. Det var ytterligere 200 mennesker i landsbyen Broadsea.