I de følgende århundrene fungerte Whitby som en fiskelandsby fram til 1700-tallet da den utviklet en havn og ble et senter for skipsbygging, hvalfangst, handel med lokalt utvunnet alun, og framstilling smykker fra gagat (tett, svart rav, en beksvart, hard art av brunkull), men som på engelsk ble kalt for «Whitby jet jewellery».