Whitby har en etablert kulturarv inn maritim, mineral og turisme. På East Cliff står ruinene av klosteret Whitby Abbey hvor Cædmon bodde, den eldste anerkjente engelske poet. Fiskehavnen utviklet seg i løpet av middelalderen, og ga ly til fiskeflåter som jaktet på sild og hval, og sammen med nabolandsbyen Staithes hvor James Cook lærte seg sjømannskap.