Nantucketin valaanpyyntiteollisuuden toimintaedellytykset alkoivat nopeasti heikentyä 1840-luvulla. Kaupungin satama-allas oli pahoin liettynyt, eivätkä suuret alukset enää päässeet maihin purkamaan lastiaan. Kaskelotit olivat käyneet yhä harvinaisemmiksi ja vuonna 1838 keksittiin petroli, joka syrjäytti valaanrasvan lamppujen polttonesteenä. Vuonna 1846 kaupungissa riehui tulipalo, joka tuhosi satamalaiturit ja suuren osan liikekeskuksesta ja jätti sadat asukkaat köyhiksi ja kodittomiksi. Kalifornian kultaryntäys houkutteli laivalasteittain ihmisiä jättämään saaren ja kokeilemaan onneaan Yhdysvaltojen länsirannikolla. Viimeinen valaanpyyntialus "Oak" lähti Nantucketista vuonna 1869 eikä koskaan palannut sinne. Vuonna 1870 asukkaita oli enää vajaat 4 000, ja heidän määränsä pysyi samalla tasolla seuraavat sata vuotta.