Während des Britisch-Amerikanischen Kriegs 1812 verlor die Inselflotte erneut 38 Schiffe, jedoch konnte die Anzahl bis 1822 wieder auf mehr als 80 Schiffe erhöht werden. Nantucket behauptete sich zunächst im Wettstreit mit New Bedford, das über eine noch größere Flotte verfügte, musste aber Mitte der 1840er Jahre erste Einbußen hinnehmen. Die Walfangindustrie der Insel wurde 1846 durch ein Großfeuer im Stadtzentrum schwer getroffen, zudem verlockte 1849 der Kalifornische Goldrausch mehr als 400 junge Leute, Nantucket zu verlassen.