I 1880 hadde Holmestrand 40 fartøyer på tilsammen 10 292 tonn og med 341 manns besetning, men etter økonomisk nedgang og vanskeligere tider, ble næringslivet svekket mot slutten av århundret. Byen opplevde også en ødeleggende bybrann i 1884 da søndre del ble lagt i aske. I 1905 bestod byens handelsflåte av 15 fartøyer på 3431 bruttotonn, deriblant tre dampskip på 1064 tonn. I 1927 var flåten på fem dampskip på tilsammen 672 bruttotonn. Byens innbyggertall falt også svakt fra 2535 innbyggere i 1900 til 2204 i 1920 og 2146 i 1928.