Selv om Fisk hadde en høy stjerne blant arbeiderklassen i New York og arbeiderne ved Erie Railroad – der han de siste årene av sitt liv satt i direktørstolen – fikk han et slett omdømme blant annet på grunn av sin rolle i -krakket den 24. september 1869, hvor han og hans partner Jay Gould ble venn med den intetanende president Ulysses S. Grant i et forsøk på å bruke presidentens gode navn i et opplegg for å få kontrollen med gullmarkedet i New York. Den 7. januar 1872 ble Fisk skutt og drept i New York.