Brady brukte over 100 000 amerikanske dollar på å lage over 10 000 plater. Han ventet at den amerikanske regjeringen ville komme til å kjøpe bildene etter krigen. Men det nektet regjeringen å gjøre. Brady ble tvunget til å selge studioet sitt i New York City. Han gikk konkurs. Kongressen bevilget ham 25 000 dollar i 1875. Men han hadde fortsatt stor gjeld. Han ble deprimert av den økonomiske situasjonen han var i og det dårlige synet hans. Han følte seg ødelagt da kona døde i 1887. Han ble til slutt veldig ensom og døde pengelens i omsorgsavdelingen på Presbyterian Hospital den 15. januar 1896 av komplikasjoner etter en sporvognulykke.