I mars 1873 ble Richardson utnevnt til finansminister av president Ulysses S. Grant etter å ha arbeidet som assisterende finansminister under forgjengeren George S. Boutwell ved Department of the Treasury. I hans tid som finansminister i 1873 ble USA rammet av en depressjon på grunn av den hurtige økonomiske ekspanderingen etter den amerikanske borgerkrigen, kalt panikken i 1873. Handelsbankene var som følge av dette motvillige og begynte å dra inn sine lån. Richardson svarte på krisen med å trykke 26 millioner dollar i nye sedler. Lovligheten av dette trekket var uklart, men kongressen brøt ikke inn, slik at krisen ble løst.