Etter at han forlot embetet ble Richardson utnevnt av Ulysses S. Grant til tjenestegjøre som dommer i United States Court of Claims, i en periode som varte fra 1874 til hans død den 19. oktober 1896 i Washington, D.C..