Judah døde 2. november 1863 av gulfeber. Judah hadde pådratt seg sykdommen i Panama under en reise til New York sammen med sin ektefelle, sannsynligvis da de krysset Panamaeidet. Judah skulle til New York for å forsøke å finne alternativ finaniering, slik at «Big Four» kunne kjøpes ut.