Fisher giftet seg inn i en rik familie, men tapte mye av formuen ved krakket på New York-børsen i 1929. Han er berømt for sitt utsagn få dager før krakket at aksjemarkedet nå har nådd et permanent høyt nivå.