Fisher giftede sig ind i en rig familie, men tabte meget af formuen ved Wall Street-krakket på New York-børsen i 1929. Han er berømt for sit udsagn få dage før krakket om, at aktiemarkedet nu havde nået et permanent højt niveau.