Jay Gould var en person som unngikk oppmerksomhet og media. Han skjermet privatlivet sitt og ga sjelden intervjuer. Mange av de mest nedsettende og foraktfulle karakteristikkene av ham kom fra hans mange fiender, og Gould gjorde ingenting for å forandre folks oppfatning av ham. I de siste tiårene har bildet av Gould som skruppelløs, grådig og halvkriminell aksjespekulant blitt litt mer nyansert. Noen mener at - som noen yndet å kalle ham - ikke var noe mer kynisk og hensynsløs enn andre finans- og forretningsfolk som herjet på den tiden.