Joe E. Brown wurde in einer kleinen Stadt im Mittleren Westen als Sohn von Mathias und Anna Brown geboren. Er war das dritte von sieben Kindern. Browns genaues Geburtsjahr ist umstritten, während die meisten Quellen von 1892 ausgehen, nennt sein Grabstein das Jahr 1891. Im Alter von neun Jahren begann Joe E. Browns Showkarriere, indem er sich mit Erlaubnis seiner Eltern einer Schaustellertruppe namens "Five Marvelous Ashtons" bei einem Gehalt von 1,50 US-Dollar in der Woche anschloss. Diese traten sowohl in Zirkussen als auch in Vaudeville-Theatern auf. Während seiner Reise erlebte er das Erdbeben von San Francisco im Jahre 1906, kehrte bald danach jedoch in seine Heimat nach Ohio zurück. Über eine lokale Amateurmannschaft wurde Brown über Umwege für kurze Zeit zu einem professionellen Baseballspieler und soll sogar ein Angebot der New York Yankees erhalten haben, dieses jedoch für die Fortsetzung seiner Showkarriere ausgeschlagen haben. Er behielt seine athletische Figur allerdings auch nach dem Ende seiner aktiven Karriere.