Utenfor scenen var Marx interessert i å lese og kommenterte senere at han angret på at han aldri fullførte skolen eller tok høyere utdanning. Til tross for mangelen på formel utdannelse skrev han flere bøker, inkludert en selvbiografi, «Groucho and Me» (1959).