Marx kom til verden som den yngste av fem barn i Linz ved Donau. Hans far, Viktor Marx fra Graz (1870–1928), var offiser i den keiserlige hæren. Hans mor, Clara Marx født Pichler (1876–1948) kom fra Oberdrauburg (Gjestgiveri Post).