Brødrene Marx, alle født i New York City, var sønner av jødiske immigranter. Moren, Miene Schönberg, kom fra Tyskland, mens faren, Simon «Sam» Marx, kom fra Alsace i Frankrike. Han het opprinnelig Marrix, men endret etternavnet til Marx for å få det til å høres mer tysk ut i håp om at det vil bedre mulighetene til å få seg jobb. Da Miene, eller Minnie som hun etter hvert kalte seg, i en alder av 18 år møtte «Sam», eller «Frenchie» som han også ble kalt, jobbet han i en dansehall. Brødrene var talentfulle musikere allerede i ung alder. Spesielt Harpo som kunne spille bortimot alle instrumenter, inkludert harpe som han ofte spilte på film. Chico var en utmerket pianist, og Groucho spilte gitar.