Los cinco hermanos eran hijos de Samuel y Minnie Marx, quienes habían tenido en 1886 a su primer hijo, Manfred, que murió siete meses después de gripe.