Rich ble født av jødiske foreldre i Brooklyn i New York. Han begynte å spille trommer 18 måneder gammel og spilte i familiens Wilson & Rich vaudeville under kallenavnet «Baby Traps, the Drum Wonder».