Mengelberg studerte klavér og komposisjon i Köln. I 1895 ble han leder for Concertgebouw-orkesteret i Amsterdam. Mengelberg virket også en periode i USA; fra 1921 til 1930 var han dirigent for New York Philharmonic Orchestra.