Descendiente de una familia de raíces alemanas, comenzó su carrera como cellista en 1694 con su hermano Giovanni Antonio Haym en la orquesta del cardenal Pietro Ottoboni en Roma.