En 1785 ya se encontraba en Caracas y, un año después, tras la muerte de su madre, Juan Manuel Olivares se lo llevó a su casa para enseñarle música y tenerlo bajo su cuidado.