Fue alumno, desde los seis años y durante una década, de Vincenzo Scaramuzza, que tuvo entre sus discípulos a Marta Argerich, de quien Gelber es coetáneo, y al padre de Daniel Barenboim, entre otros.