Barenboim ble først berømt som pianist. Begge foreldrene var pianolærere og han var med foreldrene på konsert med berømte musikere i Buenos Aires. Han var et vidunderbarn, han opptrådte første gang 7 år gammel og gjorde det første plateopptaket da han var 11 år gammel. Da den kjente dirigenten Wilhelm Furtwängler møtte Barenboim som liten gutt, erklærte Furtwängler at den unge pianisten «er et fenomen». Barenboim gikk i dirigentlære fra han var 9 år gammel. Selv om han skulle bli pianist, tok han regelmessige timer i direksjon Igor Markevitsj i Salzburg på 1950-tallet. I 1956 ble han kjent med Zubin Mehta.