Rubinstein ble født i Łódź og studerte i Warszawa. Han debuterte i Berlin i 1900. Debuten ble etterfulgt av opptredener ellers i Tyskland, Polen og videre studier med Ignacy Paderewski. I 1904 dro han til Paris, hvor han møtte komponistene Maurice Ravel, Paul Dukas og Camille Saint-Saëns, og fiolinisten Jacques Thibaud.