Nascut a Polònia de pares jueus, aviat va decidir dedicar-se per complet als escacs; es creu que va ser el 1903 després d'assolir el cinquè lloc en un torneig a Kíev. El joc de Rubinstein va florir especialment entre 1907 i 1912. Començant amb una victòria al Torneig de Carlsbad de 1907, un primer lloc compartit (amb Emanuel Lasker) a Sant Petersburg el 1909, i un altre primer lloc al fort torneig de Varsòvia de 1910, seguit d'un segon lloc al torneig de Carlsbad de 1911 (el campió fou Richard Teichmann). El 1911 fou també segon al fort Torneig d'escacs de Sant Sebastià, rere Capablanca. El 1912 va assolir una ratxa rècord de victòries, assolint la victòria en cinc grans torneigs consecutius: Donosti, Piesany, Wrocław (campionat germànic), Varsòvia i Vilna.