Rosenholz, Sohn des jüdischen Kaufmanns Pawel (Faiwel) Nachimowitsch Rosenholz, studierte am Kiewer Handelsinstitut mit Abschluss 1914. Seit 1905 war er Mitglied der Sozialdemokratischen Arbeiterpartei Russlands (RSDRP). Er beteiligte sich an der Russischen Revolution 1905 und an der Februarrevolution 1917. In der Oktoberrevolution war er einer der Führer der Bolschewiki in Moskau.