I 1917 kom Joffe, løslatt fra sitt eksil i Sibir ved februarrevolusjonen, tilbake til Krim. Sosialdemokratene på Krim sendte ham til landets hovedstad, Petrograd, for å representere dem. Men han gikk snart over til et internasjonalistisk revolusjonært standpunkt, noe som gjorde det umulig for ham å forbli i en organisasjon dominert av mindre radikale mensjeviker. I stedet slo han seg sammen med Trotskij, som akkurat hadde vendt tilbake fra utlandet.