Årene siden 1903 hadde Joffe selv vært mensjevik, men han sluttet seg dermed nå til bolsjevikpartiet. Det skjedde med to trinn: I mai 1917 sluttet både Joffe og Trotskij seg midlertidig til mezjrajontsij, som i sin tur slo seg sammen med bolshevikene under den VI. bolsjevikiske partikongress holdt mellom 26. juli (alle datoer frem til februar 1918 var etter gammel stil) og 3. august 1917. Ved kongressen ble Joffe valgt til kandidatmedlem (ikke-voterende medlem) av sentralkomiteen. Men to dager etter, den 5. august, da enkelte av sentralkomiteens medlemmer var fengslet, i dekning eller hadde flyktet fra Petrograd og ikke kunne delta på møtene, ble Joffe gjort til medlem av Sentralbyråets permanente byrå. Den 6. august ble han dessuten et alternerende medlem av Sentralkomiteens sekretariat, og den 20. august til medlem av bolsjevikenes avis som av rettslige grunner da midlertidig bar navnet .