Joffe ledet den bolsjevikske fraksjon i Petrograds Duma (byregjering) høsten 1917, og var en av Dumaens delegater til Den demokratiske konferanse mellom 14. og 22. september. Selv om Joffe, på linje med Lenin og Trotskij, motsatte seg bolsjevikisk deltagelse i det konsultative Pre-parlamentet dannet av Den demokratiske konferanse, fikk forslaget tilslutning fra et flertall av de bolsjevikiske utsendinger til konferansen. Joffe ble så gjort til medlem av Pre-parlamentet. To uker etter, den 7. oktober, fikk den mer radikale fraksjonen blant bolsjevikene overtaket, og Joffe og andre bolsjeviker masjerte ut av Pre-parlamentet.