Joffe werd geboren in de Krim (toen nog onderdeel van het Keizerrijk Rusland). Hij kwam uit een rijke familie. In 1900 werd hij, terwijl hij nog op de middelbare school zat, een sociaaldemocraat. Hij werd in 1903 formeel lid van de Russische Sociaaldemocratische Arbeiderspartij. In 1904 werd Joffe naar Bakoe gestuurd, waar hij echter moest vluchten om te voorkomen dat hij werd gearresteerd. Hij werd toen naar Moskou gestuurd, maar moest ook daar vluchten, ditmaal naar het buitenland. Na de gebeurtenissen van Bloedige Zondag op 6 januari 1905 keerde Joffe terug naar Rusland. Daar nam hij actief deel aan de Russische Revolutie van 1905. Begin 1906 was hij gedwongen om te emigreren naar Berlijn tot aan zijn uitzetting door Duitsland in mei 1906.