Joffe, som var af jødisk oprindelse, måtte på grund af sin deltagelse i den russiske revolutionsbevægelse forlade Rusland og opholdt sig mestendels i Vesteuropa. Sammen med Lev Trotskij oprettede han i 1908 den socialdemokratiske avis "Pravda". Han vendte tilbage til Rusland 1912, men blev fængslet og sendt til Sibirien. Fra 1903 til 1917 var Joffe mensjevik, men sluttede sig i forbindelse med oktoberrevolutionen til bolsjevikkerne. Joffe var fra december 1917 til marts 1918 Ruslands hovedforhandler ved fredsforhandlingerne i i Brest-Litovsk 1918 og blev derefter ambassadør i Berlin. På grund af sine kontakter med revolutionære kredse og indsmugling af revolutionær propaganda i diplomatposten blev han udvist derfra sammen med hele den russiske delegation tre dage før den tyske novemberrevolution. Han ledte derefter fredsforhandlingerne med Estland, Litauen, Letland og Polen, deltog september 1922 i forhandlingerne i Tjang-tjun mellem Fjernøstlige Republik og Japan, fra 1922 til 1924 var han Sovjetunionens ambassadør i Kina og undertegnede i 1923 en samarbejdsaftale med nationalistlederen Sun Yat-sen, var derefter i Wien 1924-1925, i Tokyo 1925 og derefter i Genova. Som følge af stalinismens fremvækst i Sovjetunionen, efter at Lev Trotskij var blevet udmanøvreret af partiet, fratoges Joffe alle politiske positioner, samtidig med at han blev alvorligt syg, og han begik i forbindelse hermed selvmord.