Han kom seg til Østerrike, og i Wien fullførte han legeutdannelsen, Der ble han dessuten kjent med Lev Trotskij, og de to skulle bli nære følgesvenner. Sammen med Trotskij grunnla han i 1908 den sosialdemokratiske avisen . Ved siden av medisinstudiene studerte han også under Alfred Adler og ble kjent med psykoanalyse. Han brukte av familieformuen til å oppebære finansielt. Under denne tiden som revolusjonær i undergrunnen tok Joffe partinavnet - etternavnet betyr «fra Krim».