Adolf Abramovich Joffe lahir di Simferopol, Krimea, Kekaisaran Rusia dalam sebuah keluarga Yahudi Karait kaya. Ia menjadi sosial demokrat pada 1900 saat masih SMA, awalnya bergabung dengan Partai Buruh Sosial Demokrat Rusia pada 1903. Pada 1904, Joffe dikirim ke Baku, dalam rangka melarikan diri dari penangkapan. Ia kemudian dikirim ke Moskwa, tetapi melarikan diri lagi, pada waktu itu ke luar negeri. Setelah peristiwa Minggu Berdarah pada 9 Januari 1905, Joffe kembali ke Rusia dan aktif ikut dalam Revolusi Rusia 1905. Pada awal 1906, ia terpaksa beremigrasi dan tinggal di Berlin sampai ia diusir dari Jerman pada Mei 1906.