Sebagai kolaborator seumur hidup dari Leon Trotsky, ia menjadi aktivis berpengaruh dari Second International, yang terlibat dalam politik dengan Uni Sosial Demokrat Bulgaria, Partai Sosial Demokrat Rumania, dan Partai Buruh Sosial Demokrat Rusia. Rakovsky dikeluarkan pada waktu-waktu yang berbeda dari berbagai negara akibat aktivitasnya, dan, pada Perang Dunia I, menjadi anggota pendiri Federasi Buruh Sosial Demokrat Balkan Revolusioner sesambil membantu menyelenggarakan Konferensi Zimmerwald. Ditahan oleh otoritas Rumania, ia kabur ke Rusia, dimana ia bergabung dengan Partai Bolshevik setelah Revolusi Oktober, dan, sebagai kepala "Rumcherod", gagal mengupayakan pengembangan revolusi komunis di Kerajaan Rumania. Kemudian, ia menjadi anggota pendiri Comintern, menjabat sebagai kepala pemerintahan di RSS Ukraina, dan ikut dalam negosiasi di Konferensi Genoa.