Jakob Rudnik, tên đầy đủ Yakob Matveevich Rudnik ('), sinh ngày 24 tháng 3 năm 1894 (theo lịch Gregorius là ngày 5 tháng 4 năm 1894) tại Kiev, Ukraina. Do hoàn cảnh gia đình quá nghèo, ông phải làm thêm kiếm sống từ năm 13 tuổi. Khi đang theo học tại Viện Kỹ thuật Petrograd thì phải bỏ dở vì toàn bộ sinh viên bị tổng động viên năm 1916. Năm 1917, ông tham gia lực lượng Bolshevik trong cuộc Cách mạng Tháng Mười Nga. Đầu năm 1918, ông trở thành thành viên của Ủy ban Đặc biệt toàn Nga (Cheka) ở Petrograd để làm việc trong quân đội. Cuối năm 1920, ông được cử đến Moskva để gia nhập tổ chức Quốc tế Cộng sản. Sau đó, ông được gửi đến hoạt động bí mật tại Pháp.