Telegin gia nhập Hồng quân năm 1918 và chiến đấu trong Nội chiến Nga, trở thành đảng viên Đảng Cộng sản Nga (bolshevik) năm 1919. Ông từng là trợ lý Chính ủy Trung đoàn. Năm 1931, ông tốt nghiệp Học viện Chính trị-Quân sự Lê-nin. Lúc đầu ông là một sĩ quan chính trị trong NKVD, sau được chuyển sang Hồng quân. Ông đã có mặt trong Chiến dịch hồ Khasan và tham gia Chiến tranh Mùa đông. Năm 1940, ông trở lại NKVD, và ngay sau đó ông lại được bổ nhiệm vào Hồng quân. Vào đêm trước cuộc xâm lược của Đức, ông là Chính ủy Lữ đoàn.