1897—1904 гг.— тюрьма и ссылка в Вятскую губернию. В ссылке знакомится с марксистской литературой и порывает с народниками. В 1902 году становится членом ВКП(б). Вернувшись в Воронеж вместе с местными революционерами Жилин создает искровскую организацию «Касса борьбы», которая установила связь с В. И. Лениным и активно поддерживала его борьбу за созыв II съезда партии. В январе 1904 года Жилин избирается секретарем Воронежского комитета РСДРП. В 1904 году опять тюрьма.