Родился в 1874 году в Гомеле. Внебрачный сын помещика А. Я. Савельева. Проходил обучение в Гомельской и Слуцкой гимназиях. В 1895 году поступил на медицинский факультет Московского университета, но был исключён из университета (1896) за участие в манифестации по поводу полугодовщины Ходынской катастрофы, выслан на родину, занимался сельским хозяйством. В 1898—1899 годах учился на медицинском факультете Юрьевского университета, из которого был исключён за участие в студенческих волнениях и членство в «Союзном совете объединённых студенческих землячеств и организаций». В промежуток между учёбой в университетах вёл революционную агитацию в ряде городов, в частности, в Гомеле и Несвиже. Карпович являлся одним из ведущих организаторов Гомельского комитета Российской социал-демократической рабочей партии, обеспечивал нелегальные поставки литературы марксистского толка.