到圣彼得堡，与列宁一起参加了工人阶级解放斗争协会的组建工作。1896年1月，马尔托夫再次被捕，次年流放西伯利亚。在流放期间他得了结核。1900年刑满释放，流亡西欧。1900年至1905年期间，马尔托夫与列宁一起，创办了第一份俄国社会民主工党的报纸《火星报》，并在巴黎的俄罗斯高级社会科学学园发行讲义。在1903年召开的俄国社会民主工党第二次代表大会上，马尔托夫同列宁就基本原则发生了重大分歧。马尔托夫主张信任群众行动的自发性，坚持以第二国际为建党模式，主张把一切愿意入党的人全部吸收进来。这与列宁所主张的