在安庆组织励志学社。1902年（光绪28年），他和赵声在南京组织强国会，图谋反清。因事洩而失败，他回到安徽省入安徽武备学堂。1904年（光绪30年）他任安徽公学教员。1905年（光绪31年），陈独秀组织岳王会，他任南京分会分会长。同年9月，他应南京第9镇第17协第33标第2营管带赵声的招聘，任该营前队队官。赵声任第33标标统后，柏文蔚升任第2营管带。1906年（光绪32年），他加入中国同盟会。同年秋，柏文蔚和同郷孙毓筠共谋以炸弹暗杀两江总督端方。刺杀失败后，他逃到东北，加入吉林省的胡殿甲所率的吉强军