小罗返回广南家乡，弃文从武，以荫生身份招募了一支义军，成为南义一带着名的义军首领。勤王运动被镇压后，他获得官军统帅阮绅的赦免，回到家乡。然而，他却继续宣传反抗法国的思想，并与潘佩珠、陈季恰等人来往密切。成泰十六年（1904年），阮小罗和潘佩珠成立了维新会。后来，潘佩珠前往日本，阮小罗留在国内秘密联系爱国志士，筹措资金。维新二年（1908年），中圻爆发民变，阮小罗因支持民变而被殖民政府逮捕，最后被判流放昆仑岛9年。1911年11月11日，阮小罗死于昆仑岛监狱。直到1957年，他的遗体才返葬家乡。