升平府醴阳县盛美村（今广南省升平县平贵社贵盛村）的一个士大夫家庭，他的父亲阮长是平定布政使。咸宜元年（1885年），阮小罗前往顺化参加乡试，恰逢尊室说以咸宜帝的名义发动勤王运动，乡试未能举行。阮小罗返回广南家乡，弃文从武，以荫生身份招募了一支义军，成为南义一带着名的义军首领。勤王运动被镇压后，他获得官军统帅阮绅的赦免，回到家乡。然而，他却继续宣传反抗法国的思想，并与潘佩珠、陈季恰等人来往密切。成泰十六年（1904年），阮小罗和潘佩珠成立了维新会。后来，潘佩珠前往日本，阮小罗留在国内秘密联系爱国志士，筹措