中部的广治省肇丰府登昌县安居社的贫穷农家中。绍治二年（1842年），他参加承天场乡试，考中秀才，但因名字犯讳而被绍治帝下旨革除功名，并判处一年徒刑。嗣德三年（1850年），阮文祥再次参加乡试，考中举人。初补广义省慕德县训导。嗣德六年（1853年），广治省增设向化县，阮文祥改任向化知县。嗣德十五年（1862年），阮文祥因为在知县任上的出色表现，被任命为兵部办理，并出领广南按察使一职。嗣德十七年（1864年），升任承天府府尹。两年后（1866年），阮文祥因工作失误，降为成化县帮办。