刘宋的国境，到了陈汝，淮北的民众有七千多户前往北魏军前投降，北魏将他们迁到兖州和豫州南部，设置淮阳郡以安置他们，任命李祥为淮阳郡太守，加号绥远将军。流民前来归附的有一万多家，李祥奖励农业生产，百姓安居乐业。魏太武帝嘉奖李祥，赐给他衣服和马匹。李祥后升任河间郡太守，以威恩适度而知名。太安年间，朝廷征召李祥担任中书侍郎，河间郡百姓一千多人上书请求让李祥多留几年，魏文成帝拓跋濬不答应。李祥后在任内去世，朝廷追赠定州刺史、平棘子，谥号宪。