重，魏太武帝拓跋焘诏令州郡举荐贤良，李祥应举，对策符合皇帝心意，出任中书博士。当时北魏的南部还没有归附，魏太武帝御驾亲征，派遣尚书韩元兴率领军队从青州出兵，李祥为军司。北魏军队进入刘宋的国境，到了陈汝，淮北的民众有七千多户前往北魏军前投降，北魏将他们迁到兖州和豫州南部，设置淮阳郡以安置他们，任命李祥为淮阳郡太守，加号绥远将军。流民前来归附的有一万多家，李祥奖励农业生产，百姓安居乐业。魏太武帝嘉奖李祥，赐给他衣服和马匹。李祥后升任河间郡太守，以威恩适度而知名。太安年间，朝廷征召李祥担任中书侍郎，河间郡百姓一千