后，楼伏连担任晋兵将军、并州刺史。楼伏连招纳诱降西河地区的胡人曹成等七十多人，又袭击杀死了赫连勃勃的吐京护军以及守城的士兵三百多人，俘虏了叛变的胡人阿度支等两百多家。魏明元帝拓跋嗣称赞楼伏连，任命曹成等人为将军，赐予侯爵的爵位，征召楼伏连出任内都大官。魏太武帝拓跋焘即位后，楼伏连进爵为广陵公，转任卫尉，升任光禄勋。神䴥二年四月（429年6月16日），魏太武帝讨伐柔然，楼伏连和北平王长孙嵩留守京城。太延元年五月庚申（435年6月15日），楼伏连爵位升为广陵王，其余官职如故，加平南大将军，又出任假节、督河西诸军