时继承了父亲的首领之位统领部落。魏道武帝拓跋珪初年，楼伏连跟随魏道武帝击败贺兰部，又跟随平定中山，出任中山郡太守。天兴五年(402年)，和尚张翘自号无上王，和丁零人鲜于次保在常山行唐聚集党羽，四月，楼伏连讨伐并斩杀了张翘。之后楼伏连跟随魏道武帝在柴壁讨伐姚平，因为军功获赐安邑侯。魏道武帝称帝后，楼伏连担任晋兵将军、并州刺史。楼伏连招纳诱降西河地区的胡人曹成等七十多人，又袭击杀死了赫连勃勃的吐京护军以及守城的士兵三百多人，俘虏了叛变的胡人阿度支等两百多家。魏明元帝拓跋嗣称赞楼伏连，任命曹成等人为将军，赐予侯爵