从高欢破尔朱氏，转任开府仪同、骠骑大将军，封掖县子。累进光州刺史，后改封九门县公。北齐立国后，授领军将军，别封安定侯，为瀛州刺史。天保七年（556年），讨破鲁阳蛮。皇建元年（560年）以外戚封东安王，任丰州刺史。齐孝昭帝大宁元年（561年），进位司空。齐武成帝河清元年（562年）高归彦在冀州叛，娄叡镇压有功，拜司徒。河清三年（564年）以杀人罪被尚书左丞宋仲羡弹劾，被赦免，担任太尉。在轵关击败北周军，俘获北周将军杨，以军功进大司马，率军赴悬瓠。娄叡停军百日不进，纵情财色、多行非法，免官。天统元年（565年