把他的头发拔掉，免去官职，废为平民，发配到晋阳去背炭。天保八年（557年），高洋任命太师斛律金为右丞相，前大将军可朱浑道元为太傅，开府仪同三司贺拔仁为太保。干明元年（560年），常山王高演、长广王高湛与平秦王高归彦、贺拔仁、斛律金一起参与诛杀杨愔。齐后主天统元年（565年）四月廿五，高纬任命贺拔仁为太师，侯莫陈相为太保，冯翊王高润为司徒，赵郡王高睿为司空，河南王高孝琬为尚书令。天统三年（567年）八月，高纬任命任城王高湝为太师，冯翊王高润为大司马，段韶为左丞相，贺拔仁为右丞相，侯莫陈相为太宰，娄睿为太傅