任凉州刺史。长广王元晔即位，尔朱世隆掌握政权，刘贵担任征南将军、金紫光禄大夫、尚书左仆射、西道行台，与行台元显恭在正平对峙。刘贵击败元显恭，元显恭被裴儁擒获。刘贵任晋州刺史。531年，转任行汾州事。高欢起兵，刘贵弃城到邺城归顺高欢。532年，以本官任肆州刺史，转任行建州事。534年，担任陕州刺史。东魏建立，537年，担任御史中尉、肆州大中正。同年，加行台仆射，和侯景、高昂在洛阳攻打独孤信。刘贵深受高欢器重。但酷杀成性，视汉人为“一钱汉”。刘贵因为对汉人歧视颇深且在人前表现得肆无忌惮，因此与高昂不和，