山郡公，除雍州刺史。后在于东魏邙山之战中失律溃败，被免除官职，不久复官爵，拜柱国〔大〕将军，赐姓乙弗氏，改封南阳郡公。北周建立后，迁为太傅、大冢宰，进封楚国公。当时晋国公宇文护独揽朝政。赵贵自以为是开国元勋，功勋卓着，对宇文护有不平之色，他与卫国公独孤信谋划铲除宇文护，事到临头时却因独孤信优柔寡断而取消计划，不久此事被开府宇文盛探知，迅速告到朝廷。赵贵被杀，独孤信被逼令自尽。