本名日磾，汉武帝赐姓金，原为匈奴休屠王的太子，西汉元狩二年（前121年）霍去病奇袭休屠王，休屠王被杀，年仅14岁的金日磾伴随昆邪王投降汉朝，沦为官奴，被送到黄门署饲养马匹。后升马监、侍中驸马都尉光禄大夫，赐姓金，深受宠爱，以功拜车骑将军。汉武帝去世时，与霍光、上官桀和桑弘羊共同受到遗诏辅政。后元元年，揭发侍中仆射莽何罗和重合侯马通兄弟谋反有功，被封为侯，官至太子太傅，其子孙世受封侯，卒谥敬。
家庭.东汉末年的金旋、金祎父子也可能是金日磾的后人。