有联姻关系。金日磾次子金赏的妻子是他女儿。另外一位辅政大臣上官桀的儿子上官安所娶则是霍光长女，有一女上官氏。上官安打算让时年仅仅六岁的上官氏做皇后，遭到霍光反对，于是转而走盖长公主的门路，成功实现目的。上官家族为了回报盖长公主，想将其情夫丁外人封列侯和光禄大夫，也被霍光驳回。霍光此前又曾多次阻止上官家族其他亲戚封官。双方因而结怨，成为政敌。此时的外朝领袖桑弘羊也因为与内朝领袖霍光发生激烈斗争，因此加入了上官桀的反霍光集团。桑弘羊在西元前81年盐铁会议上与霍光发生政见冲突，又因为同年霍光任命自己亲信杨敞为大司