在霍光生前,霍家子弟就已经占据了高位,遍布朝廷要津,“党亲连体,根据于朝廷”。霍光在世的时候,他们多少还有个约束;霍光不在了,这些人便变本加厉、为所欲为起来。霍光的儿子霍禹和他的侄孙霍山对霍显有样学样,大建宅第,在上林苑中骑马奔驰取乐。霍光另一个侄孙霍云,身为朝廷命官,却不好好上班,经常假称有病,私自外出游玩,以与人张网打猎为乐。霍家家奴与御史大夫的家奴争道,这奴才居然打上御史家的门兴师问罪,逼得御史下跪磕头道歉才算罢了。霍家子弟如此这般胡作非为,别人却不敢公开谴责。
如果仅仅是上述荒唐的行为举动,还不至于令霍家彻底败落,关键还在于,霍家(主要是霍显)还有一些大逆不道、骇人听闻的犯罪行为,这才是霍家致败的根本原因。