道得罪了他，于是贿赂他的仆人问道：“相王真的怨恨我吗？”仆人回答说：“自从你上任后，相王每夜抱膝叹曰：‘盲人入，国必破矣！’”高纬乳母之子穆提婆求娶斛律光庶女，被拒绝。高纬赐提婆晋阳之田，斛律光在朝上当众拒绝。于是祖、穆二人对他积怨更加深。北周大将韦孝宽忌斛律光英勇，在北齐散布谣言；“百升飞上天，明月照长安”，还说“高山不推自崩，槲树不扶自竖”。祖珽以为是扳倒斛律光的好机会，于是又续写说：“盲眼老公背上下大斧，绕舌老母不得语。”让小童在路上歌唱。穆提婆不久也听说，与母商议后，对后主高纬进谗：“斛律氏几世