执掌朝政，武臣则没有参与朝政的权力。这引起了文臣集团与武臣集团之间的紧张对立。在毅宗年间，这种对立形势达到了极点。1170年，高丽毅宗率群臣出游，到达和平斋。文臣和武臣皆随驾出行，但文臣同毅宗一起饮酒对诗作乐，武臣则在外面担任警卫任务。牵龙行首散员李义方、李高等人，对文臣与武臣之间的差别待遇十分不满。毅宗察觉到了这一点，为了平息武臣的不满，在到达普贤院时，特意召见武臣中的最高官员大将军李绍膺，在御前表演五兵手搏戏，以示恩宠。但李绍膺年老力气小，在与一年轻人搏斗中失败逃走。文臣韩赖趁机上前殴打李绍膺。