转任签书枢密院事。绍兴二十一年（1151年）十一月，宋高宗命他为兼权参知政事，成为副相。绍兴二十二年（1152年）四月，右谏议大夫章复弹劾巫伋辅政无补，殿中侍御史林大鼐弹劾巫伋贪财营私，于是罢职，以本职奉外祠。章复等再次弹劾，巫伋于是落职。巫伋在位时谄媚秦桧，议论都很轻视他。六十五岁定居无锡锡山。干道九年（1173年）病故，葬在无锡华虑山。