二年（1139年），完颜宗隽被金熙宗捕杀，赛里因会饮其家连坐，夺官爵。未几，复官。皇统四年（1144年），授世袭谋克，转都点检，封豳国公。拜平章政事。进拜右丞相，兼中书令。进拜太保、左丞相，监修国史。罢为左副元帅。无何，复为太保、左丞相，左副元帅如故。进太师，领三省事，兼都元帅，监修国史。出为南京留守，领行台尚书省事。复为左副元帅，兼西京留守。再为太保，领三省事。复为左丞相，兼都元帅。赛里自护卫，未十年位兼将相，常感激，思自效以报朝廷。虽然为悼平皇后的母党，皇后专政，大臣或因之以取进用，赛里未尝附之。皇