让为大丞相，韩德让向睿智太后萧绰推荐耶律乌不吕为统军使。太后任命耶律乌不吕为统军使，加金紫崇禄大夫、检校太尉之位。弟弟耶律国留获罪，耶律乌不吕和母亲都被下狱。耶律乌不吕害怕罪祸及母，派人召回耶律国留。耶律国留回来后被处死，耶律乌不吕回归乡里，病卒。其兄耶律学古，弟弟耶律国留、耶律资忠、耶律昭。