。他和爻直不和，出言侮辱道「尔奴才，何所知」。爻直告知北院枢密使韩德让。韩德让问耶律乌不吕：「尔安得此奴」。耶律乌不吕回答「三父异籍时亦易得」。韩德让笑着放过了耶律乌不吕。后来在萧恒德属下讨蒲卢毛朶部，因功为东路统军都监。韩德让为大丞相，韩德让向睿智太后萧绰推荐耶律乌不吕为统军使。太后任命耶律乌不吕为统军使，加金紫崇禄大夫、检校太尉之位。弟弟耶律国留获罪，耶律乌不吕和母亲都被下狱。耶律乌不吕害怕罪祸及母，派人召回耶律国留。耶律国留回来后被处死，耶律乌不吕回归乡里，病卒。其兄耶律学古，弟弟耶律国留、耶律资忠、