喜欢施人以小恩小惠，为时人所讥讽。高丽国库虽然亏空，但李仁任却是田地奴仆遍布各地，门生故旧遍布朝野。王禑十二年（1386年），升任侍中，次年告老还乡。十四年（1388年），被流放到京山府，亲戚子弟全部免职流放甚至处以极刑。王昌元年（1388年），左侍中曹敏修请求召回李仁任，但李仁任已病死流放地。百姓本来害怕他继续执政乱国，听说他已经死了，都欢唿雀跃说：“人杀不了他，老天都要收拾他！”后又禁锢其子孙不得做官。恭让王即位，命夷平其宅邸。明朝误以为李仁任是李成桂之父，引发两国之间的宗系辩诬事件。