质朴节制自守，秉政后无所建树。其子任逊曾上书，诋毁大臣及任布都是不才，御史鱼周询于是奏疏“任布不才，其子当然知道。”庆历二年（1042年）于是任布以尚书工部侍郎罢知河阳。议者以鱼周询引任逊的话罢免其父，很不得体。任布改任蔡州，授太子少保致仕，进升为少傅。皇祐年间，诏命他陪祀明堂，称病未去。赐一子进士出身，升迁为少师。任布回到洛阳，作五知堂，为知恩、知道、知命、知足、知幸。去世后赠太子太傅，谥恭惠。其子任达，性情恬静淡远，尚佛学，官至司封郎中。第六子任述，王屋知县。