黄德和诬蔑刘平降贼，就要将刘平抄家，任布力言刘平不是降贼之人。再改任真定，又改任河南府，未至，庆历元年（1041年）召为枢密副使。任布质朴节制自守，秉政后无所建树。其子任逊曾上书，诋毁大臣及任布都是不才，御史鱼周询于是奏疏“任布不才，其子当然知道。”庆历二年（1042年）于是任布以尚书工部侍郎罢知河阳。议者以鱼周询引任逊的话罢免其父，很不得体。任布改任蔡州，授太子少保致仕，进升为少傅。皇祐年间，诏命他陪祀明堂，称病未去。赐一子进士出身，升迁为少师。任布回到洛阳，作五知堂，为知恩、知道、知命、知足、知