统九年，受命祭祀北岳。正统十四年，升任翰林院侍讲，出使朝鲜，传有《朝鲜纪事》。随后任侍讲学士兼中允。景泰七年，预修《寰宇通志》，迁左春坊大学士。英宗复辟，改任通政司左参议。天顺二年（1457年），充任日讲官。次年，出任顺天府乡试主考官，后被贬戍宣府。成化初年，宪宗登基后召还倪谦，并预修《英宗实录》升南京礼部右侍郎，后被监察御史陈选弹劾罢免。成化七年，再次出任南京礼部右侍郎，升任南京礼部尚书。因病辞职归养，成化十五年（1479年）去世。追赠太子太保，谥文僖。
着作.有《玉堂稿》、