十三年（1415年）生于上元县。正统四年（1439年），登己未科进士一甲第三名（探花），授翰林院编修。正统九年，受命祭祀北岳。正统十四年，升任翰林院侍讲，出使朝鲜，传有《朝鲜纪事》。随后任侍讲学士兼中允。景泰七年，预修《寰宇通志》，迁左春坊大学士。英宗复辟，改任通政司左参议。天顺二年（1457年），充任日讲官。次年，出任顺天府乡试主考官，后被贬戍宣府。成化初年，宪宗登基后召还倪谦，并预修《英宗实录》升南京礼部右侍郎，后被监察御史陈选弹劾罢免。成化七年，再次出任南京礼部右侍郎，升任南京礼部尚书。因病辞职归