士，事父母甚孝，遭丧，亲自负土埋葬。杨士奇尝称为「冰霜铁石」。正统年间，任监察御史，巡按浙江，修建船只，抵御倭寇。平赈灾台州、处州、宁州、绍兴等地饥荒。经吏部尚书郭琎举荐，升任吏部郎中。正统十年（1445年），荐为湖广右布政使。正统末，与参将张善平定湖南苗族叛变，景泰初年，与张善再次出击。升湖广左布政使。景泰六年（1455年），以都察院右副都御史，巡抚河南，抚恤流民。天顺初年，撤销巡抚官职，马谨亦被罢归。