抚山西，裁减幕府及州县冗费，又巡视边防。进右副都御史，力陈矿监张忠、孙朝等税使之暴。为官一生，两袖清风。山西百姓为其立祠。万历二十八年（1600年）魏允贞上疏说“陛下之爱贤士，曾不如爱珠玉锦绮也”。万历三十四年（1606年）卒于兵部右侍郎任上。天启初年，追赠都察院右都御史，谥介肃。《明史》称他“以卓荦宏伟之概，为众望所归”。
墓.魏允贞墓在南乐县城南关外。1947年出土墓志，1960年代初收入县文化馆。墓志为李化龙撰，李三才书，志盖“明通议大夫兵部右侍郎见泉魏公墓志铭”，杨时乔篆。