跟从父亲在边境，尽知厄塞险易，特着《九边图论》上呈。世宗大喜，颁给边臣议行，许论自此有知兵之名。之后，许论累迁南京大理寺丞，当时朝廷推举顺天巡抚，论名列第二。世宗道：「是上《九边图论》者」，即拜都察院右佥都御史，命其上任。录功，进右副都御史，因病免职。俺答汗进犯京畿，起为山西巡抚，进兵部右侍郎，总理京营戎政，以筑京师外城之功，转兵部左侍郎。嘉靖三十三年（1554年）出任宣大总督，因功进右都御史、再进兵部尚书，荫子锦衣卫世袭千户。随后率部击退蒙古进犯，加太子太保。嘉靖三十五年（1556年）兵部尚书杨博因父