隋文帝求情说「史万岁每次作战时都身先士卒，是个很好的军事将领。」隋文帝于是决定不杀他，而是除去他的官位。过了一年多才恢复官位。后来又任命他为河州刺史并兼任行军总管来防御突厥。开皇二十年（600年），突厥达头可汗带军队进攻隋朝边境，隋文帝下令晋王杨广与杨素从灵武道出兵，汉王杨谅与史万岁从马邑道出兵，围攻达头可汗。史万岁率领柱国张定和、大将军李药王与杨义臣等人离开边界，行军到大斤山时遇到达头可汗的军队，达头可汗派遣使者问隋军说，「你们军队的统帅是谁？」，士兵回答说「是史万岁」，突厥又问说，「是当年那个敦煌的