家庭，父薛孝通。道衡六岁时早孤，性好学，读《春秋左氏传》，有感于子产相郑之功，作《国侨赞》，见者奇之。历仕北齐、北周，北齐时，薛道衡待诏文林馆，兼主客郎，负责接待北周及南朝陈的使者。隋朝开皇八年（ 588年），被任命为淮南道行台吏部郎，随从晋王杨广、宰相高颎出兵伐陈。隋师临江，高颎曾问薛道衡：“此番举兵，能否克定江东，请君言之。”薛回答：“南北分裂已久，战争不息，否终斯泰，以运数言之，其必克一世；有德者倡，无德者亡。”隋朝建立后，任内史侍郎，加开府仪同三司。炀帝即位，爱其才，自番州（今广州）刺史召回，欲