原三县县令，考绩连续被评为最优，深获尚书左仆射（左相）杨素，吏部尚书牛弘的赏识。大业末年，李靖被派往北方前线，调任马邑郡丞，在李渊帐下和突厥作战。与李渊相处后，李靖发现他有“四方之志”，（即拥兵自立之意图），于是李靖把自己伪装成囚徒，并前往江都，准备向隋炀帝密告。结果走到长安的时候，因兵荒马乱不能前行，滞留在那里。李渊自太原起兵后，迅速攻下长安，李靖被俘。临斩前，李靖大叫：“您兴起义兵，本是为了天下，除去暴乱，怎么不欲完成大事，而以私人恩怨斩杀壮士呢？”李世民劝父亲赦免李靖。被李世民召入幕府，充做三卫。