累授朝散大夫。隋大业十三年刘武周起，收罗敬德为偏将，与宋金刚南侵，陷晋、浍二州。敬德破永安王李孝基，俘虏李孝基、独孤怀恩、唐俭等。武德三年（620年），世民征刘武周，刘武周令敬德与宋金刚在介休抵御。太宗遣任城王李道宗、宇文士及前往劝降。敬德与寻相举城投降。世民大悦，赐以曲宴，引为右一府统军。唐高祖第四子齐王李元吉善马槊，听闻敬德擅长避槊，轻视之，想亲自试探敬德的本事，约定去掉槊刃，用竿互相刺。敬德却说即使有刃的槊也不能伤到自己，只去掉自己的槊刃，李元吉却始终不能用有刃的槊刺中敬德。李世民又命敬德夺取