唐太宗即位，授他为左卫府中郎将。突厥大军至渭桥，李君羡与尉迟敬德将他们击破。唐太宗道：“使皆如君羡者，虏何足忧！”改为左武候中郎将，封武连县公（武连郡公），驻守在玄武门。在军中读书不休，唐太宗嘉劳他。历任兰州都督、左监门卫将军。贞观八年（634年）跟随段志玄讨伐吐谷浑。贞观初年，太白星多次白天出现，太史占卜曰：“女三昌（女主昌）”。又有谣言：“当有女武王者”。唐太宗召集武官在内宫宴会，作酒令，都说出自己的小名。李君羡自称小名“五娘子”，唐太宗愕然笑道：“哪里的女子，如此勇勐！”又因为李君羡时任“左武卫将