因他厌恶王世充的为人，率领他的部属归附唐高祖，唐朝授他上轻车都尉。秦王李世民以他为左右，他跟随秦王破宋金刚于介休，加官骠骑将军，赐给他宫人、缯帛。从讨王世充，为马军副总管。王世充子王玄应自武牢运粮入洛阳，李君羡俘获他的军队，王玄应逃走。又随军破窦建德、刘黑闼，每战必单骑先锋破阵，唐太宗即位，授他为左卫府中郎将。突厥大军至渭桥，李君羡与尉迟敬德将他们击破。唐太宗道：“使皆如君羡者，虏何足忧！”改为左武候中郎将，封武连县公（武连郡公），驻守在玄武门。在军中读书不休，唐太宗嘉劳他。历任兰州都督、左监门卫将军。贞观