留守多次派军进攻平阳公主，马三宝和何潘仁屡屡挫败了敌军。李渊渡河后，授予马三宝左光禄大夫。李世民到达竹林宫后，马三宝带领数万士兵前去军门拜见，于是跟从李世民平定了京师，拜官为太子监门率。马三宝又另外在北山击败反叛的胡族刘拔真，跟从平定了薛仁杲，又随柴绍在岷州进攻吐谷浑，马三宝率先冲入敌人的阵地，斩杀了吐谷浑声名显赫的王，前后俘虏了男女数千人，累次以功劳封为新兴县男。后来马三宝跟随李渊巡游司竹园，李渊回头对马三宝说：“这是你建立英雄功业的起兵之处，卫青也不过如此！”李世民将要继承皇位的时候，有个叫法雅的和尚谋