庞玉与瓦岗军作战，兵败被俘。瓦岗军将领张弼释放李大亮，与其结交。时任唐王的李渊兵进长安，李大亮投归辅助高祖，授士门令。劝降胡人有功，唐高祖拜李大亮为金州总管司马，旋擢迁安州（今湖北安陆）刺史。玄武门之变后，李渊禅让帝位予秦王李世民。世民即唐太宗，改元贞观。在贞观年间，李大亮出任过交州都督、凉州都督、西北道安抚大使、剑南道巡省大使、左卫大将军、灵州大总管、工部尚书，晋封武阳县公。贞观八年（公元634年）李大亮领兵征伐从吐谷浑进犯而来的番兵番将，贞观十五年（641年）任灵州总管，与李靖协作击败薛延陀十万来犯