留守李渊手下任职鹰扬府司马。大业十三年（617年），唐国公李渊父子在晋阳起兵，授赵文恪右三统军。隋恭帝义宁二年（618年）五月，李渊在长安称帝，建立唐朝。唐朝武德二年（619年），拜都水监，封新兴郡公，以跟随太原起兵的功劳，与长孙顺德、刘弘基、窦琮、柴绍、唐俭、殷峤等十四人“约免一死”。适逢乱世，马匹消耗甚多。李渊与突厥议和，派遣赵文恪到太原和齐王李元吉一起想办法让突厥同意在边塞买卖马匹来装备唐军。武德二年三月，占据马邑，依附突厥的刘武周接受部将宋金刚“入图晋阳，南向以争天下”的建议，率兵侵犯河东。