于是废除323年前赵册封的官爵，恢复晋朝大将军、凉州牧的名号，派军攻掠前赵的秦州诸郡。刘胤率军与前凉交战得胜，十月，追击渡过黄河，张骏于是失去黄河以南的地域。328年末，刘曜在和后赵交战时被擒，刘熙成为前赵实际上的领导人，但并未登基称帝。刘胤决定撤出长安西保秦州的首府上邽（今甘肃天水），由于秦州多山容易防守。但撤出长安时引起了惊慌，军队慌忙西逃许多领土沦于后赵之手。329年八月，刘胤率前赵军试图收复长安。开始获得小胜，而围攻长安时被后赵大将石虎击败。刘胤退守上邽，九月，石虎乘胜追击，攻克了上邽。他杀