素归顺唐朝，尧君素不肯屈服。用木鹅在黄河漂流，向东都报告河东情势，尧君素被越王杨侗任命为金紫光禄大夫。从隋朝归降唐朝的庞玉、皇甫无逸都到河东城下，劝他归顺唐朝。尧君素没有动心。尧君素之妻也到城下劝説尧君素，尧君素拒絶，射杀妻子。尧君素统率部下继续抗唐。618年（义宁二年），尧君素部下俘虏唐朝行军总管赵慈景。唐军长期包围河东，城中粮尽，炀帝在江都被杀害的消息传来，河东人心开始瓦解。十二月，尧君素被部下杀害，王行本继续固守河东。638年（贞观十二年），唐太宗表彰前朝忠节，追赠他为蒲州刺史。