尧君素留守河东，称为河东郡通守。唐朝派遣将军吕绍宗、韦义节攻打河东，不能取胜。屈突通战败降唐，在河东城下求见尧君素。屈突通劝尧君素归顺唐朝，尧君素不肯屈服。用木鹅在黄河漂流，向东都报告河东情势，尧君素被越王杨侗任命为金紫光禄大夫。从隋朝归降唐朝的庞玉、皇甫无逸都到河东城下，劝他归顺唐朝。尧君素没有动心。尧君素之妻也到城下劝説尧君素，尧君素拒絶，射杀妻子。尧君素统率部下继续抗唐。618年（义宁二年），尧君素部下俘虏唐朝行军总管赵慈景。唐军长期包围河东，城中粮尽，炀帝在江都被杀害的消息传来，河东人心开始瓦解。十