督之位让与儿子义弘后隐居，但仍然继续握有家中实权。永禄7年（1564年）、唿应北条方太田康资的倒戈，义尧和义弘一同攻进敌对大名千叶氏的重臣高城胤吉势力范围、下总国的国府台城，并在此迎击北条军，掀起了第二次国府台之战。起初，斩杀了北条军将领远山纲景、富永直胜，里见军沉醉在一时的胜利而开始疏忽大意。拂晓，氏康发动奇袭、和北条纲成联手夹击下，里见军遭受大败，家中重臣正木信茂也在此役战死。战后，义尧、义弘父子失去了上总国大半而退回安房国，里见氏的势力也一时衰退。不过，之后以义弘为中心，里见氏在安房国休养生息，慢