岳父官礼部尚书，乞改南，历迁兵部郎中。嘉靖七年（1528年），出为江西赣州府知府，时詹事霍韬用事经赣，世芳无加礼，韬善之，语太宰，迁广东按察司副使提督学政。会朝廷改先师像及杀祀礼，世芳迟迟不下，论调江西，遂拂衣而归。
家族.曾祖王辂；祖父王侨；父王悌，母陆氏。妻礼部尚书毛澄之女，续娶山东参政丘经之女。有七子一贯、一诚、一正、一中、一恭、一善、一艺，五女。