对马藩从朝鲜秘密输入人参的政策不满的缘故，雨森芳洲辞去了朝鲜方佐役的官职，并将家督之位让给了儿子显之允。1727年，雨森在对马藩开设朝鲜语学校，专注于着书和教授儒学。1729年，雨森曾作为江户幕府的特使前往釜山倭馆。1734年，担任对马藩主宗方熙的侧用人，着有藩政管理相关书籍《治要管见》和对朝鲜外交心得的《交隣提醒》。1755年，在对马严原日吉的别邸中逝世，享年88岁。谥号一得斋芳洲清府君，葬于日吉的长寿院。其子显之允死后，葬于芳洲墓之侧。