在庆长14年（1609年）或庆长16年（1611年）（山形县饱海郡游佐町的永泉寺中石塔的记录是庆长16年）逝世。光安死后，儿子光惟继承家督，但是在元和3年（1617年）最上氏的内纷中，被清水义亲指使的一栗高春加以杀害。残留的一族在最上氏被改易后成为山形藩的家老，后来移至江户，担任水野忠邦的第一家老等职务，在明治维新后留在江户藩邸（现今涉谷区神宫前）。还有其他族人在最上氏改易后，于东根地方归农并改姓横尾，代代担任郡中总代名主。