平島公方
明治後、義俊は、足利将軍家の正当な末裔として華族に遇されるように運動を行ったが、多くの華族取り立て志願の家と同じように却下された。実収入の伴わない名門華族にはもともと反対の声が多く、受爵に失敗したのみか、阿波藩から脱藩していたため士族にもなれず、洛西の下山田村(現在京都市西京区)にて帰農し、平民となった。
28代当主の足利義弘は京都に住み、足利将軍家と関係がある自治体らで作る「全国足利氏ゆかりの会」の特別顧問を務めた。義弘は2018年10月に徳島県阿南市で開かれたゆかりの会の総会にも参加している。
退去の真相は明らかではないが、義宜の頃より平島家が松平大和守や大奥を刺激した蜂須賀重喜追い落とし工作に対する蜂須賀家の平島家への意趣返し(栄典の剥奪など)に耐えかねたという説や、屋敷や領内の七浦山の上質の木材を未処分のまま、あわただしく退去していることから、義根の子・義寛を紀州藩に仕官させる内約があったため急いで退去したという説がある。しかし、急いで退去したというには疑問がある。というのは、退去を公方家が阿波藩に届けてからかなり経過していること、それについて退去督促状を阿波藩が公方家側に出していること、退去費用捻出のために屋敷の施設を各所に売却するなどしていたこと、退去時の同行家臣は公方が平島に居着く以前の者に限ることなどを阿波藩が布告し、その通りにさせていることなどが挙げられる。また、義寛の仕官の伺いは、阿波退去後に出されていること、安政年間に、義俊が紀州藩家老宛に「知行地もしくは邸宅下賜の願い」を出していることなどが上げられる。 『徳島県史』がこれらに触れていないのは、編纂時に平島側史料にそれほど拠っていないためだと言える。 文化2年(1805年)7月25日、義根一行は船で京都に向け出港した。