平島公方
挽回を期する管領・細川高国を摂津国にて撃破、自害にまで追い込んだ晴元であったが、この後は徐々に変心した。空位となった管領の座についたばかりか、突如として義維を棄て、義晴将軍を推戴する側に回ったのである。しかも、新管領・晴元は自らの保身のため、それまで晴元軍の中核であった有力被官・三好氏の弱体化を図り、和泉国の顕本寺を敵対宗派の一向一揆に襲わせている。顕本寺を根拠地としていた三好氏の総帥・三好海雲入道は、義維を阿波国へ逃がし、自らは自害した。
こうして、堺公方は消滅した。将軍就任の夢を断たれた義維は、細川持隆に迎えられ天文3年(1534年)に西光寺に入り、その後、平島館へ移る。阿波の人々が、足利家の子孫を「平島公方」と呼ぶ起源となった。
『平島公方史料集』所収の史料によると、蜂須賀家は阿波公方家を自身の直の臣下として組み込もうと計画していた事実もある。
そのような不遇下でも、歴代当主の中には漢籍などに長けた者(例えば、義宜)などが多く、一大文化拠点のようなものを形成していたこともあった。4代義次の代には旧領のうち七浦山が返還され、5代義景の代には現米100石の合力米が許され、やがて明和年中(1764年 - 1771年)には現米950石が給され1190石まで知行が加増したなど、ようやく待遇の改善も見られた。蜂須賀治昭の幼少の頃は友好関係を取り戻していた。8代義宜は京都の学者の島津華山を招いたことで、公方家の住まいであった平島館は漢文学のサロンを形成することになった。
だが、文化2年(1805年)、9代義根は病気療養を名目に阿波退去の許可を請うた。藩主・蜂須賀治昭は好学であったため義根の教養を惜しんで引き留めたが、義根の意志は変わらなかったため阿波退去を許可し、義根には餞別として銀300枚を、平島家代々の墓がある西光寺には墓守料50石を与えた。