对付氏纲，讨伐三好政长，可是遭到长庆拒绝。翌年，长庆叛变，改为支持氏纲，晴元在江口之战大败。失去了主力家臣的晴元，逃到近江，此后一直利用义辉试图牵制长庆。1561年，在六角氏的介入下决定剃发，于摄津富田隐居。1563年于此地死去，终年49岁。墓所在大坂府高槻市慈云山普门寺的宝箧印塔，法名为龙昇院心月一清大居士。