しかし、文明11年(1479年)に内藤元貞が細川被官の一宮氏の年貢免除を認めなかったため、細川家当主の細川政元が拉致される事件が起こり、文明14年(1482年)守護代を罷免された。