伊勢貞孝
しかし、将軍の追放と復帰が繰り返された室町幕府において代々政所を取り仕切って幕府機構の維持を図ってきた伊勢氏の幕府機構に対する影響力は将軍の決定すら覆す程にまでなっており、義輝からは伊勢氏そのものが脅威として見られるようになっていった。また、長慶の家臣である松永久秀が台頭するようになると、貞孝は次第に立場を失うようになっていった。
永禄5年(1562年)3月に六角義賢が京都に侵攻した際(将軍地蔵山の戦い)、これまで三好長慶と対立していた義輝は長慶を支持して石清水八幡宮に逃れて長慶と共に抵抗しているにもかかわらず、貞孝は六角氏占領下の京都に止まって政所沙汰を公然と行ったことが義輝・長慶双方の怒りを買った。また、同じ頃に貞孝が職権を利用して幕府法に反して勝手に徳政免除を行っていることを政所代の蜷川親俊に告発されている。6月に義輝・長慶が京都に復帰すると貞孝は更迭されて失脚に追い込まれた。
このため京都船岡山で挙兵したが、長慶の命を受けた松永久秀の追討を受け、子の貞良と共に近江杉坂にて戦死した。孫の貞為・貞興兄弟は生き延びたが、伊勢氏は没落する事になる。なお、伊勢貞倍・伊勢貞助らの庶流は貞孝とは行動を共にせず引き続き義輝に仕えている。また、この挙兵には三淵藤英ら複数の幕臣が関わっていた形跡があり、この挙兵については不明な点が多い。
貞孝の失脚と滅亡によって、伊勢貞継以来長く続いた伊勢氏による政所支配の歴史に終止符が打たれ、義輝は新たに政所執事に任じた摂津晴門を通じて政所の掌握を図ることによって将軍権力の回復を図る。だが、これが長慶没後の三好氏や松永久秀の反感を買って永禄の変の遠因となった。