東山霊山城
まず、1日の早朝より長慶が2万5000ほどともいわれる大軍を率いて上洛した。義輝は船岡山に移動し、東山霊山城は松田監物、醍醐寺三宝院衆、磯谷氏らが守備に当たっていた。松田監物はおそらく室町幕府奉行人を務める家系である松田家の人物であると思われる。三宝院は醍醐寺の子院であり、寺領をめぐって三好氏と対立していたらしい。磯谷氏は山中村(現在の大津市山中町)周辺を基盤とした土豪である。
三好方では、今村慶満の軍勢が霊山城を攻めた。今村慶満は霊山城付近の渋谷越の流通を基盤とした今村氏の人物で、現地の地理を知悉していたと考えられる(阿弥陀ヶ峰城を参照)。戦闘の結果、三好方でも今村氏の一族など数人が戦死し、15、6人ほどの負傷者が出たものの、守備側では松田監物が自殺し、三宝院衆にも負傷者が出て、霊山城には火の手が上がり陥落した。
なお、陥落後義輝は船岡山に籠ったが、翌2日に三好方の軍勢が船岡山に迫ったので義輝一行は長坂越を経由し、5日に丹波山国荘を通過して近江の龍花に到着、その後朽木へ向かった。霊山城陥落によって5年間にもわたって義輝は朽木に幽居した。