遭到野武士突袭，60名家臣战死，义雅自己亦受伤。永享12年（1440年）3月17日，第6任将军足利义教下令没收义雅全部领地，改为从其兄满祐、和的领地中各自分割一部份给予满祐。此举源于义教干涉有力的守护大名的政策，同时却让满祐对义教的不满与日俱增。嘉吉元年（1441年）6月24日，满祐暗杀义教的嘉吉之乱爆发，由于当时义雅身在播磨，因此对于满祐和弟弟赤松则繁联手暗杀义教一事毫不知情。然而，由于事后满祐烧毁义雅在一条町屋的屋敷，义雅亦未有承认或否认自己是满祐的亲弟，因此幕府认定他与满祐为合谋。其后，以山名