战死，于是继承家督。在这段时期，因为还很年幼，于是一族的浦上国秀成为后见，直至天文7年（1538年）。最初与杀父仇人赤松政祐激烈对立，一直持续争斗。不过在天文6年（1537年），尼子诠久（后来的晴久）开始侵攻山阳道后，与政祐达成和睦。与政祐一同对抗尼子氏，不过因为国众离反而败北，被迫从备前国撤退至播磨国。天文8年（1539年）末，被东进的尼子军从播磨流放，奉迎政祐并经由淡路，逃到和泉国的堺。天文9年（1540年）初，政祐受将军足利义晴下赐偏讳，改名为赤松晴政。同时自身亦元服，受晴政下赐偏讳，改名为与