主家である赤松義祐との関係は決して良好ではなく、庇護していた晴政が病死すると義祐と一時的に和睦したが、やがて対立し独立勢力化し、室町幕府15代将軍・足利義昭及び織田信長との同盟を画策し義祐と対立した。
与主家的义祐关系不佳，在庇护的晴政病死后，一时间与义祐达成和睦，不过在不久后对立，于是成为独立势力，并与室町幕府第15代将军足利义昭和织田信长同盟，与义祐对立。