弱化后，三河松平元康势力逐渐崛起。多数领主都倒向松平方，唯有鹈殿氏因为是今川家的亲戚而继续留在今川方。但也因为如此，身为今川氏亲族、并以上之乡城为据点的鹈殿总领家，与以周边的下之乡城（蒲形城）为据点的鹈殿氏分家松平氏，成为敌对关系。尤其在德川与织田签订清洲同盟后，力图从今川氏自立的松平氏，与仕于今川氏的鹈殿氏，针对三河国内的支配权进行争夺。永禄5年（1562年），松平氏的松平清宗展开攻击，上之乡城陥落，与父亲长持一同战死。战斗前间，儿子氏长及氏次被捕获，被用来交换在骏河国今川氏当人质的家康之妻濑名姬