1年（1552年），居城大给城被东条松平家的松平忠茂攻击，于是与忠茂战斗。弘治元年（1555年）8月，被今川义元命令而攻击织田氏的居城蟹江城。弘治2年（1556年），进攻泷脇松平家的泷脇城，令松平乘清、乘远父子战死。在这段期间，跟随成为今川家人质的德川家康居住在骏府，弘治3年1月8日（1557年2月17日），与逗留在骏府的山科言继在酒宴中见面（『言继卿记』）。此后，言继在永禄11年10月10日（1568年11月9日）等会面，双方加深交情（『言继卿记』）。天正3年（1575年），乘远的次男乘高夜袭大给城，