义元在桶狭间之战中战死，今川氏对三河国的支配力减退后，失去后援。松平元康（后来的德川家康）乘机从今川氏之下独立，并进攻吉良氏。在善明堤之战、藤波畷之战后，于永禄4年（1561年）被迫向松平氏降伏，此后，被移住至冈崎。永禄6年（1563年），在爆发三河一向一揆后，与三河一向宗结成同盟，再次与家康战斗，不过在被攻陷后，被迫从三河撤退（在战败后仍然留在三河，不过不久后离开，原因被推测是生活穷困）。此后，逃到近江国，最后在摄津国芥川死去。兄长义安继承的家督得到承认，三河吉良氏被允许存续。此后，三河吉良氏在江