永禄4年（1561年）被迫向松平氏降伏，此后，被移住至冈崎。永禄6年（1563年），在爆发三河一向一揆后，与三河一向宗结成同盟，再次与家康战斗，不过在被攻陷后，被迫从三河撤退（在战败后仍然留在三河，不过不久后离开，原因被推测是生活穷困）。此后，逃到近江国，最后在摄津国芥川死去。兄长义安继承的家督得到承认，三河吉良氏被允许存续。此后，三河吉良氏在江户幕府之下，并成为高家，子孙有赤穗事件的吉良义央。因为赤穗事件的影响，吉良氏在义央的嗣子义周一代被改易。