。在对今川氏的方针上，父子之间的对立加深后，在义信企图谋反时被捕（告密者是弟弟（一说指是外甥）三郎兵卫，即后来的山县昌景），在永禄8年（1565年）10月19日负起责任而自杀。享年62岁。墓所在山梨县甲斐市龟泽（旧中巨摩郡）的天泽寺。关于处刑日期，平山优在2001年推测是在永禄8年9月至10月期间；丸岛和洋在2006年根据高野山成庆院的『甲斐国供养帐』的记载，死忌是永禄8年10月15日。此后，饭富家断絶，家臣团中的由弟弟三郎兵卫继承。
子孙.儿子有昌时，在义信事件后，依靠与