Etter Krigen mot Erik XIV i 1568 der høyadelen gikk over til hertugene Johan og Karl var han formelt avsatt og etterlatt i isolasjon fram til sin død med dårlig ry om seg i historien fram til nylige.