Man tør måske tro, at han modsatte sig forbindelsen mellem kongen og broderdatteren Anne, idet der snart indtrådte et brud mellem ham og hans kongelige herre, der dog 1562 sendte ham til Rusland i spidsen for et gesandtskab.Da krigen med Sverige brød ud det følgende år, led han den ydmygelse, at han blev forbigået ved sammensætningen af en regeringskommission, som skulde varetage statsstyrelsen i kongens fraværelse. Efter et endeligt opgør med kongen 1565 mistede han Malmøhus og bad sig nu fritaget for sit høje embede som rigshofmester. Også Dragsholm Len, som han havde livsbrev på, gik tabt for ham, der ganske vist selv havde tilbudt at afstå det. Allerede samme år afgik den før så mægtige Mand ved døden; et pragtfuldt mindesmærke rejstes over ham i Klovborg Kirke ved Mattrup.