Etter tronskiftet i 1559 falt Valkendorf i unåde hos kong Fredrik II. Valkendorf følte seg truet, og i 1560 flyktet han til Sachsen. Som lensherre på Bergenhus ble han avløst av Erik Rosenkrantz som ankom Bergen 21. juli 1560.