Unos cuantos años más tarde cayó en desgracia ante el rey por su administración de propiedades públicas. En la primavera de 1557, Oxe y el rey discutieron sobre una intercambio de propiedades. No logrando un acuerdo con el rey, Oxe huyó a Alemania en 1558 e intrigó con el aventurero Wilhelm von Grumbach para destronar a Federico II en favor de Cristina de Lorena, la hija de Cristián II. Pero las dificultades financieras de Federico II durante la guerra nórdica de los siete años le obligó en 1566 a recurrir a Oxe, devolviéndole sus propiedades y dignidades.