Perdió ascensos y oportunidades por esta causa hasta que, tras una disputa con el rey, fue «retirado» en Silesia, alejamiento que duró dieciséis años.