Oxe samlet seg etter hvert et stort gods og hadde mange len. I 1552 ble han medlem av riksrådet. På et senere tidspunkt ble han mistenkt for misligheter i forbindelse med styringen av lenene og falt i unåde hos Christian III. I 1558 flyktet han til utlandet.