Etter kroningen ser han nærmest ut til å ha fungert som Kristians stattholder på Østlandet. I 1516 hadde imidlertid kongens forhold til biskop Anders vendt seg til det verre. Kongens høvedsmann på Akershus festning, Hans Mule, og Anders' fiende, prosten ved Mariakirken Hans Olssøn, gjorde livet surt for ham, til han i 1521 måtte trekke seg som biskop og ble etterfulgt av høvedsmannen Hans Mule.