Etter å ha gjort alt dette reiste han til Oslo og ble abbed på Hovedøen kloster og fortsatte livet som på Tautra. Biskop Hans Rev sendte et brev til erkebiskopen datert 20. oktober 1525 der han skrev at Mathias ikke kunne bli der lenger og at han var avsatt. Årsaken var at han neglisjerte både sine åndelige og praktiske plikter. Mathias reiste til Danmark og prøvde å få innpass ved Lyse kloster ved Bergen. Det mislyktes, men han fikk merkelig nok brev på Tautra på nytt.