Han dro tilbake til Sverige med sin bror i 1519, men begge holdt på å omkomme da skipet forliste ved Gotland under en storm. De ble en tid på Gotland, og biskopen på Gotland, Mattias Gregersson, utnevnte Olaus til sin sekretær og dessuten til domprost i 1520.