Björn kom ekki til Íslands aftur fyrr en 1391. Mun hann í þessari ferð hafa farið í suðurgöngu til Rómar. Sumarið 1405 sigldu Björn og Solveig kona hans úr Hvalfirði og gerði Björn erfðaskrá áður en haldið var af stað. Vilchin Skálholtsbiskup var með í för en hann dó í Björgvin og hélt Björn honum veglega útför. Árið 1406 héldu þau hjónin svo í suðurgöngu. Þau fóru fyrst til Rómar og þaðan til Feneyja, þar sem þau stigu á skip og „sigldu til Jórsalalands og heimsóttu Vors Herra gröf“. Frá Jerúsalem héldu þau aftur til Feneyja en þar skildi leiðir; Solveig hélt norður til Noregs en Björn til Santiago de Compostela á Spáni, því að hann hafði heitið að heimsækja gröf heilags Jakobs. Síðan fór hann um Frakkland og England, kom við í Kantaraborg við gröf Tómasar Becket og hélt loks til Noregs. Annálar segja frá komu hans til landsins 1411 og hafði hann þá verið í Hjaltlandi um veturinn, hvort sem hann var þá fyrst að koma úr pílagrímsferðalaginu eða ekki.