Fra ca. 1008 var Olav en av mennene til den skånske jomsvikingen Torkjell Høge. Torkjell Høge kan ha vært en slags fosterfar for Olav. Olav kan ha vært med Torkjell Høge i Østersjøen, men det er usikkert.