Orkneyinga saga
Согласно Хроникам Мэна, Олаф был женат на Аффраик, дочери могущественного шотландского магната Фергуса, лорда Галлоуэя (ум. 1161). Хроники также сообщают, что, кроме жены, У Олафа было много наложниц, от которых у него было три сына и несколько дочерей. «Сага об оркнейцах» передает, что Олаф был также женат на Ингибьёрг, дочери оркнейского ярла Хакона Пальссона (ум. 1123). Рагнхильда, внебрачная дочь Олафа, стала женой Сомерленда (ум. 1164), лорда Аргайла и будущего короля Островов.