Mens han bodde i Risøyhamn døde den første kona, Oline født Wennberg i 1845 i Trondheim. Hun var mor til Nanna With. Oline With er gravlagt på den gamle kirkegården i Bjørnskinn. Richard giftet seg en tid etter med Olines søster, Septima. De to fikk syv barn sammen mens de bodde i Risøyhamn.