Aasen var i to år hos Thoresen i Herøy. Aasen avslo Thoresens tilbud om hjelp til en akademisk utdannelse, noe Aasen senere begrunnet med at han ville se hvor langt han kom uten mer skolegang. Aasen hadde et forhold til tjenestejenta Berte Vike i prestegården, noe Thoresen mislikte, trolig fordi han mente det ville komme i veien for Aasens karriere. Thoresen skaffet arbeid til Aasen hos sin svoger Daae på Solnør. Aasen og Thoresen hadde trolig en distansert relasjon, og Thoresen skal ha gitt eller truet Aasen med juling om han ikke brøt med Berte. Da Berte senere forsøkte å oppsøke Aasen på Solnør skal han vært ute på plantestudier for å unngå å treffe henne. Aasen besøkte Thoresen i Bergen (der han hadde vært prest siden 1843) i september 1851 og i september 1855. Thoresen ble i 1843 sogneprest i Korskirken i Bergen under biskop Neumann. Han var far til Suzannah Ibsen og Henrik Ibsens svigerfar.