Peder Bjørnson søkte seg etter hvert vekk, og i 1837 fikk han Nesset prestedømme i Romsdal. Det var i «Romsdalens stride land» Bjørnstjerne Bjørnson vokste opp og kjente seg hjemme. Ifølge biografen Christen Collin var han som barn en vilter krabat med et stort hjerte og utpreget fortellerevne, «især var det bøndenes verden, han levet sig ind i». Også tjenestefolkene ble hans fortrolige i barndommen: «Han foretrak stadig borgstuen og de steder, der arbeidsfolkene var». At han ikke lenge etter at han var fylt ni år måtte overvære henrettelsen av Per Hagbø, kan muligens forklare hans engasjement mot dødsstraff senere i livet.