Blant folk på øya var derimot inntrykket av Fredrik Knudsen bedre. I et brev til skildres han som en «brennandes kjekk kar» og det blir sagt at han trakk fulle hus på møtene sine. Etter hvert samlet det seg også en gruppe kristne til jevnlige møter i Prince Olav Harbour hvor det også ble bygd et slags bedehus til formålet. Knudsen ble også oppfordret til å bli en sesong til. Formannen i Hvalfangerforeningen bad ham gifte seg og ta med seg kona til øya, noe Knudsen ikke var enig i. «Syd Georgia er intet sted for damer, og allermindst for en prestefrue», skrev han. Beslutningen om å dra hjem ble styrket av at en avis i Sandefjord og trykker noe av brevene han hadde sendt hjem til Norge.