I lokalsamfunnet gikk det rykte om at Henrik Remmem var en uekte sønn av Jacob Eeg. Det var uvanlig at tre futedøtre var faddere til en husmannssønn slik som hos Remmem. I tillegg ble han velstående etterhvert, hvor han gikk fra en husmannsstatus til å bli en stor gårdseier.