Ifølge et sagn var det noen søstre som startet landbruket og «Remmenspien» ble kallenavnet til to av tre søstre. Ingen av de ble gift eller fikk barn. Senere flyttet søstrene til en annen gård som faren deres eide på Remmem som lå i nærheten av fjorden på Gjernmundnes. I den neste generasjonen ble eiendommen eid av den første ordføreren av Vestnes, Henrik Remmem.