I 1528 betaler gjengjerden (en særlig matskatt innført i senmiddelalderen, også kalt gjengjerdsskatt), som var på 24 skilling eller 1 lodd sølv på den tiden. I de bevarte regnskapene fra 1557 ser vi imidlertid at det er to brukere på Semen, og . Kan hende var det i tiden mellom disse to hendelsene at gården Søre Semmen ble ryddet eller tatt i bruk på nytt. Gården nevnes også i norske diplomer fra 1400-tallet, blant annet i 1436 og 1494. I det siste som «Sudre gardom Sigmine», som kan antyde at Søre Semmen ble ryddet mye tidligere. Det er imidlertid uklart om disse er samme gård eller ikke. Kan hende har også Søre Semmen ligget øde en tid etter svartedauden i 1349–1350.