Siden Byget tidligere ble brukt som skole så er det ikke registrert mange beboere før utover 1900-tallet. Skolen var bygd med en leilighet til læreren, så det bodde en lærer i bygget i 1856 og frem til huset ble flyttet i 1895.