Han giftet seg med Birgit Mediaa og overtok driften på Holandsøy i 1956. Til gården hørte store skog- og utmarkseiendommer, så Moe drev også som skogsentreprenør. De overtok også hennes slektsgård, Mediå, hvor det siden ble bygget gatekjøkken og hotell.