Han vokste opp på gården Holandsøy i Grong som sønn av gårdbruker og ordfører Ivar Moe og hustru Hjørdis Seem. Farfaren Oluf Moe og morbroren Anders O. Seem hadde også vært ordførere.