Moe bodde sitt første leveår på gården Jøsvoll i Stordal kommune ved Storfjorden. Sammen med sin mor kom han til Lillehammer i 1945. Han kom i 1955 inn i et godt skøytemiljø på Lillehammer og under Thormod Moums ledelse og treningsopplegg, ble han i 1959 beskrevet som et stort skøytetalent. Moe flyttet til Oslo i 1961 og fortsatte utviklingen som skøyteløper i Oslo Idrettslag.