Han startet karrieren for Fredrikstad FK som junior under treneren Birger Möller i 1923. Han spilte på A-laget 1927-40 og vant norgesmesterskapet i 1932 da hans yngre bror Sverre Moe scoret fire ganger. Skader og uenigheter holdt ham dog borte 1933-34, men han vant igjen i 1935, 1936 og 1938, samt Norgesserien 1937-38 og 1938-39. Han hadde kallenavnet «Fotballprofessor’n» og var stort sett lagets kaptein.