Moe arbeidet for Fredrikstad Mekaniske Verksted. Etter karrieren var han formann i klubben. Han var bror til Kjell Moe og Sverre Moe, og far til Finn Moe, alle Fredrikstad FK-spillere.