Carlsen vokste opp på Kampen i Oslo. Han utdannet seg som lærer og arbeidet som lærer på Kampen skole. Han var også norgesmester i ishockey og håndball, ble junior­norgesmester i ishockey i 1955 med Gamlebyen IF og norgesmester i håndball utendørs i 1962 og innendørs i 1963 med Grønland Idrettsforening. Carlsen flyttet etterhvert til Asker og var fast speaker under Asker Fotball herrelags hjemmekamper på Føyka stadion.