Paulsen debuterte for Ørn-Horten som 16-åring i 1915, og året etter deltok han i cupfinalen i Norgesmesterskapet 1916, hvor klubben tapte 0–2 for Frigg. Han deltok også i cupfinalen i Norgesmesterskapet 1920, hvor han scoret kampens eneste mål. I 1922 hadde han et kortere opphold hos Sportsklubben Brann, som en del av et praksisopphold hos Hansa bryggeri i forbindelse med hans studium ved Skandinavisk Bryggerihøjskole i København.