Utenfor idretten arbeidet Nilsen hos , først som sjåfør og deretter med tilsyn av avisas lager av avispapir. Han drev også med veiledning av yngre boksere etter at den aktive karrieren tok slutt.