Etter militær grunnutdannelse tok han lærerskolen som privatist. Han har også vært trener og styremedlem i Norges Friidrettsforbund. Nilsen har sin bakgrunn fra skoleverket, og har vært rektor ved Kleppestø og Ravnanger ungdomsskoler på Askøy. Han var leder i Hordaland Høyre 1990–1994 og medlem av Høyres arbeidsutvalg 1996–2005. I stortingsperiodene 1993–2001 satt han i Stortingets samferdselskomité, siste perioden som komiteens leder. I perioden 2001–2005 var han medlem av Stortingets utenrikskomité. Da Jan Petersen ble utenriksminister, ble Nilsen valgt til parlamentarisk leder.