I 1963 meldte Nilsen overgang til Fredrikstad, men klarte aldri å spille seg til fast plass på laget og spilte bare elleve seriekamper for FFK. Han dro tilbake til moderklubben Lisleby etter én sesong, var med på å spille klubben tilbake til den øverste divisjonen. Han spilte samtlige 18 kamper, og scoret åtte mål, da Lisleby spilte i toppdivisjonen i 1966, men klarte ikke å forhindre nedrykk.