På klubbnivå spilte Nilsen for , og var nøkkelspiller og kaptein da klubben hadde sin storhetstid på begynnelsen av 1970-tallet. Han var med på å vinne tre strake seriemesterskap i perioden 1972 til 1974, og fikk kallenavnet «Olav Viking» av supporterne. I sin første sesong for Viking ble han cupmester i 1959. 15 år senere var han med på å tape cupfinalen mot i sin aller siste sesong.