Knudsen startet sin karrière som amatørspiller for den lokale klubben NSÍ Runavík. Målvakt på Færøyenes U-landslag fra 1981. Han debuterte på Færøyenes A-landslag i 1988 under en vennskapskamp mot , som var Færøyenes første FIFA-anerkjente landslagskamp. Da Færøyene skulle delta i sin første EM-kvalifisering foran EM i fotball 1992, ble Knudsen for alvor kjent da Færøyene, fullstendig overraskende, slo Østerrike 1–0 i Landskrona i Sverige i 1990. Knudsen ble en kultfigur, og sportsjournalistene internasjonalt gav ham tilnavnet «The Keeper with the Bobble Hat».