Pierwszy sukces Knut Knudsen osiągnął w 1966 roku, kiedy zdobył złoty medal w indywidualnym wyścigu na dochodzenie podczas juniorskich mistrzostw Norwegii. Dwa lata później wystartował na igrzyskach olimpijskich w Meksyku, gdzie w tej samej konkurencji rywalizację ukończył na jedenastej pozycji. Na rozgrywanych w 1972 roku igrzyskach olimpijskich w Monachium Knudsen zwyciężył w indywidualnym wyścigu na dochodzenie, bezpośrednio wyprzedzając Xavera Kurmanna ze Szwajcarii oraz Hansa Lutza z RFN. Na tych samych igrzyskach zajął również piąte miejsce drużynowej jeździe na czas. W swej koronnej konkurencji Norweg zdobył złoty medal wśród amatorów na mistrzostwach w San Sebastián w 1973 roku. Jako zawodowiec wywalczył jeszcze trzy medale: srebrne na mistrzostwach świata w Montrealu w 1974 roku (najlepszy był Holender Roy Schuiten) i na mistrzostwach w San Cristóbal 1977 roku (wyprzedził go tylko Gregor Braun z RFN) oraz brązowy podczas mistrzostw świata w Lecce w 1976 roku (za Włochem Francesco Moserem i Royem Schuitenem). Startował także w wyścigach szosowych, zwyciężając między innymi w klasyfikacji generalnej Giro di Sardegna w 1978 roku, Giro del Trentino oraz Tirreno-Adriático w 1979 roku. Ponadto wielokrotnie zdobywał medale mistrzostw kraju, zarówno w kolarstwie torowym jak i szosowym.