Pierwszy sukces w karierze Knud Andersen osiągnął w 1947 roku, kiedy zdobył brązowy medal w indywidualnym wyścigu na dochodzenie amatorów podczas torowych mistrzostw świata w Paryżu. W zawodach tych wyprzedzili go jedynie Włoch Arnaldo Benfenati oraz Urugwajczyk Atilio François. Na rozgrywanych rok później igrzyskach olimpijskich w Londynie Duńczyk zajął 28. miejsce w szosowym wyścigu ze startu wspólnego, a wraz z kolegami z reprezentacji nie ukończył rywalizacji drużynowej. W 1949 roku wywalczył złoty medal w indywidualnym wyścigu na dochodzenie na mistrzostwach świata w Kopenhadze. Trzy lata później wystartował na igrzyskach olimpijskich w Helsinkach zajmując piątą pozycję w drużynowym wyścigu na dochodzenie. Wielokrotnie zdobywał medale torowych i szosowych mistrzostw kraju, a także mistrzostw krajów nordyckich.