Największy sukces w karierze Ole Højlund Pedersen osiągnął w 1966 roku, kiedy wspólnie z Jørgenem Emilem Hansenem, Flemmingiem Wisborgiem i Vernerem Blaudzunem zdobył złoty medal w drużynowej jeździe na czas podczas mistrzostw świata w Nürburgu. Był to jednak jedyny medal wywalczony przez niego na międzynarodowej imprezie tej rangi. W tej samej konkurencji Duńczycy z Pedersenem w składzie zajęli też między innymi czwarte miejsce na mistrzostwach świata w Ronse w 1963 roku oraz piąte podczas rozgrywanych rok później mistrzostw świata w Sallanches. W 1964 roku wziął udział w igrzyskach olimpijskich w Tokio, gdzie był siódmy w drużynie, a wyścig ze startu wspólnego ukończył na piętnastej pozycji. Na rozgrywanych cztery lata później igrzyskach w Meksyku, zajął odpowiednio czwarte i 26. miejsce. Ponadto w 1964 roku wygrał duński Fyen Rundt, a w 1968 roku był piąty w klasyfikacji generalnej Wyścigu Pokoju. Kilkakrotnie zdobywał medale mistrzostw krajów nordyckich, w tym trzy złote. Był też mistrzem Danii w drużynowej jeździe na czas w latach 1964-1965.