Pierwsze sukcesy w karierze Ole Ritter osiągnął w 1962 roku, kiedy na szosowych mistrzostwach świata w Salò wspólnie z Vagnem Bangsborgiem, Mogensem Tvillingiem i Ole Krøierem zdobył srebrny medal w drużynowej jeździe na czas, a indywidualnie był drugi za Włochem Renato Boncionim w wyścigu ze startu wspólnego. Dwa lata później wystartował na igrzyskach olimpijskich w Tokio, zajmując odpowiednio 7. i 74. miejsce. Kolejny medal zdobył na torowych mistrzostwach świata w Montevideo w 1968 roku, gdzie zdobył srebrny medal w indywidualnym wyścigu na dochodzenie zawodowców, ulegając jedynie Brytyjczykowi Hugh Porterowi. W 1973 roku był siódmy w klasyfikacji generalnej Giro d'Italia, a trzy lata wcześniej zajął dziewiątą pozycję. Ponadto w latach 1962, 1964 i 1966 zdobywał mistrzostwo Danii w wyścigu ze startu wspólnego.