Seine ersten Erfolge sammelte Ole Ritter als Amateur 1961, als er erstmals an einer Straßen-Weltmeisterschaft teilnahm. 1962 wurde er dänischer Straßenmeister und errang bei der Straßen-WM in Salo im Einzelstraßenfahren und im 100-km-Mannschaftszeitfahren jeweils eine Silbermedaille. 1964 wurde er erneut dänischer Amateurmeister und nahm am olympischen Straßenrennen (69.), sowie am 100-Kilometer-Mannschaftszeitfahren (7.) der Olympischen Sommerspiele teil. 1965 startete er beim Course de la Paix (Friedensfahrt), belegte den 8. Platz in der Gesamteinzelwertung und wurde erneut dänischer Straßenmeister. Am Ende desselben Jahres stellte er einen Weltrekord über 100 km auf der Bahn auf und fuhr auch noch Weltrekorde über 10 km und 20 km in Zürich. Ritter konnte in der Saison 1965 die schwedischen „6-Dagars“ (später Schweden-Rundfahrt) gewinnen, er siegte vor Gösta Pettersson.