Tollefsen uczestniczył w igrzyskach olimpijskich w Antwerpii (1920) w jednej konkurencji wioślarstwa: ósemka mężczyzn (3. miejsce; wraz z Theodorem Nagem, Adolfem Nilsenem, Håkonem Ellingsenem, Thorem Michelsenem, Arnem Mortensenem, Karlem Nagem, Conradem Olsenem i Thoralfem Hagenem).