Tollefsen vant en olympisk bronsemedalje i roing under OL 1920 i Antwerpen. Han var med som roer på den norske åtteren som kom på tredjeplass bak USA og Storbritannia. Mannskapet på den norske båten var; Theodor Nag, Conrad Olsen, Adolf Nilsen, Håkon Ellingsen, Thore Michelsen, Arne Mortensen, Karl Nag, Tollef Tollefsen og Thoralf Hagen som var styrmann. Totalt deltok åtte båter fra åtte nasjoner og konkurransen, som ble avviklet 28. og 29. august 1920, ble gjennomført i cupform. To og to båter møttes i kvart- og semifinaler. Norge møtte og beseiret Tsjekkoslovakia i kvartfinalen men tapte siden i semifinalen til Storbritannia.