Han vokste opp i bygda Nøss på Andøya i Vesterålen og var utdannet ved Statens Kunstakademi i Oslo (1959-1962) under Reidar Aulie og Aage Storstein. Etter utdannelsen vendte Tollefsen tilbake til Vesterålen. I sitt profesjonelle kunstnerliv var Tollefsen opptatt av å utvikle videre den kubismen og abstraksjonen han startet med ved kunstakademiet. Ved hjelp av farger og former søkte Tollefsen, og andre kunstnere, som Jakob Weidemann, Inger Sitter og Knut Rumohr, å få fram den følelsen naturen ga dem. Tollefsens malerier er på den ene siden abstrakte, men også med innslag av et stykke natur.