Norheim vokste opp i en misjonærfamilie og gikk på Kvitsund gymnas, før han begynte å studere litteraturvitenskap ved Universitetet i Oslo. På slutten av 1980-tallet kom han inn i kretsen rundt tidsskriftet og avbrøt studiene. I redaksjonen i samarbeidet han med blant andre Henning Hagerup og Alf van der Hagen.