Som musikkskribent innledet Hillveg sin skribentkarriere i avisen Frisprog. Senere gikk han over til Aftenposten, og fra 1987 til slutten av 2007 hadde han en fast spalte i Aftenposten, der han ukentlig ga en anmeldelse av en klassisk innspilling. I 2008 gikk han over til Dagsavisen hvor han har en tilsvarende spalte.