Han begynte som journalist i i 1975 og var ansatt der til han i 1979 begynte i . I VG jobbet han først som politisk journalist, senere som vaktsjef, redaksjonssekretær og redaksjonssjef. I 1989 ble han nyhetsredaktør og fra 1994 ansvarlig redaktør. I Olufsens redaktørtid befestet og styrket posisjonen som Norges største avis. Under ham økte avisas opplag til 390 000 (2002), lenge etter at de fleste andre avisene falt i opplag. Han sluttet i 2011 og begynte i stillingen som konsernredaktør, rådgiver og styregrossist i Schibsted. Her var han frem til han gikk av med pensjon i 2016.