Ølberg er utdannet sosialøkonom og begynte i 1986 som aspirant i Utenriksdepartementet. I 1999 ble Ølberg utnevnt til ministerråd ved Norges ambassade i Bonn i Forbundsrepublikken Tyskland, der faren Per Martin Ølberg hadde flere stasjoneringer, også som ambassadør. Ølberg ble i 2009 utnevnt til ambassadør i Jordan. Sideakkreditering som ambassadør i Bagdad i Irak fulgte senere samme år. Fra 2014 var han tilbake i Utenriksdepartementet i Oslo som ekspedisjonssjef. I september 2017 tiltrådte Ølberg som norsk ambassadør i Berlin. Ølberg har vært leder for Norsk Tjenestemannslag i Utenriksdepartementet. Han er sønn av ambassadør og statssekretær Per Martin Ølberg.