Ølberg var Norges ambassadør til Canada (1982–1987, til Vest-Tyskland (1988–1992) og til OECD i Paris (1993–1997).