Han var amtmann i Kristians amt fra 1900 til 1908. Holst flytta amtmannskontoret fra Lillehammer til Gjøvik. Holst fikk kontor og bolig i et herskapelig hus ved Gjøvik kirke, som opprinnelig var oppført av Ewald Elling Olsen.