Han var sønn av sorenskriver og stortingsmann Alexander Holst og Anna Marie Bech. Holst tok juridisk eksamen i 1818, og var så adjungert hos sin far som var sorenskriver på Helgeland. Han ble underrettsprokuratotor i Nordlands amt i 1837, og var fogd i Salten fra 1842 til 1869.