Holst tok eksamen ved Porsgrunns mekaniske fagskole i 1895. Etter artium i 1897 studerte han ved Technische Hochschule Hannover, der han ble uteksaminert som maskin- og elektroingeniør i 1901. Holst arbeidet deretter ved Norges Statsbaner som tegner 1902–1904, som stasjonsingeniør ved Christiania Elektricitetsværk 1904–1913, og så i fem år som elektroingeniør ved Solbergfoss kraftverk.