Holst ble student i 1925 og mag.art. i litteraturhistorie fra Universitetet i Oslo i 1933, med en avhandling om lykkefølelsen hos den franske forfatteren Stendhal. Han var en tid lærer på en skole i Oslo, før han i 1936 ble utnevnt til lektor i norsk ved Sorbonne-universitetet i Paris. Her ble han værende til 1940.