Christian Holst var sønn av stortingsrepresentant og statsråd Poul Christian Holst (1776–1863) og hustru Bothilde Cecilie Klinck (1781–1856), og barnebarn til den berømte og beryktede Røykenpresten Christian Holst, som Peter Christen Asbjørnsen forteller om i sagnfortellingen «Plankekjørerne». Ti år gammel ble han i 1819–20 undervist av sin farfar i latin, mens han og moren oppholdt seg på Røyken prestegård. Deretter ble han elev ved Christiania Kathedralskole. Holst ble student ved Christiania Universitetet i 1826, tok anneneksamen i 1827, og startet på teologistudier.