Herman Wedel-Jarlsberg ble født som nesteldste sønn av Frederik Anton Wedel Jarlsberg, greve til Jarlsberg og dansk-norsk diplomat, og Catharina Storm. Foreldrene ble separert i 1797. Han var oppkalt etter morfaren Caspar Herman von Storm, stiftamtmann i Akershus, som i sin tur var oppkalt etter sin morfar Casper Herman Hausmann.