Han var sønn av amtmann i Bratsberg Fredrik Wilhelm Wedel-Jarlsberg og hustru Ingeborg Margrethe von Haffner. Wedel-Jarlsberg var blant annet i dansk marinetjeneste, deltok som frivillig i Treårskrigen og var sjef for en lang rekke fartøyer. I årene 1873 til 1896 ledet han Fredriksvern verft.